今天要和大家分享一个非常实用的小项目——如何使用Node.js和Cursor编写一个简单的微博热搜爬虫。如果你是编程新手或者对网络爬虫感兴趣，那么这篇文章绝对适合你。我们将一步步地讲解如何通过发送HTTP请求、解析HTML内容以及将数据保存为CSV文件来实现这个小项目。

项目背景

Cursor集成了AI大模型来提供更智能的编码辅助功能。这样的工具可以显著提高开发效率和代码质量。随着社交媒体平台如微博等成为信息传播的重要渠道，实时获取热门话题变得越来越重要。本教程将教你如何利用Node.js及相关库来抓取微博热搜榜，并将这些数据存储到本地CSV文件中，方便后续分析或展示。

配置Cursor下载Cursor

网站自取

2.添加AI

点击设置后再点击Models配置自己的AI大模型，如图我自己添加了一个通义千问大模型，再往下拉配置API KET

配置完成后打开聊天框并且输入你要问的问题他会回答你的问题，如图是问的是如何生成爬虫的问题他会逐步告诉你怎么做并生成代码

准备工作

首先确保你的电脑上已经安装了Node.js。接着，你需要安装几个必要的npm包，包括request-promise用于发送HTTP请求，cheerio用于解析HTML文档，以及csv-writer用来生成CSV格式的数据文件。你可以通过运行以下命令来安装它们：

npm install request-promise cheerio csv-writer

代码演示main.js文件

引入依赖库

const request = require('request-promise');
const cheerio = require('cheerio');
const createCsvWriter = require('csv-writer').createObjectCsvWriter;

定义目标URL

const url = 'https://tophub.today/n/KqndgxeLl9';