Node.js 知乎热榜爬虫导出为JSON文件（正则表达式）

环境

node.js v12.16.3
axios@0.20.0
cheerio@1.0.0-rc.3

npm安装

npm install axios cheerio

实现代码

const cheerio = require("cheerio");
const axios = require("axios");
const fs = require("fs");axios.get(`https://www.zhihu.com/billboard`).then((response) => {let $ = cheerio.load(response.data);var hotList = []$("a.HotList-item").each((index, element) => {var entry = {}entry["title"] = $(element).find(".HotList-itemTitle").text();entry["excerpt"] = $(element).find(".HotList-itemTitle").text();var reg = /<img src="(.*)" alt=/;var picture_url = reg.exec(String($(element).html()));if (picture_url != null) {entry["picture_url"] = picture_url[1].trim();} else {entry["picture_url"] = "null";}hotList.push(entry);});fs.writeFile('ZhihuBillboard.json', JSON.stringify(hotList, null, "\t"), (err) => {if (err == null) {console.log("Successfully!");} else {console.log(err);}});});

测试结果

最后

由于博主水平有限，不免有疏漏之处，欢迎读者随时批评指正，以免造成不必要的误解！

Node.js 知乎热榜爬虫相关推荐

【知乎热榜爬虫】python爬取知乎热榜问题及答案
所用库 requests xpath解析库 multiprocessing多进程 pymysql数据库操作库实战背景主要是爬取知乎热榜的问题及点赞数比较高的答案,通过requests请求库进行爬取 ...
太好玩了，爬虫、部署API、加小程序，一条龙玩转知乎热榜！
作者 | 周萝卜来源 | 萝卜大杂烩一直想做一个从爬虫到数据处理,到API部署,再到小程序展示的一条龙项目,最近抽了些时间,实现了一个关于知乎热榜的,今天就来分享一下! 数据爬取首先我们看下需要 ...
python爬虫知乎热榜、微博热搜并发送邮件至邮箱
目录爬取知乎热榜.微博热搜并发送邮件至邮箱 1.获取网页 1.1获取url 1.2构造headers 1.3代码 2.提取信息 2.1 XPath规则 2.2 定位到节点 2.3 提取标题和url ...
【Python爬虫实战】知乎热榜数据采集，上班工作摸鱼两不误，知乎热门信息一网打尽
目录爬取目标工具使用项目思路解析简易源码分享爬取目标网址:知乎热榜工具使用开发环境:win10.python3.7 开发工具:pycharm.Chrome 工具包:requests,l ...
知乎热榜？微博热门？爬！
一直也没写过爬虫的代码,一来是接触练习的少,二来也对爬虫心存偏见:老有种做贼偷数据的感觉. 最近在体验过爬虫的高效便捷后,觉得确实有必要多实践一下.其实我本身学爬虫没多久,远没到分享爬虫技术的水平.但 ...
android开发微博搜索,一款帮助用户自动提取微博热搜、知乎热榜、百度实时热点条目中与特定领域...
HotDetector(全网热门探测仪) 全网热门探测仪一款帮助用户自动提取微博热搜.知乎热榜.百度实时热点条目中与特定领域(科技.娱乐.体育.自定义)有关内容的实用App. 它使用Java SE 8 ...
python爬取知乎标题_python爬知乎热榜
爬项目:知乎热榜标题.热度.简介. 第一步浏览网页源代码确认在哪html 还是js里标题和热度在html 标签内容在js 需要用到正则表达式: 第二先爬html 里的内容调用模块-再请求一下url ...
python爬取知乎热榜了解时事
python爬取知乎热榜了解时事需求知乎热榜是我们了解时事的一个重要途径,但是如果我们每天没有那么多时间来刷知乎,但是还是想要了解知乎热榜的话,我们该怎么办呢?在这里,我想到了通过知乎爬虫的手 ...
好家伙！清华电子系大一暑假Python课程大作业上知乎热榜！竟是个CV任务
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达编辑:Amusi | 来源:知乎 https://www.zhihu.com/question/4719 ...

Node.js 知乎热榜爬虫

Node.js 知乎热榜爬虫导出为JSON文件（正则表达式）

环境

npm安装

实现代码

测试结果

最后

Node.js 知乎热榜爬虫相关推荐

最新文章

热门文章

Node.js 知乎热榜爬虫

Node.js 知乎热榜爬虫 导出为JSON文件（正则表达式）

环境

npm安装

实现代码

测试结果

最后

Node.js 知乎热榜爬虫相关推荐

最新文章

热门文章

Node.js 知乎热榜爬虫导出为JSON文件（正则表达式）