node爬虫（入门）

前段时间看到别人用node提取网页表格内容，今天自己尝试一下

依赖：node.js nginx

直接上代码吧！！！

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html>
<head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"><meta http-equiv="Content-Style-Type" content="text/css"><title></title><meta name="Generator" content="Cocoa HTML Writer"><meta name="CocoaVersion" content="2022.3"><style type="text/css"></style>
</head>
<body><h3>2021全国各地男女占比</h3><table border="1" cellspacing="0" cellpadding="0"><thead><tr><th>地区</th><th>男</th><th>女</th><th>性别比</th></tr></thead><tbody><tr><td>全国</td><td>51.24</td><td>48.76</td><td>1105.07</td></tr><tr><td>北京</td><td>51.14</td><td>48.86</td><td>104.65</td></tr><tr><td>天津</td><td>51.53</td><td>48.47</td><td>106.31</td></tr><tr><td>河北</td><td>50.50</td><td>49.50</td><td>102.02</td></tr><tr><td>江苏</td><td>50.78</td><td>49.22</td><td>103.15</td></tr></tbody></table>
</body>
</html>

const request = require('request');
const cheerio = require('cheerio');
const xlsx = require('node-xlsx');
const fs = require('fs');
const path = require('path');
const time = Date.now();request('http://localhost:8080',(error,response,body)=>{if(!error && response && response.statusCode === 200) {const $ = cheerio.load(body);const th = $('thead th');const data = [];const arr = new Array(th.length).fill(0);const name = $('h3').text();const subtitle = arr.map((item,key)=> th.eq(key).text());$('tbody tr').each((key,item) => {const td = $(item).find('td');data.push(arr.map((item,key) => td.eq(key).text()));})data.unshift(subtitle);const buffer = xlsx.build([{name,data}]);fs.writeFileSync(path.join(__dirname,'gdp.xlsx'),buffer);console.log(`执行完成，用时${Math.ceil((Date.now() - time) / 1000)}秒`);}
})

第一次在mac电脑上安装nginx，看网上大家都推荐homebrew管理工具，安装的时候遇到了一些问题，查询一番总算解决了
命令步骤如下：
安装一：brew官网的安装脚本

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"

安装二：brew 镜像安装脚本

/usr/bin/ruby -e "$(curl -fsSL https://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"

安装nginx

brew install nginx

验证结果

brew services start nginx

启动成功后可在localhost:8080访问

安装问题参考文章如下：
mac安装homebrew问题
brew安装nginx报错‘Could not resolve HEAD to a revision’

node爬虫（入门）相关推荐

node 没有界面的浏览器_node.js爬虫入门（二）爬取动态页面(puppeteer)
之前第一篇爬虫教程node.js爬虫入门(一)爬取静态页面讲解了静态网页的爬取,十分简单,但是遇到一些动态网页(ajax)的话,直接用之前的方法发送请求就无法获得我们想要的数据.这时就需要通过爬取动态 ...
node爬虫快速入门
node爬虫初入前端,刚刚接触node,对于耳闻已久的node爬虫非常神往,所以有了这篇文章,项目代码在文章末尾需求抓取天涯论坛重庆地区板块的文章列表信息. 使用工具 node.js super ...
node工程默认url_node 爬虫入门实例，简单易懂
前言本文介绍一个 koa 的爬虫项目,受众对象为初学前端不久的小伙伴,通过这个项目能对 node 爬虫有一个简单的认识,也能自己动手写一些简单的爬虫.项目地址: Fe-Icy/firm-spider ...
python爬虫挖掘平台搭建_一篇非常棒的安装Python及爬虫入门博文！
原标题:一篇非常棒的安装Python及爬虫入门博文! 一. 大数据及数据挖掘基础(私信小编007即可获取大量Python学习资料!) 第一部分主要简单介绍三个问题: 1.什么是大数据? 2.什么是数据 ...
Scrapy爬虫入门教程五 Selectors（选择器）
Scrapy爬虫入门教程一安装和基本使用 Scrapy爬虫入门教程二官方提供Demo Scrapy爬虫入门教程三命令行工具介绍和示例 Scrapy爬虫入门教程四 Spider(爬虫) Scrap ...
node爬虫进阶之——登录
转载自:http://www.jianshu.com/p/87867f325184 在之前的文章node入门场景之--爬虫已经介绍过最简单的node爬虫实现,本文在原先的基础上更进一步,探讨一下如何绕 ...
Python 爬虫入门教程——社团授课型
Python爬虫入门教程基础知识什么是HTML.CSS.JavaScript 网页往往采用html+css+js开发,html是一门标记语言如下: <!- 将下面这句话放入html文件中, ...
python与爬虫入门演示
Python 简介Python 历史Python 之禅Ipython 解释器ipython magic命令ipython 使用Ipython notebook使用 Anacondaconda 的使用虚 ...
node爬虫puppeteer使用
文章目录 node 爬虫 puppeteer 使用记录一个实战 demo 开发先看文档启动浏览器官网的入门 demo puppeteer.launch page.goto 获取页面上的元素剩下 ...
python爬虫入门教程--优雅的HTTP库requests（二）
requests 实现了 HTTP 协议中绝大部分功能,它提供的功能包括 Keep-Alive.连接池.Cookie持久化.内容自动解压.HTTP代理.SSL认证等很多特性,下面这篇文章主要给大家介绍 ...

node爬虫（入门）

前段时间看到别人用node提取网页表格内容，今天自己尝试一下

依赖：node.js nginx

node爬虫（入门）相关推荐

最新文章

热门文章