怎么用python爬取老师_requests简单爬取佩奇老师Python目录下的文章内容
#coding:utf-8
import requests
import xlrd
from xlutils.copy import copy
import time
from bs4 import BeautifulSoup
#定义header头(简单)
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
#起始URL
start_url = "http://www.cnblogs.com/wupeiqi/articles/4938499.html"
def run(start_url):
# 发送get请求
html = requests.get(url=start_url,headers=headers,timeout=30)
# 解析成dom树
html = BeautifulSoup(html.text,'html.parser')
#提取出所有文章链接
urls = []
for item in html.select("#cnblogs_post_body a"):
urls.append(item.attrs.get("href"))
#循环链接列表继续发送URL请求文章详细页
print("共找到—— %s篇 ——文章"%len(urls))
count = 1
for url in urls:
print("-------正在下载文章 %s/%s--------"%(count,len(urls)))
count+=1
article = requests.get(url=url,headers=headers,timeout=30)
process_article(article,url)
print("下载完成 谢谢使用!".center(80,"-"))
def save_article(title,content,url):
#将数据存到表格
workbook = xlrd.open_workbook('article.xls') #打开表格
nrows = int(workbook.sheets()[0].nrows) #获取表格现有的行数
workbooknew = copy(workbook)
ws = workbooknew.get_sheet(0) #获取第一张工作表
ws.write(nrows,0,str(title)) #写入标题
ws.write(nrows,1,str(url)) #这里只保存了标题和链接,内容太长表格里放不下
workbooknew.save('article.xls') #更新表格
def process_article(article,url):
# 解析成dom树
article = BeautifulSoup(article.text,'html.parser')
#提取出文章的标题和内容
title = article.select("#cb_post_title_url")[0].text
print("正在下载文章----->> %s"%title)
content = article.select("#topics .blogpost-body")
#.children
save_article(title,content,url)
if __name__ == "__main__":
run(start_url)
怎么用python爬取老师_requests简单爬取佩奇老师Python目录下的文章内容相关推荐
- python备份目录下文件夹_Python备份目录及目录下的全部内容的实现方法
本来是想写一个东西可以直接调用TortoiseSVN保存当前代码到一个分枝下的. 可惜调用SVN的部分还在研究.就先写了目录拷贝的部分. 如果有喜欢研究Python的童鞋愿意提供想法或者建议的话, 这 ...
- python爬取图片实例_Python简单爬取图片实例
都知道Python的语法很简单易上手,也很适合拿来作爬虫等等,这里就简单讲解一下爬虫入门--简单地爬取下载网站图片.html 效果 就像这样自动爬取下载图片到本地:python 代码: 其实很简单,咱 ...
- python层级抓取_python实现提取str字符串/json中多级目录下的某个值
字符串多级目录取值: 比如说: 你response接收到的数据是这样的. 你现在只需要取到itemstring 这个字段下的值.其他的都不要! 思路就是:字符串是个json格式(或转为json格式), ...
- python正则化_如何最简单、通俗地理解Python的正则化?
目录: 一.笔记 二.我的自学路线 三.笔记目录 一.笔记 ① 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配. ② 正则表达式中包含两个部分,一个是正则语法对应的字 ...
- [python爬虫] BeautifulSoup和Selenium简单爬取知网信息测试
作者最近在研究复杂网络和知识图谱内容,准备爬取知网论文相关信息进行分析,包括标题.摘要.出版社.年份.下载数和被引用数.作者信息等.但是在爬取知网论文时,遇到问题如下: 1.爬取内容总为空,其原因 ...
- python爬虫今日头条_python 简单爬取今日头条热点新闻(
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
- python 头条 上传_python 简单爬取今日头条热点新闻(一)
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
- python爬虫今日头条_python 简单爬取今日头条热点新闻(一)
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的: 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式netwo ...
- python爬虫框架排行榜-哪种Python框架适合你?简单介绍几种主流Python框架
众所周知,Python开发框架大大减少了开发者不必要的重复劳动,提高了项目开发效率的同时,还使得创建的程序更加稳定.目前比较主流的Python框架都有哪些呢?一般大家用的比较多的是Django.Fla ...
最新文章
- 【MM模块】Source Lists 货源清单
- Python入门二(1)
- -webkit-border-radius和-moz-border-radius(转)
- Install Cloud foundry MTA plugin
- 倒计时css和js html代码,手把手教你利用CSS和JS创建一个倒数计时器
- shell 自动回车_macos开机自动屏蔽独显
- 1423. 可获得的最大点数
- ZXPInstaller for Mac(PS扩展安装器)免费版
- Halcon标定系列(1):实现机械手手眼标定项目介绍、9点标定
- 软件工程4-软件概要设计
- 计算机二进制技巧,计算机中十进制转二进制的相关技巧
- java自定义日历控件_【无私分享】修订版干货!!!一个炫酷的自定义日历控件,摆脱日历时间选择烦恼,纯福利~...
- C++排序求最值函数的调用
- 模糊数学学习笔记 1:模糊集
- winmail中web界面破除用户限制
- Android apk瘦身讲解
- DNS解析:腾讯云转战cloudfare解析记录
- 如何识别图片上文字的字体?(注:仅限英文)
- 青龙面板 ---- 省钱钱
- mysql中的笛卡尔积与解决办法
热门文章
- Android原生调节屏幕背光流程
- 用Python分析了近几年富豪排行榜,我酸了...
- 30岁软件工程师的迷茫和悲哀
- 2021-09-08 python基础知识学习:文件操作和os模块
- 09-两个有序的链表合并
- UserWarning: image file could not be identified because WEBP support not install
- 动态拨号器linux,Debian Linux下ADSL拨号及动态域名的使用
- csdn无法离线浏览的最简解决方案
- Python之dict字典
- Flutter: List去重