基于python的爬虫贴吧的代码

这个代码是通过交互式的输入完成对贴吧信息的爬虫，并且把数据写进电脑里。初学者可借鉴一下

# encoding:utf-8
import urllib
from urllib import request
import time
import ssl
ssl._create_default_https_context = ssl._create_unverified_contextheader = {"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Mobile Safari/537.36"}def loadpage(url, filename):   # 加载贴吧页函数print("正在下载：",filename)req = request.Request(url, headers=header)rep = request.urlopen(req)data = rep.read()return datadef writepage(filename, html):  # 把数据写入电脑的函数print("正在写入：", filename)file_path = "/Users/bc2qsy/Documents/html/"+filename  # 前面的字符串是你要存储的路径fd = open(file_path, "wb")fd.write(html)print(filename, "完成")print("---------------------------")def tiebaspider(url, begin, end):for page in range(begin, end+1):pn = (page-1)*50fullurl = url+"&pn="+str(pn)filename = "第"+str(page)+"页.html"html = loadpage(fullurl,filename)writepage(filename, html)if __name__ == '__main__':kw = input("请输入吧名：")   # a这里是你要搜索的贴吧名 可输入python ,java也可以是中文begin_data = int(input("请输入起始页："))  # 这两行是你要下载的页数end_data = int(input("请输入结尾页："))url_data = "https://tieba.baidu.com/f?"key = urllib.parse.urlencode({"kw": kw})  # 这里是路径的解析url = url_data+keytiebaspider(url, begin_data, end_data)time.sleep(10)

基于python的爬虫贴吧的代码相关推荐

python中的doc_基于Python获取docx/doc文件内容代码解析
这篇文章主要介绍了基于Python获取docx/doc文件内容代码解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下整体思路: 下载文件并修改后缀 ...
python扫雷的代码及原理_基于Python实现的扫雷游戏实例代码
摘要:这篇Python开发技术栏目下的"基于Python实现的扫雷游戏实例代码",介绍的技术点是"Python实现.Python.实例代码.扫雷游戏.扫雷.游戏" ...
python名片识别_基于Python的名片识别接口调用代码实例
基于Python的名片识别接口调用代码实例代码描述:基于Python的名片识别接口调用代码实例 #!/usr/bin/python # -*- coding: utf-8 -*- import js ...
名片识别信息分类python_基于Python的名片识别接口调用代码实例.doc
基于Python的名片识别接口调用代码实例代码描述:基于Python的名片识别接口调用代码实例 #!/usr/bin/python # -*- coding: utf-8 -*- import js ...
python短信接口_基于 python 的短信接口调用代码示例模板
阅信短信验证码平台最近会从新梳理基于不同语言的短信接口调用代码示例,是为了迎合市面上现在流行的各个语言代码实现,也是为了能够更好的服务满足客户的不同层次的需求. 下面的代码是基于 python 的短信 ...
python编码尺寸_基于Python批量生成指定尺寸缩略图代码实例
这篇文章主要介绍了基于Python批量生成指定尺寸缩略图代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下最近我们商城上架的应用越来越丰富了. ...
基于python网络爬虫的个性化音乐播放器
前言当前很多人在闲暇时喜欢听音乐,那么基于这种现象,我也是肝了几个小时完成了基于python的个性化音乐播放器,现在分享给你们. 开发组件 python3.5 以上版本就行 tkinter (pyt ...
基于python网络爬虫的设计和思考
1.爬虫技术网络爬虫, 又称网页蜘蛛(webspider),是一个功能强大的能够自动提取网页信息的程序,它模仿浏览器访问网络资源,从而获取用户需要的信息,它可以为搜索引擎从万维网上下 ...
基于python的爬虫系统金融数据_基于Python的互联网金融数据采集
基于Python的互联网金融数据采集 □文/王蕾1安英博1刘佳杰2 ［提要］互联网金融数据中潜藏着未知的知识价值,但也存在着巨量的数据冗余.通过Python可以进行互联网金融数据的获取.解析.提取 ...

基于python的爬虫贴吧的代码

这个代码是通过交互式的输入完成对贴吧信息的爬虫，并且把数据写进电脑里。初学者可借鉴一下

基于python的爬虫贴吧的代码相关推荐

最新文章

热门文章