百度搜索引擎和必应搜索引擎搜索内容简单爬取Python

这个博客用于记录我的计算机学习的路途，本文用于记录Python百度搜索爬虫编写过程。

第一步本程序所用的python库

1，requests 用于GET网页返回的信息，这个库比较重要。可以用来模拟浏览器的GET和POST，伪装浏览器，成功爬取内容。比起urllib和urllib2要有很大的简便性。

2，lxml中的etree可以通过xpath获取爬取到的内容的特定部分。配合chrome使用会更好（chrome中有自带的可以获取xpath的工具。）

第二步设计爬虫伪装浏览器

1，以下是一个头的简单示例。

    headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Encoding': 'gzip, deflate, compress','Accept-Language': 'en-us;q=0.5,en;q=0.3','Cache-Control': 'max-age=0','Connection': 'keep-alive','User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}

2，可以获取代理IP（我没有用）

第三步观察百度搜索的url，获取最初的url（word为要搜索的关键词）

    baiduurl = 'http://www.baidu.com'url = 'http://www.baidu.com.cn/s?wd=' + word + '&cl=3'

第四步爬取内容并解析

    html = requests.get(url=url,headers=headers)path = etree.HTML(html.content)

下面是抓取部分代码

        for i in range(1, flag):sentence = ""for j in path.xpath('//*[@id="%d"]/h3/a//text()'%((k-1)*10+i)):sentence+=jprint sentencelist.append(sentence)

谢谢大家

【github传送门1 百度爬虫】https://github.com/gongpx20069/BaiduSpider

【github传送门2 Bing爬虫】https://github.com/gongpx20069/BingSpider

百度搜索引擎和必应搜索引擎搜索内容简单爬取Python相关推荐

scrapy简单爬取内容
scrapy的简单爬取不用新建项目.安装好scrapy后编写爬虫文件 import scrapyclass ZaobaoScrapy(scrapy.Spider):name = "zaoba ...
java爬虫-简单爬取网页图片
刚刚接触到"爬虫"这个词的时候是在大一,那时候什么都不明白,但知道了百度.谷歌他们的搜索引擎就是个爬虫. 现在大二.再次燃起对爬虫的热爱,查阅资料,知道常用java.python语 ...
（55）-- 简单爬取人人网个人首页信息
# 简单爬取人人网个人首页信息 from urllib import requestbase_url = 'http://www.renren.com/964943656' headers = {&q ...
简单爬取wallpaper heaven高清壁纸（福利满满~）
简单爬取wallpaper heaven高清壁纸 2021年1月30日更新由于网站架构更改,以下内容已经并不能再实现爬取思路大体不变,仅供参考思路前言:wallpaper heaven是一个拥有 ...
python爬去百度百科词条_Python爬虫入门学习实践——爬取小说
本学期开始接触python,python是一种面向对象的.解释型的.通用的.开源的脚本编程语言,我觉得python最大的优点就是简单易用,学习起来比较上手,对代码格式的要求没有那么严格,这种风格使得我 ...
Scrapy学习之第一个简单爬取小程序
1.首先,先安装scrapy模块,使用命令:pip install scrapy,安装如果出现error: Microsoft Visual C++ 14.0 is required错误的话可参考文章 ...
爬虫实战--简单爬取小说网站的小说（面对过程）
本篇博文为简单爬取小说网站的小说代码分为三种编程思想,面对过程,面对函数,面对对象,本篇为第一种,也是最简单的一种.面对过程即已过程为中心的编程思想.这里我们把爬取的详细分为以下几个步骤: 1.下载小 ...
爬虫入门—requests模块基础之关键字搜狗搜索信息页面爬取
爬虫入门-requests模块基础之关键字搜狗搜索信息页面爬取 Author: Labyrinthine Leo Init_time: 2021.02.16 Key Words: Spider.r ...
python爬虫下载小说_用PYTHON爬虫简单爬取网络小说
用PYTHON爬虫简单爬取网络小说. 这里是17K小说网上,随便找了一本小说,名字是<千万大奖>. 里面主要是三个函数: 1.get_download_url() 用于获取该小说的所有章节 ...

百度搜索引擎和必应搜索引擎搜索内容简单爬取Python

百度搜索引擎和必应搜索引擎搜索内容简单爬取Python相关推荐

最新文章

热门文章