User-Agent伪装

一种反爬机制。
原理：网站的服务器会检测对于请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，
说明该请求为一个正常的请求。然而我们写的get请求的身份标识是爬虫程序，所以需要伪装成浏览器的User-Agent。

完整代码

import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48'}#url='https://www.sogou.com/web?query=加藤惠'
url='https://www.sogou.com/web?' #问号可要可不要
#制作动态url,处理url携带的参数
kw=input('输入一个关键词：')
param={'query':kw
}
response=requests.get(url=url,params=param,headers=headers) #等于在url后面自动拼接了参数,headers增加了请求头
page_text=response.textfilename=kw+'.html'
with open(filename,'w',encoding='utf-8') as f:f.write(page_text)
print(filename+'保存成功！！！')

Requests库实战(一)---网页采集器相关推荐

requests实战之网页采集器
import requests if __name__ == "__main__":headers = {'user-agent': 'Mozilla / 5.0(Windows ...
php 抓取搜狗页面,爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）...
实战巩固 - 需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器) - UA检测 - UA伪装 #UA:User-Agent(请求载体的身份标识) #UA检测: 门户网站的服务器会检测对应请求的 ...
Python 网络爬虫笔记2 -- Requests库实战
Python 网络爬虫笔记2 – Requests库实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:P ...
Python爬虫之网页采集器
文章目录前言一.爬虫是什么? 二.使用步骤 1.引入库 2.简单的页面爬取的四步流程 1.获取url 2.向url发送请求,并获取响应(需要http协议) 3.如果从响应中提取url,则继续发送请 ...
爬虫-实现一个简易的网页采集器
1 requests模块的基本使用 """ 爬虫 """ """ 什么是爬虫?就是通过编写程序模拟浏览器上网, ...
疯子网页采集器教程之采集需要保存图片的教程
疯子网页采集器教程之采集需要保存图片的教程第一步:选中 "保存图片"第二步:填写规则图片开始标签:默认为 (?:src)=" 一般不需要修改图片规则:(.*?\.jpg ...
高效采集互联网信息，用绿色版网页采集器
随着信息时代的到来,人们对于信息的需求越来越大.而互联网上的信息量巨大,如何快速.准确地获取需要的信息成为了一项重要的技能.而网页采集器便是一种能够帮助我们实现这一目标的工具.在本文中,我们将介绍一款 ...
疯子网页采集器教程之图片本地化教程
疯子网页采集器教程之图片本地化教程第一步: 选中 "图片本地化" 填写首页地址,比如http://www.zhuvl.com 必需填写http://否则会出错第二步:在服务器根 ...
网页采集器哪个好-免费网页采集器排行榜
网页采集器哪个好,今天给大家分享这款网页采集器哪个好.为什么今天给大家分享这款免费的网页采集器?因为这款免费的网页采集器只要点点鼠标就能轻松获取你想要的数据.很多站长都用过这款爬虫采集器实现内容自动更 ...

Requests库实战(一)---网页采集器

网页采集器

User-Agent伪装

完整代码

Requests库实战(一)---网页采集器相关推荐

最新文章

热门文章