超级无敌伪装技之User-Agent

python爬虫爬取网站内容时，如果什么也没带，即不带报头headers，往往会被网站管理维护人员认定为机器爬虫。因为，此时python默认的user-agent如Python-urllib/2.1一样。因此，网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以，此时往往就需要伪装user-agent，模拟成真实的浏览器去取出内容。下面是一些比较常用的浏览器的user-agent：

Chrome

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",

"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",

"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",

"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",

"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",

"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",

Firefox

"Mozilla/5.0 (Macintosh; U; Mac OS X Mach-O; en-US; rv:2.0a) Gecko/20040614 Firefox/3.0.0 ",

"Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.0.3) Gecko/2008092414 Firefox/3.0.3",

"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.1) Gecko/20090624 Firefox/3.5",

"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.14) Gecko/20110218 AlexaToolbar/alxf-2.0 Firefox/3.6.14",

"Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"

Opera

"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",

"Opera/9.80 (Android 2.3.4; Linux; Opera mobi/adr-1107051709; U; zh-cn) Presto/2.8.149 Version/11.10",

Safari

"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10",

"Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/533.17.8 (KHTML, like Gecko) Version/5.0.1 Safari/533.17.8",

"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5",

"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",

"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",

"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

一般主要应用Chrome或者Firefox，爬虫应用的时候，可以把他们都放到列表里面。然后import random，使用random.choice（list）随机获取一个user-agent。

******************************************************************************************************************

不过呢，现在我要介绍一个python里面更为牛逼的方法（嘘，一般人我不告诉他）——fake-useragent

安装

pip3 install fake_useragent

各浏览器User-Agent的值

from fake_useragent import UserAgent
ua = UserAgent()
# ie浏览器的user agent
print(ua.ie)

Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)

#opera浏览器
print(ua.opera)

Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11

#chrome浏览器
print(ua.chrome)

Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2
#firefox浏览器

#firefox浏览器
print(ua.firefox)

Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1

#safri浏览器
print(ua.safari)

Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.2

这是python里面的一个useragent池，非常好用！

使用方法

from fake_useragent import UserAgent

ua = UserAgent()

headers = {'User-Agent':ua.random}

超级无敌伪装技之User-Agent相关推荐

鸿蒙珠融入体内,斗罗大陆同人小说排行榜。第一名：《斗罗大陆之超级无敌》：主角...
该楼层疑似违规已被系统折叠隐藏此楼查看此楼斗罗大陆同人小说排行榜. 第一名:<斗罗大陆之超级无敌>:主角玉天龙被鸿蒙紫珠带着穿越到斗罗大陆,遁入柳二龙体内,柳二龙未与他人交合,便生下玉 ...
超级无敌数字加密算法
超级无敌数字加密算法为了让大家过一个开心的假期,给大家出一个非常简单的签到题吧这真的是一个非常简单的签到题相信你一定能够做得出来的吧输入一个4位数,将其加密后输出.方法是将该数每一位上的数字加 ...
“药药切克闹”系列－基于STM32触摸屏的超级无敌智能电子密码锁（仿手机键盘26键设计，密码支持英文大写+英文小写+数字）
项目名称:"药药切克闹"系列-基于STM32触摸屏的超级无敌智能电子密码锁(密码支持英文大写+英文小写+数字) CSDN:YANG-03 ...
java主要用于神摸地方,超级无敌神奇的java期末考试题库
<超级无敌神奇的java期末考试题库>由会员分享,可在线阅读,更多相关<超级无敌神奇的java期末考试题库(20页珍藏版)>请在人人文库网上搜索. 1.一.选择题1.已知X和Y ...
SpringBoot 自动配置原理（超级无敌详细）-2
SpringBoot 自动配置原理(超级无敌详细)-1 2.自动配置的实现刚刚我们整体的过了一下主配置文件是如何实现的,但我们还没深入的研究如何实现自动装配功能.我们回到这个文件下,找一个具体的自动 ...
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细) hadoop 配置图片打不开的可以点击下方链接直接去图床查看,辣鸡CSDN 安装jdk sudo apt update// ...
超级无敌神奇的java_超级无敌神奇的java期末考试题库.doc
超级无敌神奇的java期末考试题库.doc 还剩 19页未读, 继续阅读下载文档到电脑,马上远离加班熬夜! 亲,喜欢就下载吧,价低环保! 内容要点: 20double totalPrice() {/ ...
stm32f302实现斩波控制步进电机_spwm超级无敌stm32步进电机控制教程
spwm超级无敌stm32步进电机控制教程 [复制链接] 本帖最后由 huo_hu 于 2014-3-10 14:00 编辑本教程介绍步进电机驱动和细分的工作原理,以及stm32103为主控芯片制作 ...
C++ 时间计算器之超级无敌小白版刚入门的快点看过来！
C++ 时间计算器之超级无敌小白版上次写了日期计算器效果不错,这次时间计算器也来啦!而且超简便耶,小白快点看过来!! 日期计算器戳这儿跳转好啦好啦,进入正题喽! 类的定义 #ifndef PO ...

超级无敌伪装技之User-Agent

安装

各浏览器User-Agent的值

超级无敌伪装技之User-Agent相关推荐

最新文章

热门文章