urllib2 request 模拟伪装浏览器

直接上代码吧

 1 # -*- coding:utf-8 -*-
 2
 3 import urllib2
 4 import random
 5
 6 url = "http://www.baidu.com/"
 7
 8 # 可以是User-Agent列表，也可以是代理列表
 9 ua_list = [
10         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
11         "Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
12         "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
13         "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
14         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
15 ]
16
17 # 在User-Agent列表里随机选择一个User-Agent
18 user_agent = random.choice(ua_list)
19
20 # 构造一个请求
21 request = urllib2.Request(url)
22
23 # add_header()方法 添加/修改 一个HTTP报头
24 request.add_header("User-Agent", user_agent)
25
26 # get_header() 获取一个已有的HTTP报头的值，注意只能是第一个字母大写，其他的必须小写
27 print request.get_header("User-agent")

打印出来是：

Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11
[Finished in 1.4s]

转载于:https://www.cnblogs.com/lxs1314/p/7580135.html

urllib2 request 模拟伪装浏览器相关推荐

urllib，urllib2和request模拟登陆人人网比对
一.urllib+urllib2+cookielib版 # -*- coding:utf-8 -*- import urllib2,urllib,cookielib data={"email ...
python爬虫之伪装浏览器
问题描述:File "D:\python\Lib\httplib.py", line 417, in _read_status ra ...
python伪装浏览器爬取网页图片_【IT专家】python 分别用python2和python3伪装浏览器爬取网页内容...
本文由我司收集整编,推荐下载,如有疑问,请与我司联系 python 分别用 python2 和 python3 伪装浏览器爬取网页内容 2017/07/06 1 python 网页抓取功能非常强大,使 ...
python 爬虫伪装浏览器_python爬虫之伪装浏览器
问题描述:File "D:\python\Lib\httplib.py", line 417, in _read_status raise BadStatusLine(line) ...
python伪装浏览器什么意思_用python2和python3伪装浏览器爬取网页
python网页抓取功能非常强大,使用urllib或者urllib2可以很轻松的抓取网页内容.但是很多时候我们要注意,可能很多网站都设置了防采集功能,不是那么轻松就能抓取到想要的内容. 今天我来分享下 ...
python 模拟用户点击浏览器_python模拟一个浏览器
知道如何快速在命令行或者python脚本中实例化一个浏览器通常是非常有用的. 每次我需要做任何关于web的自动任务时,我都使用这段python代码去模拟一个浏览器. 1 2 3 4 5 6 7 8 9 ...
Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）
Python爬虫 -- urllib库的使用(get/post请求+模拟超时/浏览器) 这里写目录标题 Python爬虫 -- urllib库的使用(get/post请求+模拟超时/浏览器) 1.Py ...
python伪造浏览器请求头_Python3 伪装浏览器的方法示例
一.伪装浏览器对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应.所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军. 具体实现:自定义网页请求报头. 二.使用Fiddler查看请求 ...
Crawler：反爬虫机制之基于urllib库+伪装浏览器+代理访问(代理地址随机选取)+实现下载某网址上所有的图片到指定文件夹
Crawler:反爬虫机制之基于urllib库+伪装浏览器+代理访问(代理地址随机选取)+实现下载某网址上所有的图片到指定文件夹导读基于反爬虫机制之基于urllib库+伪装浏览器+代理访问(代理地 ...

urllib2 request 模拟伪装浏览器

urllib2 request 模拟伪装浏览器相关推荐

最新文章

热门文章