python 爬虫使用代理爬取

python
专栏收录该内容
40 篇文章0 订阅
订阅专栏
之前有需要翻墙爬取内容，发现需要使用代理，不能简单的在requests里加个参数就行了，现在把脚本改成通用模板，有需要的可以按照自己的需求改一下哈。

import urllib.request as request
import requests
import json

'''
@author:Lancer Wu
@email:wxs231@163.com
'''

def proxies_spider(canshu):
'''
使用代理的爬虫
:param canshu: 用字典包裹的参数
canshu = {
'url': 'url',
'cookie': 'cookie',
……
}
:return:
'''

# 代理设置
proxies = {
'https': 'https://127.0.0.1:64708', # 查找到你的vpn在本机使用的https代理端口
'http': 'http://127.0.0.1:64708', # 查找到vpn在本机使用的http代理端口
}

# 请求的链接
url = canshu['url']

# 请求的参数
data = {
'canshu1': canshu['canshu1'],
'canshu2': canshu['canshu2'],
'canshu3': canshu['canshu3']
}

# 请求的头部
headers = {
'user-agent': user_agent, # 全局变量
'Cookie': canshu['cookie'] # 有需要则传入cookie
}

# request增加代理设置
opener = request.build_opener(request.ProxyHandler(proxies))
request.install_opener(opener)

# get请求
req_result = requests.get(url=url, params=data, headers=headers, proxies=proxies)

# post请求
# req_result = requests.post(url=url, data=data, headers=headers, proxies=proxies)

# 如果是html页面：
req_result = req_result.text

# 如果是json数据：
# req_result = req_result.json()

return req_result

if __name__ == "__main__":
# 访问的浏览器信息
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
'Chrome/56.0.2924.87 Safari/537.36'

canshu = {
'url': '', # 请求的链接
'cookie': '', # 请求的cookie，如果不需要可以留空
'canshu1': 'data1', # 请求的第一个参数
'canshu2': 'data2', # 请求的第二个参数
'canshu3': 'data3' # 请求的第三个参数
}

# 提交查询
req_result = proxies_spider(canshu)
print('req_result', req_result)

源码地址：
https://github.com/wuxs231/python_proxies_spider

python 爬虫使用代理爬取相关推荐

[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（四） —— 应对反爬技术（选取 User-Agent、添加 IP代理池以及Cookies池）
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(三) -- 数据的持久化--使用MongoDB存储爬取的数据最近项目有些忙,很多需求紧急上线,所以一直没能完善< 使用 ...
Python爬虫---影评的爬取
Python爬虫-影评的爬取介绍:爬虫练手,使用Requests库进行豆瓣影评的爬虫,做成词云图,写文章主要做一些问题解决的记录. 运行环境:python 3.8, Pycharm 关于在豆瓣爬取影 ...
【Python爬虫】从零开始爬取Sci-Hub上的论文(串行爬取)
[Python爬虫]从零开始爬取Sci-Hub上的论文(串行爬取) 维护日志项目简介步骤与实践 STEP1 获取目标内容的列表 STEP2 利用开发者工具进行网页调研 2.1 提取文章链接和分页链 ...
[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（二） —— 编写一个基本的 Spider 爬取微博用户信息
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(一) -- 新建爬虫项目在上一篇我们新建了一个 sina_scrapy 的项目,这一节我们开始正式编写爬虫的代码. 选择目标 ...
[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（三） —— 数据的持久化——使用MongoDB存储爬取的数据
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(二) -- 编写一个基本的 Spider 爬取微博用户信息在上一篇博客中,我们已经新建了一个爬虫应用,并简单实现了爬取一位微 ...
python爬虫 requests+bs4爬取猫眼电影傻瓜版教程
python爬虫 requests+bs4爬取猫眼电影傻瓜版教程前言一丶整体思路二丶遇到的问题三丶分析URL 四丶解析页面五丶写入文件六丶完整代码七丶最后前言大家好我是墨绿头顶总 ...
python 爬虫实例电影-Python爬虫教程-17-ajax爬取实例（豆瓣电影）
Python爬虫教程-17-ajax爬取实例(豆瓣电影) ajax: 简单的说,就是一段js代码,通过这段代码,可以让页面发送异步的请求,或者向服务器发送一个东西,即和服务器进行交互对于ajax: ...
Python爬虫系列之爬取微信公众号新闻数据
Python爬虫系列之爬取微信公众号新闻数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发 > 点击这里联系我们 < 微信请扫描下方二维码代码仅供学习交流 ...
携程ajax,Python爬虫实战之爬取携程评论
一.分析数据源这里的数据源是指html网页?还是Aajx异步.对于爬虫初学者来说,可能不知道怎么判断,这里辰哥也手把手过一遍. 提示:以下操作均不需要登录(当然登录也可以) 咱们先在浏览器里面搜索携 ...

python 爬虫使用代理爬取

python 爬虫使用代理爬取相关推荐

最新文章

热门文章

python 爬虫 使用代理 爬取

python 爬虫 使用代理 爬取相关推荐

最新文章

热门文章

python 爬虫使用代理爬取

python 爬虫使用代理爬取相关推荐