一、获取百度网页并打印

代码如下：

import requests
url='http://www.baidu.com'
r=requests.get(url)
r.encoding=r.apparent_encoding   #改变我们获取页面的编码方式
print(r.text)

r.encoding=r.apparent_encoding

r.encoding：从HTTP header中猜测的内容响应编码方式

r.apparent_encoding：从内容中分析出响应的编码方式

出现乱码的原因：

header中没有charset字段则默认为ISO-8859-1编码模式，无法解析中文

二、获取美女图片并下载到本地

import requests
src='https://www.faxianzhe66.com/upload/products/202106/26/14174160d6c685e8bc9EZDlqz.jpg'
r=requests.get(src)
with open('小姐姐.jpg','wb')as f:f.write(r.content)
print('下载完成')

运行结果：

三、获取美女视频并下载到本地

import requestssrc = 'https://apd-36ae3724d7c0b6835e09d09afc998cfa.v.smtcdns.com/om.tc.qq.com/Amu-xLH92Fdz3C-7PsjutQi_lMKUzCnkiicBjZ69cAqk/uwMROfz2r55oIaQXGdGnC2dePkfe0TtOFg8QaGVhJ2MPCPEj/svp_50001/szg_9711_50001_0bf26aabmaaaqyaarhnfdnqfd4gdc3yaafsa.f632.mp4?sdtfrom=v1010&guid=442bebcff8ab31b452c4a64140cd7f3a&vkey=762D67379522C89E3A76A0759F02B2905311E3FE385B3EC351571A1F2D5A0A6A58D5744F68F9C668211191507472C84F4D2B7D147B7F1BB833B04D6E0CC3945CA361CF9E63E01C277F08CD3D69B288562D33EB7EB83861585CB549B2D4EE38E50CA732275EE0B5ECD680378B2DBEBB0DBEE5B100998B1A83694140CF8588CABD91EB22B4369D5940'r = requests.get(src)with open('movie.mp4', 'wb') as f:f.write(r.content)print('下载完成')

四、百度关键词搜索爬取

import requests
url='http://www.baidu.com'    #百度网址
keyword=input('请输入关键字:')   #keyword是个字符串
header={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53'
}
param={'kw':keyword
}
#发起请求，做好伪装
r=requests.get(url,headers=header,params=param)
#获取相应的数据
content=r.text
fileName=keyword+'.html'
#将数据保存到本地
with open(fileName,'w',encoding='utf-8')as f:f.write(content)
print('保存完毕')

运行结果如下：

问题：我打开宋威龙.html并没有出现与他相关的网页，还是在百度首页。

互联网的广大朋友们，你们要是知道原因，欢迎留言！！！（如果后期我找到了，我会添加这块内容）

五、爬取百度翻译

import requests
import json
url='https://fanyi.baidu.com/sug'
kw=input('请输入翻译的单词：')
data={'kw':kw
}
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2626.106 Safari/537.36'
}
r=requests.post(url,data=data,headers=headers)
content=r.json()
fileName=kw+'.json'
with open(fileName,'w',encoding='utf-8') as fp:json.dump(content,fp=fp,ensure_ascii=False)
j=content['data'][1]['v']
print(j)

跟着川川学习爬虫的第四天，继续加油！

爬虫学习打卡第四天——requests实战相关推荐

爬虫学习笔记（第二章）requests模块
文章目录前言第二章 request模块简介实战编码 ①爬取搜狗首页的页面数据实战巩固 ②网页采集器 UA ③破解百度翻译 ④豆瓣电影爬取 ⑤肯德基餐厅位置爬取 ⑥药监总局相关数据爬取前言 ...
爬虫学习笔记（二）——使用 requests 爬取百度图片
一.抓取首页图片静态页面流程: 1.1.找到目标数据这里用狗的图片来举例,接下来我们就要分析然后爬取这个页面所有狗的图片的规律 1.2.分析请求流程先访问page页获取网页的源代码 # 网页的 ...
python网络爬虫学习笔记（六）：Requests库的使用
文章目录 1.基础操作 1.1 GET请求 1.2 post请求 1.3 响应 2.高级用法 1.1 文件上传 2.2 Cookies 2.3 会话维持 2.4 SSL证书验证 2.5 代理设置 2. ...
Java学习打卡第四天——[抽象类，多态，接口，形参的简介和使用]
Javaee之[抽象类] Javaee之[多态] Javaee之[接口] Javaee之[抽象类,多态,接口,继承] Javaee之[形参] 抽象类在面向对象的概念中,所有的对象都是通过类来描绘的, ...
【爬虫学习笔记day66】7.8. scrapy-redis实战-- IT桔子分布式项目2
文章目录 7.8. scrapy-redis实战-- IT桔子分布式项目2 项目实现: items.py settings.py middlewares.py spiders/juzi.py scra ...
pytorch学习笔记（十四）：实战Kaggle比赛——房价预测
文章目录 1. Kaggle比赛 2. 获取和读取数据集 3. 预处理数据 4. 训练模型 5. KKK折交叉验证 6. 模型选择 7. 预测并在Kaggle提交结果 1. Kaggle比赛 Kagg ...
【爬虫学习笔记day65】7.7. scrapy-redis实战-- IT桔子分布式项目1
文章目录 7.7. scrapy-redis实战-- IT桔子分布式项目1 7.7. scrapy-redis实战-- IT桔子分布式项目1 IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息 ...
Python3 爬虫学习笔记 C14【验证码对抗系列 — 点触验证码】
Python3 爬虫学习笔记第十四章 -- [验证码对抗系列 - 点触验证码] 文章目录 [14.1]关于点触验证码 [14.2]点触验证码攻克思路 [14.3]模拟登录 12306 - 总体思路 [ ...
爬虫学习笔记（三）——利用JSON爬取豆瓣热映的使用
系列文章目录爬虫学习笔记(一):requests基础用法之爬取各类主流网站1 爬虫学习笔记(二):requests基础用法之爬取各类主流网站2 文章目录系列文章目录前言一.JSON是什么? 二 ...

爬虫学习打卡第四天——requests实战

一、获取百度网页并打印

二、获取美女图片并下载到本地

三、获取美女视频并下载到本地

四、百度关键词搜索爬取

五、爬取百度翻译

爬虫学习打卡第四天——requests实战相关推荐

最新文章

热门文章