概叙

我想很多人一开始接触爬虫,想学的目的就是抓取某些小姐姐的视频啊,图片啊 或者抓取小说之类的!这个应该是大家想学爬虫的一个动力吧!今天就给大家整一期爬小姐姐视频,本来爬正经视频的,但是想了想,还是要整点实用的,那必须换成小姐姐,直接整活!

用的环境是Python3.6和pycharm,需要安装一个浏览器驱动(谷歌或者火狐的都可以,跟浏览器版本相近就行)没有的小伙伴可以加这个群点我免费加群领取 包括本次的完整代码,视频教程都在群里免费领取。​

很多小伙伴在学习的过程中因为没有好的学习资料、学习路线,或者遇到问题得不到及时解决导致自己学习进度缓慢,甚至放弃学习了,在这里我统统都给大家准备好了,从零基础到实战,各个方向的学习路线统统免费送给大家,学习问题都可以在群里得到解答,点我免费领取

​​

先欢迎各位了!

本次要用到的模块

requests >>> pip install requests
selenium >>> pip install selenium
re
os

大概思路
一. 数据来源分析

确定需求 (我们要爬的内容是什么?)
抖音视频内容
通过开发者工具进行抓包分析
I. (F12/鼠标右键点击检查可以打开) 选择network 选择 media 找播放地址
II. 找播放地址来源 >>>
爬一个视频
二. 代码实现过程

发送请求 对于视频详情页发送请求
获取数据 获取网页源代码数据
解析数据 提取视频播放地址 以及视频标题
下载保存
各个模块的作用

import requests  # 数据请求 第三方模块 pip install requests
import re  # 正则表达式模块
import os  # 文件操作模块
import time # 时间模块
from selenium import webdriver  # pip install selenium

​自动判断有无文件夹,自动创建,文件夹名字可以自己随便命名,这里我们创建名字为video,这里也可以自己先创建一个相同名字的文件夹放在代码旁边。

filename = 'video\\' # 文件名字
if not os.path.exists(filename): # 判断如果没有这个文件夹的话os.mkdir(filename) # 创建这个文件

很多文件下载下来后名字带有特殊符号的,这时候我们就要把这些特殊符号给替换掉,不然不能保存。

def change_title(title):pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|\n]")  # '/ \ : * ? " < > |'new_title = re.sub(pattern, "_", title)  # 替换为下划线return new_title

这一步需要安装好浏览器驱动,selenium 可以模拟人的行为去操作浏览器,模拟滑动操作。自己翻的话,多麻烦是吧。验证码没有写进来,需要自己手动过一下验证码。

def drop_down():"""执行页面滚动的操作"""  # javascriptfor x in range(1, 30, 4):  # 在你不断的下拉过程中, 页面高度也会变的time.sleep(1)j = x / 9# document.documentElement.scrollTop  指定滚动条的位置# document.documentElement.scrollHeight 获取浏览器页面的最大高度js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % jdriver.execute_script(js)

实例化一个浏览器的对象

driver = webdriver.Chrome()

访问url地址网址

driver.get('.......')

括号里面的内容替换成你想要爬取的博主,我就不放链接了,免得审核不过。
截个图吧,这里以他为例,具体是谁,懂得都懂。
​​

​不,我不懂~

怎么找地址呢,在当前页面链接中把?之前的都复制下来放进括号里面替换掉… 这几个点。

返回的列表 里面元素是对象

lis = driver.find_elements_by_css_selector('div._927ae3b0dd790b5b62eae61c7d2fa0bc-scss > div:nth-child(2) > ul li')

调用 find_element_by_css_selector() 方法

li_url = li.find_element_by_css_selector('a').get_attribute('href')

headers 请求头 伪装作用,user-agent: 浏览器的基本信息。

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'}response = requests.get(url=li_url, headers=headers)

获取数据 response.text 获取响应体的文本数据
print(response.text)
解析数据 通过 re 正则表达式
正则表达式匹配出来的内容是列表
贪婪模式[我全都要] 非贪婪模式(?)

title = re.findall('<title data-react-helmet="true"> (.*?)</title>', response.text, re.S)[0]new_title = change_title(title)

返回是列表没问题, [1] 索引取值 第一个元素索引位置是0 第二个元素索引位置 1。

html_data = re.findall('src(.*?)vr%3D%2', response.text)[1]

解码

video_url = requests.utils.unquote(html_data).replace('":"', 'http:')

print(video_url)保存数据,response.content (获取响应体的二进制数据),为什么我要获取二进制数据呢,如果要保存图片/视频/音频/特定格式的文件,都是二进制数据保存的。 、

video_content = requests.get(url=video_url, headers=headers).content

mode 保存方式, w 是写入, b 二进制模式 ,wb 以二进制方式保存, mode 默认是, r 读取,as 重命名 f。

然后看一下效果

​​​​

​​

兄弟们,冲冲冲!还是新鲜的,只要你去试了,必然是成功的,如果你连试都没试,那当我没说,文章如果看不懂,可以进那个群看视频!工具软件都有现成的直接找管理要就好了!

21年抓取抖音小姐姐最新版教程!最关键的是无水印下载。这还学不会?相关推荐

  1. 21年更新版抓取小姐姐短视频教程!最关键的是无水印下载哦。这还学不会?

    概叙 我想很多人一开始接触爬虫,想学的目的就是抓取某些小姐姐的视频啊,图片啊 或者抓取小说之类的!这个应该是大家想学爬虫的一个动力吧!今天就给大家整一期爬小姐姐视频,本来爬正经视频的,但是想了想,还是 ...

  2. Python爬虫之如何爬取抖音小姐姐的视频

    介绍 这次爬的是当下大火的APP--抖音,批量下载一个用户发布的所有视频.各位也应该知道,抖音只有移动端,官网打开除了给你个APP下载二维码啥也没有,所以相比爬PC网站,还是遇到了更多的问题,也花了更 ...

  3. 资深程序员教你,用python入门的知识抓取抖音短视频,太厉害了

    抖音短视频可以说是当下最流行的自媒体平台,而python编程同样也是目前最流行的编程语言. 今天,就让一位大厂的资深程序员,用最简单的方式,使用python抓取抖音短视频. 到时候我会把所有的源代码都 ...

  4. python爬取无水印抖音小姐姐视频(2018最新,含Pyqt客户端)

    各位小伙伴,之前一段时间迷上了抖音小姐姐视频,但是下载的视频都有水印,于是自己用Python 写了个爬取小姐姐视频的工具,大家可以直接拷贝到自己编译器上运行.此外,我还利用pyqt5写了个操作界面,这 ...

  5. 通过Charles抓取抖音无水印视频

    之前直接将抖音的复制链接复制到PC端浏览器中打开就能获取到无水印视频,但是这个方法最近被抖音禁了,看到的视频带水印了.废话不多说,今天就来介绍如何通过charles来抓取抖音APP请求获取无水印视频. ...

  6. c语言抓取抖音视频,【FiddlerScript】利用Fiddler中的FiddlerScript自动抓取抖音无水印视频并且自动保存...

    本帖最后由 小白大侠 于 2021-3-14 13:55 编辑 Fiddler自动抓取抖音无水印视频并且自动保存 前言:这段代码实用性不大,大量数据处理容易造成Fiddler卡死,只是希望给未来写Fi ...

  7. python 抖音文案提取_一篇文章教会你用Python抓取抖音app热点数据!

    今天给大家分享一篇简单的安卓app数据分析及抓取方法.以抖音为例,我们想要抓取抖音的热点榜数据. 要知道,这个数据是没有网页版的,只能从手机端下手. 首先我们要安装charles抓包APP数据,它是一 ...

  8. 抖音短视频数据抓取实战系列(三)——Fiddler抓取抖音用户详细信息数据

    抖音短视频数据抓取实战系列(三)--Fiddler抓取抖音用户详细信息数据 项目目录 1.抖音短视频数据抓取实战系列(〇)--前言 2.抖音短视频数据抓取实战系列(一)--模拟器的选择与设置 3.抖音 ...

  9. 抓取抖音数据(fiddler+uiAutomator2+java)

    最近研究抖音的爬虫,获取抖音的粉丝信息,分享给大家(共同学习,进步)我会把相关代码上传,方便大家直接下载使用 使用的软件:fiddler + androidStudio(MyEclipse/eclip ...

最新文章

  1. (面试)java基础-== 和 equals 的区别?
  2. 拒绝DNN过拟合,谷歌准确预测训练集与测试集泛化差异,还开源了数据集 | ICLR 2019...
  3. 微信小程序lottiejs动画事例代码
  4. Winform应用程序实现通用遮罩层二
  5. 基本数据类型之间的运算
  6. Server 2012 Hyper-v新功能之二:自动化支持技术
  7. dingding post POST请求
  8. 怎么用git将本地代码上传到远程服务器_git在远程服务器创建项目并将本地代码推送到服务器上...
  9. Zookeeper基础使用
  10. mysql8.0.17压缩包安装教程_mysql 8.0.17 解压版安装配置方法图文教程
  11. LayaAir HttpRequest 网络访问
  12. 浅谈FOF场外投资交易流程
  13. HGNC 数据库-人类基因组数据库
  14. 矩形窗、汉明窗效果对比(matlab)
  15. 20190401每周精品之认知
  16. win7桌面背景_解决WIN7桌面背景无法更改的问题
  17. CMDS目的端数据库碎片整理记录
  18. podman 开机自启
  19. pandas中merge函数的用法
  20. php app用户验证失败,Apple App Store无法成功添加沙箱技术测试员账号

热门文章

  1. 小度音箱dueros授权
  2. 人生哲理,小笑话中的哲理
  3. Sleepwatcher:Mac睡眠与唤醒自动执行命令
  4. linux宝塔mysql不能启动_【宝塔面板】Mysql无法启动如何处理
  5. CSS(字体、背景)
  6. warning: 重定向到 https://gitlab.link.cn/video/video_ios_sdk.git/
  7. Fluent截取局部面
  8. 锐龙适合java开发_荣耀锐龙版笔记本怎么样?开箱评测了解一下
  9. 香港电讯牌照申请介绍
  10. 【毕业论文】| 基于Unity3D引擎的冒险游戏的设计与实现