python实现自动下载软件怎么办_打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!...
都很有规律不是吗?而在Scrapy里面,就可以设定我们想要的规律,Scrapy就可以对这些符合规律的网址及页面信息进行处理。先来看看成果吧,这一部分中,我们想要的结果就是输出排行榜里面的电影名称:
而且我们其实可以做的更好。
Pycharm用这个文件夹创建Project,douban/db处创建一个方便IDE运行的文件run.py
输入
from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'douban'])
打开douban/db/items.py,如该文件的名字,这个是我们从豆瓣这个“仓库”里取出来的“货”,我们想要的是什么“货”呢?电影名字。
classDbItem( scrapy.Item ) :
name = scrapy.Field ()
douban/db/db/spiders下创建spider.py,这个文件用来爬取网页,处理网址,我们需要告诉他我们想去的“仓库”该怎么走,该怎么爬。
“货物”信息的获取
下面轮到parse_item这个人来干活了,他需要从上述指定地点找到我们要的“货物”的信息,“货物”位于何处可以通过Xpath来查找。网页上点右键查看源代码,被给包住了,Xpath的功能就是通过这些标签来找到特定信息。
浏览器F12打开调试控制台,
指到该信息处,右侧就会显示出对应的代码
点右键有个好东西,
这个就可以拿来用啦。不幸的是,Scrapy经常不能识别出来,所以我们还需要会一点Xpath的语法(查一查10分钟搞定),参考Copy的自己修改一下。这里推荐Chrome的Xpath Helper这个插件,可以查看自己写的Xpath正不正确。
def parse_item(self,response):
name=response.xpath('//*[@class="title"][1]')
print(name)
好了,测试一下,运行run.py出现以下问题,403 forbidden,网站怀疑我们是机器人操作,
于是在setting.py里面伪装我们是浏览器的正常操作,
增加一个
总结
Scrapy可用来爬特定规则的网址,并进行处理;allow、follow等参数告诉程序如何“顺蔓摸瓜”;Xpath可方便的找出网页中的信息,本文举到的例子仅仅是提取电影名,我们其实如文章一开始的图片可以做的更丰富一些,对分数、演员、导演等加入一些判断,选择我们需要的电影。
进群:125240963 即可获取源码哦!
希望与广大网友互动??
点此进行留言吧!
python实现自动下载软件怎么办_打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!...相关推荐
- python下载电影_打造一款Python实现自动下载电影的“脚本”!那种电影也可以哦!...
原标题:打造一款Python实现自动下载电影的"脚本"!那种电影也可以哦! 都很有规律不是吗?而在Scrapy里面,就可以设定我们想要的规律,Scrapy就可以对这些符合规律的网址 ...
- python文本分析的开源工具_共有11款Python 中文分词库开源软件
"哑哈"中文分词,更快或更准确,由你来定义.通过简单定制,让分词模块更适用于你的需求. "Yaha" You can custom your Chinese W ...
- 手机学python语言用什么软件好_盘点几个在手机上可以用来学习编程的软件
安装完成后,打开这个软件,就可以直接编写C/C++代码了,如下,代码高亮,语法检查,还支持查找.定位行.格式化代码功能: 编辑完成后,直接点击"Run",就能运行程序,效果如下: ...
- python客户端软件开发_妙小程python客户端
妙小程python客户端官方版是一款由妙小程开发的学习Python课程的学习软件,妙小程python客户端最新版软件拥有丰富代码库,编程更加酷炫,妙小程python客户端集有趣.高科技.有温度于一身, ...
- python数据分析用什么软件好_居民出行OD调查后数据分析应该用什么软件做?
居民出行OD调查后数据分析应该用什么软件做?以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 居民出行OD调查后数据分析应 ...
- python贴吧自动评论软件手机版_python实现百度贴吧自动顶贴机器人
python顶贴机器人视频演示如下 测试版本: python 3.7 64位 火狐浏览器firefox 83.0 (64 位) selenium 3.141.0 文件目录结构如下图: 开发这款小工具, ...
- python下载无法安装_各种版本的python下载安装教程
关键时刻,第一时间送达! 先不说楚枫的这般年纪,能够踏入元武一重说明了什么,最主要的是,楚枫在刚刚踏入核心地带时,明明只是灵武七重,而在这两个月不到的时间,连跳两重修为,又跳过一个大境界,踏入了元武一 ...
- vue打包的app如何设置自动清理软件缓存_使用Webpack启动你的Vue.js应用
Webpack是开发Vue.js单页面应用(SPA)最基本的工具.通过管理负责的构建步骤能够使开发工作流非常的简单,同时也能够优化应用的大小提升应用的性能. 在这篇文章我将为大家展示Webpack是如 ...
- 限制网速软件_最具良心的三款下载软件丨你pick哪款?
大家在生活中免不了要去网上找各种资源,然后用下载软件把资源下载到本地然后使用.但是现在一些主流的下载软件都会有下载速度限制,就会导致过多的时间浪费,资源与工作内容还有时间的矛盾.今天,我就来给大家分享 ...
最新文章
- 【Java进阶】SpringBoot整合Redis
- C#宿舍管理系统数据表文档分析含释义
- 小白必看!JS中循环语句大集合
- python计算while循环次数_python-----运算符及while循环
- 创建带Tomcat服务的Centos Docker镜像
- 【LeetCode】124. Binary Tree Maximum Path Sum
- css 左边阴影_css揭秘-用户体验
- MOSFET(三):电源缓启动
- 网络登录计算机密码怎么设置,电脑怎么设置无线网密码?
- matlab矩阵逆时针旋转90度_matlab矩阵旋转任意角度的函数 imrotate
- SUNLORDINC顺络电子LTCC产品推广资料
- hadoop容错性(详解版)
- aso关键词优化,我们该不该去做?
- java定义一个short_JDK源码解读第七章:java.lang.Short
- pytest框架笔记(十三) : Pytest+Allure定制报告
- 总价+激励合同(FPIF)的计算,与CPIF的区别
- C语言中abs和fabs的区别
- 计科学硕考研初试经验贴(11408)
- laravel voyager 笔记
- 钛资本研究院:基层诊疗,人工智能临床辅助决策的新战场