python京东商品采集_利用Python正则表达式抓取京东网商品信息
京东(JD.com)是中国最大的自营式电商企业,2015年第一季度在中国自营式B2C电商市场的占有率为56.3%。如此庞大的一个电商网站,上面的商品信息是海量的,小编今天就带小伙伴利用正则表达式,并且基于输入的关键词来实现主题爬虫。
在京东网上,狗粮信息在京东官网上的网页源码如下图所示:
狗粮信息在京东官网上的网页源码
话不多说,直接撸代码,如下图所示。小编用的是py3,也建议大家以后多用py3版本。通常URL编码的方式是把需要编码的字符转化为%xx的形式,一般来说URL的编码是基于UTF-8的,当然也有的于浏览器平台有关。在Python的urllib库中提供了quote方法,可以实现对URL的字符串进行编码,从而可以进入到对应的网页中去。
正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE),是一种可以用于模式匹配和替换的强有力的工具。找到目标网页之后,调用urllib中的urlopen函数打开网页并获取源码,之后利用正则表达式实现对目标信息的精准采集。
利用正则表达式实现对目标信息的精准采集
正则表达式写在这个程序中确实蛮复杂的,也占据了多行,但是主要用到的正则表达式是[\w\W]+?和[\s\S]+?。
[\s\S]或者[\w\W]是完全通配的意思,\s是指空白,包括空格、换行、tab缩进等所有的空白,而\S刚好相反。这样一正一反下来,就表示所有的字符,完全的,一字不漏的。另外,[]这个符号,表示在它里面包含的单个字符不限顺序的出现,比如下面的正则:[ace]/*,这表示,只要出现a/c/e这三个任意的字母,都会被匹配。
此外,[\s]表示,只要出现空白就匹配;[\S]表示,非空白就匹配。那么它们的组合,表示所有的都匹配,与它相对应的,有[\w\W]等,意义完全相同。其实,[\s\S] 和 [\w\W]这样的用法,比"."所匹配的还要多,因为"."是不会匹配换行的,所有出现有换行匹配的时候,人们就习惯 使用[\s\S]或者[\w\W]这样的完全通配模式。
最后得到的输出效果图如下所示:
输出效果图
这样小伙伴们就可以获取到狗粮的商品信息了,当然,小编在这里只是抛砖引玉,只匹配了四个信息,而且只是做了个单页的获取。需要更多数据的小伙伴们可以自行去更改正则表达式和设置多页,达到你想要的效果。下篇文章小编将利用美丽的汤BeautifulSoup来进行匹配目标数据,实现目标信息的精准获取。
最后给大家简单介绍一下正则表达式。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。
正则表达式对于初学者确实晦涩难懂,不过慢慢学习还是可以掌握的,并不一定要完全记下来,但是你要知道什么时候需要什么参数,能做到顺利使用它就可以了。
想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/
python京东商品采集_利用Python正则表达式抓取京东网商品信息相关推荐
- 003.[python学习] 简单抓取豆瓣网电影信息程序
003.[python学习] 简单抓取豆瓣网电影信息程序 声明:本程序仅用于学习爬网页数据,不可用于其它用途. 本程序仍有很多不足之处,请读者不吝赐教. 依赖:本程序依赖BeautifulSoup4和 ...
- python爬取京东商品图片_python利用urllib实现爬取京东网站商品图片的爬虫实例
本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码! # -* ...
- python中plguba_Python量化交易进阶讲堂-爬虫抓取东方财富网股吧帖子
欢迎大家订阅<Python实战-构建基于股票的量化交易系统>小册子,小册子会陆续推出与小册内容相关的专栏文章,对涉及到的知识点进行更全面的扩展介绍.本篇专栏为小册子内容的加推篇!!! 前言 ...
- 利用火狐浏览器抓取京东Cookie教程
这里以抓取京东CK为例子. 1. 打开火狐浏览器,新建隐私窗口. 地址栏输入 https://wqs.jd.com/ 回车 打开京东网站后 点击右上角 登录,如下图,选择账号密码登录.记住,一定要选这 ...
- 关于fi dd ler 手机抓包 网卡地址地址_利用无线路由器如何抓取手机网络数据包【详细介绍】...
当用户运用手机访问网络时,手机在不断接受与发送数据包,而这些数据包中包含了大量的用户信息,包括各种账号信息.聊天信息.发送接收文件.邮件.浏览的网页等.虽然很多信息是加密传输的,但还是会有大量信息是明 ...
- python爬虫爬商品库存_利用Python爬虫爬取指定天猫店铺全店商品信息
本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫,爬虫运行只需要输入相应店铺的域名名称即可,信息将以csv表格的形式保存,可以单店爬取也可以增加一个循环进行同时爬取. 源码展示 首先还是完 ...
- python过滤敏感词汇_利用Python正则表达式过滤敏感词的方法
利用Python正则表达式过滤敏感词的方法 问题描述:很多网站会对用户发帖内容进行一定的检查,并自动把敏感词修改为特定的字符. 技术要点: 1)Python正则表达式模块re的sub()函数: 2)在 ...
- python京东自动签到_利用python Selenium实现自动登陆京东签到领金币功能
如何自动登陆京东? 我们先来看一下京东的登陆页面,如下图所示: [插入图片,登陆页面] 登陆框就是右面这一个框框了,但是目前我们遇到一个困呐,默认的登陆方式是扫码登陆,如果我们想要以用户民个.密码的形 ...
- python处理nc数据_利用python如何处理nc数据详解
利用python如何处理nc数据详解 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: 利用python如何处理nc数据详解.txt ] (友情提示:右键点上行txt ...
最新文章
- java正则表达式及api_JAVA常用API:正则表达式regular expression
- day16-Dom样式操作
- 改善OpenStack上DHCP的性能 【已翻译100%】
- Elasticsearch:Elasticsearch基础上构建推荐引擎 资料收集
- 开始协议处理句柄_基于smb协议的wmiexec浅析
- java 数组数据类型_java基本数据类型和数组
- Python数字类型:数值运算操作符、数值运算函数、类型判断函数、类型转换函数
- 浅谈我对 jQuery 的了解
- 数据库SQL语言从入门到精通--Part 1--SQL语言概述
- Java 将HTML转为Word
- mybatis整合Redis和ehcache实现二级缓存
- Java Seckill Module:product details
- php1106打印机怎么使用,1106打印机驱动使用说明
- php 继承 父类使用子类,在PHP中使用 来 实现子类和父类之间的继承 。
- 软件缺陷报告模板(微信缺陷报告案例)
- 单片机反相器_TTL反相器的基本电路
- Spark 报错Incompatible equality constraint: String and T2
- 交换机中的冗余链路管理
- 详解keras中的Mask机制
- 强化学习——环境库OpenAI Gym
热门文章
- opencv中的CommandLineParser类用法
- skipping non-radio button in group解决方法
- HALCON基于形变的模板匹配实现
- 21天mysql_把整个Mysql拆分成21天,轻松掌握,搞定(下)
- day 01 ————立志运维的第一天开始,承若书!
- 【leetcode】97. Interleaving String
- 为11.2.0.2 Grid Infrastructure添加节点
- 微信小程序---系统信息-位置信息-定位信息
- (转)C#开发微信门户及应用(4)--关注用户列表及详细信息管理
- 一切尽显眼前:如何预防在虚拟化环境中丢失可视性和安全性