有关爬虫浏览量的问题

昨天写了一个小爬虫，来爬取58上面商品的浏览量，在58上，商品信息分个人和商家，在爬取个人的商品浏览量时，做一些标签位置的分析，就可以定位到浏览量，但是在运行中出现了错误，原来里面含有商家商品，商家商品浏览量和个人不太一样，浏览量的抓取做了反爬虫，上面的做法，无法爬取，后来我做了一些简单的分析。

打开chrome的检查，

Counter58.userlist[0]={uid:’0’,uname:”,face:”,vt:”};Counter58.total=2737
点开可以看到2737次浏览

def get_views_from(url):# url后面带有问号和参数，取问号前的urlurl_path = url.split("?")[0]# 取最后一节url信息，其带有id信息url_last_part = url_path.split('/')[-1]# 去掉后面的x.shtml,得到idinfo_id = url_last_part.strip('x.shtml')api = 'http://jst1.58.com/counter?infoid={}'.format(info_id)# 这个是找到了58的查询接口，不了解接口可以参照一下新浪微博接口的介绍# 浏览量的抓取做了反爬虫，因此加上header信息，不然返回为空headers = {'User-Agent':r'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36','Cookie':r'id58=c5/ns1ct99sKkWWeFSQCAg==; city=bj; 58home=bj; ipcity=yiwu%7C%u4E49%u4E4C%7C0; als=0; myfeet_tooltip=end; bj58_id58s="NTZBZ1Mrd3JmSDdENzQ4NA=="; sessionid=021b1d13-b32e-407d-a76f-924ec040579e; bangbigtip2=1; 58tj_uuid=0ed4f4ba-f709-4c42-8972-77708fcfc553; new_session=0; new_uv=1; utm_source=; spm=; init_refer=; final_history={}; bj58_new_session=0; bj58_init_refer=""; bj58_new_uv=1'.format(str(infoid)),'Accept': '*/*','Accept-Encoding': 'gzip, deflate, sdch','Accept-Language': 'zh-CN,zh;q=0.8','Cache-Control': 'max-age=0','Connection': 'keep-alive','Host':'jst1.58.com','Referer':r'http://zhangzhou.58.com/pingbandiannao/27948824287934x.shtml'.format(info_id)}r = requests.get(api, headers=headers)# 判断状态码，检查是否被网站封ipif r.status_code == 200:return r.text.split('=')[-1]return 0

有关爬虫浏览量的问题相关推荐

Python多进程之刷小网站浏览量。
作者刚入门Python爬虫,如代码有问题,请大佬评论区指出!! 代码实现: 1,通过multiprocessing中的进程池实现多进程爬虫. 2,通过requests发起get请求刷浏览量. 代码: ...
Python selenium插件使用可刷浏览量
常见selenium 代码及含义: Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直 ...
淘宝宝贝浏览量提升刷新工具 - 最好的淘宝宝贝流量提升工具
注册说明 "淘宝宝贝浏览量提升刷新工具"是一款共享软件,您可以先下载试用,觉得满意后再付费成为注册用户.本软件在未注册之前会有一定的功能限制,如果您在试用后决定一直使用下去, ...
《Splunk智能运维实战》——3.11　制作折线图显示项目浏览量和购买量随时间的变化...
本节书摘来自华章计算机<Splunk智能运维实战>一书中的第3章,第3.11节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克· ...
php如何做浏览量,php+ajax实现的点击浏览量加1
下面就分享一段相对完整的能够在实际应用中派上用场的代码,此代码是ajax结合php代码实现的. 一.ajax代码如下: ajax实现浏览量点击增加 var xmlhttp=false; functio ...
php 一天只能点赞上一次,ThinkPHP3.2 实现浏览量和点赞量，每次访问页面浏览量+1以及每个登录用户只能对同一篇文章点赞一次-Go语言中文社区...
笔者最近帮许多人做毕设项目,什么基于SSH的招聘系统.SSM的商城系统,基于TP的博客系统...,忙得一批.其中TP项目中有一个实现浏览量和点赞量的功能需求.所谓怎么简单怎么来,在这里说一下思路,记录 ...
自从我这样撸代码以后，公司网页的浏览量提高了107%！
欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 本文由腾讯IVWEB团队发表于云社区专栏作者:yangchunwen HTTP协议是前端性能乃至安全中一个非常重要的话题,最近在看< ...
php 文章浏览量缓存,WordPress缓存文章浏览量访问不自动增加怎么办？WordPress缓存导致文章阅读数点赞数不更新...
Wordpress 静态缓存目前对于何先生来说作用不是很大,比较适合一些流量比较大的博客或者网站. 之前接触过 Wordpress 静态缓存,遇到过这个问题后面没有去深究. WordPress缓存文章 ...
Google Analytics异步代码-创建虚拟浏览量跟踪
谷歌近日宣布Google Analytics将可以支持异步跟踪Asynchronous Tracking,相对以前的跟踪代码,异步跟踪在许多方面都有所改进:加载速度更快,代码可以部署在网页header ...

有关爬虫浏览量的问题

有关爬虫浏览量的问题相关推荐

最新文章

热门文章