关于捷星的反爬虫及sensor_data参数的心得分享
啃过很多难啃的骨头，没想到居然还有这么难啃的骨头。
研究了这网站许久，换了无数种思路，都失败而终。
下面就将把我踩过的坑，一一道来。
花了几天，把JS全部读完，将所有方法全部翻译。
JS里面，有效验鼠标轨迹点击事件的方法，有检测Selenium等自动化工具的方法，有检测无头浏览器的方法，有效验浏览器内核与UA信息是否匹配的方法（通过浏览器JS支持的特有属性方法检测），有获取浏览器指纹的方法（帆布指纹+插件信息+内核信息+局域网IP+是否支持媒体流等浏览器支持功能的组合），最后还有时间效验，这里所说的时间效验是指的每个方法互相调用的时间差及两次ajax请求的时间差，记忆模糊，暂时只能记起这么多。
上面说了一大堆的效验方法，是不是感觉已经很头疼了？
没错，所以我将sensor_data参数复制下来，简单粗暴的改了里面几个关键值（通过原JS直接运算的），你以为能成功？
哈哈哈，也就只能撑十几分钟摆了，长期大规模的请求肯定GG，网上所谓的破解文章，也仅做到此步就止步了。
我继续尝试，HOOK浏览器请求，强行随机（通过原JS）改变浏览器指纹，进行sensor_data值的计算，并POST请求，通过这种尝试，一个sensor_data生成的多个CK可以一共跑20分钟左右，然后封10-30分钟，但跑了几个小时，一样也挂了，无论怎样换指纹，换参数也无济于事。
不撞南墙不回头的我，继续研究，这下可好，发现一直研究的sensor_data的加密请求，原来只是冰山一角，因为我发现了一共三家企业的相关部署文件，分别是国外某CDN服务商做的反爬系统（sensor_data也就这家的杰作，后台有AI数据分析），国外某设计软件的扛把子公司做的用户行为分析系统，国外某搜索引擎做的验证系统，加上sensor_data的算法几乎是每月一更新，头顶顿时一股凉意。
事已至此，并未放弃，未完，待续。
关于捷星的反爬虫及sensor_data参数的心得分享相关推荐
- python填写问卷星_使用Python自动填写问卷星(pyppeteer反爬虫版)
from selenium importwebdriverimporttimeimportrandomdefrun(): browser=webdriver.Chrome() browser.get( ...
- 【Python3爬虫】常见反爬虫措施及解决办法（二）...
[Python3爬虫]常见反爬虫措施及解决办法(二) 这一篇博客,还是接着说那些常见的反爬虫措施以及我们的解决办法.同样的,如果对你有帮助的话,麻烦点一下推荐啦. 一.防盗链 这次我遇到的防盗链,除了 ...
- 如何利用 C# + Python 破解猫眼电影的反爬虫机制？
在 如何利用 C# 爬取「猫眼电影:最受期待榜」及对应影片信息! 这篇图文中可以看到猫眼电影对"本月新增想看人数" 和 "总想看人数"进行了字符集加密. 在 如 ...
- WebDriver 识别反爬虫的原理和破解方法~
作者|志斌 来源|python笔记 有时候我们在爬取动态网页的时候,会借助渲染工具来进行爬取,这个"借助"实际上就是通过使用相应的浏览器驱动(即WebDriver)向浏览器发出命令 ...
- 大佬带你详解Python反爬虫措施以及爬虫编写注意事项
Python爬虫开发:反爬虫措施以及爬虫编写注意事项 反爬虫的几重措施 1.IP限制 如果是个人编写的爬虫,IP可能是固定的,那么发现某个IP请求过于频繁并且短时间内访问大量的页面,有爬虫的嫌疑,作为 ...
- java 反爬虫_springboot反爬虫组件kk-anti-reptile的使用方法
大家好,我是为广大程序员兄弟操碎了心的小编,每天推荐一个小工具/源码,装满你的收藏夹,每天分享一个小技巧,让你轻松节省开发效率,实现不加班不熬夜不掉头发,是我的目标! 今天小编推荐一款反爬虫组件叫kk ...
- 如何设计一款地震高岗一派溪山千古秀的反爬虫？
天地会 青木堂 地震高岗,一派溪山千古秀 门朝大海,三河合水万年流 没错,这正是<鹿鼎记>天地会的接头暗号. 天地会为什么需要接头暗号呢? 假设天地会赤火堂香主派人从京城前扬州将一封非常重 ...
- 如何设计一款暗度陈仓的反爬虫
本文授权转载自搜狐技术产品,特此感谢. 明修栈道.暗渡陈仓是一组出自<史记·淮阴侯列传>的成语,指将真实的意图隐藏在表面行动的背后,用明显的行动迷惑对方,使敌产生错觉,从而忽略我方的真实意 ...
- html中::before 爬虫_反反爬虫系列(四)
过完年,好了,咱们接着更新反反爬虫系列 至于之前有朋友表示出一下1688呀,x宝的反反爬虫 说实在的,阿里系的反爬虫很厉害,我自愧不能搞定. 比如x宝的登录,用了selenium + chrome的朋 ...
最新文章
- vue中的minix
- 哈尔滨工业大学计算机改专业课,哈尔滨工业大学计算机专业课 复试 2013HITCS
- ACM MM 2020：一种基于情感脑电信号时-频-空特征的3D密集连接网络
- 5G 标准 — R17
- 全球第二大浏览器升级！内存/CPU占用暴降
- 来篇文章：Martin Fowler的设计已死中文版
- 【原】SQL 取当前年 （年初 1月1号） 当前月 （月初 1号） 当前日 （零点）
- Python——爬虫
- IntelliJ IDEA教程之如何clean或者install Maven项目
- matlab2016b ubuntu命令行安装 + matconvnet的安装
- 【FLink】Flink 1.9 升级到 1.12.4 无配置页面 无日志
- 离散数学视频、书籍推荐及学习体会
- 【DSP】win10安装CCS5.5教程及报错解决方法
- java学生成绩管理系统
- 微信网页支付之H5支付
- 在北京买车可以上外地牌照吗
- 嵌入式工程师需不需要学java_嵌入式开发工程师需要具备哪些素质和技能基础？...
- python123 测验6：组合数据类型
- python控制风扇_Python 语音控制普通风扇实现教程
- php iis 一键安装包,php iis一键安装包指的是什么