如何向父母解释什么是爬虫?
作者 | 猪哥
责编 | 胡巍巍
本文经授权转载自 裸睡的猪(ID:IT--Pig)
前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢?
爬虫介绍
1.爬虫是什么
网络爬虫(web crawler 简称爬虫)就是按照一定规则从互联网上抓取信息的程序,既然是程序那和正常用户访问页面有何区别?爬虫与用户正常访问信息的区别就在于:用户是缓慢、少量的获取信息,而爬虫是大量的获取信息。
这里还需要注意的是:爬虫并不是Python语言的专利,Java、Js、C、PHP、Shell、Ruby等等语言都可以实现,那为什么Python爬虫会这么火?我觉得相比其他语言做爬虫Python可能就是各种库完善点、上手简单大家都在用,社区自然活跃,而社区活跃促成Python爬虫慢慢变成熟,成熟又促使更多用户来使用,如此良性循环,所以Python爬虫相比其他语言的爬虫才更火。
下面就是一段hello world级别的Python爬虫,它等效于你在百度搜索关键字:Python。
2.爬虫案例
既然爬虫是大量抓取网页,那是不是爬虫都是不好的呢?答案当然不是,可以说我们的日常上网已经离不开爬虫了,为什么这么说?下面我就为大家盘点几个爬虫日常应用:
搜索引擎:如Google、百度、雅虎、搜狗、必应等等很多搜索引擎其本质就是一个(可能多个)巨大爬虫,这些搜索引擎工作原理是:页面收录->页面分析->页面排序->响应关键字查询,也就是说它会先把互联网上很多页面保存到服务器,然后分析网页内容建立关键字索引,最后用户输入关键字的时候去查询内容,然后根据相关性排序(百度害人的竞价排名毫无相关性可言),第一步的页面收录就是爬虫,百度查看一个网站有多少网页被收录方法,百度输入:site:你想查询的网站,如:site:blog.csdn.net。
抢票软件:很多人在吐槽12306卡,可你不知道12306几乎每天都相当于淘宝双11的流量,这谁受得了。为什么每天都是如此高的流量?答案自然是爬虫了,为什么抢票软件可以抢票?因为它在不断的刷新和监控是否有余票,大大小小这么多抢票app,访问量之高可想而知。之前很多公司都出过抢票插件,如:百度、360、金山、搜狗等等,后来都被铁道部约谈下线了,而现在又流行抢票app,为什么抢票app可以,插件就不可以?可能是因为管理和可控性的原因。
惠惠购物助手:这是一款能进行多个网站比价并能知道最低价的一个网站,其工作原理也是通过大量爬虫爬取商品价格然后存储,这样就可以制作一个价格走势图,帮助你了解商品最低价。
爬虫的价值
从上面举的几个例子来看,爬虫对整个互联网的价值真的无法估量,那对于小我而言,爬虫能给我们带来哪些价值?
1.隐形的翅膀
如果你问我学完Python基础之后该学习什么技能?我会毫不犹疑的说爬虫,为什么是爬虫?
爬虫相对其他技能简单易学,且效果立即可见,会有一定的成就感
爬虫可以说是其他技能的基石,因为他是数据的来源,现在这个时代谁有数据谁才能称王,所以会爬虫绝对会让你如虎添翼
在国内,很多企业巴不得你啥都会,所以在应聘时,爬虫会是一个不错的加分项
2.看不见的商战
职场对话:
老板:小明给你个重要任务。
小明:就算996我也在所不辞(第一次接到老板的直接需求)!
老板:你能不能搞到竞争对手的商品价格?
小明:没问题(牛逼先吹出去),小事!
老板:这可不是小事,只要你能持续获取竞品价格,我们就可以标价低于他们一点点,持续如此大家就知道我们的价格肯定是比他们低,这样大家就直接来我们这里购买商品了,到时候庆功宴上你就是最大功臣(先画个饼)。
小明:老板牛逼,老板英明!
3.会爬虫就可以创业
工作之后很多同学会利用上班空余时间,来做自己的东西或者项目,别看开始是一个小打小闹的东西,慢慢丰富将来也许会成为一款成熟的产品。
而爬虫可以让你很轻松的实现自己的产品,做的好的话就可以创业。这里笔者给大家列几个简单的创业项目,当然作为一个思维引导。
如果你想做一款好的产品,你需要从用户需求出发去思考,做解决目前存在的问题的产品或者目前还没有的服务,也许你的产品就是下一个头条。
盗亦有道
爬虫既然如此强大而优秀,那是不是会了爬虫就可以为所欲为?
延伸话题:其实我内心一直有一个疑问:为什么互联网公司都偏爱用动植物来命名或作为logo?如:蚂蚁金服、天猫、菜鸟、金东狗、腾讯企鹅,百度的熊掌、搜狗、途牛、美团的袋鼠。。。真的是太多了,难道仅仅是因为好记?我认为好记是一个原因,其根本原因是受到编程行业的影响,你想想编程行业有多少动植物:Java(咖啡)、Python(蟒蛇)、Go(囊地鼠)、PHP(大象)、Linux(企鹅)、Perl(骆驼)、Mysql(海豚)等等,具体为什么编程行业喜欢用动植物这笔者就不清楚,还请明白的同学留言告知大家!
讲上面的延伸话题想表达的是,大自然世间万物,相生相克,衡而不祸!而爬虫也是如此,下面就为大家介绍一下约束爬虫的几个点。
1.robots协议
做过网站的同学也许知道,我们在建站的时候需要在网站根目录下放一个文件:robots.txt,这个文件是干什么用的呢?
Robots协议,也称为爬虫协议、机器人协议等,其全称为“网络爬虫排除标准(Robots Exclusion Protocol)”。网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
每个网站的根目录下都必须放置robots.txt文件,否则搜索引擎将不收录网站任何网页。
下面我们以百度为例子,来看看百度的robots.txt文件:
我们在百度robots协议的最下面,有这样一条:
User-agent: *Disallow: /
br
这表示除上面那些定义过的爬虫以外其他爬虫都不允许爬取百度任何东西!
2.法律
我们都知道在发起请求时User-agent是可以自定义的,也就是说我们可以绕过robots协议和以User-agent来定义的反爬虫技术,所以robots协议可能更像一个君子协议,那咱们国家有没有法律明文规定呢?我们来了解一下非法侵入计算机信息系统罪:
第二百八十五条 非法侵入计算机信息系统罪:违反国家规定,侵入前款规定以外的计算机信息系统或者采用其他技术手段,获取该计算机信息系统中存储、处理或者传输的数据,或者对该计算机信息系统实施非法控制,情节严重的,处三年以下有期徒刑或者拘役,并处或者单处罚金;情节特别严重的,处三年以上七年以下有期徒刑,并处罚金。
我们可以看到重点信息:入侵计算机获取数据是违法的,也就是说爬虫技术本身是无罪的,因为它是获取的公开信息,并未非法入侵计算机。但是如果你用爬取到的数据去从事商业化操作,那也许就构成了违法犯罪行为!
给大家介绍下因爬虫而被判刑的案件:
头条爬虫官司:https://dwz.cn/qBBHc2fq
酷米客公司官司:https://dwz.cn/9IpAOHGB
360和百度爬虫官司:https://dwz.cn/RGRa3HJc
我发现这几起案件的通性有两点:1、公司性质。2、竞争对手。3、被人家找到线索。
最后提醒大家:技术人,要守住自己的底线,违反国家法律法规的事情咱们坚决不能做!
爬虫现状
之前笔者说过互联网中有超过50%的流量来自爬虫,那我们就来简单聊聊目前爬虫的现状吧!
1.技术
反爬虫几乎和爬虫同时诞生,它们是相爱相杀的连个技术,如果没有爬虫就没有反扒,而反扒技术又反过来又可以促进爬虫技术的发展。
交互问题:各种变态的验证码充斥,尤其是12306,分分钟都想爆粗口,以后会越来越变态。。。
js加密:最近很流行的一种反扒技术,会爬虫还得先学js,然后反爬虫工程师在js里面各种投毒,杀人诛心。。。
IP限制:限制单个ip某段时间内访问次数
笔者只介绍了一些反扒技术,当然都有现成的技术解决,但是作为爬虫员最重的并不是会使用工具或框架去应对反扒,而是能通过自己的思考和摸索破解反扒,因为反扒技术更新快且多样化。
2.就业
就业的话主要从招聘、薪资、就业形势三个方面分析,我从网上查阅了一些资料,然后整理以图片形式提供给大家参考。
数据来源:职友集:https://dwz.cn/6PeU46QY
快速挑战Python全栈工程师:
https://edu.csdn.net/topic/python115?utm_source=csdn_bw
3.前景
现在很多人并不看好爬虫的前景,只搞爬虫的话技术只停留在当前水平,不再学习新知识,不再进步的话,那么是没有前途的,总有一天会被时代淘汰,其实其他职位也只如此。
每个职业都是有一个横向和纵向的发展,也就是所谓的广度和深度的意思。第一、如果专研得够深,你的爬虫功能很强大,性能很高,扩展性很好等等,那么还是很有前途的。第二、爬虫作为数据的来源,后面还有很多方向可以发展,比如可以往大数据分析、数据展示、机器学习等方面发展,前途不可限量,现在作为大数据时代,你占据在数据的的入口,还怕找不到发展方向?所以爬虫也许只是一个起点一个跳板,是你走向人生巅峰的一个基石,总有一天你会迎娶白富美!
【END】
热 文 推 荐
小米崔宝秋:小米 AIoT 深度拥抱开源
为什么 C 语言仍然占据统治地位?
苹果应用审核团队:每人日审百款 App!
华为在美研发机构 Futurewei 意欲分家?
☞老司机教你如何写出没人敢维护的代码!
☞Python有哪些技术上的优点?比其他语言好在哪儿?
☞上不了北大“图灵”、清华“姚班”,AI专业还能去哪上?
☞公链史记 | 从鸿蒙初辟到万物生长的十年激荡
☞边缘计算容器化是否有必要?
☞马云曾经偶像,终于把阿里留下的1400亿败光了!
你点的每个“在看”,我都认真当成了喜欢
如何向父母解释什么是爬虫?相关推荐
- 如何向妈妈解释什么是爬虫
作者 | 猪哥 来源 | 裸睡的猪(ID:IT--Pig) 前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢? 一.爬虫介绍 1. ...
- Python爬虫之如何跟妈妈解释什么是爬虫
作者 | 猪哥 来源 | 裸睡的猪(ID:IT--Pig) 前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢? 一.爬虫介绍 1. ...
- 如何给爸妈解释什么是“爬虫”?
作者:猪哥 来源:裸睡的猪(ID:IT--Pig) 前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢? 一.爬虫介绍 1. ...
- UX设计师 | 该怎么向父母解释自己的工作
译文地址:https://uxdesign.cc/how-do-explain-to-your-family-over-the-holidays-what-ux-is-6b145d6eac3e 这样的 ...
- Visual Basic 终于要衰落了吗?
28年过去了,世界上最流行的语言之一Visual Basic终于要衰落了吗? 作者 | Matthew MacDonald 译者 | 谭开朗,责编 | 郭芮 出品 | CSDN(ID:CSDNnews ...
- java 模拟登陆exe_Java简单模拟登陆和爬虫实例---博客园老牛大讲堂
鉴于有人说讲的不清楚,我这里再详细补充一下:更新日期:2017-11-23 本片文章适合初学者,只简单说了一下爬虫怎么用,和一个简单的小实例.不适合你的就可以不看了.----博客园老牛大讲堂 1.什么 ...
- 如何跟各种人解释什么是产品经理
认识我的人都知道,我是个爱炫耀的人-- 虚荣心一直是我战胜困难的驱动力来源之一-- 在我签下小米公司 MIUI 产品经理的 offer 之后,蛮以为一定会有很多学妹争着吵着要嫁给我.给我生猴子吧-- ...
- 爬虫总结(一)-- 爬虫基础 python实现
爬虫在平时也经常用,但一直没有系统的总结过,其实它涉及了许多的知识点.这一系列会理一遍这些知识点,不求详尽,只希望以点带面构建一个爬虫的知识框架.这一篇是概念性解释以及入门级爬虫介绍(以爬取网易新闻为 ...
- python 爬虫代码_python之路(一)_爬虫—爬一下网页代码输出到文件
在上次公众号中讲到要用python进行开发,所以又拾起来了python.这不,从爬虫进行入门熟悉一下.爬虫是个啥呢?简单说:就是你想高效地从网上获取一些信息,而不用鼠标点点点.官方解释:网络爬虫(又称 ...
最新文章
- 指定模块打包命令_大前端进阶之Babel、模块化、webpack
- 深入浅出解释FFT(七)——fft求频谱图和功率谱密度图
- 统计学习方法笔记 -- Boosting方法
- 最全的ASP.NET开源CMS汇总
- Python3数字格式化代码示例
- 前端设置使用rem最经典代码
- foreach为什么不能给数组赋值
- akka actor java_现代化的Java(三)——从Hello Akka说起
- python零基础能学吗-python 零基础该怎么学?
- C++--第7课 - 面向对象基本概念
- 【Python笔记】Python/C++解决约瑟夫环问题
- 太阳直射点纬度计算公式_高中地理——每日讲1题(太阳直射点、太阳高度角、影子方向)...
- 随机森林(Random Forest)算法原理总结
- 编译原理——正规表达式与有限自动机(笔记)
- Sprint回顾会议
- dp算法之平安果路径问题c++
- php socket http,php 利用socket发送HTTP请求
- Firefox火狐浏览器优化加速about:config配置
- 在tensorflow框架下添加正则化约束l1、l2的方法
- 计算机试题幻灯片盒状展开,2017年职称计算机考试《PowerPoint》精选练习11
热门文章
- nginx 405 not allowed问题解决方法
- ffplay 源码 option 部分阅读ing
- c++编码规范_汽车嵌入式软件测试——嵌入式软件标准及规范简介
- pytorch-分类任务训练loss不变
- 高位在前低位在后是啥意思_两年前满仓买的一支股,买时28,现在8块多点,股民怎么处理好?...
- resnet50代码_13、SOTA论文实践-学习ResNet(80行代码搞定残差backbone网络)
- 记录——《C Primer Plus (第五版)》第八章编程练习第四题
- C语言编辑飘扬的红旗代码,C语言 飘动的红旗(要有旗杆)
- 2020级C语言大作业 - 小球进框
- sqlisnull mysql_SQL ISNULL()、NVL()、IFNULL() 和 COALESCE() 函数