爬虫常说的君子协议是什么

我们常常说 robots.txt 协议防君子不防小人。robots.txt 协议防什么样的君子，又防不了什么样的小人呢？就听我给你一一道来。

### 爬虫常说的君子协议是什么

首先我们需要了解爬虫常说的君子协议是什么，也就是什么是 robots.txt 协议，下面是关于 robots.txt 协议的描述：

> robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。此文件主要用于避免您的网站收到过多请求；**它并不是一种阻止 Google 抓取某个网页的机制**。

* **并非所有搜索引擎都支持 robots.txt 指令。**

robots.txt 文件中的命令并不能强制规范抓取工具对网站采取的行为；是否遵循这些命令由抓取工具自行决定。

上面的定义是来自于 Google 搜索中心的[官方文档](https://developers.google.com/search/docs/advanced/robots/intro?hl=zh-cn)。

通过上面的定义可以看出来 robots.txt 只是定义了爬虫可以抓取那些页面，不可以抓取那些页面，这个协议大部分正规的[搜索引擎](https://www.pdflibr.com/crawler/list/search-engine)都会遵守。

例如：在[rogerbot 爬虫介绍](https://www.pdflibr.com/blog/rogerbot-introduction)这篇文章中，有一个 robots.txt 这样写的：

User-agent: rogerbot

Disallow: /

这里是禁止 [rogerbot](https://www.pdflibr.com/crawler/roger-bot) 抓取这个网站的所有页面，但是如果他不遵守，也仍然可以肆无忌惮的抓取你的网站，你也奈何不了 rogerbot 爬虫。

但是大部分爬虫框架都会遵守 robots.txt 协议，有一些开发者为了抓取内容，可能不会检查 robots.txt 文件，无意之中可能没有遵守 robots.txt 协议。

所以 robots.txt 就是一个君子协议：只约束君子不约束小人。

### 总结

通过上面的分析，我们可以回答刚才提出的那个问题了：爬虫常说的君子协议是什么，也就是 robots.txt 协议。

爬虫常说的君子协议是什么相关推荐

爬虫君子协议-robots.txt协议
文章目录一.定义二.用法一.定义 robots协议是一种约定俗称的爬虫协议,由网站主人规定了该网站的哪些内容可以爬取,哪些内容不可以爬取,擅自爬取可能承担相关法律责任.之所以称之为君子协议,是因 ...
蒟蒻的爬虫之旅（Python版）——robots君子协议（转载）
一.robots内容介绍 robots是一个网站对可被爬取内容的规范,之所以被戏称为君子协议,就是说这些规范不能做到技术限制,存在通过特殊手段爬取网页限制数据的行为,但很大程度上可能会因为爬取这些网站 ...
Python爬虫常见面试题（二）
前言之所以在这里写下python爬虫常见面试题及解答一是用作笔记,方便日后回忆: 二是给自己一个和大家交流的机会,互相学习.进步,希望不正之处大家能给予指正: 三是我也是互联网寒潮下岗的那批人之一 ...
python遵循什么协议_《Python网络爬虫》2.3 Robots协议的遵守方式
在实际操作中我们这样的爬虫该如何遵守robots协议呢? Robots协议的使用对于任何网络爬虫来讲,它应该能够自动或人工的识别robots.txt文件,根据文件的内容再进行爬取. 即使不写这样的代 ...
速看常用工控通讯接口协议大全
速看常用工控通讯接口协议大全 ///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦.最近比较闲,带做 ...
爬虫（一）：爬虫的基础知识 ---通用爬虫和聚焦爬虫，http和https协议，常见的响应状态码
一.爬虫的定义网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 二.爬虫可以解决的问题解决冷启动问题搜索引擎的根基. -通用爬虫帮助机器学习建立知识图谱制作各种比价软件三 ...
爬虫入门到精通-HTTP协议的讲解
HTTP协议的讲解本文章属于爬虫入门到精通系统教程第三讲什么是HTTP协议? 引用自维基百科超文本传输协议(英文:HyperText Transfer Protocol,缩写:HTTP)是互联网 ...
websocket python爬虫_python实现基于websocket协议的网络爬虫
WebSocket是一种在单个TCP连接上进行全双工通信的协议,简单来说就是建立一个TCP长连接之后,你可以服务器随时可以给客户端发送消息,客户端随时可以给服务器发送消息,而以前只能是客户端给服务器发 ...
丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）
去搜 user-agent!!!! referer!!!!! 网页中怎么查看请求头header信息点一下Name里的东西就会出来规模大小分类 robots协议 User-agent: * /// ...
【Java网络编程（一）】IP地址、端口、URL、网络爬虫原理、TCP UDP协议
IP地址与域名的获取 package cn.hanquan.test;import java.net.InetAddress; import java.net.UnknownHostException ...

爬虫常说的君子协议是什么

爬虫常说的君子协议是什么相关推荐

最新文章

热门文章