爬虫入门（一）—

一.爬虫介绍

二.通讯协议

三.网络模型

四.一些概念

五.抓包工具

一.爬虫介绍

1.什么是爬虫？

爬虫，从本质上来说，就是利用程序在网上拿到对我们有价值的数据（简单一句话就是代替人去模拟浏览器进行网页操作）。

2.为什么需要爬虫？

为其他程序提供数据源如搜索引擎(百度、Google等)、数据分析、大数据等等。爬虫能做很多事，能做商业分析，也能做生活助手。而公司，同样可以利用爬虫来实现巨大的商业价值。比如你所熟悉的搜索引擎——百度和谷歌，它们的核心技术之一也是爬虫，而且是超级爬虫。

3.爬虫的分类

通用网络爬虫例如 baidu、google、yahu
聚焦网络爬虫: 根据既定的目标有选择的抓取某一特定主题内容
增量式网络爬虫: 指对下载网页采取增量式的更新和只爬行新产生的或者已经发生变化的网页爬虫
深层网络爬虫: 指那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的web页面例如用户登录注册才能访问的页面

二.通讯协议

1.端口

我们想要进行数据通讯分几步?

1. 找到对方ip
2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做端口。这里的端口我们一般都叫做 '逻辑端口'
3. 定义通讯规则。这个通讯规则我们一般称之为协议

2.通讯协议

国际组织定义了通用的通信协议 TCP/IP协议
所谓协议就是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则
HTTP又叫做超文本传输协议（是一种通信协议），它的端口是 80

三.网络模型

后期更新了新的参考模型 TCP/IP参考模型

什么是HTTPS?

https=http+ssl，顾名思义，https是在http的基础上加上了SSL保护壳，信息的加密过程就是在SSL中完成的
https，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL
SSL也是一个协议,主要用于web的安全传输协议

四.一些概念

1.GET和POST

GET : 查询参数都会在URL上显示出来（直接在网页中显示）
POST : 查询参数和需要提交数据是隐藏在Form表单里的,不会在URL地址上显示出来（一般在需要登录跳转的网页中显示）

2.URL的组成部分

URL: 统一资源定位符（即我们通常说的“网址”）
比如一个网址（URL)为：https://new.qq.com/omn/TWF20200/TWF2020032502924000.html
https: 协议
域名：如果把一个网页类比为一幢房子，URL指示了网页的地址，就像房子在地球上的详细到某某街道某某号的具体地址，那么域名就像房子所在的国家，指示了网站的地址。https://new.qq.com/omn/TWF20200/TWF2020032502924000.html中域名为new.qq.com
port：端口号(: 80)/new.qq.com 在他的后面有个 :80 可以省略
TWF20200/TWF2020032502924000.html 访问资源的路径
#anchor: 锚点,用前端在做页面定位的
注意 : 在浏览器请求一个url,浏览器会对这个url进行一个编码。(除英文字母、数字和部分标识其他的全部使用% 加十六进制码进行编码)
- 例如 : https://tieba.baidu.com/f?ie=utf-8&kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&fr=search
- %E6%B5%B7%E8%B4%BC%E7%8E%8B = 海贼王（一般3个%为一个汉字）

3.User-Agent

用户代理。作用:记录用户的浏览器、操作系统等,为了让用户更好的获取HTML页面效果

4.Refer

表明当前这个请求是从哪个url过来的。一般情况下可以用来做反爬的技术

5.状态码

200 : 请求成功
301 : 永久重定向（比如搜索www.jingdong.com,网页的状态码就为301,因为京东的搜索网址改成了www.jd.com)
302 : 临时重定向（比如搜索www.zhihu.com跳转到知乎登录页面，因为登陆后才会跳转至知乎首页，所以登录的这个页面就是一个临时的页面）
403 : 服务器拒绝请求
404 : 请求失败(服务器无法根据客户端的请求找到资源（网页）)
500 : 服务器内部请求

五.抓包工具

Elements : 元素网页源代码，提取数据和分析数据(有些数据是经过特殊处理的所以并不是都是准确的)
Console : 控制台 (打印信息)
Sources : 信息来源 (整个网站加载的文件)
NetWork : 网络工作(信息抓包) 能够看到很多的网页请求

爬虫入门（一）——初识爬虫相关推荐

转 Python爬虫入门二之爬虫基础了解
静觅 » Python爬虫入门二之爬虫基础了解 2.浏览网页的过程在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以 ...
python爬虫系列之初识爬虫
python爬虫系列之初识爬虫前言我们这里主要是利用requests模块和bs4模块进行简单的爬虫的讲解,让大家可以对爬虫有了初步的认识,我们通过爬几个简单网站,让大家循序渐进的掌握爬虫的基础知识 ...
python爬虫入门代码-Python爬虫入门
原标题:python爬虫入门基础知识 HTTP协议我们浏览网页的浏览器和手机应用客户端与服务器通信几乎都是基于HTTP协议,而爬虫可以看作是一个另类的客户端,它把自己伪装成浏览器或者手机应用客户端 ...
python3爬虫入门教程-Python3爬虫学习入门教程
本文实例讲述了Python3爬虫相关入门知识.分享给大家供大家参考,具体如下: 在网上看到大多数爬虫教程都是Python2的,但Python3才是未来的趋势,许多初学者看了Python2的教程学Pyt ...
python爬虫入门代码-Python爬虫入门（一）网络爬虫之规则
Python爬虫入门(一) 总述本来早就想学习下python爬虫了,总是找各种借口,一直拖到现在才开始系统的学习. 我用的教程是中国大学MOOC上的由北京理工大学开设的Python网络爬虫与信息提取 ...
java爬虫入门_Java 网络爬虫新手入门详解
这是 Java 网络爬虫系列文章的第一篇,如果你还不知道 Java 网络爬虫系列文章,请参看Java 网络爬虫基础知识入门解析.第一篇是关于 Java 网络爬虫入门内容,在该篇中我们以采集虎扑列表新闻 ...
Python爬虫入门一（爬虫基础）
一.通用爬虫和聚焦爬虫 1.什么是网络爬虫? 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常 ...
爬虫入门，了解爬虫机制
基础知识爬虫在使用场景中的分类通用爬虫:抓取系统重要组成部分.抓取的是一张页面数据聚焦爬虫:是建立在通用爬虫的基础之上.抓取的是页面中特定的局部内容增量是爬虫:检测网站中数据更新的情况.只会抓 ...
爬虫入门-3.初识BeautifulSoup
一.安装BeautifulSoup BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beauti ...
python爬虫入门实例-Python爬虫快速入门：基本结构简单实例
本爬虫系列入门教程假设读者仅有一点点Python基础或者近乎为零的基础.如果是有Python基础的可以跳过一些对于Python基本知识的补充. 爬虫能干什么呢?一句话概括,正常通过浏览器可以获取的数据 ...

爬虫入门（一）——初识爬虫

一.爬虫介绍

二.通讯协议

三.网络模型

四.一些概念

五.抓包工具

爬虫入门（一）——初识爬虫相关推荐

最新文章

热门文章