HTTP协议和HTTPS协议

  • HTTP协议,中文意思是超文本传输协议,是一种发布和接收HTML页面的方法,服务器端口是80端口。
  • HTTPS协议是HTTP协议的加密版本,在HTTP下加入了SSL层。服务器端口是443端口。

URL解析

URL是Uniform Resource Locator的简写,统一资源定位符。

常用的请求方法

在http协议中,定义了八种请求方法。这里介绍两种常用的请求方法,分别是get请求和post请求。

  1. get请求:一般情况下,只从服务器获取数据下来,并不会对服务器资源产生任何影响的时候会用get请求。
  2. post请求:想服务器发生送数据、上传文件等,会对服务器资源产生影响时使用post请求。
    :有的网站和服务器为了做反爬虫机制,也经常会不按常理出牌,有可能一个应该用get方法的请求就一定要改成post请求,这个要视情况而定。

请求头常见参数

  1. .User-Agent:浏览器名称。请求一个网页时,服务器通过这个参数就可以知道这个请求是由那种浏览器发送的,我们要经常设置这个值为一些浏览器的值来伪装我们的爬虫。
  2. Referer:表名当前这个请求是从那个url传来的。这个职业可以用来做一些反爬虫。如果不是指定页面过来的就不做相关的响应。
  3. Cookie:HTTP协议是无状态的,也就是同一个人发送两次请求,服务器没有能力知道这两个请求是否来自同一人,这时候就用Cookie来做标识。

常见响应码状态

200:请求正常,服务器正常的返回数据。
301:永久重定向,如访问’www.jingdong.com’时会重定向到’www.jd.com’。
302:临时重定向,如在访问需要登录的页面时,没有登录就会重定向登录页面。
400:请求的url在服务器上找不到。
403:服务器拒绝访问。
500:服务器内部错误。

chorme抓包工具

可以方便查看网络的请求和发送的参数,对这网页‘右键+检查’可以打开

htttp协议和chrome抓包工具相关推荐

  1. Http协议和抓包工具

    爬虫系列目录 1.HTTP协议和抓包工具 文章目录 爬虫系列目录 理解Http协议 常见请求头参数 常见响应状态码 Chrome抓包工具的使用 理解Http协议 http: 80 https: 443 ...

  2. 网络协议和Netty(7):常用的网络抓包工具 Wireshark

    目录 Wireshark的使用 1.下载 2.安装 数据包的捕获和基本用法 过滤器 捕获过滤器 捕获过滤器的 BPF 语法 显示过滤器 比较操作符和逻辑操作符 预定义过滤器 前言:前面三次握手和四次挥 ...

  3. 抓包工具哪些好,来看这里就够了.....

    作为软件测试工程师,抓包总是不可避免:遇到问题要做分析需要抓包:发现 bug 需要定位要抓包:检查数据传输的安全性需要抓包:接口测试遇到需求不全的也需要抓包... 就因为抓包在测试工作中无处不在,所以 ...

  4. 2022全网最全的爆款抓包工具,各有千秋

    在处理IP网络的故障时,经常使用以太网抓包工具来查看和抓取IP网络上某些端口或某些网段的数据包,并对这些数据包进行分析,定位问题. 在 IMON项目里,使用抓包工具抓包进行分析的场景在EPG采集.引流 ...

  5. 7种抓包工具详细介绍

    在处理IP网络的故障时,经常使用以太网抓包工具来查看和抓取IP网络上某些端口或某些网段的数据包,并对这些数据包进行分析,定位问题. 在 IMON项目里,使用抓包工具抓包进行分析的场景在EPG采集.引流 ...

  6. 常用的爆款抓包工具综合对比(选择最合适的抓包工具才是最重要的!)

    在处理IP网络的故障时,经常使用以太网抓包工具来查看和抓取IP网络上某些端口或某些网段的数据包,并对这些数据包进行分析,定位问题. 在 IMON项目里,使用抓包工具抓包进行分析的场景在EPG采集.引流 ...

  7. “软件测试工程师”面试复习之《HTTP协议及抓包工具Fiddler》

    供面试复习使用,内容主要来自<HTTP抓包实战 作者:肖佳>和<图解HTTP 作者:日本上野宣> 关于HTTP协议 一.web网页是如何显示出来的? 1.打开浏览器,输入url ...

  8. 全网最全的抓包工具的综合对比

    在处理IP网络的故障时,经常使用以太网抓包工具来查看和抓取IP网络上某些端口或某些网段的数据包,并对这些数据包进行分析,定位问题. 在 IMON项目里,使用抓包工具抓包进行分析的场景在EPG采集.引流 ...

  9. 关于fi dd ler 手机抓包 网卡地址地址_linux 抓包工具tcpdump和tshark

    yum -y install tcpdump 有时候我们发现网卡流量很高,可能超出你们平时的预期,比如说我们就买了10m宽带,平时的话就跑个5M 6M,今天实际上跑满了 很明显有波动,这个时候你肯定想 ...

最新文章

  1. Qt中文手册 之 QTableWidget
  2. SAP MM VL09试图取消收货报错说某个HU负库存
  3. linux 安装包 在此作用域中尚未声明_Linux运行go项目报错:copy_file_range: bad file descriptor...
  4. python程序从哪里开始执行-python如何启动
  5. 第一天开始学习使用git中遇到的问题
  6. android 禁用dlsym_Android7.0对dlopen的改变——读取私有.so结果变化
  7. w3c+html+格式转换,HTML 转义字符
  8. 程序设计基础c语言版习题答案,C语言程序设计基础知识 习题一及参考答案
  9. Android textedit 背景,Android EditText 的使用及值得注意的地方
  10. 浅谈tomcat的配置及数据库连接池的配置
  11. [BZOJ3230]相似子串
  12. 关于水题POJ2159
  13. linux/unix下telnet提示Escape character is '^]'的意义
  14. JS动态插入插件后,不能马上使用,必须刷新
  15. 绑定薇娅李佳琦,不灵了
  16. 学堂云 减脂与运动塑形
  17. App开发者必备的运营、原型、UI设计工具整理
  18. 一个可以扩容C盘的第三方免费软件
  19. 企业wifi管家带来无限商机,你看到了吗?
  20. php开发和java的区别

热门文章

  1. 安科瑞零序电流互感器在小接地电流系统中的应用(安科瑞-卓宋兰)
  2. Ninth season eighteenth episode,they bought lotteries,can they win??????
  3. github客户端fork的简单教程
  4. android uevent原理
  5. 广远社:学会了什么?
  6. vue引入cube-ui插件,修改样式
  7. 2019年上半年全国大学英语四、六级考试成绩发布通知
  8. localhost 已拒绝连接(命令窗口安装版)还有安装教程
  9. LLCC68 Sub-1GHz LoRa射频收发器
  10. 用Java实现生命游戏