Linux网络编程（协议解析）
协议解析
协议基础
自定制协议：程序员自己定制的协议
应用层协议：如何将多个数据对象组织成为一个二进制数据串进行传输
需要考虑传输性能和解析性能，解析性能高的不一定传输性能高
比如：struct {int num1，int num2，char op} 解析方便 但由于占用内存大导致传输性能较低
序列化
序列化：将多个数据对象按照指定协议进行组织实现持久化存储或者网络通信传输的二进制数据串的过程
反序列化：按照指定协议将二进制数据串解析得到各个数据对象的过程
典型序列化方式：结构体序列化，json序列化，protobuf序列化
HTTP协议
http协议：超文本传输协议，明文字符串传输协议
https协议：加密之后的http协议，安全性更高
http协议在传输层基于tcp协议实现，是一个简单的请求-响应协议
http协议格式（也称为：http协议数据结构）
首行：请求行 响应行（对于请求和响应的简单关键描述）
请求行：请求方法 URL 协议版本\r\n
（1）请求方法：
- GET：向服务器获取实体资源，也可以提交数据但由于提交过程中没有正文所以提交数据没有在正文而在URL中 注意：（1）get提交数据在url中，不安全 （2）url长度有限制导致提交数据有限制
- HEAD:向服务器仅获取响应头部，不要正文实体 与get区别： 响应没有正文，与get相同：请求都没有正文
- POST:向服务器提交数据，提交有正文，提交数据放在正文中
1 PUT 从客户端向服务器传送的数据取代指定的文档的内容。修改资源 2 DELETE 请求服务器删除指定的页面。删除资源 3 CONNECT HTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器。 4 OPTIONS 允许客户端查看服务器的性能。 5 TRACE 回显服务器收到的请求，主要用于测试或诊断。 6 PATCH 是对 PUT 方法的补充，用来对已知资源进行局部更新 。
（2）URL：（网址）统一资源定位符，用于定位网络中某个主机上的资源
组成：协议名称://用户名：密码@域名：端口/资源路径？查询字符串数据#片段标识符
- http服务默认使用80端口 https服务默认使用443端口
- 查询字符串：提交给服务器的数据，由一个个key=value键值对组成，键值对之间以&符号间隔
- urlencode：编码 目的：用户请求的资源路径或查询字符串中存在特殊字符，可能与url特殊字符冲突
编码方法：将特殊字符每个字节（8bit）转换为16进制数字字符，并前缀% eg: '+' %2B
- urldecode：解码
解码方法：遇到%，则认为紧随其后的两个字符进行解码，将两个字符转换为数字（16进制转10进制）
片段标识符：定位网页位置
（3）协议版本
0.9：最早期版本，只支持GET方法，支持超文本数据传输，没有规范http协议格式
1.0：规范了http协议格式，新增支持GET,HEAD,POST请求方法。支持各种多媒体资源传输，简单缓冲控制
1.1：支持更多请求方法，对1.0进行性能提升，支持长连接（connection：keep-alive）
2.0：重新定义http协议 1，二进制数据传输 2，支持主动推送资源 3，服务器长连接响应，不需要按序进行，解决队头阻塞问题
响应行：协议版本 响应状态码 状态码描述
响应状态码：直观向客户端反映处理结果
| 分类 | 分类描述 |
|---|---|
| 1** | 一些描述信息，服务器收到请求，需要请求者继续执行操作 |
| 2** | 成功，操作被成功接收并正确处理 |
| 3** | 重定向，需要进一步的操作以完成请求，表示本次请求的资源移到新的链接处，原链接依然可用 |
| 4** | 客户端错误，请求包含语法错误或无法完成请求 |
| 5** | 服务器错误，服务器在处理请求的过程中发生了错误 |
| 状态码 | 状态码描述 | 中文描述 |
|---|---|---|
| 100 | Continue | 继续。客户端应继续其请求 |
| 101 | Switching Protocols | 切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议，例如，切换到HTTP的新版本协议 |
| 200 | OK | 请求成功。一般用于GET与POST请求 |
| 201 | Created | 已创建。成功请求并创建了新的资源 |
| 202 | Accepted | 已接受。已经接受请求，但未处理完成 |
| 203 | Non-Authoritative Information | 非授权信息。请求成功。但返回的meta信息不在原始的服务器，而是一个副本 |
| 204 | No Content | 无内容。服务器成功处理，但未返回内容。在未更新网页的情况下，可确保浏览器继续显示当前文档 |
| 205 | Reset Content | 重置内容。服务器处理成功，用户终端（例如：浏览器）应重置文档视图。可通过此返回码清除浏览器的表单域 |
| 206 | Partial Content | 部分内容。服务器成功处理了部分GET请求，eg：断点续传 |
| 300 | Multiple Choices | 多种选择。请求的资源可包括多个位置，相应可返回一个资源特征与地址的列表用于用户终端（例如：浏览器）选择 |
| 301 | Moved Permanently | 永久移动。请求的资源已被永久的移动到新URI，返回信息会包括新的URI，浏览器会自动定向到新URI。今后任何新的请求都应使用新的URI代替 |
| 302 | Found | 临时移动。与301类似。但资源只是临时被移动。客户端应继续使用原有URI |
| 303 | See Other | 查看其它地址。与301类似。使用GET和POST请求查看 |
| 304 | Not Modified | 未修改。所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。客户端通常会缓存访问过的资源，通过提供一个头信息指出客户端希望只返回在指定日期之后修改的资源 |
| 305 | Use Proxy | 使用代理。所请求的资源必须通过代理访问 |
| 306 | Unused | 已经被废弃的HTTP状态码 |
| 307 | Temporary Redirect | 临时重定向。与302类似。使用GET请求重定向 |
| 400 | Bad Request | 客户端请求的语法错误，服务器无法理解 |
| 401 | Unauthorized | 请求要求用户的身份认证 |
| 402 | Payment Required | 保留，将来使用 |
| 403 | Forbidden | 服务器理解请求客户端的请求，但是拒绝执行此请求 |
| 404 | Not Found | 服务器无法根据客户端的请求找到资源（网页）。通过此代码，网站设计人员可设置"您所请求的资源无法找到"的个性页面 |
| 405 | Method Not Allowed | 客户端请求中的方法被禁止 |
| 406 | Not Acceptable | 服务器无法根据客户端请求的内容特性完成请求 |
| 407 | Proxy Authentication Required | 请求要求代理的身份认证，与401类似，但请求者应当使用代理进行授权 |
| 408 | Request Time-out | 服务器等待客户端发送的请求时间过长，超时 |
| 409 | Conflict | 服务器完成客户端的 PUT 请求时可能返回此代码，服务器处理请求时发生了冲突 |
| 410 | Gone | 客户端请求的资源已经不存在。410不同于404，如果资源以前有现在被永久删除了可使用410代码，网站设计人员可通过301代码指定资源的新位置 |
| 411 | Length Required | 服务器无法处理客户端发送的不带Content-Length的请求信息 |
| 412 | Precondition Failed | 客户端请求信息的先决条件错误 |
| 413 | Request Entity Too Large | 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息 |
| 414 | Request-URI Too Large | 请求的URI过长（URI通常为网址），服务器无法处理 |
| 415 | Unsupported Media Type | 服务器无法处理请求附带的媒体格式 |
| 416 | Requested range not satisfiable | 客户端请求的范围无效 |
| 417 | Expectation Failed | 服务器无法满足Expect的请求头信息 |
| 500 | Internal Server Error | 服务器内部错误，无法完成请求 |
| 501 | Not Implemented | 服务器不支持请求的功能，无法完成请求 |
| 502 | Bad Gateway | 作为网关或者代理工作的服务器尝试执行请求时，从远程服务器接收到了一个无效的响应，连接建立失败 |
| 503 | Service Unavailable | 由于超载或系统维护，服务器暂时的无法处理客户端的请求。延时的长度可包含在服务器的Retry-After头信息中 |
| 504 | Gateway Time-out | 充当网关或代理的服务器，未及时从远端服务器获取请求，响应延迟 |
| 505 | HTTP Version not supported | 服务器不支持请求的HTTP协议的版本，无法完成处理 |
头部：对于请求或响应或正文的一些关键描述（由一个个key：value键值对组成，每个键值对以\r\n结尾）
典型头部字段：
| Connection | 长短连接控制 | keep-alive/close |
| Referer | 记录本次请求的来源连接 | |
| Content-Type | 表示正文数据格式 | |
| Content-Length | 表示正文数据长度 | 解决粘包问题 |
| cookie /session | 请求头cookie 响应头session |
cookie：
| 一个客户端登录之后，服务端验证登录，成功后，通过set-cookie设置cookie信息返回给客户端 |
客户端接收到响应后，将set-cookie字段的cookie信息保存起来，下次请求服务器直接从cookie文件中读取出cookie信息，通过cookie字段发送给服务器 |
cookie是一个维护http通信状态的技术，但存在安全隐患
解决方法：session
| 服务端针对每个客户端建立会话当客户端登录成功后，创建会话，在会话中记录客户端用户信息及状态等信息 通过set-cookie字段将session-id返回给客户端 | session-id每次请求都会发生变化，并且用户的隐私信息一直保存在服务器中，防止泄露 |
cookie和session区别：
cookie是维护http通信状态的技术，将关键信息保存在客户端，每次请求服务器时，读取出来发送给服务端，此过程中将关键信息保存在cookie字段中进行传输
session是解决cookie安全隐患，将关键信息保存在服务端，通过创建会话后，而只将session-id返回给客户端，客户端作为cookie字段保存，再次请求过程中只是将session-id信息保存在cookie字段中进行传输，而非直接传输用户信息，安全性相比较于cookie提高
空行：\r\n 间隔头部与正文
正文：客户端提交给服务端，或者服务端响应给客户端的数据
简单的http服务器的搭建:
1.搭建tcp服务端
⒉获取新建连接
3.使用新建连接，等待接收数据(http协议的请求数据)
4.接收过程:先接收http头部，解析头部-Content-Length确定正文长度5.接收指定长度的正文
6.根据请求方法以及资源路径确定客户端的请求目的7.进行具体对应的业务处理
8.组织http协议格式的响应数据，对客户端进行回复
9.如果是短连接，则直接关闭套接字，如果是长连接，则继续等待接收数据
代码如下：
运行结果如下：
抓包结果如下：
HTTPS协议
基于http协议进行加密
https协议就是基于ssl进行加密实现加密传输
目的：实现数据的安全传输
安全传输：（1）身份验证问题 ，防止伪装 （2）数据加密问题，防止监听
- 身份验证实现：
CA认证：通信双方在通信前先到权威机构请求给自己颁发CA证书
通信双发建立连接后，通信之前先将证书发送给对方，收到对方证书后，查看权威机构是否是自己信任的，如果信任，则到权威机构进行身份验证，验证通过后进行通信，不通过可以自行选择是否添加信任
- 数据加密实现：
1，对称加密：加解密使用相同秘钥，加解密效率高，但秘钥被劫持加密形同虚设导致安全性低
2，非对称加密：加密解密使用不同秘钥，安全度高，加解密效率低
通信前，每一端可以生成一对秘钥（公钥，私钥），将公钥发送给对方，对方使用公钥进行加密，自己收到数据后，通过私钥解密（RSA加密算法）
,3，混合加密：通信双方在通信前使用非对称加密 保护对称秘钥协商过程，对称秘钥协商完毕后，使用对称秘钥加密传输
- SSL加密实现：
1，服务器先生成一对秘钥即公私钥到权威机构使用公钥请求颁发一个证书
2，通信双方建立连接后，数据传输前，服务器将证书发送给客户端
3，客户端对证书进行解析，根据信息进行身份验证
4，身份验证通过后，使用公私钥加密（一个随机数+自己支持的对称加密算表）发送给服务器
5，服务器收到公钥加密数据使用私钥进行解密，并且给客户端回复一个随机数+自己支持的对称加密算表
6，双发通过自己的随机数和对方发送过来的随机数配合对称加密算表进行计算得到一个对称秘钥
7，后续通信都通过对称秘钥来加密数据通信
Linux网络编程（协议解析）相关推荐
- linux网络编程函数解析之——setsockopt / getsockopt用法
linux网络编程函数解析之--setsockopt / getsockopt用法 工程中无线传输方面的东西用到了setsockopt(),getsockopt().网上相关博客很多,而且类似,原文出 ...
- alin的学习之路（Linux网络编程：十）（http协议，BS模型）
alin的学习之路(Linux网络编程:十)(http协议,BS模型) 需求:使用B/S模型来访问主机中的文件(包括目录) 0. B/S 模型 注意事项 1. 浏览器请求ico 准备一个favic ...
- Linux网络编程篇之ICMP协议分析及ping程序实现
Linux网络编程系列: Linux网络编程篇之Socket编程预备知识 Linux网络编程篇之TCP协议分析及聊天室功能实现 如果对Linux网络编程,对socket通信不是太清楚的同学,强烈推荐看 ...
- Linux网络编程基础1（网络应用程序设计模式，分层模型，协议格式）
Linux网络编程基础(网络应用程序设计模式,socket编程,inet_pton,inet_ntop,服务端创建连接的过程,客户端创建连接的过程,socket函数封装) 1. 网络应用程序设计模式 ...
- 【Linux网络编程】无连接和面向连接协议
00. 目录 文章目录 00. 目录 01. 概述 02. 附录 01. 概述 网络编程中最基本的概念就是面向连接(connection-oriented)和无连接(connectionless)协议 ...
- Linux网络编程-七
Linux网络编程-七 web服务器项目 1 web服务器开发准备 1.1 Html语言基础(和Markdown一个性质,某些程度上和Markdown通用,所以我在编辑的时候在<>里都加了 ...
- Linux网络编程——千峰物联网笔记
B站视频:千峰物联网学科linux网络编程 网址:https://www.bilibili.com/video/BV1RJ411B761?p=1 目录 第一章:计算机网络概述 1.1计算机网络发展简史 ...
- linux网络编程大杂烩==Linux应用编程7
一.Linux 网络编程框架 1.网络是分层的 (1)OSI 七层模型:应用层.表示层.会话层.传输层.网络层.数据链路层.物理层. (2)网络为什么要分层:互联网及其复杂,需要分层以便更好地实现网络 ...
- Linux网络编程基础知识
Linux网络编程基础知识 1. 协议的概念 1.1 什么是协议 1.2 典型协议 2 网络应用程序设计模式 2.1 C/S模式 2.2 B/S模式 2.3 优缺点 3 分层模型 3.1 OSI七层模 ...
- 【Linux网络编程】UDP 套接字编程
[Linux网络编程]UDP 套接字编程 [1]用户数据报协议(UDP) UDP是一个简单的传输层协议,不保证UDP数据报会到达其最终目的地,不保证各个数据报的先后顺序跨网络后保持不变,也不保证每个数 ...
最新文章
- 深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG) 优化算法
- 【数据结构】邻接矩阵及其实现
- 【RegExp】JavaScript中正则表达式判断匹配规则以及常用方法
- 如何改造UE4用于赛璐璐3D卡渲？这里有一份日本大厂的实操分享
- oracle的基本概念,oracle的基本概念
- android开发实例-标准意图方法Intent(二)
- Java 使用阿里巴巴 Dns Cache Manipulator
- linux 常见的挂载命令 mount showmount umount
- Spring Cloud Stream
- Google 推出移动版任务管理工具 Google Tasks
- mysql怎么分读写_MYSQL的读写分离
- JavaScript + jQuery 知识复习总结（附超实用jQuery中文文档）
- BP神经网络学习算法原理
- LINUX下PHP扩展开发:第一个C扩展
- java rar解压
- 华为Mate20系列赢得各界盛誉，棋圣聂卫平也对其AI性能称赞
- Flashplayer11 And AIR3游戏应用介绍视频
- npm安装慢 ，卡在sill idealTree buildDeps不动
- 两个不同局域网电脑如何互相访问
- 传输层 TCP 拥塞控制（2）：拥塞避免