动手做webserver的核心之http解析
简介
webserver往小里说核心功能就是socket管理、url处理、http协议处理、业务dll管理等;下面简介绍一下http协议:超文本传输协议(HTTP)是一种通信协议,当时就是为web传输设计的一个基于tcp的协议;基于这个字面上理解,可以简单的点说就是用tcp来传输文本、数据的一种编解码格式。传输协议一般比如说定个长度+内容,或者以回车符作为结尾等方式。http协议是文本传输协议,所以也是采用回车符来结尾的方式来实现编码传输解析的; 这里使用分析工具来简单分析一下http的基本格式:
从上图可以看出http的基本格式一般大体为成header和body,header的第一行是固定的status line,header与body之间用回车符+空行+回车符来分隔的
GET
webserver一般收到get请求如下:
1 GET /yswenli/p/8858669.html HTTP/1.1 2 Host www.cnblogs.com 3 User-Agent Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36 Accept image/webp,image/*,*/*;q=0.8 4 Referer https://www.cnblogs.com/yswenli/p/8858669.html 5 Accept-Encoding gzip, deflate, sdch 6 Accept-Language zh-CN,zh;q=0.8
也就是说如果发起了一个get请求的时候,webserver只是收到一个一个http header,直接全部收取后解析就行
POST
如果是一个post请求呢?查看html相关内容,可以看post有很多方式,总体上分成三种,一种是默认的application/x-www-form-urlencoded:
1 POST http://www.example.com HTTP/1.1 2 Content-Type: application/x-www-form-urlencoded;charset=utf-8 3 4 title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3
这种格式就是带有header和body两部分内容,解析的时候可以先按get收头部,然后再取body,body里面的参数取值是先urldecode再htmldecode就可以了。
第二种就是json、xml、plaine等:
1 POST http://www.example.com HTTP/1.1 2 Content-Type: application/json;charset=utf-8 3 4 {"title":"test","sub":[1,2,3]}
这种和上面类似,不过在取body的时候直接读就行~
还有第三种multipart/form-data,这种模式格式比较复杂,它支持多键值对、多文件的方式,使用特定的boundary来分隔body
1 POST http://www.example.com HTTP/1.1 2 Content-Type:multipart/form-data; boundary=----WebKitFormBoundaryrGKCBY7qhFd3TrwA 3 4 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA 5 Content-Disposition: form-data; name="name" 6 7 yswenli 8 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA 9 Content-Disposition: form-data; name="file"; filename="chrome.png" 10 Content-Type: image/png 11 12 PNG ... content of chrome.png ... 13 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA 14 Content-Disposition: form-data; name="text" 15 16 title 17 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA 18 Content-Disposition: form-data; name="file"; filename="chrome2.png" 19 Content-Type: image/png 20 21 PNG ... content of chrome.png ... 22 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA--
这种格式也是带有header和body两部分内容,解析的时候先按get收头部,然后再取body,body里面的内容先按boundry进行分割,然后再根据content-type进行判断取出文件内容。
TCP转HTTP
即然拿到相关数据格式,并研究分析了http的编码格式,下面就可以开始解码了。首先使用一个data来接收socket的tcp数据包,然后统一分析http包的header,直到截取到\r\n+""+\r\n为止。
1 using (MemoryStream ms = new MemoryStream(buffer)) 2 { 3 ms.Position = 0; 4 5 using (SAEA.Common.StreamReader streamReader = new SAEA.Common.StreamReader(ms)) 6 { 7 while (true) 8 { 9 var str = streamReader.ReadLine(); 10 if (str == string.Empty) 11 { 12 this.HeaderStr = _stringBuilder.ToString(); 13 _stringBuilder.Clear(); 14 break; 15 } 16 else if (str == null && string.IsNullOrEmpty(this.HeaderStr)) 17 { 18 return false; 19 20 } 21 else 22 _stringBuilder.AppendLine(str); 23 } 24 } 25 }
上面使用了一个自定义的StreamReader,原因是自带的那个无法定位Stream的Position;若已成功解析出http的header,接下来就可以根据header来判断提交的方式是get还是post等。
1 /// <summary> 2 /// 解析http请求的数据 3 /// </summary> 4 /// <param name="data"></param> 5 /// <param name="onUnpackage"></param> 6 public void GetRequest(byte[] data, Action<RequestDataReader> onUnpackage) 7 { 8 lock (_locker) 9 { 10 _cache.AddRange(data); 11 12 var buffer = _cache.ToArray(); 13 14 if (!isAnalysis) 15 { 16 isAnalysis = _httpStringReader.Analysis(buffer); 17 } 18 if (isAnalysis) 19 { 20 //post需要处理body 21 if (_httpStringReader.Method == ConstString.POSTStr) 22 { 23 var contentLen = _httpStringReader.ContentLength; 24 var positon = _httpStringReader.Position; 25 var totlalLen = contentLen + positon; 26 if (buffer.Length == totlalLen) 27 { 28 _httpStringReader.AnalysisBody(buffer); 29 onUnpackage.Invoke(_httpStringReader); 30 Array.Clear(buffer, 0, buffer.Length); 31 buffer = null; 32 _cache.Clear(); 33 _cache = null; 34 } 35 } 36 else 37 { 38 onUnpackage.Invoke(_httpStringReader); 39 Array.Clear(buffer, 0, buffer.Length); 40 buffer = null; 41 _cache.Clear(); 42 _cache = null; 43 } 44 } 45 } 46 }
已解析header的话,就可以根据上面说的相关post的http数据格式来解析body。
1 switch (this.ContentType) 2 { 3 case ConstString.FORMENCTYPE1: 4 this.Forms = GetRequestForms(Encoding.UTF8.GetString(this.Body)); 5 break; 6 case ConstString.FORMENCTYPE2: 7 //todo 8 using (MemoryStream ms = new MemoryStream(this.Body)) 9 { 10 ms.Position = 0; 11 using (var sr = new SAEA.Common.StreamReader(ms)) 12 { 13 StringBuilder sb = new StringBuilder(); 14 var str = string.Empty; 15 do 16 { 17 str = sr.ReadLine(); 18 if (str == null) 19 { 20 break; 21 } 22 else 23 { 24 sb.AppendLine(str); 25 if (str.IndexOf(CT) > -1) 26 { 27 var filePart = GetRequestFormsWithMultiPart(sb.ToString()); 28 29 if (filePart != null) 30 { 31 sr.ReadLine(); 32 33 filePart.Data = sr.ReadData(sr.Position, this.Boundary); 34 if (filePart.Data != null) 35 { 36 filePart.Data = filePart.Data.Take(filePart.Data.Length - 2).ToArray(); 37 } 38 if (this.PostFiles == null) 39 this.PostFiles = new List<FilePart>(); 40 this.PostFiles.Add(filePart); 41 } 42 sb.Clear(); 43 sr.ReadLine(); 44 } 45 } 46 } 47 while (true); 48 49 } 50 } 51 break; 52 default: 53 this.Json = Encoding.UTF8.GetString(this.Body); 54 break; 55 }
至此,http的相关解析就完成了,详细的代码可参见:
1.HCode主要功能收取tcp包、
2.RequestDataReader主要功能是收到的tcp包近http协议转成webrequest、
3.HttpRequest主要功能是将转换的数据进行model赋值、
4.HttpContext主要功能是映射到处理业务并返回http数据
转载请标明本文来源:https://www.cnblogs.com/yswenli/p/9326453.html
更多内容欢迎star/fork作者的github:https://github.com/yswenli/SAEA
如果发现本文有什么问题和任何建议,也随时欢迎交流~
感谢您的阅读,如果您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是yswenli 。
动手做webserver的核心之http解析相关推荐
- 自己动手做AI:Google AIY开发工具包解析
2018年国际消费性电子展(CES)上,最明显的一个趋势是Amazon与Google的语音技术进驻战,如AmazonAlexa进驻到Acer笔电内,Google Assist进驻到KIA汽车内,其他如 ...
- 【面试资料】 Java中高级核心面试知识解析
[面试资料] Java中高级核心面试知识解析 一.Java (一). 基础 (二). 容器 (三). 并发 (四). JVM 二.网络 (一). 计算机网络知识 (二). HTTPS中的TLS 三.L ...
- 开关面板如何自己印字_如何自己动手做一个智能开关
现在的智能家居这么火,对于想自己动手的小伙伴们来说,都想自己去做一些家里使用 的智设备.现在的中国不缺卖唱卖惨的,缺的是能动手创造一些能实际使用的而不是哗众取宠的人,天天喊着要反击外国技术封锁.那么我 ...
- Go modules基础精进,六大核心概念全解析(下)
Go 语言做开发时,路径是如何定义的?Go Mudules又为此带来了哪些改变?本文将会全面介绍Go Modules六大核心概念,包括了设计理念与兼容性原则等,掌握这些技术点对于管理和维护Go 模块有 ...
- proteus仿真micropython_【雕爷学编程】MicroPython动手做(04)——零基础学MaixPy之尝试运行...
1.hello micropython #MicroPython动手做(04)--零基础学MaixPy之基本示例 #程序之一:hellomicropython #MicroPython动手做(04)- ...
- java file取不到linux文件_Java中高级核心知识全面解析——Linux基本命令(切换、增删改查、压缩文件、权限命令)...
一.目录切换命令 cd usr: 切换到该目录下usr目录 cd ..(或cd../): 切换到上一层目录 cd /: 切换到系统根目录 cd ~: 切换到用户主目录 cd -: 切换到上一个操作所在 ...
- 「雕爷学编程」Arduino动手做(33)——ESP-01S无线WIFI模块
37款传感器与模块的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止37种的.鉴于本人手头积累了一些传感器和模块,依照实践出真知(一定要动手做)的理念,以学习和交流为目的,这里 ...
- Java中高级核心知识全面解析——什么是Spring Cloud、需要掌握哪些知识点?(下)
目录 一.必不可少的 Hystrix 1.什么是 Hystrix之熔断和降级 2.什么是Hystrix之其他 二.微服务网关--Zuul 1.Zuul 的路由功能 1)简单配置 2)统一前缀 3)路由 ...
- 创意动手做:再也不用数据线,华为D1改装无线充电!
手机每次充电都要接上数据线才能充电,大家是不是有点厌烦了?有没有想过让自己的手机也像科幻电影里面一样可以放在桌上就能充电.什么,手机不自带无线充电?没关系,小编教你改装让你的手机拥有无线充电功能! 首 ...
最新文章
- 使用 Kanban精益创新
- python和对象复习_【Python复习巩固 Day4】面向对象编程
- A/B Matrix CodeForces - 1360G(思维构造)
- 导入ansys的实体怎么进行parameter_ANSYS在线缆线束设计中的仿真应用
- pycharm-连接mysql设置
- scrapy 图片url 转base64_一文快速掌握 scrapy 爬虫框架
- error: unknown field ‘ioctl’ specified in initializer
- Java前端自定义错误信息封装_SpringBoot2.3定制错误页面的方法示例
- 刘永行:领导者的得与失
- c语言怎样找无限循环小数的循环体
- 计算机学院毕设翻译模版,计算机毕设外文翻译
- Unity 设置固定移动路线
- Vue 运行提示“没有注册类”的解决办法
- Ios端直播商城源码开发之实现全屏直播功能
- #Linux#进程间通信# 管道(pipe)-匿名管道pipe
- 会声会影2022最新升级更新版本
- 智能家具N种WIFI密码设置方法
- linux gdm错误,gdm 系统出错且无法恢复
- shell去掉输出的末尾换行符
- How Intense Are You? Predicting Intensities of Emotions and Sentiments Using Stacked Ensemble
热门文章
- 表单html遇到的问题及处理,Html表单中遇到的问题
- 的watch什么时候触发_Vue中computedamp;methodamp;watch的区别
- 智能循迹小车_校园智能车障碍断路方案浅谈
- 事件循环中的宏任务和微任务执行顺序
- 电芯容量在前期循环中容量增加_安普瑞斯王岑博士:安普瑞斯的硅负极材料在高能量密度电池中的应用进展...
- java推送到 钉钉用户_javaweb利用钉钉机器人向钉钉群推送消息(解决中文乱码)...
- java终结方法_java编程思想之并发(终结任务)
- 独立ip 公司文件服务器,企业在外贸建站时,为什么要选择独立IP的服务器?
- SpringBoot实战(十二):集成 Spring Boot Admin 监控
- DeepMind登上Science:“和AI相比,人类都是猪队友”,团战称霸雷神之锤3