深入探究Qt HTTP的内部构架

一、前言

当今互联网时代中，B/S（Browser/Server , 浏览器/服务器）以及C/S（Client/Server , 客户端/服务器）架构已经是绝对的主流软件架构设计方式（除了极少部分的单机软件），它们各有优缺点，这里我们不展开讨论。但是B/S以及C/S架构软件都会有Server，也就是B/S或者C/S中的S，无论是Browser还是Client都必须与Server进行数据交互、传输，比如浏览器浏览网页，客户端注册、登录，获取数据，保存数据等等。那么在他们之间是怎么传输的呢？有什么方法保证数据不丢失，保证数据的完整一致性呢？这就是当今互联网中使用最广泛的网络传输协议HTTP即超文本传输协议(Hypertext transfer protocol)。今天我们就来深入探究一下QT中的HTTP的内部架构。

二、HTTP 协议

2.1 简介

HTTP协议，即超文本传输协议(Hypertext transfer protocol)。是一种详细规定了浏览器和万维网(WWW = World Wide Web)服务器之间互相通信的规则，通过因特网传送万维网文档的数据传送协议。
HTTP协议作为TCP/IP模型中应用层的协议也不例外。HTTP协议通常承载于TCP协议之上，有时也承载于TLS或SSL协议层之上，这个时候，就成了我们常说的HTTPS。
HTTP是一个应用层协议，由请求和响应构成，是一个标准的客户端服务器模型。HTTP是一个无状态的协议。
HTTP默认的端口号为80，HTTPS的端口号为443。
浏览网页是HTTP的主要应用，但是这并不代表HTTP就只能应用于网页的浏览。HTTP是一种协议，只要通信的双方都遵守这个协议，HTTP就能有用武之地。

2.2 特点

1、简单快速：客户向服务器请求服务时，只需传送请求方法和路径。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

2、灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

3、HTTP 0.9和1.0使用非持续连接：限制每次连接只处理一个请求，服务器处理完客户的请求，并收到客户的应答后，即断开连接。HTTP 1.1使用持续连接：不必为每个web对象创建一个新的连接，一个连接可以传送多个对象，采用这种方式可以节省传输时间。

4、无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

5、支持B/S及C/S模式。

三、QT中的HTTP组件

3.1 HTTP组件

HTTP组件是Qt中所有HTTP通信的基础，例如被用于Qt Webkit中。在Qt 5中，HTTP实现中有相当部分被重写，其中大部分的工作是woboq的Markus完成的。下面我们来分析HTTP组件的内部结构，出于简化的目的，我们将分析最主要的类，一些非主要的类，我们会省略掉。

对于QT提供的网络控件，我们可以用如下的方法使用QT提供的网络服务（HTTP）接口：

QUrl url("http://www.baidu.com");
QNetworkRequest request(url);
QNetworkAccessManager manager;
QNetworkReply *reply = manager.get(request);
QObject::connect(reply, SIGNAL(finished()), className, SLOT(replyFinished()));

3.2 网络访问的用户接口

从上面我们的例子和Qt的帮助文档中可以了解到http部分对用户开放的接口情况，QNetworkAccessManager、QNetworkRequest、QNetworkReply三个类包装在Qt上完成http通信所需要使用的接口，简单的来讲：

QNetworkAccessManager ：负责请求的创建以及状态管理

createRequest(QNetworkAccessManager::Operation op, const QNetworkRequest &req, QIODevice *outgoingData)

返回一个QNetworkReply 对象来处理网络请求，参数outgoingData是put/post需要上传的数据，传入QJson类型需要转为QByteArray，在put/post内部转为QBuffer（输出流对象）再传给createRequest，默认情况下会调用QNetworkCookieJar::cookiesForUrl()来保存请求的信息。
对于http/https 的创建方式是这样的：

    // Since Qt 5 we use the new QNetworkReplyHttpImplif (scheme == QLatin1String("http") || scheme == QLatin1String("preconnect-http")|| scheme == QLatin1String("https") || scheme == QLatin1String("preconnect-https")) {QNetworkReplyHttpImpl *reply = new QNetworkReplyHttpImpl(this, request, op, outgoingData);connect(this, SIGNAL(networkSessionConnected()),reply, SLOT(_q_networkSessionConnected()));return reply;}

对于其他协议，我们这里就不再展开来讲。

QNetworkRequest ：负责包装http请求，包括设置协议头、解析协议头
QNetworkReply ：负责接收对应请求的返回信息
对于网络结果返回的实现类是这样的：

QHttpThreadDelegate *delegate = new QHttpThreadDelegate;// deleteLater 可以安全的删除delegateQObject::connect(thread, SIGNAL(finished()), delegate, SLOT(deleteLater()));//通信状态以及数据交互...// 用于开始请求.QObject::connect(q, SIGNAL(startHttpRequest()), delegate, SLOT(startRequest()));QObject::connect(q, SIGNAL(abortHttpRequest()), delegate, SLOT(abortRequest()));// 控制连接的缓冲区QObject::connect(q, SIGNAL(readBufferSizeChanged(qint64)), delegate, SLOT(readBufferSizeChanged(qint64)));QObject::connect(q, SIGNAL(readBufferFreed(qint64)), delegate, SLOT(readBufferFreed(qint64)));// 移动 delegate 到 http threaddelegate->moveToThread(thread);//转入子线程处理请求emit q->startHttpRequest();

其中 QNetworkAccessManager类，是我们在实现网络中必用的一个类，也是QT中要进行网络访问、传输所面向用户最前列的类。所有的网络访问都是以QNetworkAccessManager开始的。所以我们也是从QNetworkAccessManager类开始分析的。当进行一个HTTP请求时，会先创建一个HTTP网络请求实现的实例，即QNetworkRelpyHttpmpl；
HTTP网络请求的对象包含一个网络请求返回QNetWorkReply与一个HTTP请求的对象QNetworkRequst。
QNetworkReply是hold网络请求返回结果的，我们也需要连接它的槽函数，来进行接受网络返回（不管同步，还是异步，都是通过QNetworkReply来接受HTTP网络请求结果）。

说完上面这些，我们对上面的例子进行解析一下过程网络访问中使用到的主要接口：使用QUrl来创建被用来表示一个HTTP请求的QNetworkRequest。该请求被传递给QNetworkAccessManager，该类负责在网络上发送请求，并返回一个表示HTTP响应的QNetworkReply。根据URL所采用协议的不同，QNetworkAccessManager会创建QNetworkReply的不同内部子类；如果URL采用了“http://”或者“https://”协议，则会创建一个QNetworkReplyHttpImpl实例。该类是用来设置请求，并在发送请求前向其添加例如缓冲或者cookie等信息。
如果该请求被用作上传数据（例如使用HTTP POST或者PUT），该实现类会用到QNonContiguousByteDevice。这个非连续字节类能够用来在不执行memcpy操作的环境中读取文件、字节等。
所以，我们来总结一下这些接口的执行顺序，可用如下的UML图表示（其中蓝色背景表示QT提供给用户可使用的类，也就是公用类。绿色表示为实现公用类定义的私有类，下同）：

3.3 HTTP 工作线程

在Qt 4.8中引入一个特性是多线程的HTTP后端：这个新的后端在一个单独的线程中收发数据，并进行HTTP消息解析。

QNetworkReplyHttpImpl会创建一个名为QHttpThreadDelegate的类，并将其放置在这个新的线程中（被称为HTTP线程）。这个QHttpThreadDelegate是一个Facade类，为所有在HTTP线程中的操作提供了一个接口。所有在QNetworkReplyHttpImpl和QHttpThreadDelegate之间的跨线程通信和数据传递都是通过信号和槽完成的。这意味着Delegate提供了一些槽，由HttpImpl发出的信号所触发，反之亦然。

每当QNetworkReplyHttpImpl被创建时，它都会创建一个相应的QHttpThreadDelegate，链接相应的信号和槽，并将该Delegate移动到HTTP线程中去。

该Delegate提供了用来组建HTTP请求和响应的类，名为QHttpNetworkRequest和QHttpNetworkReply。可能这个时候会有小伙伴感到疑惑，因为我们已经拥有了公开接口QNetworkRequest和QNetworkReply；这两个公开接口提供了大量HTTP特有属性的访问接口，例如设置HTTP流水线、状态码和其他HTTP头。而这两个内部类QHttpNetworkRequest和QHttpNetworkRply则用以解析从socket数据流中接受到的HTTP消息，以填充HTTP头和实体。

我们来进一步解析一下HTTP工作线程：

将HTTP工作线程与主线程分开，将所有的HTTP请求放在一个单独的线程里执行，好处是显而易见的，不仅不会影响主进程，还会提高HTTP的工作效率。

3.4 更底层

HTTP请求和相应是在所谓的“频道”上进行收发的；简单的说，每个“频道”就是一个socket，并附加了一些用于维护HTTP状态和特性的逻辑。对于普通的HTTP请求，通常采用QTcpSocket作为该频道上的socket，而对于“https://”则采用QSslSocket。

一系列连接到同一服务器的频道组成一个连接。对于和同一个服务器的通信，这里总是只有一个连接，以及最多同时有六个频道。此外，当HTTP流水线被启用的时候，还可以同时发出更多的请求。当通过socket接收到一个相应时，该socket并不会被自动关闭，而是默认被用作后续请求，从而节省socket的初始化时间并重用一个已经具有更大TCP窗口值的socket。

现在，HTTP内部结构的UML图已经基本完整了：

3.5 其他

到目前还有两个重要的类未被提及：

QNetworkSession：该类主要用于移动设备之中，特别是在缺少互联网的持续连接的环境中。当缺乏对互联网的连接时，QNetworkSession及其相关类会尝试创建一个连接（例如，程序可以连接QNetworkSession的信号，让用户在3G和Wifi连接之间进行选择）。该类被QNetworkAccessManager初始化。
QNetworkAccessAuthenticationManager：该全局类被用于存储能够被重用的认证信息。当服务器要求认证时，QNetworkAccessManager会发出一个信号（QNetworkAccessManager::authenticationRequired()），要求用户输入用户名和密码。而这个认证管理器类则会缓存此信息，并在后续的请求中自动将其发送给服务器。有趣的是，这个认证管理器也使用了QNetworkAccessCache，和QHttpNetworkConnection用来缓存连接一样。
因此，Qt HTTP内部构架的完整类图如下所示：

3.6 其他

尽管上面这个类图已经显得够复杂了，但还有一些类和领域被省略了：

Bearer类：用于更加细粒度的调节连接设置等，除了前面提到的QNetworkSession外还有几个类被用到。
Cookies：显然，Qt HTTP默认支持cookie的解析和发送，请参见
QNetworkCookie和QNetworkCookieJar
HTTP缓存：尽管Qt也支持HTTP缓存，但未被默认启用。
代理服务器：Qt支持在HTTP和SOCKS5代理服务器上进行网络传输。
上传数据：一些关于上传数据，以及处理HTTP multipart消息的类被省略了。

四、写在最后

在Qt中HTTP作为重要的模块之一，在Qt4与Qt5分别作了很大的改动。我们现在普遍使用的为Qt5,所以本文中的源码皆以Qt5.7.0 版本中的源码作为分析依据，Qt5对比之前Qt4版本的源码发生了比较大的改变，Qt5中http/https与其他的协议（ftp、spdy等）的实现分离，http2.0也是单独实现，http完全从backend的抽象工厂模式中剥离出来，新的http采用外观模式将http部分的实现隐藏，在源码内部仅暴露出QHttpThreadDelegate，通过QHttpThreadDelegate与QNetworkReplyHttpImpl之间跨线程的信号槽来实现通信以及数据交互。