这是一个有关计算机网络协议的故事

一、我佛造经传极乐

话说我佛如来为度化天下苍生,有三藏真经,可劝人为善。

就如图中所示,真经所藏之处,在于云端。佛祖所管辖之下,有四个区域Region,称为四大部洲, 一是东胜神洲,二是南赡部洲,三是西牛贺洲,四是北俱卢洲。

我佛所在西牛贺洲,是主站点。

在每个区域Region,为保证真经永固,设置多个藏经楼,称为可用区(Available Zone)。

每个藏经楼里面是一排一排的柜子,称为机柜,里面有一排一排的格子,称为服务器,经文就摆放在格子中。

在藏经楼中,柜子根据经文分门别类的组织起来,由不同的神仙进行管理,管理一个柜子的经文的神仙,访问这里面经文的钥匙就在他手里,称为接入层神仙(接入层交换机)。

小编分类整理了许多java进阶学习材料和BAT面试题,需要资料的请加JAVA高阶学习Q群:8515318105;就能领取2019年java架构师进阶学习资料和BAT面试题。

多个接入层神仙被一组汇聚层神仙(汇聚层交换机)管着,多个汇聚层的神仙被一组核心层神仙(核心交换机)管着。

神仙体系组织严格,层次分明,不同的接入层神仙交换经文,要通过汇聚层神仙同意,不同的汇聚层神仙交换经文,需要核心层神仙同意。

经文的看守要万无一失,因而每一层都是分组看护,互相监督,互相备份,称为堆叠。

虽说每个柜子里面放满了经文,为了防止经文被偷听偷看,经文的内容是被仙术封装在一个虚拟的私密空间里面,虽然有人可能会偷到物质的经文,但是没有仙术打开这个私密空间,看到的经文如同空白的一样。这个虚拟的私密空间称为VPC。

要解读经文,需要使用每一格中一个不起眼的法宝,就是称为Openvswitch的虚拟交换机,顾名思义就是起到经文在虚拟私密空间和物理空间之间的转换作用。

Openvswitch如何转换呢?使用的是一种称为VXLAN的封装技术,但是必须要事先知道芝麻开门的ID,也即VXLAN ID,才能看到经文的真正内容。

在虚拟的空间中,放着真正可以解读的真经。

真经有法一藏,谈天;论一藏,说地;经一藏,度鬼;三藏共计三十五部,该一万五千一百四十四卷,乃是修真之径,正善之门。

看来已经前中后台分离,分为基础服务层,组合服务层,Controller层,共三十五个模块,一万五千多个服务,真是微服务架构啊。

如何能够不要迷失在这个一万五千卷经文中,也是很有挑战的事情,需要一个索引和指南,这就是常说的RPC框架和服务注册与发现中心。

为了方便诸多僧侣前来取经,灵山脚下会有一个统一的入口地址,这里有一个神仙,称为金顶大仙,专门来接应取经人的。

由于前来取经的人很多,同时经文也很多,所以金顶大仙多起到负载均衡的作用,将不同的取经人引领到不同的藏经楼,访问不同的经文。

金顶大仙所在的灵山脚下,是一个世界知名的地址,称为外网IP地址,这个地址是全球可定位的,所有的取经人都先到这个地方,金顶大仙通过NAT规则,将外网IP地址,变成藏经楼的私有IP地址,例如2号藏经楼三楼,4号藏经楼五楼等。在灵山藏经楼里面,是通过私有IP地址定位的。

真经已经准备好,就差东土取经人了。

二、观音奉旨上长安

可是佛祖愁啊,是这样说的:我待要送上东土,叵耐那方众生愚蠢,毁谤真言,不识我法门之要旨,怠慢了瑜迦之正宗。怎么得一个有法力的,去东土寻一个善信.教他苦历千山,远经万水,到我处求取真经,永传东土,劝他众生,却乃是个山大的福缘,海深的善庆、谁肯去走一遭来?

真经就在灵山,可以东土之人愚钝,不知道灵山咋办呢?要一个法力无边的人告诉他们呀。而且最好能够告诉全世界,灵山这里有真经。

好在有观音菩萨,道:“弟子不才,愿上东土寻一个取经人来也。”,观音菩萨有什么法力呢?当然是BGP协议了。

刚才那张图画的是一个可用区的情况,对于多个可用区的情况,我们可以隐去计算节点的情况,将外网访问区域放大。

外网IP是放在虚拟网关的外网网口上的,这个IP如何让全世界知道呢?在核心交换外面是安全设备,然后就是边界路由器。边界路由器会和多个运营商连接,从而每个运营商都能够访问到这个网站。边界路由器可以通过BGP协议,将自己数据中心里面的外网IP向外广播,也就是告诉全世界,如果要访问这些外网IP,都来我这里。

每个运营商也有很多的路由器、很多的点,于是就可以将如何到达这些IP地址的路由信息,广播到全国乃至全世界。

厉害吧,这是我佛如来告诉观音菩萨的:“这一去。要踏看路道,不许在霄汉中行,须是要半云半雾;目过山水,谨记程途远近之数,叮咛那取经人。“

就是说你去东土的路上,经过了哪些道路,要记住路径,要记住远近,才能告诉取经人这一路应该怎么走。

三、玄奘秉诚建大会

当观音菩萨来到东土大唐,正看到玄奘法师正坐在高台上,带领众人诵经,念一会《受生度亡经》,谈一会《安邦天宝篆》,又宣一会《劝修功卷》

菩萨近前来,叫道:“那和尚,你只会谈小乘教法,可会谈大乘么?”玄奘闻言,心中大喜,翻身跳下台来,对菩萨起手道:“老师父,弟子失瞻,多罪。见前的盖众僧人,都讲的是小乘教法,却不知大乘教法如何。”菩萨道:“你这小乘教法,度不得亡者超升,只可浑俗和光而已。我有大乘佛法三藏,能超亡者升天,能度难人脱苦,能修无量寿身,能作无来无去。”

你看,在西方极乐净土,我佛已经有了更牛的佛经,遥远的东方,还在读本土的僧人早期从西方传过来的经。

这种模式,称为CDN。

我们部署应用的时候,一般会把静态资源保存在两个地方,一个是nginx后面的varnish缓存里面,一般是静态页面;对于比较大的、不经常更新的静态图片,会保存在对象存储里面。这两个地方的静态资源都会配置CDN,将资源下发到边缘节点。

最初佛祖传经,都是口口相传,经文都会记在高僧大德的心里,随着高僧云游天下,随着庙宇遍布天下,佛经从而遍布天下。这就相当于将佛经缓存在边缘节点。

配置了CDN之后,权威DNS服务器上,会为静态资源设置一个CNAME别名,指向另外一个域名cdn.com,返回给本地DNS服务器。

当本地DNS服务器拿到这个新的域名时,需要继续解析这个新的域名。这个时候,再访问的时候就不是原来的权威DNS服务器了,而是 cdn.com 的权威DNS服务器。这是CDN自己的权威DNS服务器。

在这个服务器上,还是会设置一个CNAME,指向另外一个域名,也即CDN网络的全局负载均衡器。

本地DNS服务器去请求CDN的全局负载均衡器解析域名,全局负载均衡器会为用户选择一台合适的缓存服务器提供服务,将IP返回给客户端,客户端去访问这个边缘节点,下载资源。缓存服务器响应用户请求,将用户所需内容传送到用户终端。

如果这台缓存服务器上并没有用户想要的内容,那么这台服务器就要向它的上一级缓存服务器请求内容,直至追溯到网站的源服务器,将内容拉到本地。

CDN的全局负载均衡策略,就相当于当僧人们想读佛经的时候,不必要都去西天,而是可以就近去问,周围有没有庙宇,然后向庙宇的师傅去请教佛经。

然而缓存的佛经当然是比不上西天取到的经文更新,所以东土由于离西天较远,缓存的还是小乘佛教,要读大乘佛教,就要去西天取经,称为回源。

四、观音显像化金蝉 小编分类整理了许多java进阶学习材料和BAT面试题,需要资料的请加JAVA高阶学习Q群:8515318105;就能领取2019年java架构师进阶学习资料和BAT面试题。

观音菩萨打算度化玄奘法师,回源去西天取经。

可是怎么去呢,地址在哪里呢?玄奘法师只听说西天,不知道具体的地址,这就要问观音菩萨了。

这个时候,大家才知道,西天在灵山大雷音寺,距此十万八千里。

这个过程称为DNS解析。

当在手机上面打开一个App的时候,首先要做的事情就是解析这个网站的域名。

在手机运营商所在的互联网区域里,有一个本地的DNS,手机会向这个DNS请求解析DNS。当这个DNS本地有缓存,则直接返回;如果没有缓存,本地DNS才需要递归地从根DNS服务器,查到.com的顶级域名服务器,最终查到权威DNS服务器。

如果你使用云平台的时候,配置了智能DNS和全局负载均衡,在权威DNS服务中,一般是通过配置CNAME的方式,我们可以起一个别名,例如 vip.yourcomany.com ,然后告诉本地DNS服务器,让它请求GSLB解析这个域名,GSLB就可以在解析这个域名的过程中,通过自己的策略实现负载均衡。

GSLB通过查看请求它的本地DNS服务器所在的运营商和地址,就知道用户所在的运营商和地址,然后将距离用户位置比较近的Region里面,将三个本地负载均衡的公网IP地址,返回给本地DNS服务器。本地DNS解析器将结果缓存后,返回给客户端。

对于手机APP来说,可以绕过刚才的传统DNS解析机制,直接只要HTTPDNS服务,通过直接调用HTTPDNS服务器,得到这三个本地负载均衡的公网IP地址。

这个公网IP地址,就是金顶大仙所在的位置。其实这个时候,金顶大仙已经在等待了。

这个时候,李世民突然开始说话了,曰:“谁肯领朕旨意,上西天拜佛求经?“ 并愿意买下观音手中的两件宝物,“锦澜袈裟”一领,“九环锡杖”一根,佛祖说过:”若有取经人坚心来此,穿我的袈裟,免堕轮回;持我的锡枚,不遭毒害。“

玄奘法师回答:“贫僧不才,愿效犬马之劳,与陛下求取真经,祈保我王江山永固。”

这个时候,菩萨说了:“西天路远,更多虎豹妖魔。只怕有去无回,难保身命。”

玄奘道:“我已发了弘誓大愿,不取真经,永堕沉沦地狱。“

其实这里的对话是很有意思的,玄奘法师回复李世民的和回复观音菩萨的不同。

这个时候,李世民作为世俗的君王,已经想求取真经了,也就是东土大唐作为客户端,要发起对于服务端的请求了。但是玄奘法师知道,唐王李世民去取经,求的是江山永固。所以李世民的请求是应用层的,发起的是HTTP的协议,在HTTP的请求正文中,怕是写的“江山永固”四个字。

而玄奘法师回复观音菩萨的时候,说的就不同了,是一种对于真经和佛法本身的坚持。所以玄奘法师是TCP层的,TCP是面向连接的,TCP 是靠谱的协议,但是这不能说明它面临的网络环境好。从 IP 层面来讲,如果网络状况的确那么差,是没有任何可靠性保证的,而作为 IP 的上一层 TCP 也无能为力,唯一能做的就是更加努力,不断重传,通过各种算法保证。也就是说,对于 TCP 来讲,IP 层你丢不丢包,我管不着,但是我在我的层面上,会努力保证可靠性。

这一点在流沙河有了验证。观音菩萨度化沙悟净的时候,沙悟净说:“菩萨,我在此间吃人无数,向来有几次取经人来,都被我吃了。凡吃的人头,抛落流沙,竟沉水底(这个水,鹅毛也不能浮),惟有九个取经人的骷髅,浮在水面,再不能沉。我以为异物,将索儿穿在一处,闲时拿来顽耍,这去,但恐取经人不得到此,却不是反误了我的前程也?”菩萨日:“岂有不到之理?你可将骷髅地挂在头顶下,等候取经入,自有用处。”

所以沙悟净脖子上这九个骷髅,是唐三藏的前九辈子,一旦吃了,就不断的重试。

为了能够实现重试,实现TCP的可靠性,客户端和服务器需要建立连接。

HTTPS协议是基于TCP协议的,因而要先建立TCP的连接。在这个例子中,TCP的连接是从手机上的App和负载均衡器SLB之间的。也就是唐僧和金顶大仙之间,到了金顶大仙,就不怕了,会指引到佛祖那里的。

尽管中间要经过很多的路由器和交换机,但是TCP的连接是端到端的。

TCP这一层和更上层的HTTPS无法看到中间的包的过程。尽管建立连接的时候,所有的包都逃不过在这些路由器和交换机之间的转发,转发的细节我们放到那个下单请求的发送过程中详细解读,这里只看端到端的行为。

对于TCP连接来讲,需要通过三次握手建立连接,为了维护这个连接,双方都需要在TCP层维护一个连接的状态机。

一开始,客户端和服务端都处于CLOSED状态。服务端先是主动监听某个端口,处于LISTEN状态。然后客户端主动发起连接SYN,之后处于SYN-SENT状态。服务端收到发起的连接,返回SYN,并且ACK客户端的SYN,之后处于SYN-RCVD状态。

客户端收到服务端发送的SYN和ACK之后,发送ACK的ACK,之后处于ESTABLISHED状态。这是因为,它一发一收成功了。服务端收到ACK的ACK之后,处于ESTABLISHED状态,因为它的一发一收也成功了

当TCP层的连接建立完毕之后,接下来轮到HTTPS层建立连接了,在HTTPS的交换过程中,TCP层始终处于ESTABLISHED。

对于HTTPS,客户端会发送Client Hello消息到服务器,用明文传输TLS版本信息、加密套件候选列表、压缩算法候选列表等信息。另外,还会有一个随机数,在协商对称密钥的时候使用。

然后,服务器会返回Server Hello消息,告诉客户端,服务器选择使用的协议版本、加密套件、压缩算法等。这也有一个随机数,用于后续的密钥协商。

然后,服务器会给你一个服务器端的证书,然后说:“Server Hello Done,我这里就这些信息了。”

客户端当然不相信这个证书,于是你从自己信任的CA仓库中,拿CA的证书里面的公钥去解密电商网站的证书。如果能够成功,则说明电商网站是可信的。这个过程中,你可能会不断往上追溯CA、CA的CA、CA的CA的CA,反正直到一个授信的CA,就可以了。

其实观音菩萨手里的锡杖和袈裟,就相当于佛祖办法的证书,保证西行路上的安全,玄奘法师这个网络包别被别人吃了,或者篡改。

就像误入小雷音一集中,白眉老佛想吃了唐僧肉,自己披上袈裟,西天取经,求得正果。

当然,一开始观音菩萨拿出锡杖和袈这个证书的时候,大家也不相信,所以需要观音菩萨现出真身,作为CA,证明给客户端,唐王李世民和玄奘法师才下拜。

证书验证完毕之后,觉得这个服务端是可信的,于是客户端计算产生随机数字Pre-master,发送Client Key Exchange,用证书中的公钥加密,再发送给服务器,服务器可以通过私钥解密出来。

接下来,无论是客户端还是服务器,都有了三个随机数,分别是:自己的、对端的,以及刚生成的Pre-Master随机数。通过这三个随机数,可以在客户端和服务器产生相同的对称密钥。

有了对称密钥,客户端就可以说:“Change Cipher Spec,咱们以后都采用协商的通信密钥和加密算法进行加密通信了。”

然后客户端发送一个Encrypted Handshake Message,将已经商定好的参数等,采用协商密钥进行加密,发送给服务器用于数据与握手验证。

同样,服务器也可以发送Change Cipher Spec,说:“没问题,咱们以后都采用协商的通信密钥和加密算法进行加密通信了”,并且也发送Encrypted Handshake Message的消息试试。

当双方握手结束之后,就可以通过对称密钥进行加密传输了。

五、唐王素酒送三藏

玄奘这个网络包要发出了。

太宗设朝,聚集文武,要去送行。李世民送给玄奘三个东西。

上一节说了太宗是应用层,关注保大唐江山永固,玄奘是TCP层,要通过坚定的意志到达西天。

李世民给的第一个东西是通关文牒,这个是IP层的,将来要通过这个文牒通过一个个城关。

第二个东西是紫金钵盂,这个用于玄奘法师到了某个城市里面化斋,同时打听路的时候使用,这个是一个MAC层的。

第三个东西是白马一匹,作为远程脚力,这个是物理层的。

最后,太宗敬了玄奘一杯素酒,言道:宁恋本乡一捻土,莫爱他乡万两金。三藏方悟捻土之意,复谢恩饮尽,辞谢出关而去。

当客户端和服务端之间建立了连接后,接下来就要发送下单请求的网络包了。

在用户层发送的是HTTP的网络包,因为服务端提供的是RESTful API,因而HTTP层发送的就是一个请求。

HTTP的报文大概分为三大部分。第一部分是请求行,第二部分是请求的首部,第三部分才是请求的正文实体。

在请求行中,URL就是 www.geektime.com/purchaseOrder ,版本为HTTP 1.1。

请求的类型叫作POST,它需要主动告诉服务端一些信息,而非获取。需要告诉服务端什么呢?一般会放在正文里面。正文可以有各种各样的格式,常见的格式是JSON。

请求行下面就是我们的首部字段。首部是key value,通过冒号分隔。

Content-Type是指正文的格式。例如,我们进行POST的请求,如果正文是JSON,那么我们就应该将这个值设置为JSON。

接下来是正文,这里是一个JSON字符串,里面通过文本的形式描述了,要买一个课程,作者是谁,多少钱。

这样,HTTP请求的报文格式就拼凑好了。接下来浏览器或者移动App会把它交给下一层传输层。

怎么交给传输层呢?也是用Socket进行程序设计。如果用的是浏览器,这些程序不需要你自己写,有人已经帮你写好了;如果在移动APP里面,一般会用一个HTTP的客户端工具来发送,并且帮你封装好。

HTTP协议是基于TCP协议的,所以它使用面向连接的方式发送请求,通过Stream二进制流的方式传给对方。当然,到了TCP层,它会把二进制流变成一个的报文段发送给服务器。

在TCP头里面,会有源端口号和目标端口号,目标端口号一般是服务端监听的端口号,源端口号在手机端,往往是随机分配一个端口号。这个端口号在客户端和服务端用于区分请求和返回,发给那个应用。

在IP头里面,都需要加上自己的地址(即源地址)和它想要去的地方(即目标地址)。当一个手机上线的时候,PGW会给这个手机分配一个IP地址,这就是源地址,而目标地址则是云平台的负载均衡器的外网IP地址。

在IP层,客户端需要查看目标地址和自己是否是在同一个局域网,计算是否是同一个网段,往往需要通过CIDR子网掩码来计算。

对于这个下单场景,目标IP和源IP不会在同一个网段,因而需要发送到默认的网关。一般通过DHCP分配IP地址的时候,也会同时配置默认网关的IP地址。

但是客户端不会直接使用默认网关的IP地址,而是发送ARP协议,来获取网关的MAC地址,然后将网关MAC作为目标MAC,自己的MAC作为源MAC,放入MAC头,发送出去。

一个完整的网络包的格式是这样的。

接下来,网络包就正式发出了。

如果你是用手机打开APP,下单购物发送网络包,一般通过手机运营商的网络。

客户的手机开机以后,在附近寻找基站eNodeB,发送请求,申请上网。基站将请求发给MME,MME对手机进行认证和鉴权,还会请求HSS看有没有钱,看看是在哪里上网。

当MME通过了手机的认证之后,开始建立隧道,建设的数据通路分两段路,其实是两个隧道。一段是从eNodeB到SGW,第二段是从SGW到PGW,在PGW之外,就是互联网。

PGW会为手机分配一个IP地址,手机上网都是带着这个IP地址的。

对于手机来讲,默认的网关在PGW上。在移动网络里面,从手机到SGW,到PGW是有一条隧道的。在这条隧道里面,会将上面的这个包作为隧道的乘客协议放在里面,外面SGW和PGW在核心网机房的IP地址。网络包直到PGW(PGW是隧道的另一端)才将里面的包解出来,转发到外部网络。

所以,从手机发送出来的时候,网络包的结构为:

  • 源MAC:手机也即UE的MAC;

  • 目标MAC:网关PGW上面的隧道端点的MAC;

  • 源IP:UE的IP地址;

  • 目标IP:SLB的公网IP地址。

进入隧道之后,要封装外层的网络地址,因而网络包的格式为:

  • 外层源MAC:E-NodeB的MAC;

  • 外层目标MAC:SGW的MAC;

  • 外层源IP:E-NodeB的IP;

  • 外层目标IP:SGW的IP;

  • 内层源MAC:手机也即UE的MAC;

  • 内层目标MAC:网关PGW上面的隧道端点的MAC;

  • 内层源IP:UE的IP地址;

  • 内层目标IP:SLB的公网IP地址。

当隧道在SGW的时候,切换了一个隧道,为从SGW到PGW的隧道,因而网络包的格式为:

  • 外层源MAC:SGW的MAC;

  • 外层目标MAC:PGW的MAC;

  • 外层源IP:SGW的IP;

  • 外层目标IP:PGW的IP;

  • 内层源MAC:手机也即UE的MAC;

  • 内层目标MAC:网关PGW上面的隧道端点的MAC;

  • 内层源IP:UE的IP地址;

  • 内层目标IP:SLB的公网IP地址。

在PGW的隧道端点将包解出来,转发出去的时候,一般在PGW出外部网络的路由器上,会部署NAT服务,将手机的IP地址转换为公网IP地址,当请求返回的时候,再NAT回来。

因而在PGW之后,相当于做了一次欧洲十国游型的转发,网络包的格式为:

  • 源MAC:PGW出口的MAC;

  • 目标MAC:NAT网关的MAC;

  • 源IP:UE的IP地址;

  • 目标IP:SLB的公网IP地址。

在NAT网关,相当于做了一次玄奘西游型的转发,网络包的格式变成:

  • 源MAC:NAT网关的MAC;

  • 目标MAC:A2路由器的MAC;

  • 源IP:UE的公网IP地址;

  • 目标IP:SLB的公网IP地址。

在手机运营商的网络里面,网络状况是比较好的。

对于玄奘法师,在大唐国境之内,还是比较平安的。原文说:们行了数日,到了巩州城。早有巩州合属官吏人等,迎接入城中。安歇一夜,次早出城前去。一路饥餐渴饮,夜住晓行,两三日,又至河州卫。早有镇边的总兵与本处僧道,闻得是钦差御弟法师上西方见佛,无不恭敬,接至里面供给了,着僧纲请往福原寺安歇。本寺僧人,一一参见,安排晚斋。斋毕,吩咐二从者饱喂马匹,天不明就行。

真的是有接有送。

行经半日,只见对面处,有一座大山,真个是高接青霄,崔巍险峻。此山唤做两界山,东半边属我大唐所管,西半边乃是鞑靼的地界。过了这座山,就不是大唐的土地了。

六、历经千山与万险

离开大唐的国土,接下来的路应该怎么走呢?

好在此去西天,要经过一个个国家,每个国家有一个个城关,玄奘法师只要到处问路,只要这些城关的守门人知道大概路怎么走,就能一个个国家的走下去,如果遇到国家,还有通关文牒,还能保护玄奘法师在国内的安全。

这里有两个问题要解决,第一个是每个城关的守门人和每个国家,是怎么知道去西天怎么走的。第二个问题是玄奘如何问路,如何走。

我们先第一个问题,这个观音菩萨从西天来东土的时候,已经通过一种法术告诉这些国家和城关了。

菩萨的法术主要分两种情况,一种情况是在一个国家内部如何走,另一种情况在国家之间,在野外如何走的问题。

在一个国家内部,菩萨主要遵循最短路径原则,就是走得路越少越好,道路越短越好。

但是国家之间,菩萨不但要考虑远近的问题,还要考虑政策的问题。例如有的国家路近,但是路过的国家看不惯僧人,见了僧人就抓。例如灭法国,连光头都要抓。这样的情况即便路近,也最好绕远点走。

菩萨的法术是什么呢?咱们在大学里面学习计算机网络与数据结构的时候,知道求最短路径常用的有两种方法,一种是 Bellman-Ford 算法,一种是 Dijkstra 算法。在计算机网络中基本也是用这两种方法计算的。

距离矢量路由(distance vector routing),它是基于 Bellman-Ford 算法的。

链路状态路由(link state routing),基于 Dijkstra 算法。

最常用的两种路由协议:

OSPF(Open Shortest Path First,开放式最短路径优先)就是这样一个基于链路状态路由协议,广泛应用在数据中心中的协议,称为内部网关协议(Interior Gateway Protocol,简称IGP)

BGP 协议使用的算法是路径矢量路由协议(path-vector protocol)。它是距离矢量路由协议的升级版,称为外网路由协议(Border Gateway Protocol,简称BGP)

路由协议是城关之间相互沟通到哪里应该怎么走的协议。

第二个问题,也就是玄奘如何问路,如何走。这就是IP协议。

这就要靠通关文牒了,里面写着贫僧来自东土大唐(就是源IP地址),欲往西天拜佛求经(指的是目标IP地址)。路过宝地,借宿一晚,明日启行,请问接下来该怎么走啊?

在解决第一个问题的时候,每个城关已经通过菩萨的法术,和邻近的城关进行沟通,知道了下面的信息。

这个叫路由表,根据这个表格,可以告诉唐僧怎么走。

接下来我们看完整故事。

出了NAT网关,就从核心网到达了互联网。在网络世界,每一个运营商的网络成为自治系统AS。每个自治系统都有边界路由器,通过它和外面的世界建立联系。

对于云平台来讲,它可以被称为Multihomed AS,有多个连接连到其他的AS,但是大多拒绝帮其他的AS传输包。例如一些大公司的网络。对于运营商来说,它可以被称为Transit AS,有多个连接连到其他的AS,并且可以帮助其他的AS传输包,比如主干网。

如何从出口的运营商到达云平台的边界路由器?在路由器之间需要通过BGP协议实现,BGP又分为两类,eBGP和iBGP。自治系统间,边界路由器之间使用eBGP广播路由。内部网络也需要访问其他的自治系统。

边界路由器如何将BGP学习到的路由导入到内部网络呢?通过运行iBGP,使内部的路由器能够找到到达外网目的地最好的边界路由器。

网站的SLB的公网IP地址早已经通过云平台的边界路由器,让全网都知道了。于是这个下单的网络包选择了下一跳是A2,也即将A2的MAC地址放在目标MAC地址中。

到达A2之后,从路由表中找到下一跳是路由器C1,于是将目标MAC换成C1的MAC地址。到达C1之后,找到下一跳是C2,将目标MAC地址设置为C2的MAC。到达C2后,找到下一跳是云平台的边界路由器,于是将目标MAC设置为边界路由器的MAC地址。

你会发现,这一路,都是只换MAC,不换目标IP地址。这就是所谓下一跳的概念。

在云平台的边界路由器,会将下单的包转发进来,经过核心交换,汇聚交换,到达外网网关节点上的SLB的公网IP地址。

我们可以看到,手机到SLB的公网IP,是一个端到端的连接,连接的过程发送了很多包。所有这些包,无论是TCP三次握手,还是HTTPS的密钥交换,都是要走如此复杂的过程到达SLB的,当然每个包走的路径不一定一致。

当网络包走在这个复杂的道路上,很可能一不小心就丢了,怎么办?这就需要借助TCP的机制重新发送。

既然TCP要对包进行重传,就需要维护一个Sequence Number,看哪些包到了,哪些没到,哪些需要重传,传输的速度应该控制到多少,这就是TCP的滑动窗口协议。

整个TCP的发送,一开始会协商一个Sequence Number,从这个Sequence Number开始,每个包都有编号。滑动窗口将接收方的网络包分成四个部分:

  • 已经接收,已经ACK,已经交给应用层的包;

  • 已经接收,已经ACK,未发送给应用层;

  • 已经接收,尚未发送ACK;

  • 未接收,尚有空闲的缓存区域。

对于TCP层来讲,每一个包都有ACK。ACK需要从SLB回复到手机端,将上面的那个过程反向来一遍,当然路径不一定一致,可见ACK也不是那么轻松的事情。

如果发送方超过一定的时间没有收到ACK,就会重新发送。只有TCP层ACK过的包,才会发给应用层,并且只会发送一份,对于下单的场景,应用层是HTTP层。

你可能会问了,TCP老是重复发送,会不会导致一个单下了两遍?是否要求服务端实现幂?从TCP的机制来看,是不会的。只有收不到ACK的包才会重复发,发到接收端,在窗口里面只保存一份,所以在同一个TCP连接中,不用担心重传导致二次下单。

但是TCP连接会因为某种原因断了,例如手机信号不好,这个时候手机把所有的动作重新做一遍,建立一个新的TCP连接,在HTTP层调用两次RESTful API。这个时候可能会导致两遍下单的情况,因而RESTful API需要实现幂等。

当ACK过的包发给应用层之后,TCP层的缓存就空了出来,这会导致上面图中的大三角,也即接收方能够容纳的总缓存,整体顺时针滑动。小的三角形,也即接收方告知发送方的窗口总大小,也即还没有完全确认收到的缓存大小,如果把这些填满了,就不能再发了,因为没确认收到,所以一个都不能扔。

七、功成行满见真如

唐僧经历九九八十一难,终于到达了西天。发现金顶大仙已经在等他们了。

网络包从手机端经历千难万险,终于到了SLB的公网IP所在的公网网口。由于匹配上了MAC地址和IP地址,因而将网络包收了进来。

到了西天,唐僧度过最后一条河凌云仙渡的时候,发现滚浪飞流,约有八九里宽阔,四无人迹。好不容易盼来一条船,还没有底。原来驾船的是接引佛祖,玄奘法师的肉体随着河水飘走,从而脱胎换骨,成就金身。

在虚拟网关节点的外网网口上,会有一个NAT规则,将公网IP地址转换为VPC里面的私网IP地址,这个私网IP地址就是SLB的HAProxy所在的虚拟机的私网IP地址。

从而网络包也脱胎换骨,实现公网IP到私有网络IP的转换。

当然为了承载比较大的吞吐量,虚拟网关节点会有多个,物理网络会将流量分发到不同的虚拟网关节点。同样HAProxy也会是一个大的集群,虚拟网关会选择某个负载均衡节点,将某个请求分发给它,负载均衡之后是Controller层,也是部署在虚拟机里面的。

当网络包里面的目标IP变成私有IP地址地址之后,虚拟路由会查找路由规则,将网络包从下方的私网网口发出来。这个时候包的格式为:

  • 源MAC:网关MAC;

  • 目标MAC:HAProxy虚拟机的MAC;

  • 源IP:UE的公网IP;

  • 目标IP:HAProxy虚拟机的私网IP。

在第一部分,我们 说佛经是存放在一个虚拟空间里面的,要打开这个虚拟空间,解读经文,需要一个芝麻开门的ID。接引佛祖会给玄奘法师一个ID。

在虚拟路由节点上,也会有OVS,将网络包封装在VXLAN隧道里面,VXLAN ID就是给你的租户创建VPC的时候分配的。VXLAN ID就是VPC虚拟空间的ID,OVS就是那个能够封装和解开私密空间的法宝。

包的格式为:

  • 外层源MAC:网关物理机MAC;

  • 外层目标MAC:物理机A的MAC;

  • 外层源IP:网关物理机IP;

  • 外层目标IP:物理机A的IP;

  • 内层源MAC:网关MAC;

  • 内层目标MAC:HAProxy虚拟机的MAC;

  • 内层源IP:UE的公网IP;

  • 内层目标IP:HAProxy虚拟机的私网IP。

在物理机A上,OVS会将包从VXLAN隧道里面解出来,发给HAProxy所在的虚拟机。HAProxy所在的虚拟机发现MAC地址匹配,目标IP地址匹配,就根据TCP端口,将包发给HAProxy进程,因为HAProxy是在监听这个TCP端口的。因而HAProxy就是这个TCP连接的服务端,客户端是手机。对于TCP的连接状态,滑动窗口等,都是在HAProxy上维护的。

在这里HAProxy是一个四层负载均衡,也即他只解析到TCP层,里面的HTTP协议他不关心,就将请求转发给后端的多个Controller层的一个。

HAProxy发出去的网络包就认为HAProxy是客户端了,看不到手机端了。网络包格式如下:

  • 源MAC:HAProxy所在虚拟机的MAC;

  • 目标MAC:Controller层所在虚拟机的MAC;

  • 源IP:HAProxy所在虚拟机的私网IP;

  • 目标IP:Controller层所在虚拟机的私网IP。

当然这个包发出去之后,还是会被物理机上的OVS放入VXLAN隧道里面,网络包格式为:

  • 外层源MAC:物理机A的MAC;

  • 外层目标MAC:物理机B的MAC;

  • 外层源IP:物理机A的IP;

  • 外层目标IP:物理机B的IP;

  • 内层源MAC:HAProxy所在虚拟机的MAC;

  • 内层目标MAC:Controller层所在虚拟机的MAC;

  • 内层源IP:HAProxy所在虚拟机的私网IP;

  • 内层目标IP:Controller层所在虚拟机的私网IP。

在物理机B上,OVS会将包从VXLAN隧道里面解出来,发给Controller层所在的虚拟机。Controller层所在的虚拟机发现MAC地址匹配,目标IP地址匹配,就根据TCP端口,将包发给Controller层的进程,因为他是在监听这个TCP端口的。

在HAProxy和Controller层之间,维护一个TCP的连接。

Controller层收到包之后,他是关心HTTP里面是什么的,于是解开HTTP的包,发现是一个POST请求,内容是下单购买一个课程。

小编分类整理了许多java进阶学习材料和BAT面试题,需要资料的请加JAVA高阶学习Q群:8515318105;就能领取2019年java架构师进阶学习资料和BAT面试题。

八、取得真经成金身

玄奘法师终于到达西天大雷音寺,见到了我佛如来。

佛祖愿意传经给玄奘,于是让玄奘去藏经楼取经文,谁知道西天也有西天的规矩,如果不懂这里的规矩,就很难和管理经文的人沟通,取不到真经。

同理,在电商服务里面,往往在组合服务层会有一个专门管理下单的服务,Controller层虽然对外暴露的是标准的RESTful协议,但是对内会通过RPC协议调用这个组合服务层。如果不懂这个协议,就没法通信。

假设我们使用的是Dubbo,则Controller层需要读取注册中心,将下单服务的进程列表拿出来,选出一个来调用。

Dubbo中默认的RPC协议是Hessian2。Hessian2将下单的远程调用序列化为二进制进行传输。

Netty是一个非阻塞的基于事件的网络传输框架。Controller层和下单服务之间,使用了Netty的网络传输框架。有了Netty,就不用自己编写复杂的异步Socket程序了。Netty使用的方式,就是咱们讲Socket编程的时候,一个项目组支撑多个项目(IO多路复用,从派人盯着到有事通知)这种方式。

Netty还是工作在Socket这一层的,发送的网络包还是基于TCP的。在TCP的下层,还是需要封装上IP头和MAC头。如果跨物理机通信,还是需要封装的外层的VXLAN隧道里面。当然底层的这些封装,Netty都不感知,它只要做好它的异步通信即可。

在Netty的服务端,也即下单服务中,收到请求后,先用Hessian2的格式进行解压缩。然后将请求分发到线程中进行处理,在线程中,会调用下单的业务逻辑。

玄奘师徒好在后来碰到了懂得内情的注册中心——弥勒佛,从而会到灵山,还是按照人家的规矩办了,才将无字经文,换成有字经文。

下单的业务逻辑比较复杂,往往要调用基础服务层里面的库存服务、优惠券服务等,将多个服务调用完毕,才算下单成功。下单服务调用库存服务和优惠券服务,也是通过Dubbo的框架,通过注册中心拿到库存服务和优惠券服务的列表,然后选一个调用。

调用的时候,统一使用Hessian2进行序列化,使用Netty进行传输,底层如果跨物理机,仍然需要通过VXLAN的封装和解封装。

咱们以库存为例子的时候,讲述过幂等的接口实现的问题。因为如果扣减库存,仅仅是谁调用谁减一。这样存在的问题是,如果扣减库存因为一次调用失败,而多次调用,这里指的不是TCP多次重试,而是应用层调用的多次重试,就会存在库存扣减多次的情况。

这里常用的方法是,使用乐观锁(Compare and Set,简称CAS)。CAS要考虑三个方面,当前的库存数、预期原来的库存数和版本,以及新的库存数。在操作之前,查询出原来的库存数和版本,真正扣减库存的时候,判断如果当前库存的值与预期原值和版本相匹配,则将库存值更新为新值,否则不做任何操作。

这是一种基于状态而非基于动作的设计,符合REST的架构设计原则。这样的设计有利于高并发场景。当多个线程尝试使用CAS同时更新同一个变量时,只有其中一个线程能更新变量的值,而其它线程都失败,失败的线程并不会被挂起,而是被告知这次竞争中失败,并可以再次尝试。

最终,当下单更新到分布式数据库中之后,整个下单过程才算真正告一段落。

当然,这个下单调用要返回一个结果。

我们下单成功啦!!!!!!

小编分类整理了许多java进阶学习材料和BAT面试题,需要资料的请加JAVA高阶学习Q群:8515318105;就能领取2019年java架构师进阶学习资料和BAT面试题。

转载于:https://juejin.im/post/5c77bf3af265da2d9c3884b0

专属程序员的西游记,不是程序员读不懂哦?相关推荐

  1. 【520表白日】程序员如何表白吗?程序员表白教程送给你!

    所有不曾料想过的问题,都会随着时间的推移而与你不期而遇;你所有曾经潇洒的随遇而安,同样也会随时间流逝而让你承担那些似乎命中已经注定的代价. 同学们,眼看520眼看就要到了,身为程序员的你,想没想过你的 ...

  2. 程序员如何让自己的程序少出BUG- [工作]

    工作两年多,从刚开始什么都不懂,到慢慢发现知识的重要,特别是知识积累的重要,所以从去年开始,才懂得积累知识,并且开始记录,记录遇到的问题.如何解决以及一些瞬间的想法,还将每个工作经历都贴在我的工作桌上 ...

  3. 【伯乐在线】程序员常有,优秀程序员不常有

    本文由 伯乐在线 - 青劲草 翻译自 www.quora.com.未经许可,禁止转载! 欢迎加入:翻译小组,通过 翻译频道 贡献一份力量. [伯乐在线导读]:本文源自 Quora 问答贴<为何没 ...

  4. 程序员初试和复试_程序员因肌肉发达面试被质疑能力,网友:这做程序员有啥关系呢?...

    如今的程序员,是互联网界的重要职业,不仅各种项目和系统需要程序员维护,还有很多前沿技术的进步也需要程序员来开发,因此程序员往往比较忙,而因此程序员被套上了各种职业病的标签.可是近日,有一位HR在招聘程 ...

  5. 一流程序员靠数学,二流程序员靠算法,低端看高端就是黑魔法

    简介 每个行业都会分等级,程序员也不例外!好一点的叫工程师,普通一点的叫程序员,差一点的叫码农,更差的还会叫码畜,码奴. 一流程序员靠数学, 二流靠算法, 三流靠逻辑, 四流靠SDK, 五流靠Goog ...

  6. 专属海报小程序_剑3泡泡 | 小程序给你一份专属的账号海报!

    01按照惯例,这里是简介 paopaods.com 本期推送的是: 如何正确的使用小程序 每个账号均可小程序[剑3泡泡]搜到,生成专属账号海报! 点击底部[点我卖号]即可拥有! 02教程开始之前,安利 ...

  7. 程序员成熟的标志《程序员成长路线图:从入门到优秀》

    对好书进行整理,把好内容共享. 我见证过许多的程序员的成长,他们很多人在进入成熟期之后,技术上相对较高,一般项目开发起来比较自信,没有什么太大的困难,有的职位上也有所提升,成了项目经理.设计师,有的甚 ...

  8. 程序员操作系统推荐_为什么程序员要会 Linux

    (给伯乐在线加星标,看经典文章) 作者:猫嗅花 https://www.jianshu.com/p/5020fbd76d0c三大操作系统概述 三大操作系统概述 windows, macOS, linu ...

  9. java趣事_【趣事】Java程序员最年轻,C++程序员最年老

    原标题:[趣事]Java程序员最年轻,C++程序员最年老 说起我们对编程世界现有的刻板印象,你一定听说过类似于没有人喜欢用Java编码或者使用C ++都是老人家,等等这样的话.为了分析这些刻板印象背后 ...

  10. 优秀程序员的开发效率是普通程序员的 10 倍,那么如何提升呢?

    1975 年,弗雷德里克·布鲁克斯(Frederick Brooks)出版了软件行业的名著<人月神话>,他给出了一个统计结果,优秀程序员的开发效率是普通程序员的 10 倍.40 多年过去了 ...

最新文章

  1. fastjson总结
  2. python3 AES 加解密
  3. Matlab使用技巧:Rapid Code Iteration Using Cells in the Editor
  4. go语言有哪些劣势?
  5. MySQL sql99语法—等值连接
  6. 捡到银行卡套取密码取现1万多元,犯了信用卡诈骗罪被判7个月
  7. H.264码率控制机制
  8. 5G从小就梦想着自己要迎娶:高速率、低时延、大容量三个老婆。
  9. 99乘法表 (输入一个数,以该数为行数输出乘法表)
  10. mupdf不支持x64_电脑安装win10的速度很慢,是不是没有制作支持UEFI的启动U盘?
  11. [数位dp][状压dp] Jzoj P3458 密码
  12. Atitti.软件的一些理论补充 Atitti.软件的原理原则定律法则补充 目录 1.1. 分布式领域CAP理论, 1 1.2. 关系数据库的ACID模型拥有 高一致性 + 可用性 很难进行分区:
  13. win32-字体名称中文名和英文名的对照-c++
  14. SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection
  15. Verilog 中的Procedural continuous assignments
  16. 如何用原生js获取非行间样式
  17. 图片视频毛玻璃效果实现
  18. 基于Mysql的智慧医疗管理系统
  19. Java 不赚钱,要转 Go 吗?
  20. 低通,高通,带通,带阻滤波器的定义

热门文章

  1. android 刷机及基础常识
  2. fiddler抓手机显示网络连接失败
  3. matlab中ix是什么意思,详解pandas中iloc, loc和ix的区别和联系
  4. Tushare股票数据全生命周期MACD等指标动态获取计算-前复权
  5. 企业千人千面管理模式_叶平:企业要做大,员工要从“千人千面”到“千人一面”...
  6. matlab作图excel,Excel表格数据怎么画matlab-如何用matlab把excel数据画成图像
  7. 比制定目标更重要的是管理资源
  8. win10 下安装wampserver 的几个坑
  9. 你的工作有价值吗?——如何在工作最大程度地体现自己的价值?
  10. 复旦大学数学学院 18 级本科生对每周一题的评价