分布式系统实践

1. Hadoop生态新增列式存储系统Kudu

https://mp.weixin.qq.com/s?__biz=MjM5NzAyNTE0Ng==&mid=208082880&idx=1&sn=2a6d997ada3e13b881965715993e02e6&scene=1&srcid=1004mjukXSrnH0DECTdkHFmK&key=2877d24f51fa53840ba823f538d0f7ab5a2ce2036ce2d634f93547ef3c9833fe7f97fafe3297d430f285fbca4bfc6700&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11+build(15A284)&version=11020201&pass_ticket=BbCoh3Fz%2FFOZiUl4cOukFZ779bOI2tUNXPcGq59bxYDeparlPfEdK7n396BYMljI

要点: Hadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？http://getkudu.io/kudu.pdf 这里有kudu的论文, 详细介绍了kudu的架构和特点.

2. On Designing and Deploying Internet-Scale Services(译)

http://duanple.blog.163.com/blog/static/70971767201352105348729/

要点: 本周给大家推荐一篇非常经典的介绍设计和部署大规模服务的论文, 文章讲述的服务设计和运维的观点至今看来仍然非常有效, 希望大家能够从文章中有所收获.

服务化和资源管理技术

1. 使用Docker、Luigi和Spot Instances玩转PB级的数据管道处理任务

http://dockone.io/article/715?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 【编者的话】数据驱动类的产品近来很火，容器技术也是正值当年，试看AdRoll公司是如何将二者结合，并充分利用容器技术的优势，提升研发效率的。

2. 容器与存储

http://mp.weixin.qq.com/s?__biz=MzAxNTA2NjkyNQ==&mid=212231659&idx=1&sn=1f9a4df686b01dbc0c9bc686c14d195d&scene=1&srcid=1006IZJ8X8V5ZIYVyt5AfyzS&key=2877d24f51fa538462e6ed6cfd4d1e9d4c725a81e1e263296114a6ecad9f411cbd362afaa37e18601f7d71edea572990&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11+build(15A284)&version=11020201&pass_ticket=BbCoh3Fz%2FFOZiUl4cOukFZ779bOI2tUNXPcGq59bxYDeparlPfEdK7n396BYMljI

要点: 容器最初是为无状态服务准备的, 但是无状态的服务毕竟是少数, 更多情况下我们是需要存储数据的, 而且镜像本身也是需要存储的. 这篇文章总结了目前docker在解决存储方面做出的各种努力. 可以看到, 路还很长.

3. 使用容器还是使用类似Chef、Puppet这类的配置管理工具？

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=208390268&idx=1&sn=b75e0051cbe4ed4e127de157af104dc9&scene=1&srcid=1006ZLVNE1rVmEe5wrX74sCv&key=2877d24f51fa5384f7ab92e2aae9a7b187e2e0ccc4b40b20093f430d8306bbfb95dfc2e403bd0d21153eb9dcb1a0b711&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11+build(15A284)&version=11020201&pass_ticket=BbCoh3Fz%2FFOZiUl4cOukFZ779bOI2tUNXPcGq59bxYDeparlPfEdK7n396BYMljI

要点: 配置管理工具和服务部署都是对生产环境进行变更的操作, 由于都是变更, 二者经常混杂在一起, 甚至有的公司采用一种方法进行管理. 这篇文章重点介绍了他们的差异, 简单的说, 配置管理工具着重解决基础性软件设施的变更, 而服务部署则着重解决服务相关的变更. 不过这二者的边界在哪呢? 需要从服务混布的角度去划分.

4. 容器中缺乏永久性存储的问题该如何解决？

http://mp.weixin.qq.com/s?__biz=MzA4NTA0NjgwNg==&mid=211150213&idx=1&sn=2a960e6ee8aba474798f39c471be226d&scene=0

要点: 又是一篇关于容器存储的文章, 始终无法绕过.

5. 容器和IaaS：谁动了谁的奶酪

http://dockone.io/article/722?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章说的IaaS更多的是说虚拟机的管理, 讲述了容器和虚拟机的思考. 不过我认为, 不管是容器技术还是虚拟机技术, 都是要依赖物理机的, 而物理机的故障检测和修复更为复杂, 所以我认为IaaS更多的是要解决物理机层面的机器管理问题, 这也是目前beehive所做的主要工作之一.

6. Docker背后的标准化容器执行引擎——runC 

http://www.infoq.com/cn/articles/docker-standard-container-execution-engine-runc?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 随着容器技术发展的愈发火热，Linux基金会于2015年6月成立OCI（Open Container Initiative）组织，旨在围绕容器格式和运行时制定一个开放的工业化标准。而runC就是Docker贡献出来的，按照该开放容器格式标准（OCF, Open Container Format）制定的一种具体实现。本文作者及浙大团队将在接下来的容器系列文章中，从架构和源码层面详细解读这个开源项目的设计思想和实现原理，敬请关注。

服务调度和 Trace 技术

1.  神秘的40毫秒延迟与 TCP_NODELAY

http://jerrypeng.me/2013/08/mythical-40ms-delay-and-tcp-nodelay/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 相信大家对Nagle算法都不陌生, 但是在什么情况下才会触发呢? 文章结合具体例子阐述了这一点, 如果大家在遇到类似的场景, 可以考虑是否没有设置TCP_NODELAY参数.

2. 你应该知道的 RPC 原理

http://mp.weixin.qq.com/s?__biz=MjM5MzA0OTkwMA==&mid=212995761&idx=1&sn=b1d9fa5ff580680fdd4b7b1a023e50fb&scene=1&srcid=1006lhnTPnvVBdf8Go6pav89&key=949503d320dbced0d76fb069e83ef9f57a9eae49a87d587a25256a8f90f4f8c738cc1da07d2602b4b5b8a1848c5762d6&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11+build(15A284)&version=11020201&pass_ticket=LObvvRV%2FQefiS0RjNQ9e%2FQ4uVusRE%2FCJPIlK%2BJzwDK%2FL2rKx7XA%2BpBlLHyWdpx16

要点: 很多同学应该都用过一些RPC库了, 如果你对RPC库的实现原理还比较模糊, 可以参考这篇文章.

3. 网站秒开算什么，Google 新技术能让网页瞬间加载完毕

http://www.pingwest.com/accelerated-mobile-pages/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 本周google高调发布了AMP技术, 将极大提升移动端的网页加载速度, 不过项目网站访问不了(可能被GFW了), 不了解背后的技术是什么.

4. 大型网站的灵魂——性能优化

http://mp.weixin.qq.com/s?__biz=MzAxNjAzMTQyMA==&mid=209716236&idx=1&sn=b7bc475d186a3938fb1e137f91a61abb&scene=0&key=2877d24f51fa53845021f73f4ab75695a56c676c9f6b4a7208b73d2dbba886017e8d56b8697b23833b7fc97dc6401d2b&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11+build(15A284)&version=11020201&pass_ticket=di4QeCOaLnHDiYLHhSyqDbLm7KuLeIZEarB0dSL5I%2BMFP3PCLqvzqKowQxUHyoM9

要点: 本文介绍了一个网站从用户输入url到给用户返回结果整个过程中, 有性能优化空间的环节, 帮助大家从前端到后端理解整个网站速度优化的大体思路

DevOps 技术

1. 系统管理界的金科玉律

http://mp.weixin.qq.com/s?__biz=MjM5MzM3NjM4MA==&mid=215976666&idx=3&sn=a7872437c7137b20a868833e08b06fe3&scene=1&srcid=1006UPip7Wdw7aeiO4CaxFEs&key=2877d24f51fa53845613a07ca6d22ccb8dfa1a50c9a4bc037f94a50c227d05b070cc20f64be12de795d15e0c991dabcf&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11+build(15A284)&version=11020201&pass_ticket=BbCoh3Fz%2FFOZiUl4cOukFZ779bOI2tUNXPcGq59bxYDeparlPfEdK7n396BYMljI

要点: 如果你能遵守本文介绍的这一套规则，就有助于保持系统顺畅运行，并让用户备感满意。

工具集合

1. 今夜我们一起聊聊单元测试

http://mp.weixin.qq.com/s?__biz=MzIwMDI1MTYwMQ==&mid=211646529&idx=1&sn=83bea544dc377a3d6d7cceac34416cd2&scene=1&srcid=100603D0NZR6CnX4SxO35MyR&key=2877d24f51fa5384cfac87a01e1cccddc0f151c85e2f677d561dbfea471e3334529dd73afd885c82f56d6007f15dd7f9&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11+build(15A284)&version=11020201&pass_ticket=BbCoh3Fz%2FFOZiUl4cOukFZ779bOI2tUNXPcGq59bxYDeparlPfEdK7n396BYMljI

要点: 我相信没有人会反驳单元测试的重要性, 然而实际工作中, 大家往往忽视单元测试, 认为是体力活. 其实单元测试同样是考察程序员能力的一种重要手段, 大家以后在阅读开源项目的时候, 不妨看看单元测试, 好的单元测试同样能好让人如沐春风. 比如facebook的folly.

2. VPN科学上网全攻略

http://sr1.me/think-when-god-laugh/2015/10/07/set-up-pptpd-server-of-openvz-platform-and-scientifically-surf-the-internet-in-china.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 虽然我厂有代理一般不需要自己搞科学上网, 但是我厂的代理毕竟不是所有网站都可以访问, 所以有需求的同学可以参考这篇文章.

3. Awesome C/C++

https://fffaraz.github.io/awesome-cpp/#logging

要点: 精选各种C/C++库、框架

4. Perf -- Linux下的系统性能调优工具

http://www.ibm.com/developerworks/cn/linux/l-cn-perf1/

要点: perf是linux内核配套发布的性能调优工具, 自2.6.31版本以后随内核发布, 不过我们公司的内核没有安装, 大家需要用内核源码自己编译.