标题是一篇文章，为新华社记者杨明所写，文中讨论了中国在亚运会团购金牌的事，认为泱泱中华不应该再以金牌论英雄，而需将竞技体育转移到全民运动中来，让全社会都来热爱体育，热爱运动。
引用此文，不是在此讨论体育，而是因为前些天巴真同学的拍砖引起了我的一些想法！为什么会有这么多想法？因为本人活到现在还没有人在我的文章后留言如此之长，为表敬重，单独再开一贴。
其实我们所要争论的核心议题很明确，就是hive程序员是否应该了解mapreduce！对于巴真的板砖，我有一点不同的想法：
其一，hive和mapreduce的关系其实没有C语言和编译语言，JAVA和汇编程序这么深。就我认为，hive和pig等语言类似，只是一个shell,一个包装了mapreduce的shell,他使得编写m/r程序更加的方便入手，使得步入云计算的程序员门槛更低。但是，就像编写C语言你依然需要去了解指针，学习JAVA你也肯定会去研究GC一样，为了编写精美和高效率的代码，一个程序员应该去了解你的SQL是如何转为m/r的。
其二，工业由利润推动，我很赞同这句话。这就像hive的诞生一样，推动着云计算的使用人群从篮球框变大到了足球门！但是就像摘掉了“东亚病夫”帽子的中国再也不能唯金牌论一样，公司发展到了一定程度也就不能唯利润论了。经过了刀耕火种的资本原始积累之后，接下来就应该保住利润，降低成本。正所谓创业容易守业难，我们需要降低成本，就需要更深入的设计，更深入的发展。学习mapreduce可以帮助我们更好的理解hive的运行过程，以至于写出更好的代码，开源节流。
其三，要说点实际情况。在hive的优化过程中，曾经碰到过两表join时候OOM的情况。解决问题一句话:”小表放前，大表放后”！其背后的本意是：“对于同一个key来说，对应的value值小的放前，大的放后”，如果没有接触过m/r,单一的SQL程序员是很难理解这句话的意思的。
给你一份简谱，你可以“弹”出一首很美的歌曲，但如果你想“创作出”优美的旋律，你就必须懂得五线谱；中国可以团购金牌，但要成为体育强国，必须要深层次的发展体育；hive可以很快很好的带来效益(这就好像临时需求)，但是要持续不断的稳定产出(这就类似上线代码)，则需要理解m/r的原理。
以上愚见，仅供参考。

转载于:https://www.cnblogs.com/robbychan/p/3786640.html

一骑绝尘引发的思考–关于hive程序员是否需要学习mapreduce相关推荐

  1. 试图加载格式不正确的程序_好程序员大数据学习路线之hive存储格式

    好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . orc .自定义 set hive.default.fil ...

  2. 深圳大数据培训：好程序员大数据学习路线之hive 存储格式

    深圳大数据培训:好程序员大数据学习路线之hive 存储格式 好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . ...

  3. 程序员应知——学习、思考与分享

    有人说,程序员是个苦差事,一辈子总是要不停地学习,学习新的技术,学习新的架构,学习新的工具,一旦一段时间不学习,就会发现其他人嘴里冒出来的新鲜词,自己已经搞不懂是什么了. 的确,作为程序员,学习很重要 ...

  4. 软件 Bug 引发的致命事故，程序员责任何在？| 技术头条

    [CSDN 编者按]2018 年 10 月 29 日,印度尼西亚狮航一架波音 737 MAX 8 从首都雅加达起飞 13 分钟后,在附近海域坠毁,机上 189 人无一幸免. 2019 年 3 月 10 ...

  5. 思考方法，程序员生存之道

    本人自2006年开始转行搞IT,回头看看也快十年了!小总结一下经验教训. 开始几年特别热衷于技术本身,所谓技术控.我想所有有热情的程序员都经过这一步.对技术不断求深求广求精. 后来喜欢玩设计,技术有一 ...

  6. 产品经理是怎么思考的？程序员和产品经理必看！

    前言:创业者转型做产品人,把我近期悟出的道与理,送给大家! 产品经理是干嘛的? 遇到问题,提出方案,解决问题的一群人(文末有福利) 本文目录: 一.思维模型 二.工作方法 1.如何需求调研 2.如何需 ...

  7. 安卓内存监控apk，Android程序员如何有效提升学习效率？深夜思考

    开头 昨天去面了一家公司,价值观有受到冲击. 面试官技术方面没的说,他可能是个完美主义的人,无论什么事情到了他那里好像都有解决的方案,我被说的无所适从,感觉他很厉害. 但我不能认可的是,面试官觉得加班 ...

  8. 由阿里IPO引发的思考：什么样的互联网公司才是好公司？

    注:阿里成为美国史上最大规模IPO,也引发了人们对于互联网行业好公司的思考.什么样的互联网公司才是好公司?在这个有用户就有了一切的时代,一个好公司所要做到的,就是将具备特定需求的用户,聚集到特定平台. ...

  9. JAVA-OPTS引发的思考

    JAVA-OPTS引发的思考 我们在性能测试过程中,经常要修改应用的JAVA-OPTS参数.修改这些参数,不单单是修改这些数字,本着知其所以然的态度,我们要知道这些参数背后的意义. 常见的JAVA-O ...

最新文章

  1. 如何用 css 画一个心形
  2. html 编辑器 es6,小技巧：一行代码让浏览器瞬间变成临时编辑器
  3. 如何选择和计算滤波电容?--电容使用详述
  4. docker tomcat:9.0
  5. 2008秋季-计算机软件基础-0917课堂用例（1）
  6. MFC 控件被图片覆盖
  7. 什么是自动化与自主化？
  8. 【Pillow库】图片操作
  9. php 创建临时id_使用PHP创建ID3标签阅读器
  10. 入手评测 联想小新Pro16和thinkbook15p有什么区别 选哪个
  11. 荣耀20手机不升级鸿蒙经验
  12. Oracle 11.2.0.1 rac升级到11.2.0.4
  13. 关于真空荧光显示屏的·学习记录
  14. struct timeval结构体 以及 gettimeofday()函数、struct timespec结构体
  15. Codevs P1814 最长链
  16. python爬取京东笔记本标题、品牌、价格、评论数
  17. PS 2018CC安装完打开后，菜单界面的字体太大太小如何调整
  18. Android定时任务及闹钟的实现
  19. u盘启动识别不到服务器硬盘,u盘启动读不了硬盘,教您U盘装系统找不到硬盘解决方法...
  20. 虚拟机配置静态ip地址(VMware,linux系统)

热门文章

  1. java学习中的重难点（多加练习）
  2. 开发不规范，多加分号“；”带来的错误
  3. Windows下的IOCP模型（一）：介绍与简单使用
  4. actf_2019_babystack
  5. 牛客网彩色瓷砖C/C++解决
  6. Windows 去除打开exe文件安全警告
  7. C# 不能用于文件名的字符
  8. 未来已来！全球一流科技盛会——云栖大会9月17日线上隆重举办
  9. win10登录失败未授予用户在此计算机上,登录失败：未授予用户在此计算机上的请求登录类型。无法访问...
  10. 视频提取gif如何操作？教你用gif制作工具快速截取gif