大数据公益大学第一次聚会

10月19日，在人大明德法学院听了大数据公益大学的技术聚会，共三个报告听了两个，第三个报告是关于大数据展示的，听了几分钟感觉主题是做表格和报表，兴趣不大就提前走了。这是我第一次进人大，从西门进去走几步就可以看到法学院的几栋大楼，都是红色的，在明媚的阳光和湛蓝天空的映衬下，显得很是气派。

聚会的第一个报告是easyhadoop的开发者向磊讲解他开发的Xadoop系统，这个Xadoop是用来界面化管理hadoop集群的，12年8月份提交至github网站，全球第二个同类产品，100%开源。easyhaoop是Xadoop的前身。向总介绍了开发easyhadoop的缘由，那时他还在暴风影音担任数据工程师，处理各种数据，量很大。刚开始尝试hadoop的时候尝到了甜头，原来需要一个月跑完的数据现在几个小时就可以跑完了。集群由开始的7、8台增长到几十台，集群一大问题就来了，运维很繁琐，当需要登录各台服务器查看日志时就很不方便了，所以就自己动手写了easyhadoop，由此还获得阿里云编程大赛的一等奖。

向总介绍整个产品的架构是这样的，最底层的是hdfs、map/reduce，往上是hadoop，再往上是pig、hive、mahout，再往上就是Xadoop的客户端了。用Xadoop可以界面化控制各台服务器的开或关，查看日志、内存、CPU、各台服务器的负载等。向总展示了将hadoop安装在单片机上的运行情况，他非常看好用ARM服务器做运算，因为传统的CPU适合处理事件流，不适合处理数据流，而且12颗ARM CPU相当于一个Intel CPU，而且价格更低，但是ARM对操作系统的支持比较差。向总的讲座有产品、有演示，还是很有意思的。

第二个报告是马恩驰讲解RTB的。我对RTB有点了解，但不专业。RTB大概就是广告主对各网站的流量资源进行交易和竞价的广告交易平台或是广告超市。与传统售卖广告位的方式相比，RTB是对每个访问的用户进行竞价，即对每个PV进行竞价。由于本人了解实在有限，还是补充一些来自网上的资料吧。

与一般广告交易的大量购买投放频次不同，实时竞价规避了无效的受众到达，只针对有意义的用户进行购买。其交易模式类似于股票交易所，一端是广告主、代理商投放需求DSP平台，一端是互联网资源管理与优化SSP平台，中间是网络广告受众行为分析平台——DMP。RTB的核心是Adexchange交易平台，这如同一个竞价投放的指挥部。第一步是互联网资源管理与SSP平台的优化，因为用户浏览网页会带来展示广告请求；第二步，交易平台通过cookie采集广告位传输给DSP需求方平台；第三步，DSP平台根据接收到的cookie，获悉该cookie的历史行为，决定是否参与竞价并出价。

小马哥主要的内容还的是关于算法方面的，就是基于DSP平台的竞价模型。在RBT系统中存储的数据分为两方面，一是基于人的属性，如性别、年龄、收入等情况，二是其他属性，如用户的购买行为等特征。数据很稀疏，需要进行降维，他采用的方法是SVD（主成分分析），通过R的 svd( ) 函数进行运算，还有一个专门进行主成分分析的包irlba，运算速度非常快。竞价模型主要有两个，一个是基于数据的竞价，一个是基于逻辑的竞价，坦白说竞价部分我没有听懂，所以大家去看一下PPT吧。最后，他推荐一本关于推荐和预测模型方面的书，原版英文，书名Applied Predictive Modeling（应用预测模型），有兴趣的可以搜一下。

提问环节，我问了一个问题——你们公司是如何用R的，是用来建模和测试算法，还是直接参与产品的运算。他的回答很明确，R不适合线上的运算，他们用来测试算法的，据他所知facebook也是这么干的，调好算法后再转为C或java的编程。还问了一下，hadoop上可以运行SVD吗？其他同学帮着回答了，答案是可以。

转载于:https://www.cnblogs.com/thinkers-dym/p/3389107.html

大数据公益大学第一次聚会相关推荐

互联网教育+大数据=新型大学？
我们使用大数据是为了实现更精准的分析,因为进行靠谱的预测需要大数据,业内专家指出,下一阶段高校的信息化建设也应该是"一切为了数据",让数据成就我们的一切.目前来看,对大数据的使用, ...
疫情期北京融资信息分析---疫情对北京社会经济影响分析---科技战疫·大数据公益挑战赛---2020北京数据开放创新应用大赛
目录 1 北京金融疫情 1.1 宏观 1.1.1. 央行"放水" 1.1.2 疫情对三驾马车的影响 1.2 北京国企和大民企融资 1.2.1 金融债 1.2.2 短期融资券-疫情防 ...
bert模型可以做文本主题识别吗_网民情绪识别TOP3分享----科技战疫·大数据公益挑战赛...
摘要针对赛题数据,本团队在数据处理部分采用数据去噪的方式保证了数据的整洁性:在模型构建部分使用了开源预训练模型,并通过预训练模型多层表示的动态权重融合方式对预训练模型进行修改,而后下接BILSTM和 ...
中国工程院院士谭建荣：工业大数据与定制化设计—关键技术与典型应用
5月5日,"2017中国工业大数据大会·钱塘峰会"在杭州国际博览中心举办.本届峰会以"数据驱动创新融合引领变革"为主题,围绕工业大数据展开分享与交流.中国工程 ...
谢国忠：大数据在金融(视频+图文)
原文地址:http://www.360doc.com/content/15/0102/08/471722_437459390.shtml 谢国忠:大数据在金融(视频+图文) 2015-01-01 真 ...
反弹领跑所有大数据指数 360互联+再次显神威
上周五市场V型反转,360互联+指数猛涨2.67%,再次领跑所有同类的大数据指数.在上周五大幅反弹之后,该指数1月25日继续上涨1.7%. 上周五,沪指盘中跌破2900点,午后大盘回暖,股指上扬.此外 ...
学习、恋爱、交朋友大数据告诉你大学真相
学习.恋爱.交朋友大数据告诉你大学真相作者:潘海东互动百科创始人在北京科技大学2014级新生开学典礼上,互动百科创始人潘海东讲了三个大实话:(1)大学所学的专业90%是没有用的.(2)大学所 ...
大数据可视化陈为智慧树_知到智慧树_大数据可视化_大学课后答案
知到智慧树_大数据可视化_大学课后答案更多相关问题用下列方法不能将NaCl和Na2CO3两种溶液区分开的是()A．向两种溶液中分别滴加醋酸B．向两种溶液中分别滴加稀硫为了除去KCl中少量的MgS ...
新工科联盟大数据与智能计算工作委员会第一次工作会议召开
2018年3月25日,由中科院计算所牵头,联合阿里云大学.北京理工大学共同发起成立的大数据与智能计算工作委员会第一次工作会议在中科院计算所四楼报告厅召开.来自中科院计算所.阿里云大学.北京理工大学.北 ...

大数据公益大学第一次聚会

大数据公益大学第一次聚会相关推荐

最新文章

热门文章