出去面了一波大数据，总结一下
2019独角兽企业重金招聘Python工程师标准>>> 
魔秀科技总结：
岗位5-10年，面试人：技术总监：薪资范围25以上
问题：
1、自我介绍，手写wordcount，分析每个算子，主要问flatmap和map的区别，简单的原理不算，要从源码剖析
2、画DAG和宽窄依赖，产生Stage的原因。Join会不会发生shuffle，如果不会请说明理由，如果会哪种会哪种会（画图讲解）
3、Scala语言写一个二次排序不要用Spark算子。
4、Spark中的任务工作原理
5、期望薪资，离职原因
易鑫车贷总结：
三轮面试，工作年限5-10年，面试人：组员，组长，项目经理 薪资范围15-25
第一轮：
自我介绍，问了java项目，会不会springboot，在公司中经常做什么
第二轮：
1、问公司架构，每日数据量
2、Flume里面的channel用的是哪种，你公司用这种架构的优势在哪里，公司平台用什么搭的（画架构图），处理数据你们Spark资源用了多少，怎么分配
3、每日工作是什么，是否了解权限控制，最后数据存储到哪里，怎么展示，用的是HUE吗？怎么控制权限，数据怎么查看对错是否有问题
4、Java了解多少，在java项目中做的什么
第三轮：
1、上来手写二分查找
2、JVM模型及调优（画图）垃圾回收算法（画图），Map了解多少（画图原理），String m="a"+"b"内存图 几个对象，StringBuffer和StringBuilder区别
3、公司架构（画图），Java负责哪里，大数据负责哪里
4、两个栈，一个栈里面的数据是无序的，怎么到另一个栈里面是有序的
5、什么叫拦截器，拦截器的原理，是否写过拦截器，权限会不会控制
6、自我评价，优势在哪里，期望薪资，离职薪资，离职原因
熙诚紫光：
一轮面试，工作年限1-3年，薪资范围10-15
1、自我介绍，说一个自己最近做的项目，架构如何搭的，每日数据量是多少，Kafka分区多少，每秒数据多少，你们公司有多少数据每天
2、RDD是什么，他的弹性体现在哪里
3、Spark On Yarn上的工作原理（画图），YarnCluster和YarnClient的区别
4、SparkStreaming中的窗口函数怎么理解的，Kafka和Spark之间的整合是怎么整合的，偏移量保存到哪里，什么时候保存
5、数据报错了怎么监控，通过什么工具
转载于:https://my.oschina.net/TomcatJack/blog/3050250
出去面了一波大数据，总结一下相关推荐
- 致青春VS杜蕾斯，用QQ空间电影大数据解读关联性
按照<黑天鹅>的理论,下一部我们想看什么电影,甚至什么是好电影,都没有人知道.<爆发>却说,人类行为93%是可以预测的,预见未来依靠的就是"大数据",这与Q ...
- TalkingData：用好大数据，为企业转型赋能
"在我看来,大数据的技术现在已经基本稳定,而且有点过剩,现在大数据的重点是应用上,也就是如何用好现有的技术来为我们的业务提供帮助."TalkingData CTO肖文峰在日前举行的 ...
- 构建企业大数据生态的关键在于 , 打通内部数据!
一个企业要想保持长远的发展,在市场中成为一个强有力的生命个体,必然要注重企业组织之间的协调.合作关系,与环境协同进化,也就是所谓的企业生态系统.而企业信息化或数据化作为管理的重要支撑,是这生态系统中的 ...
- 如何正确认识大数据技术
所谓大数据就是是互联网发展到一定阶段出现的一种现象和表征,我们没有必要觉得它很神秘,它就是一个客观存在.大数据原本是很难收集的,但是在云计算等代表的技术创新下,大数据开始很容易被我们利用起来,并且在各 ...
- 大数据工程师岗位工作内容是什么
如果你是大数据新人,或者想转行进入大数据领域,或者职业生涯上存在一些疑惑,大数据相关工作岗位很多,有大数据分析师.大数据挖掘算法工程师.大数据专家.大数据总监.大数据研究员.大数据科学家等等.接下来我 ...
- 大数据的未来是App 而非基础架构
在大数据被各种媒体热炒的同时,真相被蒙蔽了:App才是大数据的未来.过去基础架构和平台一直是被捧吹的对象,但它们只提供了承载大数据的环境,无法利用大数据创造长期价值,所以它们并不是大数据的未来核心. ...
- 大数据入门到精通学习宝典
大数据处理技术怎么学习呢?在做大数据开发之前,因为Hadoop是高层次的语言开发,需要懂得Java或者Python,很快的就能上手. 其实大数据并不是一种概念,而是一种方法论.简单来说,就是通过分析和 ...
- 大数据不是诅咒！SAS CTO谈大数据价值
文章讲的是 大数据不是诅咒!SAS CTO谈大数据价值, 什么职业最性感?也许你会说是运动员.艺术家或者演员,其实不然.<哈佛商业评论>认为"数据科学家"是二十一世纪最 ...
- 大数据日知录——大数据是什么？（一）
目录 一.技术范型转换 二.大数据商业炼金术 三.大数据在路上 一.技术范型转换 传统的互联网与商业数据的存储和处理主要使用关系型数据库技术,数据库企业巨头 Oracle 是 这一时期的代表企业.随着 ...
最新文章
- 三十之惑–面霸的八月（第一部分）
- 【网络流24题】解题报告：C、最小路径覆盖问题（有向无环图最小路径覆盖）（最大流）
- KubeEdge — Overview
- hdu4278 小想法
- Bzoj4817：[SDOI2017]树点涂色
- 软件测试第四周作业WordCount优化
- hdu-1207（规律推导）
- oracle怎么通过sid确定表名,如何获取Oracle的SID列表
- 函数返回结构体指针_9.3 结构体指针
- API3 创始人更新 3 月开发进展：Airnode 的 pre-alpha 版已通过审计
- 接口自动化测试框架搭建(8、发送邮件方法的封装+HTMLTestRunnerCN)--python+HTMLTestRunnerCN+request+unittest+mock+db
- 史上最详细的虚拟机VMware12安装Windows7教程
- ❤️【图文并茂】Chrome浏览器(油猴子)插件安装使用教程❤️
- 天津博物馆镇馆之宝——西周太保鼎
- plotyy函数_MATLAB学习笔记 plotyy函数 | 学步园
- [转载] 晓说——第24期：“看美国”系列之人类精华犹太人(下)
- 典型数据的时、频域图
- 拯救流浪猫 | 「喵先锋」系列数字版权盲盒明日开抢
- 【web】HTTP(s)协议详解（重点：HTTPS 的加密过程浏览器中输入网址后，发生了什么？）
- 英文版sketch如何转为中文版？sketch英文转为中文教程！