SPark高集群从头到尾踩坑记录
环境:ubuntu16.04;spark2.4.7;zookeeper3.4.9;虚拟机四台
安装过程:zookeeper是在node1,node2,node3上安装,spark是在node1,node3,node4上面安装
spark问题汇总
问题1:spark启动后,利用jps可以看到worker进程,但是在web界面上看不到
答:由于博主用的是虚拟机,除了node1以外其他的虚拟机都是由node1拷贝的,所以按照网上的教程只更改了hostname,但是用户名还是node1。然后在spark-env.sh里面的SPARK_MASTER_HOST上写的是node1,但是当更改为node1的ip地址以后就可以用了。
问题2:安装zookeeper以后启动spark,在web上无法看到worker进程
答:这里一定要把更改后的spark-env.sh复制到各台虚拟机上面,替换之前的,不然是看不到的,复制过以后可以检查一下,博主找问题找了很久才发现这里是没有复制正确。
ssh问题汇总:
问题1:为什么复制了公钥以后想要用ssh远程登录另一台机器还是需要输入密码
答:看到网上的教程是把每一个机器的公钥全都复制给其他所有的机器,当然包括本台机器(这样本台机器才能够免密登录)。但是博主只需要主从机器中主可以登录从就可以了,在这里犯了一个逻辑错误,博主做的是把从机器的公钥复制给主机器,但是其实是需要将主机器的公钥复制给从机器的,这样主机器才能免密登录从机器。如果按照网上教程的各种解决方法都没法成果的话,可以看一下是不是和博主犯了一样的错误。如果不介意从机器免密登录主机器的话,可以将公钥全部复制拷贝给其他所有机器。
问题2:如果重新生成了密钥对,且将秘钥也复制给了主机器,结果在ssh登录的时候发生错误,提示为@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@怎么办
答:这是因为每次ssh远程登录其他主机的时候会在.ssh/konwn_hosts文件里面存储好之前的登录信息,当重新生成密钥对以后,会使得新的信息和known_hosts里面的信息有误差,导致其无法正确登录,解决办法可以将known_hosts里面关于这个机器的信息删除,(楼主直接删除了known_hosts哈哈),再次登录就可以了。注意,每次第一次登录的时候都是会弹出一个选择yes/no的,之后就不会了。
zookeeper问题汇总
问题1:为什么通过命令zkServer.sh start之后,显示started,但是用status查看的时候是error?
答:在这里可以看到网上有很多教程,比如说防火墙,比如说myid文件的路径是否正确。博主这里发现dataDir是对的,myid也是对的,但是问题在于zoo.cfg文件里面本身就有一个dataDir,需要将原有的dataDir用#标识,然后再设置新的dataDir,不然是无法找到我们自己设置的dataDir的。
最后,博主由于用的是虚拟机复制,因此用户名没有进行更改,只修改了主机名,为了避免错误,因此博主在用到名字的地方,用的都是node1@node1,node1@node2这种类型,或者是直接用ip代替(用ip非常方便,可以避免错误)。
最后在这里贴上博主用到的一些有用的链接(参考资料):
https://wenku.baidu.com/view/5bb285f459eef8c75ebfb3bf.html
https://blog.csdn.net/yitian_z/article/details/86697474
视频:https://www.bilibili.com/video/BV1vb41137Yv?p=1
SPark高集群从头到尾踩坑记录相关推荐
- Elasticsearch集群扩容踩坑记录
ES集群扩容构建踩坑总结 文章目录 ES集群扩容构建踩坑总结 @[toc] 需求 配置 参数说明 Data node's cluster uuid diffrent from master node' ...
- 阿里云学生机搭建spark、hadoop集群(踩坑之路)
服务器:三台阿里云学生机(三个账号,都在华南1c) 系统:ubuntu 一.通过外网ip登录服务器 需要修改安全组,出入方向都一样,都加入这两条.为何加这两条后续慢慢说明. 第一条安全组功能之一就是为 ...
- redis集群搭建踩坑笔记
推荐参考教程:https://blog.csdn.net/pucao_cug/article/details/69250101 错误: from /usr/lib/ruby/2.3.0/rubygem ...
- CentOS7 使用 kubeadm 搭建 kubernetes 集群(踩坑篇)
序言 本人在搭建 k8s 集群的过程中曲折不断,故写下此文,欲与"同是天涯沦落人"分享. 这篇文章会详细描述安装过程中遇到的问题,以及本人相应的解决办法,如读者只想快速搭建 k8s ...
- 服务器重装esxi会怎么样,记录我的家庭服务器(2)esxi6.7安装+群晖+rdm直通+踩坑记录...
记录我的家庭服务器(2)esxi6.7安装+群晖+rdm直通+踩坑记录 2021-05-02 19:19:39 60点赞 657收藏 66评论 创作立场声明:商品来源自掏腰包,大出血,文章有部分参考其 ...
- 互联网级监控系统必备-时序数据库之Influxdb集群及踩过的坑
上篇博文中,我们介绍了做互联网级监控系统的必备-Influxdb的关键特性.数据读写.应用场景:互联网级监控系统必备-时序数据库之Influxdb 本文中,我们介绍Influxdb数据库集群的搭建,同 ...
- eureka 集群失败的原因_Eureka集群的那些坑
今天遇到一个Eureka集群的一个坑. 问题现场类似是这样的:两台Eureka组成的服务注册中心集群,两台服务提供方server1.server2,两个服务调用方client1.client2. 正常 ...
- YOLOv5在无人机/遥感场景下做旋转目标检测时进行的适应性改建详解(踩坑记录)...
作者丨略略略@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/358441134 编辑丨极市平台 文章开头直接放上我自己的项目代码: https://github.co ...
- 微软NNI进行神经网络模型剪枝压缩的踩坑记录
微软NNI进行神经网络模型剪枝压缩的踩坑记录 NNI进行模型剪枝分类 NNI剪枝的流程 NNI现有剪枝方法 剩下的剪枝操作比较复杂还没有研究透,不过应该大同小异,有机会继续研究更新. 最近做毕设嵌入式 ...
最新文章
- 太赞了!机器学习基础核心算法:贝叶斯分类!(附西瓜书案例及代码实现)
- 微型计算机组成原理考试,全国高等教育自学考试计算机组成原理模拟试题
- 自底向上的web数据操作指南
- php定时某个时间循环做,PHP定时循环执行脚本
- CentOS7 Ambari2.7.5编译
- 怎么在QQ浏览器上使用微信聊天?
- Mybatis(10)properties标签的使用及细节,typeAliases和package标签
- 草稿 DataGridView 控件 1129
- pytest+allure之测试报告本地运行
- IT职场人生系列之七:学外语
- mysql.proc_升级后直接更改mysql.proc表
- selenium借助AutoIt识别上传文件Java篇
- openwrt添加SLM750模块驱动
- 步进电机控制和步进电机原理
- 笔记本上网显示连接不到服务器,笔记本无线网络连接不上
- 反垃圾邮件技术介绍和部署思路
- 商城系统搭建支付通道
- 行波进位(Ripple Carry)与超前进位(Loodahead Carry)
- 批量分析中通快运单号物流,并查看是否签收
- 软件著作权(含源码、说明书、合作协议、以及提交软著的相关注意事项)
热门文章
- Linux ISO镜像源,yum源,docker镜像源,docker加速器,maven仓库整理
- 西门子1500PLC大型项目程序 ,气缸,通讯,机械手,模拟量等,各种FB块
- 汽车行业标准程序西门子1500大型程序发那科机器人焊装CCD 扫描MES通讯RFID读写
- aliexpress/速卖通商品详情 API
- linux安装nexus私库
- JS数组扁平化flat,reduce等六种方式实现
- 【S32K】S32K144入门笔记(1) 从零开始进行开发环境搭建
- 魔兽服务器显示普通是什么意思,魔兽世界里服务器显示 PVP RPPVP 普通是什么意思...
- 【鸿蒙】鸿蒙App应用-《记账软件》记账模块
- 挂载内存文件系统pmfs