Hadoop集群时间同步NTP
一、集群时间同步介绍
当然要是图简单直接有xshell工具
时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。
NTP服务器【Network Time Protocol(NTP)】是用来使计算机时间同步化的一种协议,它可以使计算机对其服务器或时钟源(如石英钟,GPS等等)做同步化,它可以提供高精准度的时间校正(LAN上与标准间差小于1毫秒,WAN上几十毫秒),且可介由加密确认的方式来防止恶毒的协议攻击。
二、操作步骤
注意:这也是我自己以前出现的错误,自己在主节点安装并配置了ntp,还在从节点ntp安装并配置,每台节点都crontab -e定时配置时间同步。
其实只要在主节点配置安装配置ntp就行,然后在从节点配置crontab -e去定时同步主节点的时间即可
时间服务器配置(必须root用户)
(1)检查安装:[root@HP111 ~]# rpm -qa | grep ntp
ntp-4.2.6p5-28.el7.centos.x86_64
ntpdate-4.2.6p5-28.el7.centos.x86_64
(2)安装:[root@HP111 ~]# yum install ntp(有网,下载慢可以将CentOS7默认的源更换为ailiyun源)
rpm -ivh ntp-4.2.6p5-18.el7.centos.x86_64.rpm(没网)
若出现找不到依赖则使用下面的命令
rpm -ivh ntp-4.2.6p5-18.el7.centos.x86_64.rpm --nodeps --force
下载地址:http://www.ntp.org/downloads.html修改ntp配置文件
[root@HP111 ~]# vi /etc/ntp.conf
修改内容如下
(1)修改1(授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间)
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
改为
restrict 192.168.x.0 mask 255.255.255.0 nomodify notrap
注意:这个网段必须是虚拟机的IP网段,你的网段不一定就是192.168.1.0
(2)修改2(集群在局域网中,不使用其他互联网上的时间)
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
改为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
(3)添加3(当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步)
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(4)修改/etc/sysconfig/ntpd 文件
[root@HP111 ~]# vi /etc/sysconfig/ntpd
增加内容如下(让硬件时间与系统时间一起同步)
SYNC_HWCLOCK=yes
(5)重新启动ntpd服务
注意:CentOS7和CentOS6命令不同
CentOS6用的是:
[root@HP111 ~]#service ntpd status 查看状态
[root@HP111 ~]#service ntpd start 启动 ntpd服务
CentOS7用的是:
[root@HP111 ~]# systemctl status ntpd.service 查看状态
[root@HP111 ~]# systemctl start ntpd.service 启动 ntpd服务
(5)设置ntpd服务开机启动
[root@HP111 ~]# chkconfig ntpd on (CentOS6)
[root@HP111 ~]# systemctl enable ntpd.service(CentOS7)
2. 只需要其他机器配置(必须root用户)其他机器也就是从节点
(1)在其他机器配置10分钟与时间服务器同步一次
[root@HP112 ~]# crontab -e
[root@HP113 ~]# crontab -e
编写定时任务如下:
每十分钟向主节点同步一次
*/10 * * * * /usr/sbin/ntpdate HP111
格外注意: 本次实验是CentOS7,我对着网上视频教程试N遍(视频老师用CentOS6),最后在凌晨1:30才发现这个错误(比较笨,如果不那么急急忙忙看清楚错误应该早一点解决)
CentOS7没有预装ntpdate,导致一直没有时间同步,后来我在从节点安装了ntpdate就完美解决.
对了,防火墙也要关闭.
从节点安装ntpdate: yum install ntpdate
(2)修改任意机器时间
[root@HP113 ~]# date -s 2017-9-5
(3)十分钟后查看机器是否与时间服务器同步
[root@HP113 ~]# date
说明:测试的时候可以将10分钟调整为1分钟,节省时间。
Hadoop集群时间同步NTP相关推荐
- hadoop 集群时间同步
集群时间同步 如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准: 如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行 ...
- hadoop集群时间同步
2019独角兽企业重金招聘Python工程师标准>>> 测试集群hosts: 192.168.64.11 master1 192.168.64.12 master2 192.168. ...
- Hadoop集群搭建(三台Linux服务器)
Hadoop集群搭建(三台Linux服务器) 搭建之前注意的几点问题 环境以及版本 基本命令 Linux环境准备 首先安装Hadoop 配置集群分发脚本 克隆配置好的机器 Hadoop集群配置 第一步 ...
- 时间更新服务器推荐 - NTP时间同步服务器集群:ntp.api.bz
时间更新服务,是微软操作系统windows中自带的一个和世界时间自动保持同步更新的服务,平常大家可能关注的不多,但有时候如果需要寻找准确时间的时候,避免去网站上搜索"格林尼治世界" ...
- Hadoop学习之虚拟机环境配置,防火墙、selinux关闭、集群时间同步(LinuxcentOS7版本)
目录 1. 镜像文件下载 2.Linux-centOS安装 第三步与第三步需在root用户下进行操作 3.虚拟机关闭防火墙 4.设置selinux 5.集群时间同步 1. 镜像文件下载 ...
- 大数据之-Hadoop完全分布式_集群时间同步---大数据之hadoop工作笔记0043
然后我们需要在集群中的所有机器,保持他们的时间是一样的,为什么,? 比如,我们有3台机器, a机器时间是1点 b机器时间是2点 c机器时间是3点 那么如果我们设置了一个任务是要求他1点执行,那么,会出 ...
- Hadoop集群中运行MapReduce程序错误记录
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for ...
- Hadoop入门(十二)Intellij IDEA远程向hadoop集群提交mapreduce作业
Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...
- Hadoop集群安装部署_分布式集群安装_01
文章目录 1. 分布式集群规划 2. 数据清理 3. 基础环境准备 4. 配置ip映射 5. 时间同步 6. SSH免密码登录完善 7. 免密登录验证 1. 分布式集群规划 伪分布集群搞定了以后我们来 ...
最新文章
- Android自定义View实践 空气质量检测 pm2.5
- java第二章选择题_Java第二章习题讲解(2)
- Python练习 | Python中的运算符
- [译]编写高性能对垃圾收集友好的代码
- 吊炸天!一行命令快速部署大规模K8S集群!!!
- matlab sunlink工具箱,FreeBSD handbook Unix Basics
- 只用一个循环实现层序遍历
- 初学数模-MATLAB Quick Start! Part I
- 您的博文被删除了(1)
- typescript-react-webpack4 起手与踩坑
- 【PC工具】windows免安装录屏绿色软件,无需注册无水印绿色录屏软件
- NVIDIA显卡刷BIOS教程,秒变超频显卡,将显卡性能发挥到极致!
- PowerPoint演示文档大瘦身
- 西方哲学智慧2018网课考题(本人亲测,已满分)
- 测试版本大全 (转)
- 第一部分 思科九年 一(19)
- Ubuntu虚拟机ns_error_failure 0x80004005错误
- 网络-RTSP简单理解
- 18_ElasticSearch 基于slop参数实现近似匹配
- 编程思想与技术总结(一)
热门文章
- HTML【表单和输入(按钮+登陆框)+框架】
- 英雄联盟手游 lol手游内测资格申请,教大家申请体验资格
- 【C++】快速判断质数(6的倍数法)、快速获取n以下的质数(欧拉筛)板子
- 手机cpu性能天梯图
- 内核loop支持android,如何进入安卓手机linux内核
- 分享一下阿里云的maven镜像地址(速度贼快的那种)
- 网络安全学术顶会——USENIX Security '23 秋季论文清单、摘要与总结(下)
- 以防中年迷茫的13件事
- android与ios的适配,Android及ios适配原理总结
- 三相光伏并网逆变器设计,原理图,PCB,以及源代码