hadoop 集群时间同步
集群时间同步
如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;
如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。
1)需求
找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果,采用1分钟同步一次。
2)分析
hadoop102 为主节点
hadoop103、hadoop104为分节点
配置时间同步具体操作:
1、时间服务器配置(必须在root用户)
(1)检查是否安装ntp
rpm -qa | grep ntp
若有这三个文件则已安装
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
(2)修改ntp配置文件
vim /etc/ntp.conf
修改如下内容:
a)修改1(授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间)
注意此处网关要根据自己实际情况进行修改
把它
# restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
修改为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b)修改2(集群在局域网中,不使用其他互联网上的时间)
把它
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
修改为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c)添加3(当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步)
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(3)修改/etc/sysconfig/ntpd 文件
[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd
增加内容如下(让硬件时间与系统时间一起同步)
SYNC_HWCLOCK=yes
(4)重新启动ntpd服务
[root@hadoop102 桌面]# systemctl restart ntpd
(5)设置ntpd服务开机启动
[root@hadoop102 桌面]# systemctl enable ntpd
2. 其他机器配置(必须root用户)
(1)在其他机器配置10分钟与时间服务器同步一次
[root@hadoop103桌面]# crontab -e
编写定时任务如下:
*/10 * * * * /usr/sbin/ntpdate hadoop102
(2)修改任意机器时间
[root@hadoop103桌面]# date -s "2019-10-11 12:12:11"
(3)十分钟后查看机器是否与时间服务器同步
[root@hadoop103桌面]# date
说明:测试的时候可以将10分钟调整为1分钟,节省时间。
若其他机器没有安装ntp也会同步失败
hadoop 集群时间同步相关推荐
- Hadoop集群时间同步NTP
一.集群时间同步介绍 当然要是图简单直接有xshell工具 时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间. NTP服 ...
- hadoop集群时间同步
2019独角兽企业重金招聘Python工程师标准>>> 测试集群hosts: 192.168.64.11 master1 192.168.64.12 master2 192.168. ...
- Hadoop集群搭建(三台Linux服务器)
Hadoop集群搭建(三台Linux服务器) 搭建之前注意的几点问题 环境以及版本 基本命令 Linux环境准备 首先安装Hadoop 配置集群分发脚本 克隆配置好的机器 Hadoop集群配置 第一步 ...
- 大数据之-Hadoop完全分布式_集群时间同步---大数据之hadoop工作笔记0043
然后我们需要在集群中的所有机器,保持他们的时间是一样的,为什么,? 比如,我们有3台机器, a机器时间是1点 b机器时间是2点 c机器时间是3点 那么如果我们设置了一个任务是要求他1点执行,那么,会出 ...
- Hadoop学习之虚拟机环境配置,防火墙、selinux关闭、集群时间同步(LinuxcentOS7版本)
目录 1. 镜像文件下载 2.Linux-centOS安装 第三步与第三步需在root用户下进行操作 3.虚拟机关闭防火墙 4.设置selinux 5.集群时间同步 1. 镜像文件下载 ...
- Hadoop集群搭建(六:HBase的安装配置)
实验 目的 要求 目的: 1.HBase的高可用完全分布模式的安装和验证 要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: ...
- Hadoop集群中运行MapReduce程序错误记录
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for ...
- Hadoop入门(十二)Intellij IDEA远程向hadoop集群提交mapreduce作业
Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...
- Hadoop集群安装部署_分布式集群安装_01
文章目录 1. 分布式集群规划 2. 数据清理 3. 基础环境准备 4. 配置ip映射 5. 时间同步 6. SSH免密码登录完善 7. 免密登录验证 1. 分布式集群规划 伪分布集群搞定了以后我们来 ...
最新文章
- 关于iOS 架构的文章
- git fetch比较差异
- SSH-jar包相应作用
- DOM Xerces类库使用方法
- 请问这博客能有几种方便写法?
- 推荐一款自动化代码变量命名在线工具
- 玩转苹果--苹果应用下载
- 几行代码轻松搞定跨系统传递 traceId
- 红帽linux安装vnc,redhat企业7.0安装VNC
- flume大文件Bug
- paip.按键精灵调用其它程序及DLL以及EXE命令行的方法
- 即时通讯开发资料分享
- 各国在计算机视觉领域论文数,计算机视觉论文
- 某国内知名百货公司同城裸光纤/海外专线
- 关于我学前端一年的体验(心得)
- 【xctf之easyphp】
- 音声合成:音高、泛音、谐波、基频 到底是什么概念?
- 数据科学与大数据技术和计算机科学与技术哪个好
- Mysql的主键和索引
- ubuntu 黑体_Ubuntu 7.10 黑体解决方案