当我们每个机器的时间都不一致时,假如有一个定时任务,定的10点启动执行。结果namenode十点了启动任务,可是分配到的执行节点DataNode才九点五十导致任务执行失败怎么办?
这就需要将机器之间的时间保持一致

时间同步方式:找一台机器,作为时间服务器,所有的机器与这台机器的时间进行同步,如每隔十分钟同步一次。

操作

切换到root用户检查是否安装了ntp

我们以102作为我们的时间主机,向其他机器发布同步时间

[shaozhiqi@hadoop102 ~]$ su root
Password:
[root@hadoop102 shaozhiqi]# rpm -qa|grep ntp
ntp-4.2.6p5-25.el7.centos.2.x86_64 fontpackages-filesystem-1.44-8.el7.noarch ntpdate-4.2.6p5-25.el7.centos.2.x86_64 python-ntplib-0.3.2-1.el7.noarch [root@hadoop102 shaozhiqi]#查 

编辑ntp的配置文件

我里面带//的注释在配置时应该删除,这里为了方便说明

[root@hadoop102 shaozhiqi]# vim /etc/ntp.conf
# Hosts on local network are less restricted.
#授权所有机器可以从这台机器上获取时间同步
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap //我们操作放开 # Use public servers from the pool.ntp.org project. # Please consider joining the pool ([http://www.pool.ntp.org/join.html](http://www.pool.ntp.org/join.html)). //注掉下面四项,让集群局域网中不适用其他网略时间 #server 0.centos.pool.ntp.org iburst //我们操作注掉 #server 1.centos.pool.ntp.org iburst //我们操作注掉 #server 2.centos.pool.ntp.org iburst //我们操作注掉 #server 3.centos.pool.ntp.org iburst //我们操作注掉 //添加节点,当上述机器的丢失网略,还可以作为集群的时间同步机器 server 127.127.1.0 fudge 127.127.0 stratum 10 

修改/etc/sysconfig/ntpd,让硬件时间和系统时间一起同步,加上保险些

[root@hadoop102 ~]# vim /etc/sysconfig/ntpd
# Command line options for ntpd
OPTIONS="-g"
SYNC_HWCLOCK=yes

重启102的时间同步

先查看状态是 Active: inactive (dead)

[root@hadoop102 ~]# service ntpd status
Redirecting to /bin/systemctl status ntpd.service
● ntpd.service - Network Time ServiceLoaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled)Active: inactive (dead)
[root@hadoop102 ~]#

启动后台查看状态是Active: active (running)

[root@hadoop102 ~]# service ntpd status
Redirecting to /bin/systemctl status ntpd.service
● ntpd.service - Network Time ServiceLoaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled)Active: active (running) since Sat 2019-06-29 11:33:51 CST; 12s agoProcess: 3174 ExecStart=/usr/sbin/ntpd -u ntp:ntp $OPTIONS (code=exited, status=0/SUCCESS)Main PID: 3176 (ntpd)CGroup: /system.slice/ntpd.service└─3176 /usr/sbin/ntpd -u ntp:ntp -g
Jun 29 11:33:51 hadoop102 ntpd[3176]: Listen normally on 2 lo 127.0.0.1 UDP 123
Jun 29 11:33:51 hadoop102 ntpd[3176]: Listen normally on 3 eth0 192.168.1.102 UDP 123
Jun 29 11:33:51 hadoop102 ntpd[3176]: Listen normally on 4 virbr0 192.168.122.1 UDP 123
Jun 29 11:33:51 hadoop102 ntpd[3176]: Listen normally on 5 lo ::1 UDP 123
Jun 29 11:33:51 hadoop102 ntpd[3176]: Listen normally on 6 eth0 fe80::250:56ff:fe3a:7b92 UDP 123
Jun 29 11:33:51 hadoop102 ntpd[3176]: Listening on routing socket on fd #23 for interface updates
Jun 29 11:33:51 hadoop102 ntpd[3176]: 0.0.0.0 c016 06 restart
Jun 29 11:33:51 hadoop102 ntpd[3176]: 0.0.0.0 c012 02 freq_set kernel 0.000 PPM
Jun 29 11:33:51 hadoop102 ntpd[3176]: 0.0.0.0 c011 01 freq_not_set
Jun 29 11:33:52 hadoop102 ntpd[3176]: 0.0.0.0 c514 04 freq_mode
[root@hadoop102 ~]#

设置永久启动

[root@hadoop102 ~]# chkconfig ntpd on
Note: Forwarding request to 'systemctl enable ntpd.service'.
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[root@hadoop102 ~]#

102机器配置结束

配置103/104 在root用户

其他机器每隔10分支与时间服务器同步一次
crontab –e 表示要去编写crate脚本,e代表编辑
103机器

[root@hadoop103 ~]# crontab -e
no crontab for root - using an empty one
*/10 * * * * /usr/sbin/ntpdate hadoop102

104 机器

[root@hadoop104 ~]# crontab -e
no crontab for root - using an empty one
*/10 * * * * /usr/sbin/ntpdate hadoop102

配置结束

验证

修改时间语法:date -s "2019-6-28 10:10:10"//表示修改当前机器的时间点为某个时间
验证:修改103的时间,今天是29号我们改为28号,看等会会不会同步

 [root@hadoop103 ~]# date
Sat Jun 29 11:52:44 CST 2019 [root@hadoop103 ~]# date -s "2019-6-28 10:10:10" Fri Jun 28 10:10:10 CST 2019 [root@hadoop103 ~]# date Fri Jun 28 10:10:18 CST 2019 [root@hadoop103 ~]# 

验证:同样修改104的时间,今天是29号我们改为28号,看等会会不会同步

[root@hadoop104 ~]# date
Sat Jun 29 11:53:50 CST 2019 [root@hadoop104 ~]# date -s "2019-6-28 10:10:10" Fri Jun 28 10:10:10 CST 2019 [root@hadoop104 ~]# date Fri Jun 28 10:10:15 CST 2019 [root@hadoop104 ~]# 

验证结果:103

[root@hadoop103 ~]# date
Fri Jun 28 10:10:18 CST 2019 [root@hadoop103 ~]# date Sat Jun 29 11:55:42 CST 2019 [root@hadoop103 ~]# 

验证结果:104

[root@hadoop104 ~]# date
Fri Jun 28 10:10:15 CST 2019 [root@hadoop104 ~]# date Sat Jun 29 11:56:19 CST 2019 [root@hadoop104 ~]# 

配置成功 O(∩_∩)O哈哈~

转载于:https://www.cnblogs.com/shaozhiqi/p/11534865.html

如何使用npt结合crontab实现集群之间的时间同步相关推荐

  1. hbase集群 数据写入_HBase神器 | BDSHBase集群之间数据迁移同步的利器

    BDS定位 BDS针对开源HBase目前存在的同步迁移痛点,自主研发的一套数据迁移的平台,用于HBase集群的无缝迁移.主备容灾.异地多活.在线离线业务分离.HBase数据归档.对接RDS实时增量数据 ...

  2. Elasticsearch:如何为 CCR 及 CCS 建立带有安全的集群之间的互信

    我们知道,为了能够实现 CCR 及 CCS,我们必须让集群之间能够互信,这样才可以建立集群之间的连接.在我之前的文章 "Elasticsearch:跨集群搜索 Cross-cluster s ...

  3. HBase不同版本集群之间数据迁移

    本文摘自:https://www.dazhuanlan.com/2019/10/20/5dac43ffeb75a/ 由于HBase CDH4和CDH5数据格式不兼容,所以不能用"CopyTa ...

  4. hbase集群之间数据迁移_hbase数据迁移到另一集群上

    通常我们都会有将hbase表数据迁到另一个hbase表中业务需要,这种不要着急,我选择一种最适合的方式,因为每种方式处理的数据量.对集群的压力都是有差异的 总的划分可以分为命令行和API两种方式,本人 ...

  5. 集群之间数据拷贝distcp性能的调优

    百PB级数据拷贝distcp性能调优 背景 配合集群迁移,需要迁移3PB数据 拷贝方式 全量数据约3PB,全量拷贝一次,耗时近两个星期(业务每日高峰期需要停止拷贝作业) 这里主要测试每天的增量同步速度 ...

  6. hbase集群之间数据迁移_HBase不同集群间数据迁移

    前提 两个集群相同vpc和安全组 操作步骤 一.查看源端集群HDFS NameNode IP和port 1. 查看NameNode IP,获取对应的name转换成IP hdfs getconf -na ...

  7. linux/centos/集群安装ntp时间同步,自身实验成功

    1. 准备节点 不管你有多少个节点,肯定要有一个 server 角色,至于谁是 server 你来决定. 例如下面这样,我们姑且假设有这样四个节点 192.168.11.101(server端 nod ...

  8. Hadoop分布式集群的搭建

    1.概念 1.1大数据 大数据主要解决海量数据的采集.存储和分析计算的问题. 主要具有以下特点: 数据量大Volume:数据量在TB.PB.EB.ZB.YB.BB.NB.DB之上的数量级,一些大型企业 ...

  9. CentOS8上集群时间的同步

    需求: 我们以前可能接触过时间同步的软件:ntp或者说是ntpdate,但是如果我们在CentOS8上面进行主机之间时间的同步,想要下载ntpdate可能会发现没有这个包: [root@kvm yum ...

最新文章

  1. PHP_MySQL笔试题目一
  2. 开源神器!答应我,别再用 abc 做变量名了好么!
  3. Java程序员面试必备的一些流程图
  4. 旋转链表Python解法
  5. Android studio使用git切换分支开发的方法(图文教程)
  6. Spring 思维导图,让 Spring 不再难懂(cache篇)
  7. ORACLE 10g EXPDP,IMPDP使用方法
  8. ASP.NET企业开发框架IsLine FrameWork系列之四--DataProvider 数据访问(上)
  9. 「干货」不逼自己一下不知道自己多牛逼[python篇]
  10. RSA不对称加密,公钥加密私钥解密,私钥加密公钥解密
  11. Linux下使用rsync同步文件
  12. excel设置单元格整数后还是有小数点_一招教你统一解决excel单元格的单位问题!...
  13. 【产品 设计】入门 - 工具篇 - Sketch + Skala Preview
  14. P2525 Uim的情人节礼物·其之壱 prev_permutaion
  15. [玩转BLE]瑞昱RTL8762CMF蓝牙5.0(烧录篇)
  16. STM32F401CCU6踩坑系列
  17. 求助matlab崩溃问题的解决方案
  18. Tegra environment
  19. 如何写好一篇技术文章?
  20. 微服务 —— ThoughtWorks首席科学家的早期文章

热门文章

  1. yolov3数据集制作
  2. Github创建仓库及工程源码上传
  3. 写了一个jquery.imagesview插件,支持图片拖动、缩放类似ACDSEE效果
  4. NYOJ A : 绝望的riba2534
  5. python图片压缩pako_vue中使用 pako.js 解密 gzip加密字符串的方法
  6. 如何禁止计算机的打印功能,pdf设置禁止打印 pdf如何防止修改的方法
  7. 【喜讯】京品高科斩获2018阿里云生态合作伙伴解决方案大赛二等奖
  8. GL_INVALID_OPERATION: Feedback loop formed between Framebuffer and active Texture 错误
  9. axios-妙味课堂
  10. %3A%2F%2F这样的叫什么码啊?