Hadoop入门问题

@[TOC]hadoop

Hadoop入门问题

1、启动HDFS时Cannot set priority of xxxx process 问题
1）重启hadoop102(reboot)
2）删除 data和logs文件夹
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3）删除tmp文件夹
sudo rm -rf /tmp/*
4）重新初始化
hdfs namenode -format
2、集群异常（datanode/namenode没有等）
1）停进程（Hadoop102）
sbin/stop-dfs.sh
2）删除 data和logs文件夹（hadoop102/hadoop103/hadoop104）
rm -rf /opt/module/hadoop-3.1.3/data /opt/module/hadoop-3.1.3/logs
3）开始格式化
hdfs namenode -format
4）启动集群
sbin/start-dfs.sh
3、集群启动/停止方式总结
1）各个模块分开启动/停止（配置 ssh 是前提）常用
（1）整体启动/停止 HDFS
start-dfs.sh/stop-dfs.sh
（2）整体启动/停止 YARN
start-yarn.sh/stop-yarn.sh
2）各个服务组件逐一启动/停止
（1）分别启动/停止 HDFS 组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）启动/停止 YARN
yarn --daemon start/stop resourcemanager/nodemanager
4、常用端口号

yarn web 访问页面端口号：8088
yarn 服务端口号：8032
历史服务的服务端口号：10020
5、常用配置文件
3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers
2.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

Hadoop入门问题相关推荐

Hadoop新手篇：hadoop入门基础教程
Hadoop新手篇:hadoop入门基础教程关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧.最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环 ...
Hadoop入门基础教程 Hadoop之单词计数
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的src/exampl ...
Hadoop入门基础教程 Hadoop之完全分布式环境搭建
上一篇我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所 ...
一.hadoop入门须知
目录: 1.hadoop入门须知 2.hadoop环境搭建 3.hadoop mapreduce之WordCount例子 4.idea本地调试hadoop程序 5.hadoop 从mysql中读取数据 ...
大数据与Hadoop有什么关系？大数据Hadoop入门简介
学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...
Hadoop 入门学习思维导图
Hadoop 入门学习思维导图:
Hadoop新手篇：hadoop入门基础教程 1
Hadoop新手篇:hadoop入门基础教程关于hadoop的分享此前一直都是零零散散的想到什么就写什么,整体写的比较乱吧.最近可能还算好的吧,毕竟花了两周的时间详细的写完的了hadoop从规划到环 ...
大数据框架Hadoop篇之Hadoop入门
1. 写在前面今天开始,想开启大数据框架学习的一个新系列,之前在学校的时候就会大数据相关技术很是好奇,但苦于没有实践场景,对这些东西并没有什么体会,到公司之后,我越发觉得大数据的相关知识很重要,不管 ...
[学习笔记]黑马程序员-Hadoop入门视频教程
文章目录参考资料第一章:大数据导论与Linux基础(p1-p17) 1.1 大数据导论 1.1.1 企业数据分析方向 1.1.2 数据分析基本流程步骤明确分析的目的和思路数据收集数据处理数 ...
hadoop入门教程免费下载
Hadoop入门教程免费下载,学习大数据的小伙伴应该都知道Hadoop是必须要接触的,学习大数据,从Hadoop入门教程开始. Hadoop是什么? 首先我们了解到Hadoop是Apache软件基金会 ...

Hadoop入门问题

Hadoop入门问题

Hadoop入门问题相关推荐

最新文章

热门文章