Kettle Permission denied

1.问题场景：在windows系统中，执行一段转换操作，从MySQL表中将数据抽取到HDFS文件中，使用Parquet output输出文件，进行转换时报以下错

Parquet output.0-Cause by.org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied:user=kohsin,access=WRITE,

从字面可以看出，服务器端的权限问题，从windows上传文件时附带的身份，Hadoop并没有给此身份权限导致的。

2.解决方法

2.1方法一

因为是跟视频自学，所以视频上老师介绍了一种方法，进入Linux系统的环境变量文件

vi /etc/profile

然后在Hadoop环境变量下添加一段root的角色名

export HADOOP_USER_NAME=root

重启一下环境变量。

该方法可以试一下，我自己试过，但是不知道为什么不执行，所以我也不知道这个方法对不对，可能对其他电脑会有不一样的效果吧。

2.2方法二

因为是在window系统上运行的，看报错的消息可以知道，Kettle在运行转换作业的时候，一定是带了一个自己的用户名称到HDFS上的，所以我们可以修改配置，自行把该名称赋值成root用户，这样Hadoop就可以有对应的权限了

具体操作如下

在windows中找到启动Kettle的Spoon.bat文件，然后用记事本打开该文件,找到 set OPT= 这一行

然后在该行最后面添加下面的内容，然后重启Kettle即可

“-DHADOOP_USER_NAME=root”

这个方法，也是自己亲测有效，最终解决问题的方法，可供参考，不一样的电脑可能也不一样的问题吧，遇见了再摸索。

2.3方法三

因为Hadoop文件有权限的限制，所以可以考虑将HDFS的文件权限进行更改，从最前面的字段可以看出文件的权限drwxr-xr-x

可以执行修改文件的权限命令，然后再进行Kettle操作

hdfs dfs -chmod 777 'text_name'

最后的方法是我自己想的，但是没有经过实测的验证（还不是因为懒得！哈哈哈），可以参考以下，如果有用这个方法验证的可以留言一下，成功了我就保留了，失败了，我就把这个方法删除了（不能误人子弟）

Kettle 权限问题相关推荐

pythonDjango后端笔记
文章目录软件开发架构纯手撸web框架借助于wsgiref模块动静态网页模块语法之Jinja2模块自定义简易版本web框架请求中各个模块的作用 python3大主流web框架注意事项 Dj ...
【Kettle学习笔记】从Hbase导入数据至Mysql
1.连接Hadoop集群与MySQL 1-1 下载当前集群的Hbase配置文件 1-2 解压改配置文件至cdh510目录下 1-3 修改D:\kettle\data-integration\plugi ...
kettle安装部署及远程执行
一.windows环境 1.安装jdk 随意选择目录只需把默认安装目录 \java 之前的目录修改即可 2.安装jre→更改→ \java 之前目录和安装 jdk 目录相同即可注:若无安装目录要求 ...
Linux下crontab命令添加Kettle作业定时任务
1. 确保作业 $KETTLE_HOME/kitchen.sh -file=/data1/testdata/testkjb.kjb 或转换 $KETTLE_HOME/pan.sh -file=/dat ...
kettle使用数据库来生成序列_Kettle的安装和使用
Kettle简介 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定. Kettle是"Kettle E.T.T.L. ...
linux 定时执行kettle6,linux下使用crond定时执行kettle的job
由于第一次碰linux,对其不是很了解,导致这个问题困扰了我近一个月的时间,现在终于解决了,分享给大家. 首先,安装jre,配置java环境变量(一)下载jre-6u23-linux-x64.bin ...
kettle创建mysql资源库
步骤: 1. 创建一个库: create database xxx; 2. 创建kettle用户,密码也为kettle 3. 给kettle用户使用xxx 库的权限. 4. 刷新权限,使权限生效. ...
导入数据中文乱码_基于Navicat和Kettle的数据迁移完全解读（多图）
需求描述对于数据分析人员来说,工作的基础是数据,没有数据分析就无从谈起,即巧妇难为无米之炊. #数据库# #数据迁移# #Oracle# 然而,数据分析往往在实验环境或者准生产环境中开展,而数据分布 ...
kettle怎么复制资源库的job_#linux系统下调度数据库类型资源库中的kettle job
// linux系统下调度数据库类型资源库中的kettle job - 简书 http://www.jianshu.com/p/bc57ee193ea3 进入linux系统,切换至kettle所属用户 ...

Kettle 权限问题

Kettle Permission denied

Kettle 权限问题相关推荐

最新文章

热门文章