Crontab执行java/spark-shell/spark-submit 异常解决方法

现象：

java/spark-shell/spark-submit 语句在linux shell中直接执行时没有任何问题，但是放到crontab中就出异常，且异常一般都抛在一些基础库里，让人感觉非常莫名，比如这种：

Traceback (most recent call last):
File "/usr/lib64/python2.4/logging/__init__.py", line 731, in emit
msg = self.format(record)
File "/usr/lib64/python2.4/logging/__init__.py", line 617, in format
return fmt.format(record)
File "/usr/lib64/python2.4/logging/__init__.py", line 408, in format
s = self._fmt % record.__dict__
KeyError: 'funcName'

原因：

由于crontab使用了自己独立的一套环境变量，与当前linux用户的path是不一样的。因此很多依赖于PATH的命令语句都会无法执行（比如依赖于python，或者依赖于java)。

可以看这里：https://stackoverflow.com/questions/2388087/how-to-get-cron-to-call-in-the-correct-paths

解决方法1：

#在当前用户的linux shell下执行下列命令，获取当前的path信息，复制到剪贴版中：

echo $PATH

#将PATH信息加入到crontab中：

crontab -e

#在文件首部新增两个空行，在第一行增加下列信息。其中<$PATH> 改为你剪贴板中的值：

PATH=<$PATH>

解决方法2：（该方法比较安全，推荐）

#直接依次运行如下命令修改crontab，而后crontab -e 就可以正常用了。

echo PATH=$PATH > tmp.cron

echo >> tmp.cron

crontab -l >> tmp.cron

crontab tmp.cron

转载请注明出处：http://blog.csdn.net/suranxu007/article/details/78562153

Crontab执行java/spark-shell/spark-submit 异常解决方法相关推荐

Spark面对OOM问题的解决方法及优化总结 (转载)
Spark面对OOM问题的解决方法及优化总结 (转载) 转载地址: http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的 ...
Spark程序运行常见错误解决方法以及优化
Spark程序运行常见错误解决方法以及优化参考文章: (1)Spark程序运行常见错误解决方法以及优化 (2)https://www.cnblogs.com/double-kill/p/901238 ...
java.lang.OutOfMemoryError异常解决方法
java.lang.OutOfmemoryError: PermGen Space 的错误,导致项目无法正常运行. 出现这个错误的原因,总结一下: PermGen Space指的是内存的永久保存区,该 ...
Android问题：java.lang.UnsatisfiedLinkError: No implementation found for异常解决方法
java.lang.UnsatisfiedLinkError: No implementation found for异常解决方法一天内遇到两次这个错误,被折磨一整天,关键是报错的原因还不一样,网上 ...
java.net.SocketTimeoutException: Read timed out异常解决方法
java.net.SocketTimeoutException: Read timed out异常解决方法错误解析: 在请求的时候,服务器请求超时.在网上搜查之后,客户端没有在规定的时间内把数据传给 ...
activeMQ高并发发送消息异常解决方法
高并发发送消息异常解决方法: 现象:使用10个线程每100ms发送一条消息,大约3000多条后,出现异常,所有线程停止: javax.jms.JMSException:Could not conne ...
java 找茬,找茬。解决方法
当前位置:我的异常网» Java Web开发 » 找茬.解决方法找茬.解决方法 www.myexceptions.net 网友分享于:2013-01-20 浏览:6次找茬. 我在网上博客,看到 ...
求解哈夫曼编码Java实现,用Java实现哈夫曼编码解决方法
当前位置:我的异常网» J2SE » 用Java实现哈夫曼编码解决方法用Java实现哈夫曼编码解决方法 www.myexceptions.net 网友分享于:2013-01-08 浏览:13次 ...
RXTXcomm.jar 读取串口数据时报 Underlying input stream returned zero bytes 异常解决方法
RXTXcomm.jar 读取串口数据时报 Underlying input stream returned zero bytes 异常解决方法一.示例程序 1.依赖 2.示例代码 3.测试读取文件 ...
出现java exception has occured错误的解决方法
出现java exception has occured错误的解决方法解决方案1 鼠标右键点击java文件->properties->Run/Debugsetting->检查是否有 ...

Crontab执行java/spark-shell/spark-submit 异常解决方法

Crontab执行java/spark-shell/spark-submit 异常解决方法相关推荐

最新文章

热门文章