Streamsets使用过程中遇到的问题及解决办法
1、streamsets添加外部jar包时报错
界面上加载不出来stageLibrary,后台日志报错:
java.net.UnknownHostException: archives.streamsets.com
网上找的类似的问题,但没有给出解决办法:https://issues.streamsets.com/browse/SDC-10236?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel
我这边仔细排查日志,发现有如下信息:
INFO ClassLoaderStageLibraryTask - Reading from Repository Manifest URL:http://archives.streamsets.com/datacollector/3.7.1/tarball/repository.manifest.json
解决办法:
把链接复制到浏览器是可以访问的,在主机上用curl命令却半天出不来结果,ping这个主机名也反应一会,但还是ping通了,最后配置了主机名和ip 的映射,解决了问题。
2、StreamSets日志报错
2019-04-29 14:34:01,070 [user:*?] [pipeline:-] [runner:] [thread:runner-pool-2-thread-38] [stage:] ERROR SupportBundleManager - Support bundle upload failed:
com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-west-2.amazonaws.com。。。
Caused by: java.net.UnknownHostException: s3.us-west-2.amazonaws.comat java.net.InetAddress.getAllByName0(InetAddress.java:1280)
。。。
注:该错误不影响StreamSets流程执行
解决办法:
报错是由于streamsets部署内网,访问不了这个主机 s3.us-west-2.amazonaws.com,可以通过修改配置解决
1、修改配置文件
sdc.properties
Uncomment if you need to disable the facility for automatic support bundle upload.
bundle.upload.enabled=false
配置之后应该会报如下错误,其实也不影响任务正常运行,不想看到的话可以通过2中的方法解决:
java.io.IOException: Uploading support bundles was disabled by administrator.
https://ask.streamsets.com/question/649/how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc/
2、修改日志配置文件,或者在界面上改:配置 / Logs / Log Config
sdc-log4j.properties
log4j.logger.com.streamsets.datacollector.bundles.SupportBundleManager=INFO
3、StreamSets推送Directory目录下数据到Kafka报错
解决办法:
修改Directory组件的Buffer Limit,默认为128M,修改大小根据文件的大小程度决定。
4、汉化streamsets之后,不支持中文组件名称
解决办法:
由之前的正则[0-9A-Za-z_\\s]+修改为 ^[\u4e00-\u9fa5_a-zA-Z0-9]+$,这个正则支持中文,数字,下划线,字母
支持空格、-、_的正则正确写法为:^[\u4e00-\u9fa5_a-zA-Z0-9\\s-_]+$
在修改时注意项目引用的api的JAR与streamsets-datacollector-api的版本问题
Streamsets使用过程中遇到的问题及解决办法相关推荐
- ac ap方案 华为_今天给大家总结下AC+AP架构使用过程中的若干问题及解决办法
原标题:今天给大家总结下AC+AP架构使用过程中的若干问题及解决办法 早前发布了一篇<手把手教您如何大范围无线组网>,当时有朋友留言要我给点更详细的配置,有朋友建议用华为设备,也有朋友建议 ...
- Python 爬虫中国知网论文过程中遇到的坑及解决办法
假期,老师给布置了 Python 爬虫中国知网论文的任务,目前实现了登录和搜索功能,先写一下遇到的坑和解决办法吧. Python 爬虫中国知网论文过程中遇到的坑及解决办法 一. selenium 模块 ...
- caffe使用过程中遇到的问题和解决办法
cuda_success error 问题描述 在参考http://www.cnblogs.com/denny402/p/5083300.html自己尝试预处理和训练数据的时候,出现了error == ...
- 编译apache过程中出现如下错误及解决办法
在编译apache的过程中出现如下错误: no SSL-C headers found configure: error: ...No recognized SSL/TLS toolkit detec ...
- Cordova安装与配置过程中出现的问题及解决办法
最近在学习jQuery Mobile,在配置环境的过程中,遇到了一些问题,看百度这方面的资料挺少的,就自己总结一下了 1,在安装Cordova CLI过程中,提示出错,基本上是网速的问题,多安装几遍就 ...
- python实验过程中遇到的问题以及解决办法_20183413 2029-2020-2《Python程序设计》实验一报告...
20183413 2019-2020-2 <Python程序设计>实验一报告 课程:<Python程序设计> 班级: 1834 姓名:李杰 学号: 20183413 实验教师: ...
- Git 使用过程中遇到的问题以及解决办法
git 是项目当中最常用的代码管理库,熟练的使用git不是万能的,但不能熟练的使用git是万万不能的,归纳了一下真正开始在多人协作的代码库中提交自己的代码时遇到的问题. git fetch 失效的问题 ...
- ansys在求解过程中死机关机的解决办法
ansys是一款功能强大的仿真软件.它用于分析工程领域的结构分析和流体动力学.在使用ansys软件时,必须面对许多复杂的问题,并且计算机会崩溃关机.这导致工作人员的时间浪费以及效率低下. ansys关 ...
- ubuntu 安装过程中 安装界面卡死完美解决办法 笔记本
在安装ubuntu过程中,由于是神舟电脑,问的淘宝客服,没想到比我还白,在网上搜了资料,总结如下: 1 设置优盘启动 这里就不多说了,网上资料很多,找个工具直接写进u盘就好. 2 u盘启动过程中,会出 ...
最新文章
- [转]搞ACM的你伤不起(转自Roba大神)
- wgan 不理解 损失函数_AI初识:深度学习中常用的损失函数有哪些?
- python真的越来越重要吗-为什么现在越来越多人的想学习python,你也是吗,未来到底怎样?...
- 已安装nginx动态添加模块
- 11.27 如何选择具有某一角色的当事人?
- 无向图的深度优先遍历非递归_LeetCode0429: N叉树的层序遍历
- 用js和jq分别实现二级联动效果
- iconfont采坑
- [原创]AM3352 + TPS65910 调试方法+调试记录
- 无锡工艺技术计算机信息管理论文,无锡工艺职业技术学院05/06学年第一学期.doc...
- 【七夕节特刊】开源世界里的爱情保卫战
- OC中的分类与类扩展
- Kaggle时间序列(Time Series)教程 3-季节性(Seasonality)
- Pr:导出设置之元数据
- 关于“产品经理的方法论都是自上而下提出的,缺少形而上学的认知”此观点的讨论
- 工程部署(三):低算力平台模型性能的优化
- 云台山春花将逝,热情的盛夏等待您
- Dio 中的拦截器原来有这些用法
- 集群节点启动报错 BEA-000386
- 线性代数-01矩阵与行列式
热门文章
- 新浪获取股票实时数据接口(22年春节后)
- 分析-同样一个职位为什么大城市比小城市薪资高
- 安装SAP IDES 的前期工作
- 计算机网络布线画图软件,一种计算机网络布线辅助工具的制作方法
- 自学3D建模能学会吗?
- java boolean长度_boolean类型长度
- 计算机不能正常启动故障及原因,出现电脑无法正常开机并提示错误代码0xc000000f问题和解决方法...
- OpenTSDB部署
- python数组截取_PHP array_slice():截取数组的一部分
- 多普勒频移及其解决方案