解决时区导致druid任务构建失败的问题：No buckets?? seems there is no data to index.

===== update 2017-07-12 begin =====

No Buckets 的主要原因是: load batch data 的时候，intervals 的范围小于被上传数据的时间范围

===== update 2017-07-12 end =====

Error stack as fllow：

2017-07-10T08:41:36,134 ERROR [task-runner-0-priority-0] io.druid.indexing.overlord.ThreadPoolTaskRunner - Exception while running task[HadoopIndexTask{id=index_hadoop_pageviews_2017-07-10T08:40:32.650Z, type=index_hadoop, dataSource=pageviews}]
java.lang.RuntimeException: java.lang.reflect.InvocationTargetExceptionat com.google.common.base.Throwables.propagate(Throwables.java:160) ~[guava-16.0.1.jar:?]at io.druid.indexing.common.task.HadoopTask.invokeForeignLoader(HadoopTask.java:204) ~[druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexing.common.task.HadoopIndexTask.run(HadoopIndexTask.java:208) ~[druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexing.overlord.ThreadPoolTaskRunner$ThreadPoolTaskRunnerCallable.call(ThreadPoolTaskRunner.java:436) [druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexing.overlord.ThreadPoolTaskRunner$ThreadPoolTaskRunnerCallable.call(ThreadPoolTaskRunner.java:408) [druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at java.util.concurrent.FutureTask.run(FutureTask.java:266) [?:1.8.0_131]at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [?:1.8.0_131]at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [?:1.8.0_131]at java.lang.Thread.run(Thread.java:748) [?:1.8.0_131]
Caused by: java.lang.reflect.InvocationTargetExceptionat sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_131]at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_131]at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_131]at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_131]at io.druid.indexing.common.task.HadoopTask.invokeForeignLoader(HadoopTask.java:201) ~[druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]... 7 more
Caused by: java.lang.RuntimeException: java.lang.RuntimeException: No buckets?? seems there is no data to index.at io.druid.indexer.IndexGeneratorJob.run(IndexGeneratorJob.java:215) ~[druid-indexing-hadoop-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexer.JobHelper.runJobs(JobHelper.java:349) ~[druid-indexing-hadoop-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexer.HadoopDruidIndexerJob.run(HadoopDruidIndexerJob.java:94) ~[druid-indexing-hadoop-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexing.common.task.HadoopIndexTask$HadoopIndexGeneratorInnerProcessing.runTask(HadoopIndexTask.java:261) ~[druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_131]at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_131]at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_131]at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_131]at io.druid.indexing.common.task.HadoopTask.invokeForeignLoader(HadoopTask.java:201) ~[druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]... 7 more
Caused by: java.lang.RuntimeException: No buckets?? seems there is no data to index.at io.druid.indexer.IndexGeneratorJob.run(IndexGeneratorJob.java:176) ~[druid-indexing-hadoop-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexer.JobHelper.runJobs(JobHelper.java:349) ~[druid-indexing-hadoop-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexer.HadoopDruidIndexerJob.run(HadoopDruidIndexerJob.java:94) ~[druid-indexing-hadoop-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at io.druid.indexing.common.task.HadoopIndexTask$HadoopIndexGeneratorInnerProcessing.runTask(HadoopIndexTask.java:261) ~[druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_131]at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_131]at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_131]at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_131]at io.druid.indexing.common.task.HadoopTask.invokeForeignLoader(HadoopTask.java:201) ~[druid-indexing-service-0.9.2.2.6.0.3-8.jar:0.9.2.2.6.0.3-8]... 7 more

从中，我们可以看到异常关键词：

No buckets?? seems there is no data to index.

一般情况下，我解决问题的思路是，先百度，后 github，再解决不了只能看源码。

因为druid这东西在国内并不火，所以百度没啥效果，然后到druid的github中，搜上述关键词，得到一条类似的issue：

https://github.com/druid-io/druid/issues/3259

这个issue虽然没能解决问题，但给我提供了解决问题的思路：修改timezone！

于是乎先看了系统的timezone，已经是CST，时间正常。

然后观察druid日志，发现druid日志与系统时间相差了8小时。

于是在ambari中，查找和timezone相关的druid配置，结果发现，有如下属性和timezone有关：

- druid.broker.jvm.opts

- druid.coordinator.jvm.opts

- druid.historical.jvm.opts

- druid.middlemanager.jvm.opts

- druid.overlord.jvm.opts

-druid.router.jvm.opts

-druid.indexer.runner.javaOpts

druid默认使用UTC，我这里发现日志和系统时间相差8小时，于是改为 UTC+8, 成功构建！

解决时区导致druid任务构建失败的问题：No buckets?? seems there is no data to index.相关推荐

线性瘤是良性吗_良性聚会：露营者如何构建开放源代码工具来解决时区
线性瘤是良性吗 by Michael D. Johnson 迈克尔·约翰逊(Michael D.Johnson) 良性聚会:露营者如何构建开放源代码工具来解决时区 (Meeting for Good: ...
解决因nginx配置导致文件上传失败的问题 The filed file exceeds its maximum permitted size of 1048576 bytes
解决因nginx配置问题导致文件上传失败的问题 1.问题背景 2.问题截图 3.问题分析 4.问题解决(修改nginx的配置) 5.解决之后的"后遗症"(截图) 6.分析并解决&q ...
支付宝小程序编译打包时，使用tnpm安装依赖可能导致上传时构建失败，请使用 \tnpm i --by=yarn\ 安装依赖
1.最近做支付宝小程序,不太懂,因为用了mini-ali-ui,所以打包出现了Packed fail. ========== 远程调试构建失败 ========== build & pack ...
解决Autodesk系列软件卸载不完全导致的再次安装失败问题
解决Autodesk系列软件卸载不完全导致的再次安装失败问题网上流传的auto uninstaller需要付费,而最简单的方法就是打开要安装的软件预解包文件路径下的xx.msi文件,比如...... ...
蜘蛛占用服务器资源,解决因服务器而导致蜘蛛抓取失败的原因
服务器是网站生存的基础,不论是什么原因造成的服务器封禁,都直接影响蜘蛛的抓取,影响网站的用户体验,不利于seo工作的展开.我其将以自己的亲身经历,结合网络上一些朋友对这类问题的分析,总结出造成服务器封 ...
troubleshooting之解决YARN队列资源不足导致的application直接失败
1.YARN队列资源不足导致的application直接失败的现象如果说,你是基于yarn来提交spark.比如yarn-cluster或者yarn-client.你可以指定提交到某个 ...
pls-toolbox_使用T-SQL Toolbox数据库解决时区，GMT和UTC问题
pls-toolbox 介绍 (Introduction) Soon enough, the applications and database software we build will hand ...
Gitlab-runner 构建失败问题排查
Gitlab-runner 构建失败问题排查: 问题起因: 基于gitlab ci 进行自动化构建,当发起 merge_requests请求出发构建时job运行报错,官方推荐升级gitlab-runn ...
记一次网络波动导致druid连接池无法创建新连接的BUG
背景项目使用了阿里druid jdbc连接池.某天环境出现网络波动,持续20分钟后,网络恢复,单服务一直无法连接数据库.重启之后正常运行 druid 版本:1.1.21 项目配置 spring.da ...

解决时区导致druid任务构建失败的问题：No buckets?? seems there is no data to index.

解决时区导致druid任务构建失败的问题：No buckets?? seems there is no data to index.相关推荐

最新文章

热门文章