常见问题排查

分布式 DDL 某数据节点的副本不执行

(1)问题:使用分布式 ddl 执行命令 create table on cluster xxxx 某个节点上没有创建表,但是 client 返回正常,查看日志有如下报错。

<Error> xxx.xxx: Retrying createReplica(), because some other replicaswere created at the same time

(2)解决办法:重启该不执行的节点。

数据副本表和数据不一致

(1)问题:由于某个数据节点副本异常,导致两数据副本表不一致,某个数据副本缺少表,需要将两个数据副本调整一致。

(2)解决办法:

在缺少表的数据副本节点上创建缺少的表,创建为本地表,表结构可以在其他数据副本通过 show crete table xxxx 获取。

表结构创建后, clickhouse 会自动从其他副本同步该表数据,验证数据量是否一致即可。

副本节点全量恢复

(1)问题:某个数据副本异常无法启动,需要重新搭建副本。

(2)解决办法:

清空异常副本节点的 metadata 和 data 目录。

从另一个正常副本将 metadata 目录拷贝过来(这一步之后可以启动数据库,但是只有表结构没有数据)。

执行 sudo -u clickhouse touch /data/clickhouse/flags/force_restore_data

启动数据库。

数据副本启动缺少 zk 表

(1)问题:某个数据副本表在 zk 上丢失数据,或者不存在,但是 metadata 元数据里存在,导致启动异常,报错:

Can’t get data for node /clickhouse/tables/01-02/xxxxx/xxxxxxx/replicas/xxx/metadata: node doesn’t exist (No node):Cannot attach table xxxxxxx

(2)解决办法:

metadata 中移除该表的结构文件,如果多个表报错都移除

mv metadata/xxxxxx/xxxxxxxx.sql /tmp/

启动数据库

手工创建缺少的表,表结构从其他节点 show create table 获取。

创建后会自动同步数据,验证数据是否一致。

ZK table replicas 数据未删除,导致重建表报错

(1)问题:重建表过程中,先使用 drop table xxx on cluster xxx ,各节点在 clickhouse 上table 已物理删除,但是 zk 里面针对某个 clickhouse 节点的 table meta 信息未被删除(低概率事件),因 zk 里仍存在该表的 meta 信息,导致再次创建该表 create table xxx on cluster, 该节点无法创建表(其他节点创建表成功),报错:

Replica /clickhouse/tables/01-03/xxxxxx/xxx/replicas/xxx already exists..

(2)解决办法:

从其他数据副本 cp 该 table 的 metadata sql 过来.

重启节点。

Clickhouse 节点意外关闭

(1)问题:模拟其中一个节点意外宕机,在大量 insert 数据的情况下,关闭某个节点。

(2)现象:数据写入不受影响、数据查询不受影响、建表 DDL 执行到异常节点会卡住,报错:

Code: 159. DB::Exception: Received from localhost:9000. DB::Exception:Watching task /clickhouse/task_queue/ddl/query-0000565925 is executing than distributed_ddl_task_timeout (=180) seconds. There are 1unfinished hosts (0 of them are currently active), they are going to execute the query in background.

(3)解决办法:启动异常节点,期间其他副本写入数据会自动同步过来,其他副本的建表 DDL 也会同步。

其他问题参考

https://help.aliyun.com/document_detail/162815.html?spm=a2c4g.11186623.6.652.312e79bd17U8IO

ClickHouse-常见问题排查相关推荐

js vm报错_uni-app v3版本更新常见问题排查
uni-app v3版本更新常见问题排查组件不显示或者功能异常原因:组件内使用了 onReady,onReady 是页面的生命周期,不应在组件中直接使用,组件中应该使用 mounted 生命周期 ...
手机屏幕常见故障_触屏不灵敏、断触怎么回事?手机触摸屏的基本原理与常见问题排查方法介绍...
手机触摸屏断触是怎么回事?大家在日常使用中可能会碰到各种各样的触摸屏问题,类似:断触,滑动屏幕不跟手,输入法打字不灵敏,游戏中多点触摸不灵敏,等问题,下面咱们从利用排除法来进行排查定位.想要弄清手机触 ...
无线常见问题排查手册
目录常见问题排查手册 1 AC常见故障 3 结构类问题 3 设备晃动有异响 3 以太网端口网线插不紧 3 整机电源类问题 3 无法启动类问题 4 AC可以上电,但无法正常启动,且串口没有打印信息 4 ...
传真系统无法连接到服务器,传真ftp服务器配置和常见问题排查手册
<传真ftp服务器配置和常见问题排查手册>由会员分享,可在线阅读,更多相关<传真ftp服务器配置和常见问题排查手册(7页珍藏版)>请在人人文库网上搜索. 1.用友致远一一A6传 ...
重启大法好！线上常见问题排查手册
一线上常见问题定位常见问题 1:CPU 利用率高 CPU 使用率是衡量系统繁忙程度的重要指标,一般情况下单纯的 CPU 高并没有问题,它代表系统正在不断的处理我们的任务,但是如果 CPU 过高,导 ...
clickhouse常见问题之Too many simultaneous queries
1. 问题现象在对项目中的clickhouse数据库进行查询的时候,提示:Too many simultaneous queries,如下图: 2. 问题原因根据以往数据库的使用经验,确定应该是当 ...
ClickHouse常见问题及其解决方案
1 概述在对ClickHouse进行分布表+复制表+zookeeper保证高可用的情况下进行性能测试时遇到如下坑,进行整理 2 分布表join问题Unknown identifier: LO_C ...
autojs报错崩溃等常见问题排查最全手册集合(欢迎补充)
普通交流群698307198欢迎加入v群,和各位大神一同交流免责声明:本博客提供的所有内容仅供学习.分享与交流,我们不保证内容的正确性.通过使用本博客内容随之而来的问题与本博客无关.当使用本博客代码 ...
java常见问题排查
问题1:NoSuchMethodException 分析:jar包版本冲突,java在装载一个目录下的jar包的时候,他的加载顺序取决于操作系统不取决于java本身,而Linux操作系统取决于inod ...
FAQ宝典之常见问题排查与修复方法
2019独角兽企业重金招聘Python工程师标准>>> 一.服务/容器 1.为什么我只能编辑容器的名称? Docker容器在创建之后就不可更改了.唯一可更改的内容是我们要存储的不属于 ...

ClickHouse-常见问题排查

常见问题排查

分布式 DDL 某数据节点的副本不执行

数据副本表和数据不一致

副本节点全量恢复

数据副本启动缺少 zk 表

ZK table replicas 数据未删除,导致重建表报错

Clickhouse 节点意外关闭

其他问题参考

ClickHouse-常见问题排查相关推荐

最新文章

热门文章