Hbase使用协处理器的注意点

 1. 协处理器在使用时如果代码出错会使，hbase的节点死掉当节点死掉可以重启服务，删除挂载协处理器的表，或者是卸载协处理器2. 协处理器是在使用时对同一张表的操作是不用再创建一个表的对象，否则可能会使节点的hbase死掉。3. 对不同表需要使用不同的表对象4. 一个表可以挂载多个协处理器，如果有多个则按照挂载顺序来

协处理器的分类

Observer

Observer 类似于传统数据库中的触发器，当发生某些事件的时候这类协处理器会被 Server 端调用。
Observer Coprocessor 就是一些散布在 HBase Server 端代码中的 hook 钩子， 在固定的事件发生时被调用。
比如：put 操作之前有钩子函数 prePut，该函数在 put 操作执行前会被 Region Server 调用；在 put 操作之后则有 postPut 钩子函数

RegionObserver：针对Region的观察者，可以监听关于Region的操作
RegionServerObserver：针对RegionServer的观察者，可以监听关于RegionServer的操作
WALObserver：针对WAL的观察者，可以监听关于WAL的操作
MasterObserver：针对Master的观察者，可以监听关于Master的操作

endpoint

Endpoint 协处理器类似传统数据库中的存储过程，客户端可以调用这些 Endpoint 协处 理器执行一段 Server 端代码，并将 Server 端代码的结果返回给客户端进一步处理，最常见 的用法就是进行聚集操作。如果没有协处理器，当用户需要找出一张表中的最大数据，即 max 聚合操作，就必须进行全表扫描，在客户端代码内遍历扫描结果，并执行求最大值的 操作。这样的方法无法利用底层集群的并发能力，而将所有计算都集中到 Client 端统一执行， 势必效率低下。利用 Coprocessor，用户可以将求最大值的代码部署到 HBase Server 端，HBase 将利用底层 cluster 的多个节点并发执行求最大值的操作。即在每个 Region 范围内执行求最 大值的代码，将每个 Region 的最大值在 Region Server 端计算出，仅仅将该 max 值返回给客 户端。在客户端进一步将多个 Region 的最大值进一步处理而找到其中的最大值。这样整体 的执行效率就会提高很多

2. 协处理加载方式

协处理器的加载方式有两种，我们称之为静态加载方式（Static Load）和动态加载方式（Dynamic Load）。静态加载的协处理器称之为 System Coprocessor，动态加载的协处理器称之为 Table Coprocessor。

静态加载

通过修改 hbase-site.xml 这个文件来实现，启动全局 aggregation，能过操纵所有的表上的数据。只需要添加如下代码：
```
<property><name>hbase.coprocessor.user.region.classes</name><value>类全名</value>
</property>
```
可以用”,”分割加载多个 class
动态加载
只对特定的表生效。通过 HBase Shell 来实现。
1. 停用表　　disable ‘mytable’
2. 添加协处理器　　alter ‘t_guanzhu’,METHOD => ‘table_att’,‘coprocessor’=>‘hdfs://supercluster/jar/mycoprocessor.jar|com.qf.hbase.coprocessor.MyIndexCoprocessor|1001|’
启用表　　enable ‘mytable’
协处理器卸载。同样是3步
1. disable ‘mytable’
2. alter ‘mytable’,METHOD=>‘table_att_unset’,NAME=>‘coprocessor$1’
3. enable ‘mytable’

Hbase使用协处理器的注意点相关推荐

2021年大数据HBase（十六）：HBase的协处理器(Coprocessor)
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 HBase的协处理器(Coprocessor) 一.起源二 ...
HBase的协处理器（Coprocessor）、HBase如何使用二级索引、observer协处理器、 endpoint协处理器、Hbase 协处理器加载方式
HBase的协处理器(Coprocessor).HBase不可以使用二级索引吗? 起源 Hbase 作为列族数据库最经常被人诟病的特性包括: 无法轻易建立"二级索引" 难以执行求 ...
五十四、HBase的协处理器
在旧版本的(<0.92)HBase中无法轻易建立"二级索引",难以执行求和.计数.排序等操作.例如统计数据表的总行数,需要使用Counter方法,执行一次MapReduce ...
hbase使用协处理器同步es
hbase同步到es hbase版本:1.1.2 es版本:6.3.2 一开始从网上找的也能用,但是发现运行一段时间发现报错,丢失数据,后来又从网上搜索加上自己整理的,终于成功了不多说上代码 pub ...
hbase自定义协处理器实现
hbase自定义协处理器实现首先编写代码,继承BaseRegionObserver,在代码中添加输出信息到/opt/apps/hbase_logs/hbase.log,如果协处理器生效,就会输出信息 ...
给hbase增加协处理器报ERROR: org.apache.hadoop.hbase.DoNotRetryIOException:错误
刚开始,我输入协处理器的语法是这样子输入的(隔了好几天,我又用这个语法,又能行了,郁闷): alter 'publicDataset:comment',METHOD =>'table_att', ...
HBase建表高级属性，hbase应用案例看行键设计，HBase和mapreduce结合，从Hbase中读取数据、分析，写入hdfs，从hdfs中读取数据写入Hbase，协处理器和二级索引
1. Hbase高级应用 1.1建表高级属性下面几个shell 命令在hbase操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性 1. BLOOMFILTER 默认是 ...
Hbase Coprocessor(协处理器)的使用
本博客记录初次使用hbase coprocessor的过程.协处理器分两种类型,系统协处理器可以全局导入region server上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器.协处理器 ...
Hbase Coprocessors 协处理器
Table of Contents Hbase 协处理器的概述与其他协处理器的比较 Triggers and Stored Procedure MapReduce AOP 协处理器如何实现 Copr ...

Hbase使用协处理器的注意点

Hbase使用协处理器的注意点

协处理器的分类

Observer

endpoint

2. 协处理加载方式

Hbase使用协处理器的注意点相关推荐

最新文章

热门文章