hbase自定义协处理器实现

首先编写代码，继承BaseRegionObserver，在代码中添加输出信息到/opt/apps/hbase_logs/hbase.log，如果协处理器生效，就会输出信息到hbase.log。


import org.apache.hadoop.hbase.CoprocessorEnvironment;
import org.apache.hadoop.hbase.coprocessor.BaseRegionObserver;import java.io.FileOutputStream;
import java.io.IOException;/*** @Author: lih* @Date: 2019/5/16 9:31 AM* @Version 1.0* 自定义协处理器*/
public class MyRegionProcessor extends BaseRegionObserver {public MyRegionProcessor() {log("new MyRegionProcessor");}public void start(CoprocessorEnvironment e)  {log("start:" + this.toString());}public void stop(CoprocessorEnvironment e)  {log("stop:" + this.toString());}public void log(String log) {try {FileOutputStream fos = new FileOutputStream("/opt/apps/hbase_logs/hbase.log", true);fos.write((log + "\r\n").getBytes());fos.close();} catch (Exception e) {e.printStackTrace();}}}

2.打包上传到服务器代码打成jar包上传到hbase所有节点的lib目录下
3.在hbase-site.xml中配置

<property><name>hbase.coprocessor.user.region.classes</name><value>com.xxx.MyRegionProcessor</value>
</property>

为所有 table 加载了一个 cp class，可以用” ,”分割加载多个 class。

还可以使用动态加载，为一个表加载协处理器，这种方式不用上传jar包，同时不需要修改配置文件，可以不需要重启hbase。
启用表 aggregation，只对特定的表生效。通过 HBase Shell 来实现。
disable 指定表。 hbase> disable ‘mytable’
添加 aggregation
alter ‘dd’, METHOD => ‘table_att’, ‘Coprocessor’=>‘hdfs://xxx:8020/xxx-1.0.jar| com.xxx.MyRegionProcessor|2’
重启指定表 hbase> enable ‘mytable’

触发get 命令后，hbase_log中就会产生代码中的日志信息。

4.协处理器卸载

alter 'mytable', METHOD => 'table_att_unset', NAME => 'coprocessor$1'

hbase自定义协处理器实现相关推荐

2021年大数据HBase（十六）：HBase的协处理器(Coprocessor)
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 HBase的协处理器(Coprocessor) 一.起源二 ...
HBase的协处理器（Coprocessor）、HBase如何使用二级索引、observer协处理器、 endpoint协处理器、Hbase 协处理器加载方式
HBase的协处理器(Coprocessor).HBase不可以使用二级索引吗? 起源 Hbase 作为列族数据库最经常被人诟病的特性包括: 无法轻易建立"二级索引" 难以执行求 ...
五十四、HBase的协处理器
在旧版本的(<0.92)HBase中无法轻易建立"二级索引",难以执行求和.计数.排序等操作.例如统计数据表的总行数,需要使用Counter方法,执行一次MapReduce ...
Hbase使用协处理器的注意点
Hbase使用协处理器的注意点 1. 协处理器在使用时如果代码出错会使,hbase的节点死掉当节点死掉可以重启服务,删除挂载协处理器的表,或者是卸载协处理器2. 协处理器是在使用时对同一张表的操作是不 ...
hbase使用协处理器同步es
hbase同步到es hbase版本:1.1.2 es版本:6.3.2 一开始从网上找的也能用,但是发现运行一段时间发现报错,丢失数据,后来又从网上搜索加上自己整理的,终于成功了不多说上代码 pub ...
HBase建表高级属性，hbase应用案例看行键设计，HBase和mapreduce结合，从Hbase中读取数据、分析，写入hdfs，从hdfs中读取数据写入Hbase，协处理器和二级索引
1. Hbase高级应用 1.1建表高级属性下面几个shell 命令在hbase操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性 1. BLOOMFILTER 默认是 ...
Hbase Coprocessors 协处理器
Table of Contents Hbase 协处理器的概述与其他协处理器的比较 Triggers and Stored Procedure MapReduce AOP 协处理器如何实现 Copr ...
Hbase Coprocessor 协处理器与 JavaAPI
协处理器概念一.协处理器有两种: observer 和 endpoint 1.observer协处理器 Observer 类似于传统数据库中的触发器,当发生某些事件的时候这类协处理器会被 Serve ...
Hbase之协处理器
官方介绍https://blogs.apache.org/hbase/entry/coprocessor_introduction 使用它一定要慎重,一旦协处理器出问题,则hbase将起不来,不过也有 ...

hbase自定义协处理器实现

hbase自定义协处理器实现相关推荐

最新文章

热门文章