一、前言

flink sql 与hbase 整合主要实现：flink sql 客户端中的hbase表与hbase中的表数据交互，为以后纯sql编写程序做准备如：创建kafka表、hive表、hbase表、mysql表，kafka表作为source hive表 sql语句加工作为算子 hbase表、mysql表作为sink表

1.flink sql 客户端中能读取hbase shell 写入的数据 2.flink sql 客户端写入hbase表中的数据在hbase shell中能读取

flink 1.11.0 hbase 1.2

主要参考官网：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/hbase.html

二、主要步骤

1.添加hbase依赖到flink sql客户端

在 /etc/profile 文件中添加如下两行：

export HBASE_HOME=/usr/local/apps/hbase

export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath`

添加这两个环境变量主要参考：https://hbase.apache.org/book.html#hbase.mapreduce.classpath 官网上hbase依赖中有说让参考此链接

完整的环境变量配置如下：

重启flink 集群及启动 flink SQL 客户端

./start-cluster.sh

/sql-client.sh embedded

set table.sql-dialect=default; （我的客户端配置文件中设置了sql-dialect 为hive 所以要切回default ）

2.在hbase中创建hbase表，flink SQL中创建hbase表

hbase 中创建hbase表

create 'wm:hbase_user_behavior', 'info';

在flink sql 客户端中建表

CREATE TABLE hbase_user_behavior(
rowkey STRING,
info ROW<user_id STRING,mt_wm_poi_id STRING,shop_name STRING,source STRING,platform STRING,create_time STRING,dt STRING,hr STRING,mm STRING>,
PRIMARY KEY (rowkey) NOT ENFORCED
) WITH (
'connector' = 'hbase-1.4',
'table-name' = 'wm:hbase_user_behavior',
'zookeeper.quorum' = 'ELK01:2181,ELK02:2181,ELK03:2181',
'zookeeper.znode.parent' = '/hbase'
);

建表语句中各字段意思官网上有解释

3.在flink sql客户端中测试读写hbase表数据

1.flink sql 客户端中能读取hbase shell 写入的数据

hbase shell 中添加数据：

flink sql 中读取此数据： SELECT * FROM hbase_user_behavior;

2.flink sql 客户端写入hbase表中的数据在hbase shell中能读取

INSERT INTO hbase_user_behavior
SELECT 'rowkey_test', ROW('test', 'test', 'test','test','test','test','test','test','test') as info ;

flink sql 执行插入语句提交job

hbase shell 中查看插入的数据：get 'wm:hbase_user_behavior', 'rowkey_test'

flink SQL与hbase整合相关推荐

Flink SQL Client进行Kafka事实表与Hbase维度表Join(纯DDL/SQL方式)
概述: 對參考鏈接[1]進行DDL上的復現. 一些基本的業務常识來源載體數據特點維表 Mysql/Csv/Hbase 很少變化事實表 Kafka 不停變化开发环境与准备工作组件版本 ...
个推基于Flink SQL建设实时数仓实践
作为一家数据智能企业,个推在服务垂直行业客户的过程中,会涉及到很多数据实时计算和分析的场景,比如在服务开发者时,需要对App消息推送的下发数.到达数.打开率等后效数据进行实时统计:在服务政府单位时,需 ...
腾讯基于 Flink SQL 的功能扩展与深度优化实践
简介:本文由腾讯高级工程师杜立分享,主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化. 整理:戴季国(Flink 社区志愿者) 校对:苗文婷(Flink 社区志愿者) 摘要:本文由腾讯高级 ...
Flink SQL 在字节跳动的优化与实践
简介:Flink 在字节的应用实战整理 | Aven (Flink 社区志愿者) 摘要:本文由 Apache Flink Committer,字节跳动架构研发工程师李本超分享,以四个章节来介绍 Fl ...
Flink SQL 的 9 个示例
作者:贺小令(晓令) 本文由阿里巴巴技术专家贺小令分享,社区志愿者郑仲尼整理.文章基于 Flink 1.9 版本,从用户的角度来讲解 Flink 1.9 版本中 SQL 相关原理及部分功能变更,希望对 ...
Flink SQL Client注册SCALA UDF完整流程
UDF的完整maven工程與SQL https://github.com/appleyuchi/Flink_SQL_Client_UDF 完整操作步骤 ①mvn scala:compile packa ...
Flink SQL Client注册JAVA UDF完整流程
概述听大佬说[1]里面有flink sql client注册udf的方法去看了一眼,全是文字,闹心,索性琢磨了一下,记录下来． UDF的完整maven工程 https://github.com/a ...
Flink SQL解析复杂Join(转载+自己整理和补充)
概述 $KAFKA/bin/kafka-console-consumer.sh --bootstrap-server Desktop:9091 --from-beginning --topic zep ...
Flink SQL 1.11 新功能与最佳实践
#2020云栖大会#阿里云海量offer来啦!投简历.赢阿里云限量礼品及阿里云ACA认证免费考试资格!>>> 整理者:陈婧敏(清樾) 本文整理自 Apache Flink PMC,阿 ...
一站式实时数仓开发：当FLINK SQL遇见ULTRON
女主宣言 FLINK是被称为第四代大数据处理引擎的开源利器,近年来在国内各大厂的加持下更是成为了实时计算领域的标准,而ULTRON是360商业化近一年多来在总结自身实时计算场景应用和特点的基础上打造的 ...

flink SQL与hbase整合