读取TXT文件写入数据到Hbase

背景：
接到需求，需要每天把大概一亿条的数据导入到Hbase里，对标同事的mongoDB（大概半个小时内导完）
环境配置：
Python:3.7.4
Hbase:2.2.3
数据格式：
一天一个压缩包（ZIP），然后里面都是很多个TXT文件，分隔符是 “|” ，每个TXT文件大概是9000条数据这样。

我尝试使用了两种方法：

尝试一：shell命令导入（也可以写成脚本）

我直接上命令好了，这个百度就有：

./hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator='|' -Dimporttsv.columns=HBASE_ROW_KEY,PLA_INFO,DATE_TIME,KKJ,KKW,SPEED,SPEED_EX,ALTITUDE,STATUS,COLOUR,MILEAGE,WAY testtable /home/data/demo_data1.txt

这里我拿了一点数据来测试，可以导入。速度没测，因为我马上就弃用了。
遇到问题：
我百度的时候看到这样写，ROW_KEY是有序的数字id，我这里变成了我第一个字段。。无语，而且ROWKEY也许需要自定义，shell怎么搞不是很想研究，写代码不香吗，所以弃用了（这个个人喜好吧，我觉得shell其实也挺方便的）。

尝试二：Python Happybase

嗯，这名字真有趣。
Happybase是Python通过Thrift访问HBase的库,方便快捷。
因为Hbase是用Java写的，原生地提供了Java接口，对非Java程序员，如果用的是其他的语言，则需要开启连接原生地提供的thrift接口服务器。而happybase默认是使用9090端口，所以在确保zookeeper和Hbase已经开启了之后，需要先使用以下命令开启。

nohup hbase thrift start-port:9090 &

代码：

import happybase
import re
import time
import osconnection = happybase.Connection('192.168.0.111')
table = connection.table('test')def read_file():start = time.time()# path = 'F:\\20200302\\'path = 'F:\hbase\demo_data\\'pathDir = os.listdir(path)# print(pathDir)x = 0# 批量插入数据for filename in pathDir:print(filename)file = open(path+filename, "r", encoding='utf8')print(file)content = file.read()# print(content)if content:line_list = re.split("[\n]", content)# print(line_list)for line in line_list:value_list = re.split("[|]", line)# print(value_list)if len(value_list) > 1:insertData(value_list)x+=1print("插入了",x,"条数据")end = time.time()print("花了", end-start,"秒")def insertData(list):current_time = str(time.time())print(current_time)print(list)# b = table.batch(batch_size=1000)# 这里使用了batch的方法批量插入数据，如果把这个去掉直接put也行，详细代码百度一下就有with table.batch() as b:b.put(current_time,{'car_info: PLA_INFO':list[0],'car_info: DATE_TIME':list[1],'car_info: KKJ': list[2],'car_info: KKW': list[3],'car_info: SPEED': list[4],'car_info: SPEED_EX': list[5],'car_info: ALTITUDE': list[6],'car_info: STATUS': list[7],'car_info: COLOUR': list[8],'car_info: MILEAGE': list[9],'car_info: WAY': list[10]})# 查看表# for key,value in table.scan():#     print(key,value)def main():read_file()connection.close()if __name__ == '__main__':main()

可以写进去，使用的感觉就是不快。。。一亿条数据全写进去估计要花几个小时，比起mongodb来说太慢了，我自己感觉的原因有这几个：
1、最主要的原因还是读取ZIP包花了不少的时间（这个应该可以优化，但是我没想到办法）
2、然后插入的方法，batch插入的方法没写对（不清楚，有这个感觉），因为我使用batch的方法和直接put相比，速度是没变化的。
happybase在想优化的方法的时候，我在想不如试试用spark读取这些TXT文件（因为spark是可以快速读取的），所以我就开始试着用spark+hbase，然后开始遇到一堆问题。

由于内容太多，所以我分开文章发好了，本来写在一篇里的。