<property>

<name>hbase.quota.enabled</name>

<value>true</value>

</property>

<property>

<name>hbase.quota.rate.limiter</name>

<value>org.apache.hadoop.hbase.quotas.AverageIntervalRateLimiter</value>

</property>

配置的维度

Limit限制的类型

请求Size还是请求的次数

单位时间

NAMESPACE

USER

TABLE

USER+NAMESPACE

USER+TABLE

READ

WRITE

READ+WRITE

请求次数：req

请求Size：bkmgtp

sec, min, hour, day

#将用户u1限制为每秒10个请求

hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => '10req/sec'

#将用户u1限制为每秒10个读取请求

hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => READ, USER => 'u1', LIMIT => '10req/sec'

#将用户u1限制为每天10 M

hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => '10M/day'

#将用户u1限制为每秒10 M写入大小

hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => WRITE, USER => 'u1', LIMIT => '10M/sec'

# 将用户u1限制为每分钟5k在表t2

hbase> set_quota TYPE => THROTTLE, USER => 'u1', TABLE => 't2', LIMIT => '5K/min'

#在表t2上将用户u1限制为每秒10次读取请求

hbase> set_quota TYPE => THROTTLE, THROTTLE_TYPE => READ, USER => 'u1', TABLE => 't2', LIMIT => '10req/sec'

# 在用户名u1上删除用户u1的现有限制ns2

hbase> set_quota TYPE => THROTTLE, USER => 'u1', NAMESPACE => 'ns2', LIMIT => NONE

#限制所有用户在命名空间ns1上每小时发出10个请求

hbase> set_quota TYPE => THROTTLE, NAMESPACE => 'ns1', LIMIT => '10req/hour'

# 在表t1 上将所有用户限制为每小时10T

hbase> set_quota TYPE => THROTTLE, TABLE => 't1', LIMIT => '10T/hour'

#从用户u1中删除所有现有限制

hbase> set_quota TYPE => THROTTLE, USER => 'u1', LIMIT => NONE

#列出命名空间ns2中用户u1的所有

quotahbase> list_quotas USER => 'u1, NAMESPACE => 'ns2'

#列出名称空间ns2的所有quota

hbase> list_quotas NAMESPACE => 'ns2'

#列出表t1的所有quotas

hbase> list_quotas TABLE => 't1'

# list all quotas

hbase> list_quotas

#列出命名空间ns1的限制

hbase> set_quota NAMESPACE => 'ns1', LIMIT => '100req/min'

#用户u1不受限制

hbase> set_quota USER => 'u1', GLOBAL_BYPASS => true

# 创建一个最多包含5个表的命名空间

hbase> create_namespace 'ns1', {'hbase.namespace.quota.maxtables'=>'5'}

# 更改现有命名空间，最多包含8个表

hbase> alter_namespace 'ns2', {METHOD => 'set', 'hbase.namespace.quota.maxtables'=>'8'}

# 显示命名空间的quota信息

hbase> describe_namespace 'ns2'

# 更改现有命名空间以删除quota

hbase> alter_namespace 'ns2', {METHOD => 'unset', NAME=>'hbase.namespace.quota.maxtables'}

# 创建一个最多包含10个region的命名空间

hbase> create_namespace 'ns1', {'hbase.namespace.quota.maxregions'=>'10'

# 显示命名空间hbase的quota信息

hbase> describe_namespace 'ns1'

# 更改现有命名空间最多有20个表

hbase> alter_namespace 'ns2', {METHOD => 'set', 'hbase.namespace.quota.maxregions'=>'20'}

# 更改现有命名空间以删除quota

hbase> alter_namespace 'ns2', {METHOD => 'unset', NAME=> 'hbase.namespace.quota.maxregions'}

POLICY

含义

NO_INSERTS

No new data may be written (e.g. Put, Increment, Append)

NO_WRITES

Same as NO_INSERTS but Deletes are also disallowed

NO_WRITES_COMPACTIONS

Same as NO_WRITES but compactions are also disallowed

This policy only prevents user-submitted compactions. System can still run compactions

DISABLE

The table(s) are disabled, preventing all read/write access

# 在表't1'上限制最大1GB, 超过时禁止Puts/Increments/Appends

hbase> set_quota TYPE => SPACE, TABLE => 't1', LIMIT => '1G', POLICY => NO_INSERTS

# 在'ns1'上限制最大50TB, 超过时禁止Puts/Increments/Appends/Deletes

hbase> set_quota TYPE => SPACE, NAMESPACE => 'ns1', LIMIT => '50T', POLICY => NO_WRITES

# 在表't3'上限制最大2TB, 超过时禁止writes and compactions

hbase> set_quota TYPE => SPACE, TABLE => 't3', LIMIT => '2T', POLICY => NO_WRITES_COMPACTIONS

# 在表't2'上限制最大50GB, 超过时disabling the table

hbase> set_quota TYPE => SPACE, TABLE => 't2', LIMIT => '50G', POLICY => DISABLE

hbase> create_namespace 'ns1'

hbase> create 'ns1:t1'

hbase> create 'ns1:t2'

hbase> create 'ns1:t3'

hbase> set_quota TYPE => SPACE, NAMESPACE => 'ns1', LIMIT => '100T', POLICY => NO_INSERTS

hbase> set_quota TYPE => SPACE, TABLE => 'ns1:t2', LIMIT => '200G', POLICY => NO_WRITES

hbase> set_quota TYPE => SPACE, TABLE => 'ns1:t3', LIMIT => '20T', POLICY => NO_WRITES

序号

存在的问题

改进措施

1

Request Quota中，如果达到限流条件，读写请求直接被拒绝

可以增加一个配置项，如果达到限流，该请求可以直接拒绝，也可以重新加入一个自定义的队列，由一个定时任务将限流异常请求回塞到读写请求队列。

2

put/get一次请求，request num就会加1，而scan请求的request num是按照一次完整的scan发送的rpc的次数进行累加的，一次rpc请求数加1

因为scan的一次rpc读取的数据条数肯定远远大于put/get，是否需要给scan加一个权重

3

Hbase quota对hbase的系统表未做限流

是否需要对meta表做限流

<property>

<name>hbase.regionserver.handler.count</name>

<value>128</value>

<description>默认为30，服务器端用来处理用户请求的线程数。生产线上通常需要将该值调到100～200。

</description>

</property>

<property>

<name>hbase.ipc.server.callqueue.handler.factor</name>

<value>0.1</value>

<description>为0则共享全部队列，默认是0，假如该值为0.1，那么服务器就会设置handler.count * 0.1 = 30 * 0.1 = 3个队列

</description>

</property>

<property>

<name>hbase.ipc.server.callqueue.read.ratio</name>

<value>0.5</value>

<description>默认为0，服务器端设置读写业务分别占用的队列百分比以及handler百分比。假如该值为0.5，表示读写各占一半队列，同时各占一半handler

</description>

</property>

<property>

<name>hbase.ipc.server.callqueue.scan.ratio</name>

<value>0.2</value>

</property>

参数

含义

默认值

hbase.master.quotas.snapshot.chore.period

定期扫描表存储大小线程的执行间隔时间

1000 * 60 * 5(5分钟)

hbase.master.quotas.snapshot.chore.delay

定期扫描表存储大小线程在多久后执行

1000L * 60L(1分钟)

hbase.master.quotas.snapshot.chore.timeunit

上述两个时间的单位

ms

hbase.regionserver.quotas.policy.refresher.chore.period

Space quota的定时线程的执行间隔时间

1000 * 60 * 1(1分钟)

hbase.regionserver.quotas.policy.refresher.chore.delay

Space quota的定时线程在多久后执行

1000L * 15L(15秒)

hbase.regionserver.quotas.policy.refresher.chore.timeunit

上述两个时间的单位

ms

参数

含义

默认值

setCaching()

单次RPC请求的数据条数

Integer.MAX_VALUE

setBatch()

单次RPC请求的数据列数量

默认一个result包含某row所有的列

setMaxResultSize

单次RPC请求的返回数据量大小

2G