为了账号安全,请及时绑定邮箱和手机立即绑定

Hbase集群监控

标签:
Hbase

Hbase集群监控

Hbase Jmx监控

监控每个regionServer的总请求数,readRequestsCount,writeRequestCount,region分裂,region合并,Store

数据来源:

/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server

设计:

  • 1.定时调度Hbase Jmx去捞取数据,数据存放在Mysql,最新的一条数据存放到redis缓存中查(设置过期时间5分钟)并插入数据库中(定时每五分钟调度一次)

  • 2.每次获取Jmx数据后,从redis中获取5分钟前的数据,进行计算获取5分钟内的数据并保存到数据库中

查看详细图片:

webp

webp


webp


webp

Hbase对每张表的读写监控

数据来源:

通过Hbase Java Api

  • 连接HBASEorg.apache.hadoop.hbase.client.Connection connection

  • 然后获取org.apache.hadoop.hbase.client.Admin admin = connection.getAdmin();

  • 得到HBASE中的regionServer集合,

  • 获取每个regionServer中RegionsLoad();

  • 遍历RegionLoad获取每张表的Table Region

查看详细图片:

webp

webp


webp


webp

jmx常用监控指标

监控指标范围指标含义
OpenFileDescriptorCountRegionserver本机当前机器打开文件数
FreePhysicalMemorySizeRegionserver本机空虚物理内存大小
AvailableProcessorsRegionserver本机可用cpu个数
Region前缀--storeCount单个regionStore个数
Region前缀--storeFileCount单个regionStorefile个数
Region前缀--memStoreSize单个regionMemstore大小
Region前缀--storeFileSize单个regionStorefile大小
Region前缀--compactionsCompletedCount单个region合并完成次数
Region前缀--numBytesCompactedCount单个region合并文件总大小
Region前缀-- numFilesCompactedCount单个region合并完成文件个数
totalRequestCountRegionserver总请求数
readRequestCountRegionserver读请求数
writeRequestCountRegionserver写请求数
compactedCellsCountRegionserver合并cell个数
majorCompactedCellsCountRegionserver大合并cell个数
flushedCellsSizeRegionserverflush到磁盘的大小
blockedRequestCountRegionserver因memstore大于阈值而引发flush的次数
splitRequestCountRegionserverregion分裂请求次数
splitSuccessCounntRegionserverregion分裂成功次数
slowGetCountRegionserver请求完成时间超过1000ms的次数
numOpenConnectionsRegionserver该regionserver打开的连接数
numActiveHandlerRegionserverrpc handler数
receivedBytesRegionserver收到数据量
sentBytesRegionserver发出数据量
HeapMemoryUsage --->>>usedRegionserver堆内存使用量
SyncTime_meanRegionserverWAL写hdfs的平均时间
regionCountRegionserverRegionserver管理region数量
memStoreSizeRegionserverRegionserver管理的总memstoresize
storeFileSizeRegionserver该Regionserver管理的storefile大小
staticIndexSizeRegionserver该regionserver所管理的表索引大小
storeFileCountRegionserver该regionserver所管理的storefile个数
hlogFileSizeRegionserverWAL文件大小
hlogFileCountRegionserverWAL文件个数
storeCountRegionserver该regionserver所管理的store个数
Name: java.lang:type=MemoryPool,name=Par Eden Space CollectionUsage—>>usedRegionserverEden区使用空间大小
Name: java.lang:type=MemoryPool,name=CMS Old GenRegionserver老年代内存大小
Name: java.lang:type=MemoryPool,name=Par Survivor Space CollectionUsageà> usedRegionserverSurvivor内存大小
GcTimeMillisRegionserverGC总时间
GcTimeMillisParNewRegionserverParNew GC时间
GcCountRegionserverGC总次数
GcCountConcurrentMarkSweepRegionserverConcurrentMarkSweep总次数
GcTimeMillisConcurrentMarkSweepRegionserverConcurrentMarkSweep GC时间
ThreadsBlockedRegionserverBlock线程数
ThreadsWaitingRegionserver等待线程数



作者:全能程序猿
链接:https://www.jianshu.com/p/2cb6ac4b5f12


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消