为了账号安全,请及时绑定邮箱和手机立即绑定

HBase优化策略及协处理器

标签:
Hbase

服务端优化

什么导致HBase性能下降

Jvm内存分配与GC回收策略

HBase运行机制相关的配置分配不合理

表结构设计及用户使用方式不合理

HBase数据存储过程

HBase写入时当memstore达到一定大小会flush到磁盘保存成HFile,当HFile小文件太多回执行compact操作进行合并(compact就是将很多小文件合并成一个大文件的过程。compact分为minor compaction和major compaction)

当Region的大小达到某一阈值之后,回执行split操作

当HBase做compact和split操作时需要优化

常见服务端配置优化

Jvm设置与GC设置

hbase-site.xml部分属性配置

属性简介建议

hbase.regionserver.handler.countrpc请求的线程数量,默认值是10

hbase.hregion.max.filesize当region的大小大于设定值后hbase就会开始split建议手动split

hbase.hregion.majorcompactionmajor compaction的执行周期将值设置成0,在业务低峰手动执行majorcompaction

hbase.hstore.compaction.min一个store里的storefile总数超过该值,会触发默认的合并操作默认3

hbase.hstore.compaction.max一次合并最多合并多少个storeFile

hbase.hstore.blockingStoreFiles一个region中的Store(CoulmnFamily)内有超过多少个storeFile时,则block所有的写请求进行compaction

hfile.block.cache.sizeregionserver的block cache的内存大小限制在偏向读的业务中可调大该值

hbase.hregion.memstore.flush.sizememstore超过该值将被flush

hbase.hregion.memstore.block.multiplier如果memstore的内存大小超过flush.size*multiplier,会阻塞该memstore的写操作建议设置成5,设置太大会有内存溢出的风险

常用优化策略

预先分区

HBase默认创建表的时候会自动创建一个Region分区

创建表时预先创建一些空的Region,并指定Rowkey的存储范围。这样可以减少Split操作,减少IO操作

Rowkey优化

利用HBase默认排序特点,将一起访问的数据放到一起

防止热点问题,避免使用时序或者单调的递增递减等

Column优化

列族的名称和列的描述命令尽量简单

同一张表的列族不要超过三个

读写优化

写优化策略

同步批量提交(默认)

异步批量提交 (会提升性能,但可能存在数据丢失,在一些业务中可以采用)

WAL优化,是否必须开启(默认开启),持久化等级

读优化策略

客户端:Scan缓存设置,批量获取

服务端:BlockCache配置是否合理,HFile是否过多(通过服务端的配置进行设置)

表结构设计问题

HBase协处理器

协处理器简介

HBase协处理器受BigTable协处理器的启发,为用户提供类库和运行时环境,使得代码能够在HBase RegionServer和Master上处理(使用协处理器需要谨慎,可能会导致性能下降甚至数据丢失)

协处理分为系统协处理器 and 表协处理器

系统协处理器:全局加载到RegionServer托管的所有表和Region上(是属于所有的表)

表协处理器:用户可以指定一张表使用协处理器(只是针对一张表)

观察者(Observer):类似于关系数据库的触发器

终端(Endpoint):动态的终端有点像存储过程

2.实现一个ResionObserver类型的协处理器

引入pom:



  org.apache.hbase

  hbase-common

  1.2.4


  org.apache.hbase

  hbase-server

  1.2.4


一个简单demo

package com.imooc.bigdata.hbase.coprocessor.observer;

import java.awt.image.ImagingOpException;

import java.io.IOException;

import java.util.Arrays;

import java.util.List;

import org.apache.hadoop.hbase.Cell;

import org.apache.hadoop.hbase.CellUtil;

import org.apache.hadoop.hbase.CoprocessorEnvironment;

import org.apache.hadoop.hbase.client.Delete;

import org.apache.hadoop.hbase.client.Durability;

import org.apache.hadoop.hbase.client.Get;

import org.apache.hadoop.hbase.client.Put;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.coprocessor.BaseRegionObserver;

import org.apache.hadoop.hbase.coprocessor.ObserverContext;

import org.apache.hadoop.hbase.coprocessor.RegionCoprocessorEnvironment;

import org.apache.hadoop.hbase.regionserver.wal.WALEdit;

import org.apache.hadoop.hbase.util.Bytes;

/**

* Created by xt on 18-6-18.

*/

public class RegionObserverTest extends BaseRegionObserver {

  private byte[] columnFamily = Bytes.toBytes("cf");

  private byte[] countCol = Bytes.toBytes("countCol");

  private byte[] unDeleteCol = Bytes.toBytes("unDeleteCol");

  private RegionCoprocessorEnvironment environment;

  //regionserver 打开region前执行

  @Override

  public void start(CoprocessorEnvironment e) throws IOException {

    environment = (RegionCoprocessorEnvironment) e;

  }

  //RegionServer关闭region前调用

  @Override

  public void stop(CoprocessorEnvironment e) throws IOException {

  }

  /**

   * 1. cf:countCol 进行累加操作。 每次插入的时候都要与之前的值进行相加

   */

  @Override

  public void prePut(ObserverContext e, Put put, WALEdit edit,

      Durability durability) throws IOException {

    if (put.has(columnFamily, countCol)) {

      //获取old countcol value

      Result rs = e.getEnvironment().getRegion().get(new Get(put.getRow()));

      int oldNum = 0;

      for (Cell cell : rs.rawCells()) {

        if (CellUtil.matchingColumn(cell, columnFamily, countCol)) {

          oldNum = Integer.valueOf(Bytes.toString(CellUtil.cloneValue(cell)));

        }

      }

      //获取new countcol value

      List cells = put.get(columnFamily, countCol);

      int newNum = 0;

      for (Cell cell : cells) {

        if (CellUtil.matchingColumn(cell, columnFamily, countCol)) {

          newNum = Integer.valueOf(Bytes.toString(CellUtil.cloneValue(cell)));

        }

      }

      //sum AND update Put实例

      put.addColumn(columnFamily, countCol, Bytes.toBytes(String.valueOf(oldNum + newNum)));

    }

  }

  /**

   * 2. 不能直接删除unDeleteCol    删除countCol的时候将unDeleteCol一同删除

   */

  @Override

  public void preDelete(ObserverContext e, Delete delete,

      WALEdit edit,

      Durability durability) throws IOException {

    //判断是否操作cf列族

    List cells = delete.getFamilyCellMap().get(columnFamily);

    if (cells == null || cells.size() == 0) {

      return;

    }

    boolean deleteFlag = false;

    for (Cell cell : cells) {

      byte[] qualifier = CellUtil.cloneQualifier(cell);

      if (Arrays.equals(qualifier, unDeleteCol)) {

        throw new IOException("can not delete unDel column");

      }

      if (Arrays.equals(qualifier, countCol)) {

        deleteFlag = true;

      }

    }

    if (deleteFlag) {

      delete.addColumn(columnFamily, unDeleteCol);

    }

  }

}



作者:Alukar
链接:https://www.jianshu.com/p/3e074bc865c2


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消