古人学问无遗力,少壮工夫老始成。这篇文章主要讲述Hbase 无法创建带有snappy压缩属性的表相关的知识,希望能为你提供帮助。
一、要求
在Hbase 数据库中创建带有snappy压缩属性的表。
二、登陆到hbase 数据库执行建表操作
hbase(main):016:0>
create ‘dcs:t_dev_history‘,{NAME =>
‘f‘, DATA_BLOCK_ENCODING =>
‘PREFIX_TREE‘, BLOOMFILTER =>
‘ROW‘, REPLICATION_SCOPE =>
‘0‘, VERSIONS =>
‘1‘, COMPRESSION =>
‘SNAPPY‘, MIN_VERSIONS =>
‘0‘, TTL =>
‘2678400‘, KEEP_DELETED_CELLS =>
‘FALSE‘, BLOCKSIZE =>
‘65536‘, IN_MEMORY =>
‘false‘, BLOCKCACHE =>
‘true‘}
channel 6: open failed: administratively prohibited: open failed
之前创建的表都没有使用snappy压缩,怀疑是snappy没有安装
三、检查所有hbase节点
Master1节点snappy安装正确
[[email
protected] lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/
[[email
protected] Linux-amd64-64]$ ls
libhadoop.a
libhadoopsnappy.so.0
libhadoop.so.1.0.0
libhdfs.so
libpython2.7.so
libsnappy.so.1
libhadooppipes.a
libhadoopsnappy.so.0.0.1
libhadooputils.a
libhdfs.so.0.0.0
libpython2.7.so.1.0
libsnappy.so.1.2.0
libhadoopsnappy.so
libhadoop.so
libhdfs.a
libjvm.so
libsnappy.so
Master2节点snappy安装错误,猜测当时安装的时候scp的路径错误
[[email
protected] ~]$ cd /var/lib/hbase/lib/native/ --发现没有Linux-amd64-64 目录
[[email
protected] native]$ ls
libhadoop.a
libhadoopsnappy.so.0
libhadoop.so.1.0.0
libhdfs.so
libpython2.7.so
libsnappy.so.1
libhadooppipes.a
libhadoopsnappy.so.0.0.1
libhadooputils.a
libhdfs.so.0.0.0
libpython2.7.so.1.0
libsnappy.so.1.2.0
libhadoopsnappy.so
libhadoop.so
libhdfs.a
libjvm.so
libsnappy.so
四、处理过程
1.把文件传输到指定节点
scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/
scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/
2.然后重启hbase集群
./stop-hbase.sh
./start-hbase.sh
3.重新创建表成功。
五、小结
- 作为一名dba,做完相关的操作一定要验证,一定要验证,要有严谨的态度。
- 遇到很多问题根本不是技术问题,而是有些人从来都不用心,得过且过。
- 压缩在hadoop和hbase中是一个很好的节约空间的方式,值得提倡,尤其是在经费紧张的情况下。
- snappy需要单独安装,并不是安装hadoop自带的,需要注意。
【Hbase 无法创建带有snappy压缩属性的表】本文出自 “roidba” 博客,请务必保留此出处http://roidba.blog.51cto.com/12318731/1915081
推荐阅读
- Docker: How to configure Docker with devicemapper
- android app cpu占用CPU过大的案例
- Android 极光推送集成
- SQLServer中的cross apply和FOR XML PATH
- Android小部件Widget----全解析
- android7.x Launcher3源码解析---workspace和allapps加载流程
- Android 使用PopupWindow实现弹出更多的菜单
- Android DataBinding库(MVVM设计模式)
- Android 关于java.util.NoSuchElementException错误