大数据|hbase并发问题 java|python

2019独角兽企业重金招聘Python工程师标准>>>
文章图片

2016-06-01 16:05:22,776 INFO org.apache.hadoop.hdfs.DFSClient: Exception in createBlockOutputStream java.net.SocketException: 打开的文件过多
2016-06-01 16:05:22,776 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning block blk_3790131629645188816_18192
2016-06-01 16:13:01,966 WARN org.apache.hadoop.hdfs.DFSClient: DFS Read: java.io.IOException: Could not obtain block: blk_-299035636445663861_7843 file=/hbase/SendReport/83908b7af3d5e3529e61b870a16f02dc/data/17703aa901934b39bd3b2e2d18c671b4.9a84770c805c78d2ff19ceff6fecb972
at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.chooseDataNode(DFSClient.java:1812)
at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.blockSeekTo(DFSClient.java:1638)
at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.read(DFSClient.java:1767)
at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.read(DFSClient.java:1695)
at java.io.DataInputStream.readBoolean(DataInputStream.java:242)
at org.apache.hadoop.hbase.io.Reference.readFields(Reference.java:116)
at org.apache.hadoop.hbase.io.Reference.read(Reference.java:149)
at org.apache.hadoop.hbase.regionserver.StoreFile.(StoreFile.java:216)
at org.apache.hadoop.hbase.regionserver.Store.loadStoreFiles(Store.java:282)
at org.apache.hadoop.hbase.regionserver.Store.(Store.java:221)
at org.apache.hadoop.hbase.regionserver.HRegion.instantiateHStore(HRegion.java:2510)
at org.apache.hadoop.hbase.regionserver.HRegion.initialize(HRegion.java:449)
at org.apache.hadoop.hbase.regionserver.HRegion.openHRegion(HRegion.java:3228)
at org.apache.hadoop.hbase.regionserver.HRegion.openHRegion(HRegion.java:3176)
at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.openRegion(OpenRegionHandler.java:331)
at org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler.process(OpenRegionHandler.java:107)
at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:169)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
at java.lang.Thread.run(Thread.java:722)
原因及修改方法：由于 Linux系统最大可打开文件数一般默认的参数值是1024，通过 ulimit -n 65535 可即时修改，但重启后就无效了。或者有如下修改方式：
有如下三种修改方式：
1.在/etc/rc.local 中增加一行 ulimit -SHn 65535
2.在/etc/profile 中增加一行 ulimit -SHn 65535
3.在/etc/security/limits.conf最后增加如下两行记录
* soft nofile 65535
* hard nofile 65535
【大数据|hbase并发问题】转载于:https://my.oschina.net/zlhblogs/blog/1636100

大数据|hbase并发问题

推荐阅读

美的中央空调采购安装合同,这几点尤其注意

【CSS3】|保姆级教程 CSS 知识点梳理大全，超详细！！！

实用的 Python 自动化办公技巧

自动刹车技术是否被叫停汽车自动刹车在什么情况下触发

目前什么行业赚钱,具体如何操作？

绿厂|OPPO高管畅谈智能终端的发展走向，全力探索的绿厂都做了哪些？

advanced是什么化妆品

面对五十岁的富翁富婆和二十岁的靓女帅哥,穷光蛋的你会如何选择？

友谊伤感文案短句

c 开发需要学什么，想当c语言程序员都要学习什么

ChatGPT如何影响社会生产生活？

家庭鸡块的做法家常家鸡块怎么做

马桶堵了水快溢出来了怎么办

你最喜欢军事专家戴旭的哪一部著作？

各大银行visa信用卡对比 visa信用卡哪个银行好

考古发现我国远古时期有哪些乐器

《王者荣耀》外服出新英雄,集合了吕布杨戬和关羽的技能！网友：只会抄袭！如何评价？

八段锦能防身吗

支付宝怎么免押金租充电宝_支付宝免押金租充电宝方法教程

王者荣耀段位继承规则s19 王者荣耀段位继承规则表