千金一刻莫空度，老大无成空自伤。这篇文章主要讲述hadoop的日常操作相关的知识，希望能为你提供帮助。
一、清理空间步骤
1.删除日志和回收站
hdfs dfs -rm -r -skipTrash /user/*/.Trash/*
hdfs dfs -rm -r -skipTrash /var/log/hadoop-yarn/apps/tools/logs/*
hdfs dfs -rm -r -skipTrash /group/user/*/meta/hive-exec/*/*
2.减少大表副本数
a、查找大表
hdfs dfs -du hdfs://dbdata/group/user/tools/meta/hive-temp-table hdfs://dbdata/group/user/tools/meta/hive-temp-table/comtysdktj hdfs://dbdata/group/user/tools/meta/hive-temp-table/kstj_os hdfs://dbdata/group/user/tools/meta/hive-temp-table/tysdktj hdfs://dbdata/group/user/tools/meta/hive-temp-table/otysdktj|awk \'{print $2 " " $3}\'|grep -v comtysdktj$|grep -v stj_os$|grep -v tysdktj$|grep -v otysdktj$|sort -k1,1nb|tail -100|awk \'{print $1/1024/1024/1024 "G " $2}\'
b、修改副本数
【hadoop的日常操作】hadoop fs -setrep -w 1 -R hdfs://dbdata/group/user/tools/meta/hive-temp-table/s_tysdktj_db_home_nav_content_ys
推荐阅读
- 8个Date命令使用示例
- 「推荐收藏！」MySQL技术之旅该换换你的数据库版本了，让我们一同迎接8.0的到来哦！
- Linux中rsync备份数据使用实例
- netty系列之:使用netty搭建websocket客户端
- 用Python绘制移动均线含源代码
- kubeadm初始化kubernetes报错以及解决
- t-io网络编程基础知识介绍
- 2021.7 货拉拉虾皮有赞。。。高级前端岗面试整理
- 鸿蒙应用开发（如何与组件库(Glide)衔接（））