锐客网

  1. 首页 > it技术 > >

大数据岗位要求之大数据运维

????继续介绍大数据系列岗位要求，大数据运维可能是“技术含量最高”的职位之一，这里说的大数据运维主要是指hadoop生态体系方面的运维，在一些小公司或者传统行业的大公司也会使用oracle、db2等技术栈，在互联网行业数据量稍微大点的公司基本都是使用hadoop技术栈，像在电信或者银行领域基本上是oracle/db2、hadoop同时使用。
????该文章默认是指hadoop生态技术体系，这个职位之所以说可能是“技术含量最高”，主要有2方面的因素：一，数据量和计算量的大小与运维同学的能力是呈现指数关系，当数据量不大的时候一个现学现卖的同学都可以搞得定，当数据量像BAT的量级时，这就是需要摩拜的技术大神；二，跟运维同学本身的自我要求有关，如果仅仅是看网上的教程或者使用cdh的一键安装确实没什么难度，特别是数据量不是很大的情况下，但是一个高自我要求的同学，去研究hadoop生态体系，看各种文档以及源码，这个还是非常有难度的，这是大神成长的必经之路。老套路先从几个大厂的岗位要求说起。
有赞
1、精通基于Linux系统的常用服务配置，快速部署；熟悉RHEL或CentOS系统，理解RHEL系统规范，了解epel的rpm打包规范
2、熟悉OS工作原理，掌握常用系统性能诊断工具；对CPU、MEM、IO、NET四大子系统内核参数以及程序性能优化有实战经验者优先
3、熟悉Hadoop生态常用开源项目的部署升级、扩容缩容、性能和管理优化、问题排查等（主要包括Hadoop/Zookeeper/HBase/Hive、Spark、Presto/Kafka、Flume/DataX、Sqoop/Storm、Flink等）
4、熟悉JVM，熟悉大数据周边并有实践经验者优先（主要包括 数据系统：MySQL，Redis，Elasticsearch，NewSQL等；机器学习：TensorFlow等）
5、熟练使用shell及python，并有一定开发经验；有过相关运维管理平台或自动化部署系统开发经验者优先
6、良好的沟通合作能力，热爱技术并善于钻研。能主动思考，有解决疑难问题的毅力和决心
盈盈集团
1、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理，并有3年以上Hadoop生态系统维护经验；
2、搭建、调优并维护过spark、Hive、Storm、Kafka、Redis等服务；
3、熟悉Linux开发环境，熟练掌握Java/scala/python等任一编程语言,编码能力优秀
4、能够阅读开源组件源码，手动编译、安装过patch、更改过组件源码且应用于生产环境者优先；
5、熟悉分布式系统设计范型，有大规模系统设计和工程实现者优先；
6、有CDH安装部署及运维经验者优先
7、本科及以上学历者优先
橙鹰
1、熟悉 nginx/haproxy 负载均衡，能基于 nginx 做一些插件开发
2、有mysql 数据库使用和维护经验，有使用 pg 优先
3、熟悉 php，lua 编程语言的优先
4、熟悉并参于过开源系统如zabbix，ganglia，kong网关的优先
5、具有良好的心理素质，能承受一定的压力。
6、具有良好的沟通能力，乐于分享，与团队成员分享最佳实践，共同进步。
个推
1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决系统层的各类问题；
2、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容和优化；
3、至少精通 Perl/Python/Shell脚本语言中的一种；
4、具备较强的逻辑思维能力、学习创新能力、数据分析能力，以及良好的沟通技巧和团队合作能力,性格开朗有较强抗压能力；
5、全日制本科以上学历，计算机相关专业；
6、5年以上运维经验；
网易
1、本科及以上学历，计算机相关专业;
2、2年以上系统运维或开发经验，熟悉Hadoop/Spark/HBase等大数据系统，有大数据平台运维或开发经验者优先;
3、熟悉Linux操作系统，熟悉Java，熟练使用Shell/Perl/Python/Ruby中至少一种语言;
4、良好的学习能力、逻辑分析、问题排查能力;
5、良好的团队合作者，善于沟通，较强的抗压能力。
能力三核模型分析
大数据岗位要求之大数据运维
文章图片
大数据运维能力三核 综合结果如下
知识 1、本科及以上学历(3)
2、计算机相关专业(2)
3、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理(1)
硬技能 1、熟悉/精通linux操作系统(4)
2、熟悉hadoop/hbase/hive/spark/kafka/storm等大数据开源系统部署、升级、扩容、优化等(4)
3、熟练掌握java/python/shell/perl/php等至少一种开发语言（5）
4、2年以上运维经验(3)
5、有CDH安装部署及运维经验(1)
6、有相关运维管理平台或自动化部署系统开发经验(1)
才干or 软技能 1、良好的沟通能力(4)
2、良好的团队合作能力(3)
3、良好的学习能力(4)
4、良好的解决问题能力(2)
5、良好的抗压能力(3)
6、良好的逻辑思维能力(2)
岗位职责 1、负责大数据平台部署、维护、管理、优化、规划等，包括但不限于Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等系统（5）
2、保障大数据平台稳定性和可靠性（4）
3、开发监控报警平台(3)
4、建设自动化部署及运维工具(2)
5、给业务提供技术支持及优化(2)
个人经验
????是否需要设立大数据运维这个职位跟是否自建大数据平台直接相关，上面5家公司至少都是中型公司，从岗位职责来看都是自建大数据平台的。而是否自建大数据平台，什么时候自建，什么时候用第三方云平台(比如阿里的数加)，则是一个仁者见仁智者见智的问题。个人经验建议下面3个场景符合之一则暂时不用自建：1）公司创业阶段；2）数据量规模不大；3）数据建设刚起步阶段，想快速见效阶段。当然老板的眼界和魄力不同，则另外一说。当公司老板决定建立大数据团队的那一刻，就决定了这是一笔不菲的投入，不管是自建数据平台还是使用第三方云平台(友情提醒创业老板们)。
????对于决定自建数据平台的公司来说，大数据运维这个职位基本也就确定了的。现在大数据运维职位在一般公司内还处于模糊阶段，比如岗位要求都是写要熟悉或者精通Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等技术栈，一个普通的工程师短时间内很少能研究这么多系统，况且这些系统的技术更新迭代又非常的快，既然这种人这么少，为啥又都这样要求呢？原因很简单，这就是这个行业发展阶段和认知水平。其实在BAT已经是按照不同系统在细分了，比如有专门负责hbase的同学，有专门负责hive的同学等。
????对于有意向该岗位的同学要有极高的自我学习能力和要求，而且不能间断，这是一条不折不扣技术之路。
系列文章
【大数据岗位要求之大数据运维】大数据岗位要求之大数据开发工程师
大数据岗位要求之数据测试
大数据岗位要求之数据挖掘
大数据岗位要求之数据仓库
大数据岗位要求之数据产品经理
大数据岗位要求之数据分析师
大数据岗位介绍-引子(能力三核模型)

    推荐阅读


    上一篇：加入007er写的第一篇自我介绍

    下一篇：【酸辣土豆丝】高效能人士的七个习惯读书会