大数据开发选择之技术路线 or 业务路线()

问题一、大数据开发在公司是不是每天写sql,会转别的吗? 问题的本身是在思考技术人的职业发展和自身能力提升的瓶颈。

  1. 如果是做大数据平台开发,那更多是偏向后端,所以是必须要写代码的,不限于java\scala等语言。
  2. 如果是数仓开发,那么会偏向业务,会涉及维度建模,ETL,报表开发等等。数仓开发又分传统的离线数仓和实时数仓。
    1)离线数仓的话写Hive SQL或者Spark SQL比较多,但也不是单纯的写写SQL而已,有时候会开发一些自定义函数,或者与第三方存储进行集成时,都是要写代码的。
    2) 实时数仓的话,基本上是写代码居多,当然除了一些大厂会有很强大的开发平台,可以通过写SQL进行实时数据处理,比如FlinkSQL。
【大数据开发选择之技术路线 or 业务路线()】其实大数据开发,首先是处理数据,那么处理数据肯定是建立在对业务的理解基础之上的,个人感觉不要把写SQL想的那么低端,所有的技术其实都是服务于业务的,不能一刀切地唯技术论。
在逐渐内卷化的程序员行业,技术人要提升自己的可复用的能力,这种可复用的能力包括**技术能力和业务能力。**其实技术并不是永久保值的,谁也不能靠技术吃一辈子。未来很长,如果拉大时间窗口,比如十年,二十年,最终保值的是自己使用技术解决业务问题、并支撑业务发展的能力。

    推荐阅读