问题一、大数据开发在公司是不是每天写sql,会转别的吗? 问题的本身是在思考技术人的职业发展和自身能力提升的瓶颈。
- 如果是做大数据平台开发,那更多是偏向后端,所以是必须要写代码的,不限于java\scala等语言。
- 如果是数仓开发,那么会偏向业务,会涉及维度建模,ETL,报表开发等等。数仓开发又分传统的离线数仓和实时数仓。
1)离线数仓的话写Hive SQL或者Spark SQL比较多,但也不是单纯的写写SQL而已,有时候会开发一些自定义函数,或者与第三方存储进行集成时,都是要写代码的。
2) 实时数仓的话,基本上是写代码居多,当然除了一些大厂会有很强大的开发平台,可以通过写SQL进行实时数据处理,比如FlinkSQL。
在逐渐内卷化的程序员行业,技术人要提升自己的可复用的能力,这种可复用的能力包括**技术能力和业务能力。**其实技术并不是永久保值的,谁也不能靠技术吃一辈子。未来很长,如果拉大时间窗口,比如十年,二十年,最终保值的是自己使用技术解决业务问题、并支撑业务发展的能力。