该如何学习大数据知识?( 二 )


2、参与/负责用户画像、推荐等系统搭建 。参与核心产品推荐场景算法的研发和优化;
3、采用先进的数据挖掘和机器学习算法 。为公司业务部门提供决策依据;
4、搭建数据挖掘系统和机器学习系统 。实现智能平台的自动化流程 。
1、具备强悍的编码能力 。有扎实的数据结构和算法功底;
2、优秀的学习能力、独立分析问题和解决问题能力;
3、熟悉Linux开发环境 。熟悉Python 。PHP 。Java等语言两种以上;
4、熟悉基本的数据分析方法、数据挖掘、机器学习算法;
5、熟悉SPSS/Modeler/R/Python等至少一种数据挖掘工具;
6、熟悉Hadoop/Spark 。有Elasticsearch 。Solr 。Kafka 。Flume等开源项目使用经验
7、有画像、广告、推荐 。搜索等算法方向实际工作经验优先
四 。BI(商务智能)工程师— (包括数据库开发、BI开发工程师、ETL开发、报表开发、BI咨询顾问)
岗位职责
1、独立负责业务数据收集整理 。构建经营分析和报表系统;
2、通过专题分析 。对业务问题进行深入分析 。为业务的策略、产品优化提供数据支持;
3、 以数据驱动业务为目标 。进行数仓研发工作但不局限于数仓;
4、 参与数据仓库ETL设计、开发和优化工作 。保证数据准确、稳定、组织合理
岗位要求
1、掌握Oracle、MySQL、ODPS等数据库开发技能 。熟练应用开发、数据库原理和常用性能优化和扩展技术;
2、掌握数据仓库建设、熟悉大数据平台操作 。离线计算Hive/MR研发、实时计算spark streaming/storm;
3、熟悉ETL逻辑、OLAP设计和数据分析技术(聚类分析、回归分析、决策树等)、数据挖掘相关算法;
4、熟悉Linux系统环境开发 。掌握shell、perl、python等至少一种开发语言 。
6. 有较强的逻辑/概率思维能力 。善于分析、归纳、描述、沟通、和解决问题 。
补充(根据企业工具区别)
1、全面熟知数据仓库设计理念、设计方法 。熟练掌握Informatica、Kettle、Automation等至少一种ETL工具;
2、熟练掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一种BI工具;
3、熟悉数据仓库 。掌握BI相关工具 。如ETL工具(SSIS, SAP DataService)、OLAP工具(SSAS)和前端展示工具(BO CR/Webi)
五 。数据可视化
从事可视化工程师
岗位职责
1、负责大数据平台业务逻辑和数据可视化功能 。数据可视化组件研发;
2、搭建基础的可视化分析平台 。设计数据分析应用的架构 。实现实时数据调用与展示;
3、数据相关性分析与根因分析;
4、支持客户需求分析和数据分析 。
岗位要求
1、熟练Web前端技术(SVG/HTML5/JavaScriptdeJS等);
2、熟练D3、Echarts、Three.js、WebGL等开源数据可视化库和技术;
3、有Web服务器端编程语言(如Node/Java)开发经验优先;
4、有blender(以及blender game engine)或者unity 3d或unreal engine等开发经验优先
一些BI岗位的详细介绍
BI工程师(开发、咨询、实施)
BI开发工程师
岗位职责
1、执行在框架设计的基础上完成具体组件的概要设计、详细设计编写;
2、完成BI系统具体组件的代码编写、单元测试;
3、参与BI系统报表平台技术架构设计 。数据库结构设计;
4、参与BI系统数据仓库的构架、建模和实现 。
5、负责向需求方提供数据及业务分析服务 。负责整体风控模型的优化 。理解并掌握BI报表需求;
岗位要求
1、有数据仓库或统计分析类项目开发经验或较深的理论知识;
2、熟悉Cognos、Webfocus、ireport等数据分析报表开发工具和技术;
3、熟悉Linux/Unix服务器 。并了解一些基本的操作命令;
4、至少熟悉Informix/Oracle/SQL Server等数据库中的一种,并在此基础上有过ETL程序或存储过程的开发 。
5、能够熟练应用JSP/Servlet/JavaScript等WEB开发技术 。熟悉Spring 。Struts2和iBATIS等主流的开发框架 。熟悉BIRT、JasperReports等开源报表工具;
6、熟悉Linux Shell、Perl等脚本语言 。熟悉ORACLE数据库 。PL/SQL编程;
7、熟悉BI系统技术框架 。熟悉数据采集流程 。对数据仓库有比较深入的了解;
8、熟悉行业经营分析系统(BI)架构及实现者优先 。
BI咨询顾问
岗位职责
1、分析客户的数据要求;
2、负责Qlikview/Tableau BI项目的实施和报表开发;
3、负责校验数据 。保障数据的准确;
4、 负责客户需求收集、分析 。梳理业务流程解决方案 。项目的拓展支撑;

推荐阅读