锐客网

  1. 首页 > 睿知 > >

大数据的框架主要学习和使用什么呢？( 二 )

经验知识生活知识


Linux&Hadoop生态体系
Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架分布式计算框架和Spark&Strom生态体系
（1）分布式计算框架Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统（某一线公司真实项目）、实战二：新浪网（www.sina.com.cn）
（2）storm技术架构体系Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、大数据项目实战数据获取、数据处理、数据分析、数据展现、数据应用大数据分析—AI（人工智能）DataAnalyze工作环境准备&数据分析基础、数据可视化、Python机器学习
其他观点：
消息队列很多：
1、RabbitMQ
RabbitMQ 2007年发布 。是一个在AMQP(高级消息队列协议)基础上完成的 。可复用的企业消息系统 。是当前最主流的消息中间件之一 。
2、ActiveMQ
ActiveMQ是由Apache出品 。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现 。它非常快速 。支持多种语言的客户端和协议 。而且可以非常容易的嵌入到企业的应用环境中 。并有许多高级功能
3、RocketMQ
RocketMQ出自 阿里公司的开源产品 。用 Java 语言实现 。在设计时参考了 Kafka 。并做出了自己的一些改进 。消息可靠性上比 Kafka 更好 。RocketMQ在阿里集团被广泛应用在订单 。交易 。充值 。流计算 。消息推送 。日志流式处理等
4、Kafka
Apache Kafka是一个分布式消息发布订阅系统 。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log) 。。之后成为Apache项目的一部分 。Kafka系统快速、可扩展并且可持久化 。它的分区特性 。可复制和可容错都是其不错的特性 。

推荐阅读


上一篇：puffinpro浏览器 安卓puffin浏览器

下一篇：敦煌艺术源于哪个教派 敦煌艺术是哪个教派