大数据 patch源代码分析

【大数据 patch源代码分析】淘宝为什么要用hbase , 如何优化?1前言HBase是从hadoop中分离出来的apache顶级开源项目 。目前大众点评的大数据结构中,用户的行为日志数据占了大部分数据,剩下的就是交易数据,如何查看linux命令源代码和函数源代码1?以搜索ls命令的源代码为例,先搜索命令所在的包,命令如下:lpj@lpjlinux:~$whichls/bin/ls2,使用命令搜索软件所在的软件包 。代码如下:lpj @ lpjlinux:~ $ dpk GS/bin/ls coreutils:/bin/ls3,从上一步我们可以知道,LS命令是在包Coreutils中实现的 , 它是用apt安装的(说安装有些暧昧 , 主要是为了区分aptgetd),然后解压,代码如下:sudoatgetSourceCoreutilscd/usr/src/Coreutilsxxx # XXX表示版本号sudotarzxvfcoreutilsXXX.tar.gz或者直接下载源代码,然后手动打补丁解压即可,代码如下:suoatgetdsource coreutilscd/usr/srctarzxvfcoreutilsxx . tar . gzzidcoreutilsxx . diff . gz #这一步会生成coreutilsXXX.diff文件patchp0 。

1、淘宝为什么使用HBase及如何优化的1前言hbase是从hadoop中分离出来的apache顶级开源项目 。因为它用java实现了google的bigtable系统的大部分特性,所以在数据迅速增加的今天非常受欢迎 。对于淘宝来说 , 随着市场规模的扩大,产品和技术的发展,业务量数据越来越大,海量数据的高效插入和阅读变得越来越重要 。因为淘宝拥有或许是国内最大的单个hadoop集群(天梯),对hadoop产品有着深刻的理解,自然希望用hbase做这样一个海量的数据读写服务 。

2为什么要用hbase?2011年之前,淘宝所有的后台持久化存储基本都是在mysql上进行的(不排除少量的Oracle/BDB/Tail/MongDB等 。).mysql因为开源和良好的生态系统 , 有子数据库、子表等多种解决方案,所以长期以来满足了淘宝大量商家的需求 。但是 , 由于业务的多元化发展,越来越多的业务系统的要求开始发生变化 。

2、怎么用codeviz1.0.9版在windows cygwin绘制函数调用关系图CodeViz是《理解Linux虚拟内存管理器》的作者MelGorman写的分析C/c源代码中的一个函数调用关系的开源工具(在亚马逊 , 下载地址在页面末尾)(类似的开源软件还有埃及和NC) 。基本原理是给GCC打补丁,让它在编译每个源文件时转储其函数的调用图,然后用Perl脚本收集整理调用关系,交给Graphviz绘制 。

    推荐阅读