教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

天富娱乐登录老虎机 威斯尼斯人游戏平台391:Hadoop的生态系统分别是什么?(下)

更新时间:2022年07月15日10时50分 来源:传智教育 浏览次数:

好口碑IT培训

基于Hadoop的可扩展性,它能够便捷地单一服务器向上千台服务器进行扩展,上节内容我们讲到了Hadoop的生态系统组件,本节我们将把剩余的生态组件介绍完毕。

1.HBase分布式数据库

HBase是Google Bigtable克隆版,它是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同,HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问,同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完美地结合在一起。

2.Zookeeper分布式协调服务

Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和HBase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括配置维护、域名维护、分布式同步、组服务等用于构建分布式应用,减少分布式应用程序所承担的协调任务。

3.Hive基于Hadoop的数据仓库

Hive是基于Hadoop的一个分布式数据仓库工具,可以将结构化的数据文件映射为一张数据库表,将SQL语句转换为MapReduce任务进行运行。其优点是操作简单,降低学习成本,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

9.Flume日志收集工具

Flume是Cloudera提供的一个高可用,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统文件中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。

0 分享到:
和我们在线交谈!