Hadoop生态圈以及各组成部分的简介

1.Hadoop是什么?

切合大数额的分布式存储与计量平台

HDFS: Hadoop Distributed File System分布式文件系统

MapReduce:并行总结框架

缓解的问题:

HDFS: 海量数据的贮存

MapReduce:海量数据的剖析

3.Hadoop生态圈流程图

NoSQL 1

 

2.Hadoop生态圈

NoSQL 2

①HBase

Google Bigtable的开源实现

列式数据库

可集群化

可以运用shell、web、api等多种措施访问

切合高读写(insert)的光景

HQL查询语言

NoSQL的独立代表出品

NoSQL 3

②Hive

数据仓库工具。能够把Hadoop下的原本结构化数据变成Hive中的表

帮助一种与SQL几乎完全相同的语言HiveQL。除了不襄助改进、索引和工作,几乎SQL的其它特征都能补助

可以作为是从SQL到Map-Reduce的映射器

提供shell、JDBC/ODBC、Thrift、Web等接口

NoSQL 4

③Zookeeper

Google Chubby的开源实现

用来协调分布式系统上的各样劳动。例如确认新闻是否可靠到达,制止单点失效,处理负荷均衡等

应用场景:Hbase,实现Namenode自动切换

行事原理:领导者,跟随者以及选举过程

NoSQL 5

④Sqoop

用于在Hadoop和关系型数据库之间互换数据

由此JDBC接口连入关系型数据库

NoSQL 6

⑤Chukwa

架构在Hadoop之上的数额收集与分析框架

重点举办日志采集和分析

透过安装在征集节点的“代理”采集最原始的日记数据

NoSQL,代办将数据发给收集器

征集器定时将数据写入Hadoop集群

指定定时启动的Map-Reduce作业队数据举行加工处理和剖析

NoSQL 7

⑥Pig

Hadoop客户端

动用类似于SQL的面向数据流的言语Pig Latin

Pig Latin可以成功排序,过滤,求和,聚组,关联等操作,可以帮助自定义函数

Pig自动把Pig
Latin映射为Map-Reduce作业上传出集群运行,收缩用户编写Java程序的沉郁

NoSQL 8

⑦Avro

多少系列化工具,由Hadoop的开拓者Doug Cutting主持开发

用于援助大批量数据交流的采纳。匡助二进制系列化形式,可以省事,急忙地处理大量数据

动态语言友好,Avro提供的体制使动态语言可以一本万利地拍卖 Avro数据。

Thrift接口

NoSQL 9

⑧Cassandra 

NoSQL,分布式的Key-Value型数据库,由非死不可贡献

与Hbase类似,也是借鉴Google Bigtable的思考系列

只有各样写,没有自由写的计划性,满足高负荷情状的性能需求

NoSQL 10

 

网站地图xml地图