Hadoop

Hadoop：
大数据集群，只能运行在Linux平台
RDBMS：表
字段、数据类型、约束
结构化数据
关系数据库在数据中占据重要的地位
但不是所有的数据都可以结构化
结构化数据：structured data
非结构化数据：unstructured data
半结构化数据：semi-structured data
通常保存为xml , json
Google：pagerank 页面算法
化整为零，并行处理
将一个大问题切割成多个小问题
OLAP：数据挖掘
机器学习：deep learning
多节点并行处理

Map reduce：
函数式编程API
运行框架

HDFS + Mapreduce=Hadoop
HDFS：
namenode：NN节点
Datanode：DN节点
MapReduce：
jobTracker：JT节点
TaskTracker：TT节点

Hadoop使用Java语言开发，mapper,reducer都是使用Java语言开发

hadoop生态：

一个mapper,reducer可以没有reduce,但不能没有mapper
HDFS：
1、HDFS设计用来存储大文件，对海量小文件的存储不太适用；
2、用户空间的文件系统；
3、HDFS不支持修改；新版本支持追加；
4、不支持挂载，并通过系统调用进行访问，只能使用专用访问接口，如专用命令行工具，API；

Scribe ,facebook
flume
hadoop外围组件

hadoop集群生态，生态圈

hive 中间组件
技术是面向场景的
基于HBASE可以做数据修改
HBASE 是NoSQL，稀疏格式存储方案
Cloudera , CDH 著名hadoop技术服务提供商类似于redhat

关系型数据库数据导入到Hadoop流程图：
RDBMS --> Sqoop --> Hbase --> HDFS

Avro ：将数据序列化

如何学习Hadoop
1、安装配置HDFS
2、安装配置MapReduce
3、HBase
4、Hive
5、sqoop
6、flume/scribe/chukwa

HDFS正常情况几个节点：四个节点
本地模式 调试模式
伪分布式（使用一个节点）
完全分布式（4以上的节点）

Hadoop 并行处理系统 多副本
MapReduce
处理逻辑

关系数据库：
行式数据库 ，表

HBase ：
列式数据库
键值对 ，键值组

收集日志的工具
flume (ASF)
chukwa (ASF)
scribe (facebook)

比hadoop更高级的编程接口 读入工具
Hive SQL
pig
Crunch Java API

Avro 序列化工具
Hadoop有强大的生态环境
sqoop ：
让HDFS 分析关系数据库（Oracle ，MySQl ，SQL Server ,DB2）中的数据
Zookeeper 管理组件

生态图

Hadoop核心组件：
MapReduce
HDFS

R语言
R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具

伪分布式系统基本5个进程：
JobTracker
TaskTracker
NameNode
SecondaryNameNode
DataNode

Hadoop生态各个组件之间兼容性不太好 组件来自于各个开源项目
Cloudera CDH 组合发行版是Hadoop的一个分支，比较著名的
各种配置文件 .xml

Hadoop进程监听的地址和端口