Hadoop、spark、hive的原理及其在金融领域的应用

首先百度百科了各个词条的含义：

Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

SPARK （Spark）  

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

大数据对风控的帮助
大数据可以提供全面的多角度的数据，降低借款人的贷款的风险。

企业指标：宏观指标，行业指标，企业指标，财务指标

个人指标：宏观，行业，个人。

指标频率：日，月，季，年
个人版风控系统查询:

A个人收入

B银行流水

C负债

D汽车折旧系数

E×××折现系数

企业版风控系统查询

绝对指标

A资产总计

B负债总计

C营业总成本/营业总收入

D销售毛利率

现金收益

E净资产收益率ROE

F经营活动净收益/利润总额（TTM）

G经营性现金净流量/营业总收入

H筹资活动产生的现金流量净额占比

I投资活动产生的现金流量净额占比

偿债能力

J资产负债率

K有形资产/总资产

L权益乘数

M流动比率

N速动比率

营运能力

O存货周转率

P应收账款周转率

Q应付账款周转率

R净资产（同比增长率）

S固定资产投资扩张率

T利润总额/息税前利润

U股东权益合计/负债总计

V. EBITDA率%

风控流程

3.1业务流程

1.借款人进行咨询；

2.填写申请表和有关资料，提交给业务员；

3.业务员添加客户至客户室；

4.业务员为客户发起授信申请，进入授信审核，审核成功后，借款人获得授信额度。

5.业务员为借款人发起借款申请，进入借款审核，审核成功后，财务放款，借款成功.

3.2授信审核流程（贷前流程）

1.业务员为自己客户发起授信申请；

2.业务主管进行初审，审核通过进入风控委员初审，驳回返回上级，拒绝的授信失败；

3.风控委员进行初审；

4.风控主管进行复审；

5.贷审会进行审核；

6.总经理进行终审，审核通过，授信成功，借款人获得授信额度。

3.3

借款审核流程（贷中流程）

1.借款人拥有一定的授信额度，业务员为借款人发起借款申请；

2.业务主管进行初审，审核通过进入风控委员初审，驳回返回上级，拒绝的授信失败；

3.风控委员进行初审；

4.风控主管进行复审；

5.总经理进行终审；

6.审核通过的，财务放款，借款人借款成功。

3.4贷后流程

贷款到期，借款人还款。其中借款人可以提前还款，若到期未能还款，则有展期申请、强制结清、押品结清、押品处置、违约金法系处理。

借款人还清贷款，即可拿回抵押物品。

四。风险管理全面解决方案