分布式存储架构IPFS和HDFS的示例分析

这篇文章主要为大家展示了“分布式存储架构IPFS和HDFS的示例分析”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“分布式存储架构IPFS和HDFS的示例分析”这篇文章吧。

分布式存储架构是一个复杂的系统工程，针对特定应用的数据存储有不同的系统架构解决方案。不同的存储方法会影响存储性能、存储成本、冗余度、工程复杂性等。

分布式存储的历史

分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来解决大规模，高并发场景下的 Web 访问问题。它采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于后期服务器扩展。

分布式存储的崛起

分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。

与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通 PC 服务器通过网络连接而成。由于互联网的业务发展迅猛，使得存储系统架构不能依靠传统的纵向扩展的方式，即先买小型机，不够时再买中型机，甚至大型机。互联网后端的分布式系统要求支持横向扩展，即通过增加普通 PC 服务器来提高存储系统的整体处理能力。

另外，随着服务器的不断加入，需要能够在软件层面实现自动负载均衡，使得系统的处理能力得到线性扩展。在这种情况下，分布式存储的成为大多数企业的必然选择。

分布式存储的发展

如果客户端需要从某个文件读取数据，首先从 NameNode 获取该文件的位置，然后从该 NameNode 获取具体的数据。在该架构中 NameNode 通常是主备部署（ Secondary NameNode ），而 DataNode 则是由大量节点构成一个集群。由于元数据的访问频度和访问量相对数据都要小很多，因此 NameNode 通常不会成为性能瓶颈，而 DataNode 集群中的数据可以有副本，既可以保证高可用性，可以分散客户端的请求。因此，通过这种分布式存储架构可以通过这种分布式存储架构可以通过横向扩展 datanode 的数量来增加承载能力，也即实现了动态横向扩展的能力。

HDFS的功能

1）数据的分布式存储和处理。

2）Hadoop 提供了一个命令接口来与 HDFS 进行交互。

3）namenode 和 datanode 的内置服务器可帮助用户轻松检查群集的状态。

4）对文件系统数据的流式处理访问。

5）HDFS 提供文件权限和身份验证。

HDFS的架构

下面给出的是 Hadoop 文件系统的体系结构

3.Block

通常，用户数据存储在 HDFS 的文件中。文件系统中的文件将分为一个或多个片段存储在单个数据节点中。这些文件段称为block。换句话说，HDFS 可以读取或写入的最小数据量称为block。默认块大小为 64MB，可以根据 HDFS 配置进行更改。

HDFS的特点

1、故障检测和恢复 – 由于 HDFS 包含大量产品硬件，组件故障频繁。因此，HDFS 应具有快速自动故障检测和恢复的机制。

2、数据集的管理 – HDFS 每个群集都有数百个节点来管理具有大型数据集的应用程序。

3、数据硬件处理 – 当计算在数据物理附近时，可以高效地完成请求的任务。特别是在涉及大量数据集时，它减少了网络流量并提高了吞吐量。

IPFS的简介

IPFS（Inter Planetary File System），又叫星际文件系统。IPFS在2015年开启，目前已经有5年时间了。IPFS和Filecoin一直热度不断，影响力也是越来越大。在这里我们先撇开区块链部分的Filecoin不谈，重点分析下IPFS在分布式存储方面的应用。

2.重复内容清理

IPFS网络中会对重复的内容进行去重处理，在保证整个网络存储文件的冗余量的同时保证网络的轻便与快捷。

4.通过节点寻址查找要查看或下载的文件时，用户需要让网络找到对应内容的存储节点，然后确定所需求的文件内容。

从上述的原理中我们可以清晰地看出，在存储方面IPFS与传统的分布式存储是完全不同的，是完全去中心化的。

HDFS与IPFS对比

BMJ是基于IPFS设计的一种新的互联网协议下的分布式存储技术，其目标是永久存储数据，消除网络上的重复，并获取存储在网络计算机上的信息的地址，未来它会是一个开源项目。

作为分布式存储的领航者，BMJ目前正在快速布局，未来形成包括云存储、云计算、大数据的产业集群，可以更好的引领传统企业升级转型，推动整个新经济的发展。

以上是“分布式存储架构IPFS和HDFS的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！