FastDFS--分布式文件系统

分布式文件系统

什么是分布式文件系统？

    (1)分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连
    (2)分布式文件系统的设计基于客户机/服务器模式

分布式文件系统的特点

(1)将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统
(2)每个节点可以分布在不同地点，通过网络进行节点间的通信和数据传输 

基础架构
客户端--------------主控服务器
                      |
                      |
                      |
    数据服务器1  数据服务器2  数据服务器3  ...数据服务器n
    （把数据存放在一个服务器集群上，由集群中的服务器提供整个文件系统服务）

    主控服务器
    ——master管理各个数据服务器，分配任务
     —主控服务器上放着所有的文件目录信息，要找文件，必须访问它
     数据服务器
     —存放数据
     —冗余模式

FastDFS

  FastDFS服务端有两个角色: 跟踪器（tracker）和存储节点（storage）
  —跟踪器: 主要做调度工作，在访问上起负载均衡作用
  —存储节点: 完成文件管理的所有功能，即存储、同步和提供存取接口，同时对文件的元数据进行管理
  FastDFS采用了分组存储方式
  —集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和

FastDFS搭建

  [tracker50]
  #yum -y install gcc libevent make
  #unzip fastdfs.zip
  #tar zxf FastDFS_v4.06.tar.gz         
  #rpm -ivh libevent-*             
  #cd FastDFS
  #./make.sh
  #./make.sh install
  #cd init.d/
  #cp fdfs_trackerd /etc/init.d/
  #cp storage_ids.conf /etc/fdfs/
  修改配置文件
  #vim /etc/fdfs/tracler.conf
  base_path=/data/fastdfs       存储路径
  store_lookup=0            存储组采用轮询模式 0轮询 1指定 2根据哪个空闲选则存储
  use_storage_id = true     使用定义的stoaged_id
  #vim /etc/fdfs/storage_ids.conf
  # <id>  <group_name>  <ip_or_hostname>
    100001   group1  192.168.4.51
    100002   group1  192.168.4.52
  #/etc/init.d/fdfs_tracker start
  #chkconfig fdfs_tracker on
  #netstat -lnptu | grep 22122

  [storage51：52]
  #yum -y install gcc libevent make
  #unzip fastdfs.zip
  #tar zxf FastDFS_v4.06.tar.gz         
  #rpm -ivh libevent-*             
  #cd FastDFS
  #./make.sh
  #./make.sh install
  #cd init.d/
  #cp fdfs_storaged /etc/init.d/
  修改配置文件
  #group_name=group1    定义组名
  #base_path=/data/fastdfs   存储路径
  #store_path0=/data/fastdfs
  #tracker_server=192.168.4.50:22122  指定跟踪器tracker路径
  #/etc/init.d/fdfs_storaged start
  #chkconfig fdfs_storaged on 
  #netstat -lnptu | grep 23000

  [客户端254]
  #mkdir /etc/fdfs
  #cp client.conf /etc/fdfs
  #vim etc/fdfs/client.conf
  #base_path=/data/fastdfs
  #tracker_server=192.168.4.50:22122
  scp 192.168.4.50:/usr/local/bin/* /usr/bin
  验证
  #fdfs_upload_file /etc/fdfs/clients.conf a.txt
  group1/M00/00/00/wKgEM1ppWBCAJdssAACwEV-ILDc175.jpg

  使用web查看上传文件
  [storage51:52]
  #tar zxf fastdfs-nginx-module_v1.16.tar.gz
  #tar zxf nginx-1.7.10.tar.gz 
  #yum -y install pcre-devel openssl-devel
  #cd nginx
  #useradd -s /sbin/nologin nginx
  #./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --add-module=../fastdfs-nginx-module/src/ --with-http_ssl_module
  #cp mod_fastdfs.conf /etc/fdfs/
  修改配置文件
  #vim /etc/fdfs/mod_fastdfs.conf
  tracker_server=192.168.4.50:22122
  group_name=group1
  url_have_group_name = true
  store_path0=/data/fastdfs
  修改nginx配置文件
  #vim /usr/local/nginx/conf/nginx.conf
    server {
        listen 80;
        server_name localhost;
        location / {
            ngx_fastfds_module;
            }
        }
  #/usr/local/nginx/sbin/nginx 
  #/etc/init.d/fdfs_storaged start

  验证
  firefox http:192.168.4.51/group1/M00/00/00/wKgEM1ppWBCAJdssAACwEV-ILDc175.jpg