FastDFS分布式文件系统搭建

FastDFS 是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。适合以文件为载体的在线服务，如图片网站、视频网站等等。

1. 环境和软件安装包清单

• Linux
  • CentOS 7
• FastDFS
  • fastdfs-5.10.tar.gz
  • libfastcommon-1.0.36.tar.gz
  • fastdfs-nginx-module_v1.16.tar.gz
• Nginx
  • nginx-1.12.1.tar.gz
  • openssl-1.0.2l.tar.gz
  • pcre-8.36.tar.gz
  • zlib-1.2.11.tar.gz

2. FastDFS 安装

FastDFS 服务端有两个重要的角色：跟踪器（tracker）和存储器（storage）。客户端通过 tracker 将文件存储在 storage 服务器。在访问量不大情况下，可将 tracker 和 storage 都部署在同一台服务器上，后期根据业务需要进行扩展。以下是安装所需的软件包：

# ll
total 10552
-rw-r--r-- 1 gw gw   17510 Sep 20  2017 fastdfs-nginx-module_v1.16.tar.gz
-rw-r--r-- 1 gw gw  344620 Sep 22  2017 FastDFS_v5.08.tar.gz
-rw-r--r-- 1 gw gw  434873 Sep 20  2017 libfastcommon-1.0.36.tar.gz
-rw-r--r-- 1 gw gw  981093 Sep 20  2017 nginx-1.12.1.tar.gz
-rw-r--r-- 1 gw gw 5365054 Sep 20  2017 openssl-1.0.2l.tar.gz
-rw-r--r-- 1 gw gw 2009464 Sep 20  2017 pcre-8.36.tar.gz
-rw-r--r-- 1 gw gw  607698 Sep 20  2017 zlib-1.2.11.tar.gz

2.1 libfastcommon 安装

libfastcommon是从FastDFS和FastDHT中提取出来的公共C函数库，FastDFS依赖该模块，需要首先安装它。

解压缩并进入解压缩后的文件夹的根目录：

# tar zxvf libfastcommon-1.0.36.tar.gz && cd libfastcommon-1.0.36

执行编译安装：

# ./make.sh && ./make.sh install

如果报 gcc: command not found 错误，说明系统缺少gcc编译环境。先安装gcc环境： # yum install -y gcc gcc-c++ 重新编译安装： # ./make.sh clean && ./make.sh && ./make.sh install

安装完成后，返回到上一级目录（软件包所在的根目录）：

# cd -

2.2 fastdfs 安装

解压缩并进入解压缩后的文件夹的根目录：

# tar zxvf fastdfs-5.10.tar.gz && cd fastdfs-5.10

执行编译安装：

# ./make.sh && ./make.sh install

如果报 perl: command not found 错误，说明系统缺少perl编译环境。先安装perl环境： # yum install perl 重新编译安装： # ./make.sh clean && ./make.sh && ./make.sh install

安装成功后，在系统/etc路径下会生成一个/fdfs目录，该目录下是FastDFS相关的一些示例配置文件内容。 # ll /etc/fdfs/ total 24 -rw-r--r-- 1 root root 1461 Jun 5 16:46 client.conf.sample -rw-r--r-- 1 root root 7927 Jun 5 16:46 storage.conf.sample -rw-r--r-- 1 root root 105 Jun 5 16:46 storage_ids.conf.sample -rw-r--r-- 1 root root 7200 Jun 5 16:46 tracker.conf.sample

将当前路径下 conf 目录里面的 anti-steal.jpg，http.conf，mime.types 复制到 /etc/fdfs 目录中：

# cp conf/anti-steal.jpg conf/http.conf conf/mime.types /etc/fdfs/

安装完成后，返回到上一级目录（软件包所在的根目录）：

# cd -

2.2.1 tracker 配置

将/etc/fdfs/tracker.conf.sample重命名为/etc/fdfs/tracker.conf并编辑它：

# mv /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf && vi /etc/fdfs/tracker.conf

找到base_path的配置行，将其修改为：

base_path=/home/fanlychie/fastdfs

这里的base_path是tracker用于存储数据文件（其路径为：base_path/data）以及日志文件（其路径为：base_path/logs）的基路径。如果配置的目录尚未存在，需要先创建该路径： # mkdir -p /home/fanlychie/fastdfs

启动命令：

# fdfs_trackerd /etc/fdfs/tracker.conf start

停止命令：

# fdfs_trackerd /etc/fdfs/tracker.conf stop

重启命令：

# fdfs_trackerd /etc/fdfs/tracker.conf restart

2.2.2 storage 配置

将/etc/fdfs/storage.conf.sample重命名为/etc/fdfs/storage.conf并编辑它：

# mv /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf && vi /etc/fdfs/storage.conf

找到base_path的配置行，将其修改为：

base_path=/home/fanlychie/fastdfs/storage

这里的base_path是storage用于存储数据文件（其路径为：base_path/data）以及日志文件（其路径为：base_path/logs）的基路径。如果配置的目录尚未存在，需要先创建该路径： # mkdir -p /home/fanlychie/fastdfs/storage

找到store_path0的配置行，将其修改为：

store_path0=/home/fanlychie/fastdfs/storage

store_path0如果配置的路径不存在，则会使用base_path配置的路径。

找到tracker_server的配置行，将其修改为tracker服务器的地址：

tracker_server=192.168.1.102:22122

启动命令：

# fdfs_storaged /etc/fdfs/storage.conf start

停止命令：

# fdfs_storaged /etc/fdfs/storage.conf stop

重启命令：

# fdfs_storaged /etc/fdfs/storage.conf restart

2.2.3 client 配置

将/etc/fdfs/client.conf.sample重命名为/etc/fdfs/client.conf并编辑它：

# mv /etc/fdfs/client.conf.sample /etc/fdfs/client.conf && vi /etc/fdfs/client.conf

找到base_path的配置行，将其修改为：

base_path=/home/fanlychie/fastdfs

这里的base_path是storage用于存储数据文件（其路径为：base_path/data）以及日志文件（其路径为：base_path/logs）的基路径。如果配置的目录尚未存在，需要先创建该路径： # mkdir -p /home/fanlychie/fastdfs

找到tracker_server的配置行，将其修改为tracker服务器的地址：

tracker_server=192.168.1.102:22122

2.3 fastdfs-nginx-module 安装

解压缩并进入解压缩后的文件夹的根目录：

# tar zxvf fastdfs-nginx-module_v1.16.tar.gz && cd fastdfs-nginx-module

编辑src/mod_fastdfs.conf：

# vi src/mod_fastdfs.conf

找到tracker_server的配置行，将其修改为tracker服务器的地址：

tracker_server=192.168.1.102:22122

找到url_have_group_name的配置行，将其改为：

url_have_group_name = true

如果请求的url地址中包含了group_name（如“group1/M00/00/00/xxx”）则应设为true。 如果请求的url地址中不包含group_name（如“/M00/00/00/xxx”）则应设为false。

找到store_path0的配置行，将其改为：

store_path0=/home/fanlychie/fastdfs/storage

必须配置与本机storage.conf中配置的store_path0路径相同。

复制文件src/mod_fastdfs.conf到/etc/fdfs/目录下：

# cp src/mod_fastdfs.conf /etc/fdfs/

编辑src/config：

# vi src/config

找到CORE_INCS的配置行：

CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"

去掉路径中的/local，改为如下并保存退出：

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

2.4 nginx 安装

由于FastDFS提供的HTTP服务较为简单，它无法提供负载均衡等高性能的服务。因此，FastDFS通常会结合Nginx来使用。安装Nginx所需的依赖有：

• nginx 的 gzip 模块（压缩）需要依赖 zlib 库
• nginx 的 ssl 模块（支持 HTTPS）需要依赖 openssl 库
• nginx 的 rewrite 模块（支持 URL 重写）需要依赖 pcre 库

2.5.1 pcre 安装

解压缩并进入解压缩后的文件夹的根目录：

# tar zxvf pcre-8.36.tar.gz && cd pcre-8.36

执行编译安装：

# ./configure && make && make install

创建软连接（64位系统）：

# ln -s /usr/local/lib/libpcre.so.1 /lib64

创建软连接（32位系统）：

# ln -s /usr/local/lib/libpcre.so.1 /lib

回到上一级目录（软件包所在的根目录）：

# cd -

2.4.2 zlib 安装

解压缩并进入解压缩后的文件夹的根目录：

# tar zxvf zlib-1.2.11.tar.gz && cd zlib-1.2.11

执行编译安装：

# ./configure && make && make install

回到上一级目录（软件包所在的根目录）：

# cd -

2.5.3 openssl 安装

解压缩并进入解压缩后的文件夹的根目录：

# tar zxvf openssl-1.0.2l.tar.gz && cd openssl-1.0.2l

执行编译安装：

# ./config && make && make install

回到上一级目录（软件包所在的根目录）：

# cd -

2.5.4 nginx 安装

解压缩并进入解压缩后的文件夹的根目录：

# tar zxvf nginx-1.12.1.tar.gz && cd nginx-1.12.1

编译安装（注意修改--add-module的路径）：

# ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src/ && make && make install

–add-module的路径需要改成你服务上上面配置好的fastdfs-nginx-module对应的路径。

编辑 nginx 配置文件：

# vi /usr/local/nginx/conf/nginx.conf

配置如下：

user  root;
 
... ...
 
location /group1/M00 {
    root /home/fanlychie/fastdfs/storage/data/;
    ngx_fastdfs_module;
}

root指定到storage配置的${base_path}/data/目录下。

启动命令：

# /usr/local/nginx/sbin/nginx

停止命令：

# /usr/local/nginx/sbin/nginx -s stop

重新加载命令：

# /usr/local/nginx/sbin/nginx -s reload

3. FastDFS 测试

新建测试文件：

$ echo 'Hello World!' > hello.txt

测试上传：

$ fdfs_test /etc/fdfs/client.conf upload hello.txt

上传成功之后返回类似信息：

example file url: http://192.168.1.102/group1/M00/00/00/CgoKgFsXN6qAWGyzAAAADT9THu8575.txt

访问测试：

$ curl http://192.168.1.102/group1/M00/00/00/CgoKgFsXN6qAWGyzAAAADT9THu8575.txt

4. 开启服务端口

对外开启 80、8080、22122、23000 端口。

CentOS7 firewall 防火墙配置：

firewall-cmd --permanent --add-port=80/tcp
firewall-cmd --permanent --add-port=8080/tcp
firewall-cmd --permanent --add-port=22122/tcp
firewall-cmd --permanent --add-port=23000/tcp

重加载：

# firewall-cmd --reload

CentOS6 iptables 防火墙配置：

# vi /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重加载：

# service iptables restart