Linux|FastDFS、nginx配置手记 FastDFS|Nginx|CentOS

第一部分FastDFS介绍

1.FastDFS是什么

FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。
准确地讲，Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
FastDFS的作者是余庆，现在淘宝网Java中间件团队从事Java基础平台研发工作。
以上文字引用自<<程序员>> 文章 <<分布式文件系统FastDFS架构剖析>> http://www.programmer.com.cn/tag/fastdfs-架构/

2.FastDFS的体系结构

文章图片

3.FastDFS工作过程

1. Client询问Tracker server上传到的Storage server；
2. Tracker server返回一台可用的Storage server，返回的数据为该Storage server的IP地址和端口；
3. Client直接和该Storage server建立连接，进行文件上传，Storage server返回新生成的文件ID，文件上传结束。

文章图片

1. Client询问Tracker server可以下载指定文件的Storage server，参数为文件ID（包含组名和文件名）；
2. Tracker server返回一台可用的Storage server；
3. Client直接和该Storage server建立连接，完成文件下载。

文章图片

FastDFS从V1.20开始，支持通过HTTP协议下载文件。
1.用户浏览器访问Tracker server内置的Web Server，URL中包含文件ID（包含组名和文件名）;
2.Tracker server将这个HTTP请求redirect到一台可用的Storage server的Web Server上(可以是apache或nginx)；
3.用户浏览器直接与Storage server的Web Serverr建立连接，完成文件下载。

文章图片

第二部分FastDFS+nginx_module配置手记

1.系统环境

最小化安装的 CentOS 5.6 x86_64
tracker server:192.168.3.220
storage server:192.168.3.226

2.环境准备[所有服务器上操作]

为了速度，配置使用sohu的源
cd /etc/yum.repo.d/
wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo

安装EPEL源
rpm -ihv http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm

安装开发工具和编译nginx所需的开发包
yum groupinstall "Development Tools"
yum install libevent-devel.x86_64 pcre-devel.x86_64zlib-devel.x86_64

3.在tracker上的操作[安装tracker server]
[root@tracker]# wget http://fastdfs.googlecode.com/files/FastDFS_v3.05.tar.gz
[root@tracker]# tar xvzf FastDFS_v3.05.tar.gz
[root@tracker]# cd FastDFS
[root@tracker]# vi make.sh
将如下两行前边的"#"删除
WITH_HTTPD=1
WITH_LINUX_SERVICE=1
[root@tracker]# ./make.sh
[root@tracker]# ./make.sh install
[root@tracker]# vi /etc/fdfs/tracker.conf
修改/etc/fdfs/tracker.conf，主要修改以下两处，如有其他调整，可参考文档自行调整，默认的配置也可以工作。

# the base path to store data and log files
base_path=/home/tracker====> 放置data和log的目录

##include http.conf====>#include http.conf这里一定要注意！是 #include，不是include!!!

[root@tracker]# mkdir -p /home/tracker

启动tracker服务
[root@tracker]#/etc/init.d/fdfs_trackerd start

确认8080,22122端口已经监听
[root@tracker]# netstat -nl|grep -E '8080|22122'
tcp00 0.0.0.0:221220.0.0.0:*LISTEN
tcp00 0.0.0.0:80800.0.0.0:*LISTEN

4.在storage上的操作
[root@storage]# wget http://fastdfs.googlecode.com/files/FastDFS_v3.05.tar.gz
[root@storage]# wget http://fastdfs.googlecode.com/files/fastdfs-nginx-module_v1.10.tar.gz
[root@storage]# wget http://nginx.org/download/nginx-1.0.11.tar.gz
[root@storage]# tar xvzf FastDFS_v3.05.tar.gz
[root@storage]# cd FastDFS
[root@storage]# ./make.sh
[root@storage]# ./make.sh install

[root@storage]# tar xvzf nginx-1.0.11.tar.gz
[root@storage]# tar xvzf fastdfs-nginx-module_v1.10.tar.gz
[root@storage]# cd nginx-1.0.11
[root@storage]# ./configure --prefix=/usr/local/nginx --add-module=/root/fastdfs-nginx-module/src
[root@storage]# make
[root@storage]# make install

[root@storage]# vi /etc/fdfs/storage.conf
修改/etc/fdfs/storage.conf，主要修改以下几处，如有其他调整，可参考文档自行调整，默认的配置也可以工作。

# the name of the group this storage server belongs to
group_name=group1 ====> 此台storage server所属的服务器组名

# the base path to store data and log files
base_path=/home/storage ====> 放置data和log的目录

# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/home/storage ====> 放置文件的目录

# tracker_server can ocur more than once, and tracker_server format is
#"host:port", host can be hostname or ip address
tracker_server=192.168.3.220:22122 ====> tracker server的ip和端口，此处可以写多个tracker server，每行一个

#HTTP settings
http.disabled=true====> 关闭内置的web server

# the port of the web server on this storage server
http.server_port=80====> web server的端口改成80

[root@storage]# cp /root/fastdfs-nginx-module/mod_fastdfs.conf /etc/fdfs/
[root@storage]# vi /etc/fdfs/mod_fastdfs.conf

# the base path to store log files
base_path=/home/storage ====> 放置log的目录

# FastDFS tracker_server can ocur more than once, and tracker_server format is
#"host:port", host can be hostname or ip address
tracker_server=192.168.3.220:22122 ====> tracker server的ip和端口，此处可以写多个tracker server，每行一个

# the group name of storage server
group_name=group1 ====> 此台storage server所属的服务器组名

# if uri including group name
# default value is false
url_have_group_name = true ====> 在URL中包含group名称

# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/home/storage ====> 放置文件的目录

[root@storage]# mkdir -p /home/storage

在nginx的server配置段中增加M00的location声明
[root@storage]# vi /usr/local/nginx/conf/nginx.conf
location /group1/M00 {
root /home/storage/data;
ngx_fastdfs_module;
}

创建M00目录的软连接
[root@storage]# ln -s /home/storage/data/home/storage/data/M00

启动storage服务
[root@storage]#/etc/init.d/fdfs_storaged start

启动nginx
[root@tracker]#/usr/local/nginx/sbin/nginx

确认8080,22122端口已经监听
[root@storage]# netstat -nl|grep -E '80|23000'
tcp00 0.0.0.0:230000.0.0.0:*LISTEN
tcp00 0.0.0.0:800.0.0.0:*LISTEN

5.在tracker上的操作[作为client测试]

修改/etc/fdfs/client.conf文件，主要修改以下几处，如有其他调整，可参考文档自行调整，默认的配置也可以工作。
# the base path to store log files
base_path=/tmp

# tracker_server can ocur more than once, and tracker_server format is
#"host:port", host can be hostname or ip address
tracker_server=192.168.3.220:22122

创建一个用于测试的文件demofile.txt
[root@tracker]# vi demofile.txt
内容就一行字:dddddddddd

使用自带的fdfs_test上传文件测试。
[root@tracker]# /usr/local/bin/fdfs_test /etc/fdfs/client.conf upload demofile.txt
This is FastDFS client test program v3.05

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.

[2012-01-20 14:36:04] INFO - base_path=/tmp, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0

tracker_query_storage_store_list_without_group:
server 1. group_name=group1, ip_addr=192.168.3.226, port=23000

group_name=group1, ip_addr=192.168.3.226, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484.txt
source ip address: 192.168.3.226
file timestamp=2012-01-20 14:36:04
file size=11
file crc32=2037505305
file url: http://192.168.3.220:8080/group1/M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484.txt
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484_big.txt
source ip address: 192.168.3.226
file timestamp=2012-01-20 14:36:04
file size=11
file crc32=2037505305
file url: http://192.168.3.220:8080/group1/M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484_big.txt

6.使用浏览器打开上传的文件

我们在浏览器中输入http://192.168.3.220:8080/group1/M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484.txt

文章图片

【Linux|FastDFS、nginx配置手记】可以看到，访问的地址已经被redirect到了storage server的IP(192.168.3.226)了。

Linux|FastDFS、nginx配置手记

推荐阅读

如何激活电子医保卡? 如何激活mongodb

空气炸锅烤橘子温度和时间空气炸锅烤橘子要多久

《冰与火之歌》《权力的游戏》第八季,你觉得最终谁会坐上七国的铁王座？

ps流线分析图,ps怎么做流线分析箭头

关于739游戏棋牌的信息

软件实用性分析报告,中国软件股票分析报告

功能机|售价249元，诺基亚发布新款功能机，外形方正能扫码

亚马逊|亚马逊封店潮背后，溃散的实体工厂与芯片炒货客

新疆最好的葡萄品种是什么品种中国最好吃的葡萄品种排名

黄码怎么变绿码需要几次核酸检测

K3有没有上市? k3为什么停产

北京生育津贴领取条件及标准2023最新?北京生育津贴怎么计算?

用Photoshop给穿古装的云浮女孩调些暗青色效果

中移电子华院是什么中移电商华院是什么平台，中移电子商务有限公司-华院

吃海鲜可以喝茶吗

资生堂哪几款产品值得购买？

税务季度申报如何网上申报企业所得税哪里申报，一般纳税人企业所得税

想创业,有没有好点的冷门项目？

一日为师，终身为父

临安房屋出租信息最新临安房屋出租信息