文章目录CentOS7 部署 FastDFS Nginx 文件服务器完整实践一、FastDFS 简介二、实验环境三、软件版本四、安装包下载五、环境准备六、安装 libfastcommon七、安装 FastDFS八、配置 FastDFS九、配置 Tracker十、配置 Storage十一、配置 Client十二、启动 FastDFS十三、配置开机启动十四、部署 Nginx十五、编译 Nginx FastDFS 模块十六、配置 fastdfs-nginx-module十七、配置 Nginx十八、启动 Nginx十九、使用 Supervisor 管理 Nginx二十、测试文件上传二十一、查看 FastDFS 状态总结致此完毕下边是补充二十二、FastDFS 目录结构解析为什么有 256 × 256 个目录避免单目录文件过多二十三、FastDFS 文件上传流程① Client 请求 Tracker② Client 上传文件到 Storage③ Client 保存文件地址二十四、生产环境最佳实践1 Tracker 高可用2 Storage 多节点3 存储磁盘独立4 Nginx 负载均衡5 日志和监控二十五、FastDFS 常见坑90%的人会踩1 Nginx 无法访问文件2 storage.conf 与 mod_fastdfs.conf 不一致3 tracker 地址错误4 SELinux 或防火墙问题5 文件描述符不足6 Nginx 编译模块错误7 Storage 没有注册到 Tracker结语CentOS7 部署 FastDFS Nginx 文件服务器完整实践一、FastDFS 简介FastDFS是一个开源的分布式文件系统主要用于解决大规模文件存储问题例如图片存储视频存储文档存储对象存储FastDFS 具有以下特点高性能支持海量文件存储支持负载均衡支持横向扩展部署简单FastDFS 主要由三个角色组成组件作用Tracker调度服务器负责管理 StorageStorage实际存储文件Client上传和下载文件系统架构示意Client │ ▼ Tracker Server │ ▼ Storage Server │ ▼ File Storage通常情况下我们会通过Nginx FastDFS 模块来提供 HTTP 访问能力。二、实验环境项目信息操作系统CentOS 7.9CPU4 Core内存8G磁盘100GIP192.168.1.1三、软件版本软件版本FastDFS5.11libfastcommon1.0.39fastdfs-nginx-module1.20nginx1.14.2四、安装包下载mkdir-p/data/bag/fastdfs/cd/data/bag/fastdfs/wgethttps://github.com/happyfish100/fastdfs/archive/refs/tags/V5.11.tar.gzwgethttps://github.com/happyfish100/libfastcommon/archive/refs/tags/V1.0.39.tar.gzwgethttps://github.com/happyfish100/fastdfs-nginx-module/archive/refs/tags/V1.20.tar.gzwgethttp://nginx.org/download/nginx-1.14.2.tar.gz五、环境准备安装依赖yum-yinstallgcc gcc-c libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel libevent libevent-devel perlunzipnet-tools六、安装 libfastcommonlibfastcommon 是 FastDFS 的基础依赖库。tarxf V1.0.39.tar.gzcdlibfastcommon-1.0.39 ./make.sh ./make.shinstall七、安装 FastDFStarxf V5.11.tar.gzcdfastdfs-5.11 ./make.sh ./make.shinstall检查是否安装成功ls/usr/bin|grepfdfs正常情况下会看到类似命令fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file八、配置 FastDFS进入配置目录cd/etc/fdfs备份示例配置mkdirbakmv*sample bak/修改系统文件描述符限制ulimit-n25600创建 FastDFS 数据目录mkdir-p/data/app/fastdfs需要修改三个配置文件client.conf storage.conf tracker.conf九、配置 Tracker编辑vim/etc/fdfs/tracker.conf完整配置disabledfalse bind_addr port22122 connect_timeout30 network_timeout60 ## 路径 base_path/data/app/fastdfs max_connections25600 accept_threads1 work_threads20 store_lookup2 store_groupgroup2 store_server0 store_path0 download_server0 reserved_storage_space 10% log_levelinfo run_by_group run_by_user allow_hosts* sync_log_buff_interval 10 check_active_interval 120 thread_stack_size 64KB storage_ip_changed_auto_adjust true storage_sync_file_max_delay 86400 storage_sync_file_max_time 300 use_trunk_file false slot_min_size 256 slot_max_size 16MB trunk_file_size 64MB trunk_create_file_advance false trunk_create_file_time_base 02:00 trunk_create_file_interval 86400 trunk_create_file_space_threshold 20G trunk_init_check_occupying false trunk_init_reload_from_binlog false trunk_compress_binlog_min_interval 0 use_storage_id false storage_ids_filename storage_ids.conf id_type_in_filename ip store_slave_file_use_link false rotate_error_log false error_log_rotate_time00:00 rotate_error_log_size 0 log_file_keep_days 0 use_connection_pool false connection_pool_max_idle_time 3600 http.server_port8080 http.check_alive_interval30 http.check_alive_typetcp http.check_alive_uri/status.html说明base_path日志和数据存储目录porttracker 服务端口十、配置 Storage编辑vim/etc/fdfs/storage.conf完整配置disabledfalse group_namegroup1 bind_addr client_bindtrue port23000 connect_timeout30 network_timeout60 heart_beat_interval30 stat_report_interval60 ## 路径 base_path/data/app/fastdfs max_connections25600 buff_size 256KB accept_threads2 work_threads20 disk_rw_separated true disk_reader_threads 5 disk_writer_threads 5 sync_wait_msec50 sync_interval0 sync_start_time00:00 sync_end_time23:59 write_mark_file_freq500 store_path_count1 ## 路径 store_path0/data/app/fastdfs subdir_count_per_path256 ## 地址 tracker_server192.168.1.1:22122 log_levelinfo run_by_group run_by_user allow_hosts* file_distribute_path_mode0 file_distribute_rotate_count100 fsync_after_written_bytes0 sync_log_buff_interval10 sync_binlog_buff_interval10 sync_stat_file_interval300 thread_stack_size512KB upload_priority10 if_alias_prefix check_file_duplicate0 file_signature_methodhash key_namespaceFastDFS keep_alive0 use_access_log false rotate_access_log false access_log_rotate_time00:00 rotate_error_log false error_log_rotate_time00:00 rotate_access_log_size 0 rotate_error_log_size 0 log_file_keep_days 0 file_sync_skip_invalid_recordfalse use_connection_pool true connection_pool_max_idle_time 3600 http.domain_name http.server_port8888说明参数说明group_name存储组名称store_path0文件存储路径tracker_servertracker 地址十一、配置 Client编辑vim/etc/fdfs/client.conf配置connect_timeout30 network_timeout60 ## 路径 base_path/data/app/fastdfs ## 地址 tracker_server192.168.1.1:22122 log_levelinfo use_connection_pool true connection_pool_max_idle_time 3600 load_fdfs_parameters_from_trackerfalse use_storage_id false storage_ids_filename storage_ids.conf http.tracker_server_port80十二、启动 FastDFS启动 Tracker/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf启动 Storage/usr/bin/fdfs_storaged /etc/fdfs/storage.conf检查服务ps-ef|grepfdfsnetstat-nltp|grepfdfs十三、配置开机启动编辑/etc/rc.local添加#!/bin/bash/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf /usr/bin/fdfs_storaged /etc/fdfs/storage.conf赋予执行权限chmodx /etc/rc.d/rc.local十四、部署 Nginx解压源码cd/data/bag/fastdfstarxf V1.20.tar.gztarxf nginx-1.14.2.tar.gz十五、编译 Nginx FastDFS 模块编辑fastdfs-nginx-module-1.20的config只改这两行其他不变ngx_module_incs/usr/include/fastdfs /usr/include/fastcommon/ ··· CORE_INCS$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/进入 nginx 目录cdnginx-1.14.2编译./configure--prefix/data/app/nginx --add-module/data/bag/fastdfs/fastdfs-nginx-module-1.20/src安装makemakeinstall十六、配置 fastdfs-nginx-module复制配置cpfastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs/编辑vim/etc/fdfs/mod_fastdfs.conf配置#include http.conf connect_timeout2 network_timeout30 base_path/tmp load_fdfs_parameters_from_trackertrue storage_sync_file_max_delay 86400 use_storage_id false storage_ids_filename storage_ids.conf # 地址 tracker_server192.168.1.1:22122 storage_server_port23000 group_namegroup1 url_have_group_name true store_path_count1 # 路径 store_path0/data/app/fastdfs log_levelinfo log_filename response_modeproxy if_alias_prefix flv_support true flv_extension flv group_count 0复制 HTTP 配置文件cpfastdfs-5.11/conf/http.conf /etc/fdfs/cpfastdfs-5.11/conf/mime.types /etc/fdfs/十七、配置 Nginx编辑vim/data/app/nginx/conf/nginx.conf配置user root; worker_processes 1; error_log logs/error.log debug; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; log_format main $remote_addr - $remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $http_x_forwarded_for; access_log logs/access.log main; sendfile on; keepalive_timeout 65; server { listen 8888; access_log logs/host.access.log main; location ~/group([0-9])/M00 { alias /data/app/fastdfs/data; ngx_fastdfs_module; } error_page 500 502 503 504 /50x.html; location /50x.html { root html; } } }十八、启动 Nginx检测配置/data/app/nginx/sbin/nginx-t启动/data/app/nginx/sbin/nginx查看端口netstat-nltp|grep8888十九、使用 Supervisor 管理 Nginx安装yuminstall-yepel-release yuminstall-ysupervisor启动systemctlenablesupervisord--now配置/etc/supervisord.d/nginx.ini[program:nginx] command/data/app/nginx/sbin/nginx -g daemon off; directory/data/app/nginx autostarttrue autorestarttrue # 为true则stderr/stdout的日志会被写入stdout/stdout日志文件中 redirect_stderrtrue redirect_stdouttrue priority10 stdout_logfile/data/app/nginx/nginx.log stderr_logfile/data/app/nginx/nginx.log # 最大日志文件大小为 10MB stdout_logfile_maxbytes10MB # 保留 5 个备份文件 stdout_logfile_backups5 # 最大错误日志文件大小为 10MB stderr_logfile_maxbytes10MB # 保留 5 个备份错误日志文件 stderr_logfile_backups5加载配置supervisorctl update二十、测试文件上传/usr/bin/fdfs_upload_file /etc/fdfs/client.conf aaa.jpeg返回结果二十一、查看 FastDFS 状态fdfs_monitor /etc/fdfs/client.conf查看版本fdfs_monitor /etc/fdfs/client.conf|grepversion总结至此一个完整的FastDFS Nginx 文件服务器就部署完成了。整体架构如下Client │ ▼ Nginx │ ▼ FastDFS Storage │ ▼ 文件存储优点高性能支持海量文件可横向扩展适合图片/视频存储致此完毕下边是补充二十二、FastDFS 目录结构解析在上传文件之后我们会发现 Storage 的存储目录结构比较复杂例如/data/app/fastdfs/data/00/00/CgABk2Yxxx.jpg完整结构一般类似/data/app/fastdfs ├── data │ ├── 00 │ │ ├── 00 │ │ │ ├── CgABk2Yxxx.jpg │ │ │ ├── CgABk2Yxxx.meta │ │ │ └── ... │ ├── 00 │ ├── 01 │ └── ... ├── logs └── storage_stat.dat目录说明目录作用base_pathFastDFS 的运行目录data实际存储文件目录logs日志目录storage_stat.datStorage 状态信息sync集群同步信息为什么有 256 × 256 个目录FastDFS 默认会创建256 × 256 65536个子目录。例如data/00/00 data/00/01 data/01/00 data/01/01这样设计的原因避免单目录文件过多Linux 单目录文件过多会导致inode 查找慢ext4 性能下降因此 FastDFS 使用两级 hash 目录来分散文件。二十三、FastDFS 文件上传流程FastDFS 的上传流程如下Client │ │ 1. 上传请求 ▼ Tracker Server │ │ 2. 返回可用 Storage ▼ Storage Server │ │ 3. 写入磁盘 ▼ File Storage详细步骤① Client 请求 Tracker客户端首先向 Tracker 请求我要上传文件Tracker 会返回可用的 Storage 节点例如192.168.1.1:23000② Client 上传文件到 Storage客户端直接连接 Storageupload fileStorage 会生成文件名写入磁盘返回文件 ID例如group1/M00/00/00/CgABk2Yxxx.jpg③ Client 保存文件地址应用程序保存返回路径group1/M00/00/00/CgABk2Yxxx.jpg访问时通过http://nginx/group1/M00/00/00/CgABk2Yxxx.jpg二十四、生产环境最佳实践在生产环境部署 FastDFS 时建议遵循以下架构。1 Tracker 高可用Tracker 至少部署2 台Tracker1 Tracker2客户端配置tracker_server192.168.1.10:22122 tracker_server192.168.1.11:22122Tracker 本身是无状态的。因此不需要同步可以直接扩展2 Storage 多节点建议Storage1 Storage2 Storage3同一个 groupgroup1好处文件自动同步提高容灾能力3 存储磁盘独立建议系统盘 /data示例/dev/sda 系统盘 /dev/sdb FastDFS 存储盘Storage 配置store_path0/data/fastdfs这样可以避免系统盘被写满I/O 争抢4 Nginx 负载均衡架构Nginx / \ Storage1 Storage2Nginx upstreamupstream fastdfs { server 192.168.1.21:8888; server 192.168.1.22:8888; }5 日志和监控建议监控Tracker 进程Storage 进程磁盘容量文件同步状态可以结合ZabbixPrometheus二十五、FastDFS 常见坑90%的人会踩这里总结几个部署时最常见的问题。1 Nginx 无法访问文件现象404 Not Found原因mod_fastdfs.conf配置错误。重点检查store_path0 group_name url_have_group_name例如store_path0/data/app/fastdfs group_namegroup1 url_have_group_nametrue2 storage.conf 与 mod_fastdfs.conf 不一致这是最常见的问题。例如storage.confstore_path0/data/app/fastdfsmod_fastdfs.confstore_path0/data/fastdfs会导致Nginx 无法找到文件3 tracker 地址错误如果 tracker 配错tracker_server192.168.1.2会导致upload file failed检查telnet tracker_ip 221224 SELinux 或防火墙问题很多人会遇到Nginx访问失败建议关闭setenforce 0或关闭防火墙systemctl stop firewalld5 文件描述符不足FastDFS 高并发时容易报错too many open files解决ulimit -n 25600或者修改/etc/security/limits.conf6 Nginx 编译模块错误错误类似ngx_http_fastdfs_module.c: No such file原因模块路径错误。正确示例--add-module/data/bag/fastdfs/fastdfs-nginx-module-1.20/src7 Storage 没有注册到 Tracker查看状态fdfs_monitor /etc/fdfs/client.conf如果看到storage server count: 0说明 Storage 没注册成功。原因通常是tracker_server 配错结语FastDFS 是一个非常经典的分布式文件存储系统虽然现在很多公司开始使用MinIOCephOSS但 FastDFS 在很多企业内部仍然被广泛使用。如果是图片服务器文件服务器内部对象存储FastDFS 依然是一个稳定可靠的方案。