本文共 9883 字,大约阅读时间需要 32 分钟。
本文转载于 ,根据该文档安装后整理如下
目录
本文是在学习淘淘商城项目时记录的。主要是参考了淘淘商城视频及《Java 程序员眼中的 Linux》
架构.png
文件上传流程.png
文件下载流程.png
clipboard.png
组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。
虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。 数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
clipboard2.png
可以使用一台虚拟机来模拟,只有一个Tracker、一个Storage服务。配置nginx访问图片。
安装依赖包:yum install -y libevent gcc make perl
进入安装路径:cd /usr/local 创建fastFDS文件夹:mkdir fastDFS 进入fastFDS文件夹:cd fastDFS 安装 libfastcommon-1.0.7.tar.gz 下载:wget 修改名字:mv V1.0.7 libfastcommon-1.0.7.tar.gz 解压:tar zxvf libfastcommon-1.0.7.tar.gz 进入解压后目录:cd libfastcommon-1.0.7/ 编译:./make.sh 安装:./make.sh install 设置几个软链接:ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so 设置几个软链接:ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so 设置几个软链接:ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so 设置几个软链接:ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so/usr/bin 存放有编译出来的文件/etc/fdfs 存放有配置文件
配置 tracker 服务 复制一份配置文件:cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf 编辑:vim /etc/fdfs/tracker.conf,编辑内容看下面中文注释 <pre> disabled=false bind_addr= port=22122 connect_timeout=30 network_timeout=60下面这个路径是保存 store data 和 log 的地方,需要改下,指向我们一个存在的目录
创建目录:mkdir -p /opt/fastdfs/tracker/data-and-log
base_path=/opt/fastdfs/tracker/data-and-log
max_connections=256 accept_threads=1 work_threads=4 store_lookup=2 store_group=group2 store_server=0 store_path=0 download_server=0 reserved_storage_space = 10% log_level=info run_by_group= run_by_user= allow_hosts=* sync_log_buff_interval = 10 check_active_interval = 120 thread_stack_size = 64KB storage_ip_changed_auto_adjust = true storage_sync_file_max_delay = 86400 storage_sync_file_max_time = 300 use_trunk_file = false slot_min_size = 256 slot_max_size = 16MB trunk_file_size = 64MB trunk_create_file_advance = false trunk_create_file_time_base = 02:00 trunk_create_file_interval = 86400 trunk_create_file_space_threshold = 20G trunk_init_check_occupying = false trunk_init_reload_from_binlog = false trunk_compress_binlog_min_interval = 0 use_storage_id = false storage_ids_filename = storage_ids.conf id_type_in_filename = ip store_slave_file_use_link = false rotate_error_log = false error_log_rotate_time=00:00 rotate_error_log_size = 0 log_file_keep_days = 0 use_connection_pool = false connection_pool_max_idle_time = 3600 http.server_port=8080 http.check_alive_interval=30 http.check_alive_type=tcp http.check_alive_uri=/status.html </pre>启动 tracker 服务:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
重启 tracker 服务:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart 查看是否有 tracker 进程:ps aux | grep tracker<pre>
disabled=false
group_name=group1 bind_addr= client_bind=true port=23000 connect_timeout=30 network_timeout=60 heart_beat_interval=30 stat_report_interval=60下面这个路径是保存 store data 和 log 的地方,需要改下,指向一个存在的目录
创建目录:mkdir -p /opt/fastdfs/storage/data-and-log
base_path=/home/fastdfs/storage/data-and-log
logbase_path=/opt/fastdfs/storage/data-and-logmax_connections=256
buff_size = 256KB accept_threads=1 work_threads=4 disk_rw_separated = true disk_reader_threads = 1 disk_writer_threads = 1 sync_wait_msec=50 sync_interval=0 sync_start_time=00:00 sync_end_time=23:59 write_mark_file_freq=500 store_path_count=1图片实际存放路径,如果有多个,这里可以有多行:
store_path0=/opt/fastdfs/storage/images-data0
store_path1=/opt/fastdfs/storage/images-data1
store_path2=/opt/fastdfs/storage/images-data2
创建目录:
mkdir -p /opt/fastdfs/storage/images-data0
mkdir -p /opt/fastdfs/storage/images-data1
mkdir -p /opt/fastdfs/storage/images-data2
mkdir -p /opt/fastdfs/storage/images-data
datastore_path0=/opt/fastdfs/storage/images-data
subdir_count_per_path=256
指定 tracker 服务器的 IP 和端口
tracker_server=192.168.1.114:22122
log_level=info run_by_group= run_by_user= allow_hosts=* file_distribute_path_mode=0 file_distribute_rotate_count=100 fsync_after_written_bytes=0 sync_log_buff_interval=10 sync_binlog_buff_interval=10 sync_stat_file_interval=300 thread_stack_size=512KB upload_priority=10 if_alias_prefix= check_file_duplicate=0 file_signature_method=hash key_namespace=FastDFS keep_alive=0 use_access_log = false rotate_access_log = false access_log_rotate_time=00:00 rotate_error_log = false error_log_rotate_time=00:00 rotate_access_log_size = 0 rotate_error_log_size = 0 log_file_keep_days = 0 file_sync_skip_invalid_record=false use_connection_pool = false connection_pool_max_idle_time = 3600 http.domain_name = http.server_port=8888</pre>
启动 storage 服务:/usr/bin/fdfs_storaged /etc/fdfs/storage.conf,首次启动会很慢,因为它在创建预设存储文件的目录
重启 storage 服务:/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart 查看是否有 storage 进程:ps aux | grep storage用自带的 client 进行测试
复制一份配置文件:cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf 编辑:vim /etc/fdfs/client.conf,编辑内容看下面中文注释<pre>
connect_timeout=30
network_timeout=60下面这个路径是保存 store log 的地方,需要改下,指向一个存在的目录
创建目录:mkdir -p /opt/fastdfs/client/data-and-log
base_path=/opt/fastdfs/client/data-and-log
指定 tracker 服务器的 IP 和端口
tracker_server=192.168.1.114:22122
log_level=info use_connection_pool = false connection_pool_max_idle_time = 3600 load_fdfs_parameters_from_tracker=false use_storage_id = false storage_ids_filename = storage_ids.conf http.tracker_server_port=80</pre>
从网上下载一张图片到 /opt下:
cd /opt
cd /opt wget 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1583752187858&di=6c35c74b6f8de5b2a6947bbc4a04f66a&imgtype=0&src=http%3A%2F%2Fa2.att.hudong.com%2F12%2F49%2F01300000350658124695490508712.jpg'
结果如下:
即使我们现在知道图片的访问地址我们也访问不了,因为我们还没装 FastDFS 的 Nginx 模块
<pre>
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
</pre>
改为如下:<pre>
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
</pre>
复制文件:cp /usr/local/fastDFS/fastdfs-5.05/conf/http.conf /etc/fdfs
复制文件:cp /usr/local/fastDFS/fastdfs-5.05/conf/mime.types /etc/fdfs安装 Nginx 依赖包:yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel
预设几个文件夹,方便等下安装的时候有些文件可以进行存放:mkdir -p /usr/local/nginx /var/log/nginx /var/temp/nginx /var/lock/nginx 解压 Nginx:tar zxvf /opt/setups/nginx-1.8.1.tar.gz 进入解压后目录:cd /opt/setups/nginx-1.8.1/ 编译配置:(注意最后一行)<pre>
./configure
--prefix=/usr/local/nginx --pid-path=/var/local/nginx/nginx.pid --lock-path=/var/lock/nginx/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --add-module=/opt/setups/FastDFS/fastdfs-nginx-module/src</pre>
编译:make
安装:make install 复制 Nginx 模块的配置文件:cp /opt/setups/FastDFS/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs 编辑 Nginx 模块的配置文件:vim /etc/fdfs/mod_fastdfs.conf,编辑内容看下面中文注释 如果在已经启动 Nginx 的情况下修改下面内容记得要重启 Nginx。<pre>
connect_timeout=2
network_timeout=30下面这个路径是保存 log 的地方,需要我们改下,指向我们一个存在的目录
创建目录:mkdir -p /opt/fastdfs/fastdfs-nginx-module/data-and-log
base_path=/opt/fastdfs/fastdfs-nginx-module/data-and-log
load_fdfs_parameters_from_tracker=true storage_sync_file_max_delay = 86400 use_storage_id = false storage_ids_filename = storage_ids.conf指定 tracker 服务器的 IP 和端口
tracker_server=192.168.1.114:22122
storage_server_port=23000 group_name=group1因为我们访问图片的地址是:
该地址前面是带有 /group1/M00,所以我们这里要使用 true,不然访问不到(原值是 false)
url_have_group_name = true
store_path_count=1
图片实际存放路径,如果有多个,这里可以有多行:
store_path0=/opt/fastdfs/storage/images-data0
store_path1=/opt/fastdfs/storage/images-data1
store_path2=/opt/fastdfs/storage/images-data2
store_path0=/opt/fastdfs/storage/images-data
log_level=info log_filename= response_mode=proxy if_alias_prefix= flv_support = true flv_extension = flv group_count = 0</pre>
编辑 Nginx 配置文件
<pre>
注意这一行行,特别加上了使用 root 用户去执行,不然有些日记目录没有权限访问
user root;
worker_processes 1;events {
worker_connections 1024; }http {
include mime.types; default_type application/octet-stream;sendfile on;
keepalive_timeout 65;server {
listen 80; # 访问本机 server_name 192.168.1.114; # 拦截包含 /group1/M00 请求,使用 fastdfs 这个 Nginx 模块进行转发 location /group1/M00 { ngx_fastdfs_module; } } }</pre>
启动 Nginx
停掉防火墙:service iptables stop 启动:/usr/local/nginx/sbin/nginx,启动完成 shell 是不会有输出的 访问:192.168.1.114,如果能看到:Welcome to nginx!,即可表示安装成功 检查 时候有 Nginx 进程:ps aux | grep nginx,正常是显示 3 个结果出来 刷新 Nginx 配置后重启:/usr/local/nginx/sbin/nginx -s reload