一.简介fastdfs
1.什么是fastdfs
- fastdfs是一个轻量级的开源分布式文件系统;
- fastdfs主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡;
- fastdfs实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份,节约磁盘空间;
- fastdfs只能通过Client API访问,不支持POSIX访问方式;
- fastdfs特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)。
2.fastdfs框架图
作者(YuQing)给出了框架图如下:
其中:
Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storage server的枢纽。
Storage Server:存储服务器,文件和meta data都保存到存储服务器上
group:组,也可称为卷。同组内服务器上的文件是完全相同的文件标识:包括两部分:组名和文件名(包含路径)
meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768
3.上传文件流程
(1)client询问tracker上传到的storage,不需要附加参数;
(2)tracker返回一台可用的storage;
(3)client直接和storage通讯完成文件上传。
4.下载文件流程
(1)client询问tracker下载文件的storage,参数为文件标识(组名和文件名);
(2)tracker返回一台可用的storage;
(3)client直接和storage通讯完成文件下载。
5.同步机制
(1)同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;
(2)文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;
(3)源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;
(4)上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。
6.tracker server目录结构
(1)data
storage_groups.dat:存储分组信息
storage_servers.dat:存储服务器列表
(2)logs
trackerd.log:tracker server日志文件
7.storage server目录结构
1)data
.data_init_flag:当前storage server初始化信息
storage_stat.dat:当前storage server统计信息
sync:存放数据同步相关文件
binlog.index:当前的binlog文件索引号
binlog.###:存放更新操作记录(日志)
${ip_addr}_${port}.mark:存放同步的完成情况
(2)logs
storaged.log:storage server日志文件
以上理论参考:
ChinaUnix论坛:http://bbs.chinaunix.net/forum-240-1.html
github下载地址:https://github.com/happyfish100
二、fastdfs安装和测试
1.下载
需要下载:libfastcommon fastdfs(2.0之前的版本需要以来libevent)
2.安装
(1)安装libfastcommon
$ tar xzvf libfastcommon-1.0.38.tar.gz $ cd libfastcommon-1.0.38 $ ./make.sh $ sudo ./make.sh install
(2)安装fastdfs
$ tar xzvf fastdfs-5.11.tar.gz $ cd fastdfs-5.11 $ ./make.sh $ sudo ./make.sh install
3.配置
集群搭建拓扑图(由于硬盘不够了,下面192.168.31.4和192.168.31.14现在还没有,扩容后加上)
(1)配置tracker(192.168.31.95/192.168.31.99)
$cd /etc/fdfs/
目录文件如下:
然后,执行如下:
$sudo su #cp tracker.conf.sample tracker.conf
配置tracker.conf文件:
vim tracker.conf
修改:base_path=/home/fastdfs/tracker (注意:在启动前必须存在此目录,否则会报错,找不到路径,也就是说需要手动新建tracker目录)
启动:
/etc/init.d/fdfs_trackerd start
(2)配置storage(192.168.31.2/192.168.31.12)
$ cd /etc/fdfs $sudo su #cp storage.conf.sample storage.conf
修改:
group_name=group1(192.168.31.2) 或者group2(192.168.31.12)
base_path=/home/fastdfs/storage
store_path0=/home/fastdfs/storage
修改:tracker服务ip与port:
tracker_server=192.168.31.95:22122 (注意:这里31.2 tracker_server配置31.95 ,31.12 tracker_server配置31.99)
启动:
/etc/init.d/fdfs_storaged start
查看fastdfs的相应配置信息
# fdfs_monitor /etc/fdfs/storage.conf
有以下信息才算成功:
测试上传, 选择192.168.31.99 tracker机器当做fdfs_client
$ cd /etc/fdfs $ sudo su # cp client.conf.sample client.conf # vim client.conf
修改:
base_path = /home/fastdfs
tracker_server=192.168.31.99:22122
测试上传net.png文件:
fdfs_upload_file /etc/fdfs/client.conf net.png
三、nginx配置
需要安装:
fastdfs-nginx-module-1.20 类似插件的东西
nginx-1.14.2.tar.gz
安装nginx需要先安装:
openssl zlib pcre
把astdfs-nginx-module插入到nginx(需要对nginx进行configure和make&&make install)
./configure --add-module=../../fastdfs-nginx-module/src/
会报错:需要修改fastdfs-nginx-module-1.20/src/config文件
ngx_addon_name=ngx_http_fastdfs_module if test -n "${ngx_module_link}"; then ngx_module_type=HTTP ngx_module_name=$ngx_addon_name ngx_module_incs="/usr/local/include" ngx_module_libs="-lfastcommon -lfdfsclient" ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c" ngx_module_deps= CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'" . auto/module else HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module" NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c" CORE_INCS="$CORE_INCS /usr/local/include" CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient" CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'" fi
修改为:
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
ngx_addon_name=ngx_http_fastdfs_module if test -n "${ngx_module_link}"; then ngx_module_type=HTTP ngx_module_name=$ngx_addon_name ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/" ngx_module_libs="-lfastcommon -lfdfsclient" ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c" ngx_module_deps= CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'" . auto/module else HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module" NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c" CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient" CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'" fi
然后重新configure 和make && make install
接下来,cp mod_fastdfs.conf /etc/fdfs/ 并修改mod_fastdfs.conf文件
$ cd fastdfs-nginx-module-1.20/src $ cp mod_fastdfs.conf /etc/fdfs/
修改mod_fastdfs.conf
tracker_server=192.168.31.99:22122 store_path0=/home/fastdfs/storage group_name=group1 [group1] group_name=group1 storage_server_port=23000 store_path_count=1 store_path0=/home/fastdfs/storage [group2] group_name=group2 storage_server_port=23000 store_path_count=1 store_path0=/home/fastdfs/storage
将fastdfs-5.11/conf/
$ cp http.conf /etc/fdfs/ $ cp mime.types /etc/fdfs/
修改:http.conf
http.anti_steal.token_check_fail=/home/fastdfs/fastdfs-5.11/conf/
修改nginx.conf
cd /usr/local/nginx/sbin vim ../conf/nginx.conf
8888端口号与/etc/fdfs/storage.conf中的http.server_port=8888相对应
上传一张图片
http://192.168.31.12:8888/group1/M00/00/00/wKgfDFzxVTyAM4suABWWvfB6x_k962.png
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]