关于MFS
官网地址:https://moosefs.com/
官网的介绍:
MooseFS is a Fault-tolerant, Highly available, Highly performing, Scaling-out, Network distributed file system. It spreads data over several physical commodity servers, which are visible to the user as one virtual disk. It is POSIX compliant and acts like any other Unix-like file system supporting:
- Hierarchical structure: Files and Folders,
- File attributes,
- Special files: Pipes, Sockets, Block and Character devices,
- Symbolic and Hard links,
- Security attributes and ACLs.
It works with all applications that require a standard file system.
CSDN有博客介绍:
MooseFS是一个分布式存储的框架,它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。其具有如下特性:
- Free(GPL)
- 通用文件系统,不需要修改上层应用就可以使用
- 可以在线扩容,体系架构可伸缩性极强。
- 部署简单。
- 高可用,可设置任意的文件冗余程度
- 可回收在指定时间内删除的文件
- 提供netapp,emc,ibm等商业存储的snapshot特性。
- google filesystem的一个c实现。
- 提供web gui监控接口。
- 提高随机读或写的效率。
- 提高海量小文件的读写效率。
MooseFS工作原理和设计架构:
管理服务器 Manager server(master) | 负责各个数据存储服务器的管理,文件读写调度,文件空间回收及恢复,多节点拷贝 |
---|---|
元数据日志服务器 Metalogger server(metalogger) | 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作 |
数据存储服务器 Data servers(chunkservers) | 负责联系管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输 |
客户机挂载使用 Client computers | 通过fuse内核接口挂接远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地unix文件系统使用一样的效果 |
安装过程
安装过程中,将master、chunkserver与client装在一台,metalogger装在另一台
接下来图片展示过程:
官网有安装过程:https://moosefs.com/download/#current
基础安装,每台机器都需安装
跟着官网文档走,先下载文件系统:
然后将这句写到/etc/apt/source.list.d/moosefs.list里面,然后更新
master安装:
安装好之后etc会出现mfs文件夹,进去可以看到很多文件
修改mfsexport.cfg如下:
然后修改host如下:
然后启动,下图中可以看到各个板块的端口号
使用指令netstat -ntpl | grep mfs
查看与master的连接
启动之后在浏览器里面就可以使用IP:192.168.213.140:9245
看master
安装metalogger:
修改mfsmetalooger.cfg:
注意:如果安装在不同的机器,一定要配置/etc/hosts同上
安装chunkserver
先安装: apt install moosefs-chunkserver
继续修改mfschunkserver.cfg
修改mfshdd.cfg文件,mfshdd.cfg定义了chunkserver的数据存放目录,将目录设置为/data/mfs/ (前提是这个目录已经存在,因此需要手动创建此目录)
注意:如果安装在不同的机器,一定要配置/etc/hosts同上
安装客户端client
先安装:
修改mfsmount.cfg
然后启动:
然后进行客户端挂载:
然后可以在网站看:
首页
server:
disk:
参考链接:搭建:https://www.cnblogs.com/manger/p/7212110.html
https://www.linuxidc.com/Linux/2015-09/122621.htm
官网:https://moosefs.com/download/#current
常见问题:https://www.linuxidc.com/Linux/2013-06/85752.htm