分布式文件go-fastdfs初应用

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。

此文件系统搭建十分简单，并且性能极佳，相对于fastdfs，go-fastdfs部署运维十分简单，中小型公司使用完全足够。

以window系统下初体验go-fastdfs的使用。下载go-fastdfs的二进制文件后，打开conf/cfg.json配置文件，由于是初使用，所以暂时配置单机应用。主要配置addr端口号，host服务的地址，由于是单机配置，所以peers要和host一样，地址不能使用127.0.0.1，group分组，分组可以认为是web上下文基本路径，其他配置默认即可。返回应用主目录，启动fileserver.exe，界面显示Listen on :端口号代表go-fastdfs启动成功并服务中。在浏览器访问主页

编写网关控制器（如果内网使用，可以不用网关），用于客户端的上传，下载，删除文件等操作，以java的jboot微服务为例

//控制器访问路由路径

@RequestMapping("/file")

public class FileController extends JbootController {

//go-fastdfs的服务地址，形如:http://127.0.0.1:8181/yxjxc

final static String url = Config.getString("file.dfs.url") + "/" + Config.getString("file.dfs.group");

文件上传

public void upload() {

// 声明参数集合

HashMap<String, Object> paramMap = new HashMap<String, Object>();

// 要上传的文件

paramMap.put("file", getFile().getFile());

// 请求返回后以json格式输出

paramMap.put("output", "json");

// 以http协议post方式请求上传至go-fastdfs服务

String result = HttpUtil.post(url + "/upload", paramMap);

JSONObject joResult = JSONUtil.parseObj(result);

//获取上传成功后得到的文件md5码，文件唯一标识码

String md5 = joResult.containsKey("data") ? joResult.getJSONObject("data").getStr("md5") : joResult

.getStr("md5");

//再次读取保存文件的信息

String reqInfoUrl = url + "/get_file_info?md5=" + md5;

result = HttpUtil.post(reqInfoUrl, paramMap);

//得到文件信息的返回结果

joResult = JSONUtil.parseObj(result);

//保存文件信息到网关数据库中（保存数据库可根据自己方式写，以下是本网关自己本身写法）

MbasFilDef fileDef = new MbasFilDef();

fileDef.setFileId(md5);

fileDef.setFileGroup(Config.getString("file.dfs.group"));

fileDef.setFileName(joResult.getStr("name"));

fileDef.setFilePath(joResult.getStr("path"));

fileDef.setFileSize(joResult.getInt("size"));

fileDef.setFileStatus('N');

fileDef.setFileType('I');

BasSaveFileInfoIn fileIn = new BasSaveFileInfoIn();

fileIn.setFile(fileDef);

fileIn.setSaveAction("S");

ServiceOut so = ServiceBeanUtil.getBean(BasSaveFileInfoService.class).SaveFileInfo(fileIn);

//返回到客户端成功信息以及文件标识

renderJson(so);

}

}

删除文件

public void del() {

//获取客户端请求删除的文件唯一码

String md5 = getPara("md5");

if (StrUtil.isBlank(md5)) {

md5 = getPara("fileId");

}

//从文件服务器删除指定文件

String result = HttpUtil.post(url + "/delete?md5=" + md5, new HashMap<String, Object>());

JSONObject joResult = JSONUtil.parseObj(result);

boolean ok = false;

if (joResult.containsKey("status")) {

ok = StrUtil.equals("ok", joResult.getStr("status"));

} else {

ok = 0 == joResult.getInt("retcode");

}

//从数据库删除文件（简略）

ServiceOut so = new ServiceOut();

BasSaveFileInfoIn fileIn = new BasSaveFileInfoIn();

fileIn.setFile(fileDef);

fileIn.setSaveAction("D");

so = ServiceBeanUtil.getBean(BasSaveFileInfoService.class).SaveFileInfo(fileIn);

renderJson(so);

}

查看或下载文件

public void download() {

//客户端请求是文件id参数，文件md5唯一码

String md5 = getPara("md5");

if (StrUtil.isBlank(md5)) {

md5 = getPara("fileId");

}

//客户端需要的宽和高，针对图片文件显示或下载的缩放

int width = getInt("width", -1);

int height = getInt("height", -1);

//获取文件信息

String reqInfoUrl = url + "/get_file_info?md5=" + md5;

String result = HttpUtil.post(reqInfoUrl, "");

JSONObject joResult = JSONUtil.parseObj(result);

if (joResult.containsKey("status")) {

joResult = joResult.getJSONObject("data");

}

//得到文件在服务上的路径

String path = joResult.getStr("path");

path = path.substring(path.indexOf('/')) + "/" + joResult.getStr("name");

if (width >= 0) {

path += "?width=" + width;

}

//图片缩放

if (height >= 0) {

if (path.contains("?")) {

path += "&height=" + height;

} else {

path += "?height=" + height;

}

}

//执行文件下载，直接将文件写入返回流

HttpUtil.download(url + path, getResponse().getOutputStream(), true);

}

客户端，基于Extjs

用户选择文件调用对应控制器对文档或图片上传，效果图

生产负载或海量存储时，需要进一步架构部署，如线上业务尽量使用nginx+gofastdfs部署架构，使用物理服务器集群部署等。