超大文件的云存储

[xi qihao]

大家好，

现在有个需求把超大文件存储在云平台上，其实就是虚拟机的磁盘文件。最大可能上T。
虚拟机后端存储driver新增加一种协议。

考虑了一下肯定要分块，云平台是我们自己开发的。那么客户端这边可能同时和很多个
server通过网络打交道。对于这种需求有没有类似的设计方案或者项目可以参考下。
难点有哪些？

网上搜了一下，sheepdog的实现比较类似，他的后端是sheep集群，如果要自己实现，

[周梦想]

HDFS很适合大文件存储，不知是否符合您的需求。

--
--
高性能服务器研发与运营
 http://groups.google.com/group/dev4server
---
您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到 dev4server+...@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

[xi qihao]

On Sun, Feb 17, 2013 at 03:04:35PM +0800, 周梦想 wrote:
>HDFS很适合大文件存储，不知是否符合您的需求。

HDFS随机写很差吧。 而且虚拟机跑起来有很多小文件的IO，与
namenode的通讯频繁，代价较高

[北京龙宇网]

如果是存取小文件的话，淘宝有一个TFS不错。

[shiwei xu]

你要的是块存储，类似 Amazon EBS，可以看看 OpenStack 里面相关的存储。不过还不算成熟，可供参考。

在 2013年2月17日下午7:21，xi qihao <qih...@gmail.com>写道：

--
--
高性能服务器研发与运营
 http://groups.google.com/group/dev4server
---
您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到 dev4server+...@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

--
许式伟

http://www.qiniutek.com/

[周梦想]

随机写和多人写的分块大文件系统，HDFS确实不适合。可能需要根据需要自己实现，不知业界是否有了相关产品。

致礼!

周海汉

[xi qihao]

On Mon, Feb 18, 2013 at 10:23:07AM +0800, 北京龙宇网 wrote:
>如果是存取小文件的话，淘宝有一个TFS不错。
>
云存储的平台我们已经有了，自己实现的。
但是写的性能相对于虚拟机的需求来说，还是不够。

现在的情况是，平台已经确定的情况下，客户端访问平台，与多个datanode和
namenode通讯，要尽量提高性能。 在这里有一些优化的手段，比如异步IO隐藏
数据存取延时，与namenode尽量减小数据交换以及加速访问namenode。对于这些
优化的手段，有没有比较好的实现的框架，可以参考？

谢谢大家

[xi qihao]

On Mon, Feb 18, 2013 at 04:04:36PM +0800, 周梦想 wrote:
>随机写和多人写的分块大文件系统，HDFS确实不适合。可能需要根据需要自己实现，不知业界是否有了相关产品。

存储后端是我们自己实现的，参考HDFS，做了大量修改。

[Tom]

你们自己实现的分布式存储？没有基于hdfs吗？

发自我的 iPhone

[周梦想]

其实hadoop提供对其他fs的支持，不一定是hdfs。因此可以切换或实现其他的文件系统，如开源的GlusterFs。

致礼!

周海汉