回复: 超大文件的云存储

77 views
Skip to first unread message

VolcanoAF

unread,
Feb 18, 2013, 4:32:04 AM2/18/13
to dev4server
CSDN主界面不是有人用C语言实现云文件存储吗? 


------------------ 原始邮件 ------------------
发件人: "周梦想"<ablo...@gmail.com>;
发送时间: 2013年2月18日(星期一) 下午4:04
收件人: "dev4server"<dev4s...@googlegroups.com>;
主题: Re: 超大文件的云存储

随机写和多人写的分块大文件系统,HDFS确实不适合。可能需要根据需要自己实现,不知业界是否有了相关产品。
致礼!
周海汉

在 2013年2月18日上午10:27,shiwei xu <xushi...@gmail.com>写道:
你要的是块存储,类似 Amazon EBS,可以看看 OpenStack 里面相关的存储。不过还不算成熟,可供参考。


在 2013年2月17日下午7:21,xi qihao <qih...@gmail.com>写道:
On Sun, Feb 17, 2013 at 03:04:35PM +0800, 周梦想 wrote:

>HDFS很适合大文件存储,不知是否符合您的需求。

HDFS随机写很差吧。 而且虚拟机跑起来有很多小文件的IO,与
namenode的通讯频繁,代价较高

--
--
高性能服务器研发与运营
http://groups.google.com/group/dev4server
---
您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 dev4server+...@googlegroups.com
要查看更多选项,请访问 https://groups.google.com/groups/opt_out





--
许式伟

--
--
高性能服务器研发与运营
http://groups.google.com/group/dev4server
---
您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 dev4server+...@googlegroups.com
要查看更多选项,请访问 https://groups.google.com/groups/opt_out。



--
--
高性能服务器研发与运营
http://groups.google.com/group/dev4server
---
您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 dev4server+...@googlegroups.com
要查看更多选项,请访问 https://groups.google.com/groups/opt_out。


Linker

unread,
Feb 18, 2013, 5:27:46 AM2/18/13
to dev4s...@googlegroups.com
Gridfs
Mongodb衍生物。性能不错!

在 13-2-18,VolcanoAF<5609...@qq.com> 写道:
> CSDN主界面不是有人用C语言实现云文件存储吗?
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "周梦想"<ablo...@gmail.com>;
> 发送时间: 2013年2月18日(星期一) 下午4:04
> 收件人: "dev4server"<dev4s...@googlegroups.com>;
>
> 主题: Re: 超大文件的云存储
>
>
>
> 随机写和多人写的分块大文件系统,HDFS确实不适合。可能需要根据需要自己实现,不知业界是否有了相关产品。致礼!
> 周海汉
>
> 在 2013年2月18日上午10:27,shiwei xu <xushi...@gmail.com>写道:
> 你要的是块存储,类似 Amazon EBS,可以看看 OpenStack 里面相关的存储。不过还不算成熟,可供参考。
>
>
> 在 2013年2月17日下午7:21,xi qihao <qih...@gmail.com>写道:
>
> On Sun, Feb 17, 2013 at 03:04:35PM +0800, 周梦想 wrote:
> >HDFS很适合大文件存储,不知是否符合您的需求。
>
> HDFS随机写很差吧。 而且虚拟机跑起来有很多小文件的IO,与
> namenode的通讯频繁,代价较高
>
> --
> --
> 高性能服务器研发与运营
> http://groups.google.com/group/dev4server
> ---
> 您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
> 要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 dev4server+...@googlegroups.com
> 要查看更多选项,请访问 https://groups.google.com/groups/opt_out
>
>
>
>
>
>
>
>
>
>
>
> --
> 许式伟http://www.qiniutek.com/
>
>
>
> --
> --
> 高性能服务器研发与运营
> http://groups.google.com/group/dev4server
> ---
> 您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
> 要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 dev4server+...@googlegroups.com
> 要查看更多选项,请访问 https://groups.google.com/groups/opt_out
>
>
>
>
>
>
>
>
>
> --
> --
> 高性能服务器研发与运营
> http://groups.google.com/group/dev4server
> ---
> 您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
> 要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 dev4server+...@googlegroups.com
> 要查看更多选项,请访问 https://groups.google.com/groups/opt_out
>
> --
> --
> 高性能服务器研发与运营
> http://groups.google.com/group/dev4server
> ---
> 您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
> 要退订此论坛并停止接收此论坛的电子邮件,请发送电子邮件到 dev4server+...@googlegroups.com
> 要查看更多选项,请访问 https://groups.google.com/groups/opt_out
>
>
>

--
从我的移动设备发送

*Regards,
Linker Lin
linker...@gmail.com*

Keyou Liu

unread,
Feb 18, 2013, 9:45:24 AM2/18/13
to dev4s...@googlegroups.com
ceph

iridium

unread,
Feb 25, 2013, 4:42:45 AM2/25/13
to dev4s...@googlegroups.com
�������QQ���䣬�鷳ʹ��֧���������ʼ��ͻ��ˣ�����



�������ˣ�
Best Regards,
Iridium
�� 2013/2/18 17:32, VolcanoAF �:
CSDN�����治��������C����ʵ�����ļ��洢��? 


------------------ ԭʼ�ʼ� ------------------
������: "������"<ablo...@gmail.com>;
����ʱ��: 2013��2��18��(����һ) ����4:04
�ռ���: "dev4server"<dev4s...@googlegroups.com>;
����: Re: �����ļ����ƴ洢

���д�Ͷ���д�ķֿ���ļ�ϵͳ��HDFSȷʵ���ʺϡ�������Ҫ�����Ҫ�Լ�ʵ�֣���֪ҵ���Ƿ�������ز�Ʒ��
����!
�ܺ���

�� 2013��2��18������10:27��shiwei xu <xushi...@gmail.com>д ����
��Ҫ���ǿ�洢������ Amazon EBS�����Կ��� OpenStack ������صĴ洢����������죬�ɹ��ο���


�� 2013��2��17������7:21��xi qihao <qih...@gmail.com>д ����
On Sun, Feb 17, 2013 at 03:04:35PM +0800, ������ wrote:

>HDFS���ʺϴ��ļ��洢����֪�Ƿ����������

HDFS���д�ܲ�ɡ� ����������������кܶ�С�ļ���IO����
namenode��ͨѶƵ������۽ϸ�

--
--
�����ܷ������з�����Ӫ
http://groups.google.com/group/dev4server
---
���յ����ʼ�����Ϊ������ Google ������̳�ġ������ܷ������з�����Ӫ�ʼ��б?��̳��
Ҫ�˶�����̳��ֹͣ���մ���̳�ĵ����ʼ����뷢�͵����ʼ��� dev4server+...@googlegroups.com��
Ҫ�鿴���ѡ������ https://groups.google.com/groups/opt_out��





--
��ʽΰ
--
--
�����ܷ������з�����Ӫ
http://groups.google.com/group/dev4server
---
���յ����ʼ�����Ϊ������ Google ������̳�ġ������ܷ������з�����Ӫ�ʼ��б?��̳��
Ҫ�˶�����̳��ֹͣ���մ���̳�ĵ����ʼ����뷢�͵����ʼ��� dev4server+...@googlegroups.com��
Ҫ�鿴���ѡ������ https://groups.google.com/groups /opt_out��



--
--
�����ܷ������з�����Ӫ
http://groups.google.com/group/dev4server
---
���յ����ʼ�����Ϊ������ Google ������̳�ġ������ܷ������з�����Ӫ�ʼ��б?��̳��
Ҫ�˶�����̳��ֹͣ���մ���̳�ĵ����ʼ����뷢�͵����ʼ��� dev4server+...@googlegroups.com��
Ҫ�鿴���ѡ������ https://groups.google.com /groups/opt_out��


--
--
�����ܷ������з�����Ӫ
http://groups.google.com/group/dev4server
---
���յ����ʼ�����Ϊ������ Google ������̳�ġ������ܷ������з�����Ӫ�ʼ��б?��̳��
Ҫ�˶�����̳��ֹͣ���մ���̳�ĵ����ʼ����뷢�͵����ʼ��� dev4server+...@googlegroups.com��
Ҫ�鿴���ѡ������ https://groups.google.com /groups/opt_out��
 
 

Reply all
Reply to author
Forward
0 new messages