Re: dev4server@googlegroups.com 的摘要 - “1 个主题”有 2 个帖子

[ppmsn]

我们的实现都是由一个接入点进行的，所有需要读的数据是由接入点来获取，再吐给用户端。在普通情况下 性能是有保证的，如果数据是非常热的情况下，我认为 需要加备份节点来提高性能，希望 虚拟节点稳定，不如提高系统的强壮性来得实际。如果你是希望许多客户端同时读取所有的数据的话，这相当于一个p2p的操作。客户端直接访问数据datanode ,带宽是提高非常多，但是带来了其他问题比如无法做压力控制，造成某些node的性能急剧下降。

在 2013年2月21日上午8:52， <dev4s...@googlegroups.com>写道：

  今日主题摘要

网上论坛: http://groups.google.com/group/dev4server/topics

• 超大文件的云存储 [2 条更新]

 超大文件的云存储

xi qihao <qih...@gmail.com> Feb 20 12:08PM +0800  

On Mon, Feb 18, 2013 at 10:23:07AM +0800, 北京龙宇网 wrote:
>如果是存取小文件的话，淘宝有一个TFS不错。
 
云存储的平台我们已经有了，自己实现的。
但是写的性能相对于虚拟机的需求来说，还是不够。
 
现在的情况是，平台已经确定的情况下，客户端访问平台，与多个datanode和
namenode通讯，要尽量提高性能。 在这里有一些优化的手段，比如异步IO隐藏
数据存取延时，与namenode尽量减小数据交换以及加速访问namenode。对于这些
优化的手段，有没有比较好的实现的框架，可以参考？
 
谢谢大家


 

xi qihao <qih...@gmail.com> Feb 20 03:19PM +0800  

On Mon, Feb 18, 2013 at 04:04:36PM +0800, 周梦想 wrote:
>随机写和多人写的分块大文件系统，HDFS确实不适合。可能需要根据需要自己实现，不知业界是否有了相关产品。
 
存储后端是我们自己实现的，参考HDFS，做了大量修改。
 


 

您收到此邮件是因为您订阅了 Google 网上论坛 dev4server。
您可以通过电子邮件发帖。
要取消订阅此网上论坛，请发送一封空邮件。
有关更多选项，请访问此网上论坛。

--
--
高性能服务器研发与运营
http://groups.google.com/group/dev4server
---
您收到此邮件是因为您订阅了 Google 网上论坛的“高性能服务器研发与运营邮件列表”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到 dev4server+...@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。
 
 

[xi qihao]

On Thu, Feb 21, 2013 at 09:29:13AM +0800, ppm>
>sn wrote:
>我们的实现都是由一个接入点进行的，所有需要读的数据是由接入点来获取，再吐给用户端。在普通情况下 性能是有保证的，如果数据是非常热的情况下，我认为
>需要加备份节点来提高性能，希望
>虚拟节点稳定，不如提高系统的强壮性来得实际。如果你是希望许多客户端同时读取所有的数据的话，这相当于一个p2p的操作。客户端直接访问数据datanode
>,带宽是提高非常多，但是带来了其他问题比如无法做压力控制，造成某些node的性能急剧下降。

这个接入点当作集群的入口点。那很容易成瓶颈。 我的场景是不同的客户端读取不同的数据。