赞清风， 新浪的开源项目 Memcachedb
Jiahua Huang
2008-1-10 08:45 | by 协议：New BSD License
作者：stvchu, gary.caokai, forever.sky81
团队：新浪互动社区事业部──博客产品
网址：http://code.google.com/p/memcachedb/
Memcachedb = memcache + Berkeley DB
Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。
前端：memcached的网络层
后端：Berkeley DB存储
写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
• 支持的memcache命令
get, set, add, replace
incr, decr
delete
stats
flush_all
• 私有命令
db_checkpoint, db_archive
db_ismaster, db_whoismaster (for replication)
编译及安装方法：
http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx
beck917
清风
2008/1/18 Jiahua Huang <jhuang...@gmail.com>:
>
> 转贴: http://blog.s135.com/read.php?320
>
>
> [ 2008-1-10 08:45 | by 张宴 ]
憨狗
memcache用的比较多，没有持久化，还是在内存中，
看了memcachedb的介绍，比较侧重于持久化，不知道可不可以再做些介绍？
以bdb作为后端，看起来似乎是个数据库呢？
2008/1/18 Jiahua Huang <jhuang...@gmail.com>:
>
> 转贴: http://blog.s135.com/read.php?320
>
>
> [ 2008-1-10 08:45 | by 张宴 ]
--
关注LAMP平台、安全、及web开发的个人blog: http://hackgou.itbbq.com
PGP KeyID: hackgou#Gmail.com
PGP KeyServ: subkeys.pgp.net
Jiahua Huang
2008/1/18 清风 <paradise...@gmail.com>:
> 别赞我阿。。。。。这不是我开发的。。。。是我们公司blog的同事开发的，stvchu应该也经常在列表活动，跟大家讲讲阿:)
>
huahua@huahua:memcachedb-0.1.0$ bzr diff
=== modified file 'Makefile'
--- Makefile 2008-01-18 03:07:09 +0000
+++ Makefile 2008-01-18 03:13:08 +0000
@@ -2,11 +2,11 @@
# $Id: Makefile 11833 2007-09-06 10:56:02Z steve $
LIBS=-ldb -levent
-DBLIBPATH=/usr/local/BerkeleyDB.4.6/lib
-DBINCPATH=/usr/local/BerkeleyDB.4.6/include
+DBLIBPATH=/usr/lib
+DBINCPATH=/usr/include
-LDFLAGS= -L/usr/local/lib/ -L${DBLIBPATH}
-CFLAGS =-Wall -O2 -I/usr/local/include -I${DBINCPATH}
+LDFLAGS= -L/usr/lib/ -L${DBLIBPATH}
+CFLAGS =-Wall -O2 -I/usr/include -I${DBINCPATH}
all:
cc -o memcachedb memcachedb.c ${LDFLAGS} ${CFLAGS} ${LIBS}
=== modified file 'memcachedb.h'
--- memcachedb.h 2008-01-18 03:07:09 +0000
+++ memcachedb.h 2008-01-18 03:10:06 +0000
@@ -60,8 +60,8 @@
extern struct stats stats;
extern struct settings settings;
-#define END_LEN 32
-#define END_LEN_STR "31"
+#define END_LEN 1024000
+#define END_LEN_STR "32"
typedef struct _stritem {
int nbytes; /* size of data */
EricSheng
ncache 是水洋和几个人,另外几个人我不太认识.
非常看好memcachedb的复制功能,可以把memcache做一个集群来使.
> 2008/1/18 清风 <paradise.qingf...@gmail.com>:
Jiahua Huang
Qiangning Hong
> Memcachedb
>
> 协议：New BSD License
> 作者：stvchu, gary.caokai, forever.sky81
> 团队：新浪互动社区事业部──博客产品
> 网址：http://code.google.com/p/memcachedb/
>
> Memcachedb = memcache + Berkeley DB
原来是国人开发的啊，太好了。前一段时间在memcache邮件列表看见的时候就很感兴趣，现在沟通更方便了 :)
我有一个问题，当服务器列表发生变化时（比如新增或者去除一台服务器），客户端对某个特定的key选择的server会发生变化，这时如何保证还能访问到之前存储的数据？memcache由于是cache，所以无所谓，miss了再去数据库select出来，但memachedb本身就是数据库啊？
--
Qiangning Hong
http://www.douban.com/people/hongqn/
Brightman
1、作测试的机器配置？
2. memcachedb 使用cache没有？
3. 为什么选择berkeley DB 而不是mysql 或者自己做一个字典 或者？
Jiahua Huang 写道:
> 转贴: http://blog.s135.com/read.php?320
>
>
> [不指定 2008-1-10 08:45 | by 张宴
> <http://blog.s135.com/view.php?go=user_2> ]
> *Memcachedb*
>
> 协议：New BSD License
> <http://www.opensource.org/licenses/bsd-license.php>
> 作者：stvchu, gary.caokai, forever.sky81
> 团队：新浪互动社区事业部──博客产品
> 网址：http://code.google.com/p/memcachedb/
>
> Memcachedb = memcache + Berkeley DB
>
> Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有
> memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储
> 的。
> 前端：memcached的网络层
> 后端：Berkeley DB存储
>
> 写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16
> 字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
> 读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条
> 16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
>
> • 支持的memcache命令
> get, set, add, replace
> incr, decr
> delete
> stats
> flush_all
>
> • 私有命令
> db_checkpoint, db_archive
> db_ismaster, db_whoismaster (for replication)
>
> 编译及安装方法：
> http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx
>
> 点击在新窗口中浏览此图片
> <http://blog.s135.com/attachment/200801/memcachedb.jpg>
>
> >
Daniel Lv
Mingxi Wu
分两头说，一方面sina能把一些成果开源，这个思路是要赞的，
但是，同时，我看到了不少浮躁。
下载了源码，略微看了一下：一个不到2000行的小工具。
难不成是我下错了？ http://memcachedb.googlecode.com/files/memcachedb-0.1.0.tar.gz
看了大家的评论，Memcachedb是一款实用的工具，但是我始终很难把这么一个小工具与 http://blog.csdn.net/simonlsy/archive/2008/01/06/2027321.aspx
提到的"新浪互动社区技术团队2007年的一项重大的技术成果"联系起来。
再看一下ncache，
PPT里宣传的是很好，性能比SQUID高了N倍。问题是ncache是基于nginx的，那么，ncache到底比nginx有多少改进呢？我稍微比较了ncache 1.2 http://ncache.googlecode.com/files/ncache-1.2.tar.gz
和nginx 0.5.35 http://sysoev.ru/nginx/nginx-0.5.35.tar.gz 的代码。
我看到的是：代码绝大部分是相同，ncache的改动不会超过3000行，而nginx有接近90000行的规模。
Eric Sheng
Eric Sheng
Jiahua Huang
或者，以前没看过 memcache 和 bsddb ？
2008/1/19 Eric Sheng <sheng...@gmail.com>:
> memcached 有一个很大的问题,就是万一倒掉,所有cache必须重要生成.
> 如果cache的数据量很大,那memcached重启后把后台数据库压倒是轻而易举的事情.
>
Eric Sheng
Jiahua Huang
memcache 是个分布式内存缓冲系统，
标准的 memcache 客户端是简单将键值推到按算法选定的 memcached 服务器，
memcached 并不做任何复制和同步，一个键值只会在一个 memcached 服务器上。
标准的 memcached 只将键值保存在内存了，
新浪的 memcachedb 是将后端改为 bsddb 磁盘哈希
2008/1/19 Eric Sheng <sheng...@gmail.com>:
> 说实话我没读过源代码. 以上言论仅是我对这两个东西的理解.
> 我的理解不一定正确!仅作参考!
>
Eric Sheng
memcache 跟 memcachedb 是两个东西，
--
==========================================================
QQ：14163398
MSN：webm...@dpspace.com
GTalk： sheng...@gmail.com
Mail：sheng...@gmail.com
UCD知识体系：http://www.sinabeta.com/wiki/
开源UCD设计工具： http://www.sinabeta.com/wiki/index.php/UCDPower
==========================================================
Jiahua Huang
Eric Sheng
Jiahua Huang
多了磁盘 io
2008/1/19 Eric Sheng <sheng...@gmail.com>:
> 性能没啥问题，新浪自已就在用。
>
>
stvchu
consistent hash, dht或者用master存metadata，这在你构建memcachedb集群的时候需要考虑。
On Jan 18, 1:09 pm, "Qiangning Hong" <hon...@gmail.com> wrote:
> 2008/1/18 Jiahua Huang <jhuangjia...@gmail.com>:
> > Memcachedb
>
> > 协议：New BSD License
> > 作者：stvchu, gary.caokai, forever.sky81
> > 团队：新浪互动社区事业部──博客产品
> > 网址：http://code.google.com/p/memcachedb/
>
stvchu
> 问一下：
> 1、作测试的机器配置？
Dell 2850
> 2.memcachedb使用cache没有？
BerkeleyDB自己的Mem Pool
> 3. 为什么选择berkeley DB 而不是mysql 或者自己做一个字典 或者？
> Jiahua Huang 写道:
>
> > 转贴:http://blog.s135.com/read.php?320
>
> > [不指定 2008-1-10 08:45 | by 张宴
> > <http://blog.s135.com/view.php?go=user_2> ]
> > *Memcachedb*
>
> > 协议：New BSD License
> > <http://www.opensource.org/licenses/bsd-license.php>
> > 作者：stvchu, gary.caokai, forever.sky81
> > 团队：新浪互动社区事业部──博客产品
> > 网址：http://code.google.com/p/memcachedb/
>
> > Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有
> > memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储
> > 的。
> > 前端：memcached的网络层
> > 后端：Berkeley DB存储
>
> > 写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16
> > 字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
> > 读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条
> > 16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
>
> > incr, decr
> > delete
> > stats
> > flush_all
>
Jiahua Huang
2008/1/22 stvchu <stv...@gmail.com>:
> memcachedb 和 memcached一样，作为一个架构组件而存在，保持 KISS原 则，数据的 partition 通过应用层来做，你可以用
> consistent hash, dht 或者用 master 存 metadata，这在你构建 memcachedb 集群的时候需要考虑。
Jiahua Huang
2008/1/22 stvchu <stv...@gmail.com>:
stvchu
On Jan 18, 1:53 pm, "Daniel Lv" <lgn2...@gmail.com> wrote:
> 外行问一句：如果memcachedb足够灵活强大，还有必要后端数据库么？
Memcachedb适合于高并发，读写要求高，但数据结构单一的数据。
MySQL有自己的优势（关系型）。应用场景不一样。
>
> 2008/1/18 Brightman <mr.bright...@gmail.com>:
> > 问一下：
> > 1、作测试的机器配置？
> > 2. memcachedb 使用cache没有？
> > 3. 为什么选择berkeley DB 而不是mysql 或者自己做一个字典 或者？
>
> > Jiahua Huang 写道:
> > > 转贴:http://blog.s135.com/read.php?320
>
> > > [不指定 2008-1-10 08:45 | by 张宴
> > > <http://blog.s135.com/view.php?go=user_2> ]
> > > *Memcachedb*
>
> > > 协议：New BSD License
> > > <http://www.opensource.org/licenses/bsd-license.php>
> > > 作者：stvchu, gary.caokai, forever.sky81
> > > 团队：新浪互动社区事业部──博客产品
> > > 网址：http://code.google.com/p/memcachedb/
>
> > > Memcachedb = memcache + Berkeley DB
>
> > > Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有
> > > memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储
> > > 的。
> > > 前端：memcached的网络层
> > > 后端：Berkeley DB存储
>
> > > 写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16
> > > 字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
> > > 读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条
> > > 16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。
>
> > > incr, decr
> > > delete
> > > stats
> > > flush_all
>
stvchu
On Jan 19, 7:08 pm, "Mingxi Wu" <fengsh...@gmail.com> wrote:
> 看了楼上这么多褒奖，我来泼点冷水。
>
> 分两头说，一方面sina能把一些成果开源，这个思路是要赞的，
> 但是，同时，我看到了不少浮躁。
>
> 下载了源码，略微看了一下：一个不到2000行的小工具。
> 难不成是我下错了？ http://memcachedb.googlecode.com/files/memcachedb-0.1.0.tar.gz
stvchu
Jiahua Huang
但是 memcached 重启后所有 cache 必须重新生成, 有可能压垮 数据库,
所以可能想用 memcachedb 直接代替 memcached 做缓存,
但是原先以来 memcached 过期的程序就会不动了
2008/1/22 stvchu <stv...@gmail.com>:
> memcachedb是做存储用的，为什么要有过期时间呢？
>
stvchu
memcachedb）里面讨论，为了方便和国外用户沟通和分享问题，建议大家都用英文，如果想用中文，那么就直接给我发邮件吧：）
Mingxi Wu
Albert Lee
不错不错