NFS写文件效率这么低?

446 views
Skip to first unread message

lijie

unread,
Sep 1, 2006, 10:16:35 PM9/1/06
to sz...@googlegroups.com
我建了个NFS服务器,挂载了3个客户端在其它3台机器上,测试在其中一台客户端上进行,100M局域网。

测试写文件,测试文件包含大概10000个小文件,加起来20M左右,平均每个2kB。写文件效率非常低,大概每秒能写十几个文件,也就是差不多30多kB/s。

测试读取效率还是不错的,所有文件大概10s就能全部拷过来。

测试写大文件,效率还可以,一个20M的文件2s就拷完了。


想问一下这个速度是正常的吗?如果用GFS会不会有改善?或者有其它解决方案更适合小文件的共享存储?

lee venture

unread,
Sep 2, 2006, 12:40:56 AM9/2/06
to sz...@googlegroups.com
我写100M的文件10s内就copy完 100M 应该算正常速度了。

Faris Xiao

unread,
Sep 2, 2006, 6:25:08 AM9/2/06
to sz...@googlegroups.com
lijie 写道:
> 我建了个NFS服务器,挂载了3个客户端在其它3台机器上,测试在其中一台客户
> 端上进行,100M局域网。
>
> 测试写文件,测试文件包含大概10000个小文件,加起来20M左右,平均每个
> 2kB。写文件效率非常低,大概每秒能写十几个文件,也就是差不多30多 kB/s。
如果你写在本机上执行这样的操作,需要多长时间?

请问是什么类型的业务需要这么多的小文件读写?

lijie

unread,
Sep 2, 2006, 9:06:45 AM9/2/06
to sz...@googlegroups.com
在 06-9-2,lee venture<liwe...@gmail.com> 写道:
>
>
> > 我写100M的文件10s内就copy完 100M 应该算正常速度了。

单个大文件不慢,很多小文件就很慢。

lijie

unread,
Sep 2, 2006, 9:10:48 AM9/2/06
to sz...@googlegroups.com
在 06-9-2,Faris Xiao<atzl...@gmail.com> 写道:

>
> lijie 写道:
> > 我建了个NFS服务器,挂载了3个客户端在其它3台机器上,测试在其中一台客户
> > 端上进行,100M局域网。
> >
> > 测试写文件,测试文件包含大概10000个小文件,加起来20M左右,平均每个
> > 2kB。写文件效率非常低,大概每秒能写十几个文件,也就是差不多30多 kB/s。
> 如果你写在本机上执行这样的操作,需要多长时间?
>
> 请问是什么类型的业务需要这么多的小文件读写?

主要是多个服务器处理数据生成图表,压缩后就是这些小文件,再放到nfs上共享,高峰期1秒几百张图也不奇怪,现在这个效率远远达不到。

lee venture

unread,
Sep 2, 2006, 10:16:49 AM9/2/06
to sz...@googlegroups.com
文件系统换成ReiserFS试试看,ReiserFS处理小文件比ext2和ext3的效率都要高

在06-9-2,lijie <cpu...@gmail.com> 写道:

lijie

unread,
Sep 2, 2006, 11:36:58 PM9/2/06
to sz...@googlegroups.com
在 06-9-2,lee venture<liwe...@gmail.com> 写道:
> 文件系统换成ReiserFS试试看,ReiserFS处理小文件比ext2和ext3的效率都要高

好像是nfs太慢了,用reiserfs也一样,准备换成GFS看看。

Yuri

unread,
Sep 6, 2006, 1:08:16 AM9/6/06
to 深圳 Linux Unix 用户组
试试Samba,看是不是还这么慢,如果还这么慢说明你网络有问题.
我遇到过一次拓扑有问题的导致网络通讯巨慢.

lijie

unread,
Sep 6, 2006, 1:56:02 AM9/6/06
to sz...@googlegroups.com
除了nfs以外其它都很快。同样多的文件Samba用半分钟,nfs10分钟还没完,都是往共享的路径下写文件。Samba在写文件时很快,删文件比较慢。

2006/9/6, Yuri <Yuri....@gmail.com>:
> 试试Samba,看是不是还这么慢,如果还这么慢说明你网络有问题.
> 我遇到过一次拓扑有问题的导致网络通讯巨慢.
>

Yuri

unread,
Sep 6, 2006, 2:09:16 AM9/6/06
to sz...@googlegroups.com
把你的exports贴出来看看

在06-9-6,lijie <cpu...@gmail.com> 写道:



--
Yuri++ Posted...

lijie

unread,
Sep 6, 2006, 2:35:01 AM9/6/06
to sz...@googlegroups.com
2006/9/6, Yuri <yuri....@gmail.com>:
> 把你的exports贴出来看看

/home/nfs 192.168.0.*(rw,anonuid=1000,anongid=1000,all_squash)

Yuri

unread,
Sep 6, 2006, 2:40:20 AM9/6/06
to sz...@googlegroups.com
top看一下nfs的nice是多少

在06-9-6,lijie <cpu...@gmail.com> 写道:
2006/9/6, Yuri <yuri....@gmail.com>:
> 把你的exports贴出来看看

/home/nfs       192.168.0.*(rw,anonuid=1000,anongid=1000,all_squash)



--
Yuri++ Posted...

lijie

unread,
Sep 6, 2006, 2:57:21 AM9/6/06
to sz...@googlegroups.com
2006/9/6, Yuri <yuri....@gmail.com>:
> top看一下nfs的nice是多少

top显示信息的含义我一直没搞懂,下面是空闲时:

top - 14:53:33 up 23 min, 2 users, load average: 0.01, 0.21, 0.18
Tasks: 63 total, 2 running, 61 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0% us, 0.0% sy, 0.0% ni, 100.0% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 504616k total, 435496k used, 69120k free, 128836k buffers
Swap: 522072k total, 0k used, 522072k free, 196880k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 16 0 776 304 252 S 0.0 0.1 0:00.74 init
2 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/0
3 root 10 -5 0 0 0 S 0.0 0.0 0:00.01 events/0
4 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 khelper
5 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kthread
7 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kblockd/0
8 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 kacpid

下面是在客户机上往nfs共享路径下拷文件:

top - 14:55:41 up 25 min, 2 users, load average: 0.83, 0.40, 0.25
Tasks: 63 total, 3 running, 60 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.3% us, 3.3% sy, 0.0% ni, 10.3% id, 84.7% wa, 0.0% hi, 1.3% si
Mem: 504616k total, 446540k used, 58076k free, 130440k buffers
Swap: 522072k total, 0k used, 522072k free, 204824k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2380 root 15 0 0 0 0 D 2.0 0.0 0:04.67 nfsd
2379 root 15 0 0 0 0 S 1.3 0.0 0:04.63 nfsd
1 root 16 0 776 304 252 S 0.0 0.1 0:00.74 init

Yuri

unread,
Sep 6, 2006, 3:05:23 AM9/6/06
to sz...@googlegroups.com
我也看不出什么问题.
干脆改用Samba算了.

 
在06-9-6,lijie <cpu...@gmail.com> 写道:



--
Yuri++ Posted...

rae

unread,
Sep 16, 2006, 8:35:42 AM9/16/06
to 深圳 Linux Unix 用户组
直接启tcpserver和client测试一下,100M局域网可以到12.5MB/s的速度。

1990 Self

unread,
Sep 24, 2018, 4:23:50 AM9/24/18
to Shenzhen (深圳) Linux Unix User Group
在nfs客户端使用mount命令看下nfs挂载参数里面有没有async这个参数,如果没有可以加上去试试。

在 2006年9月2日星期六 UTC+8上午10:16:35,lijie写道:

albert zhang

unread,
Sep 24, 2018, 5:48:02 AM9/24/18
to szlug
kernel版本多少?

1990 Self <self19...@gmail.com> 于2018年9月24日周一 下午4:23写道:
--
您收到此邮件是因为您订阅了Google网上论坛上的“Shenzhen (深圳) Linux Unix User Group”群组。
要退订此群组并停止接收此群组的电子邮件,请发送电子邮件到szlug+un...@googlegroups.com
要查看更多选项,请访问https://groups.google.com/d/optout
Reply all
Reply to author
Forward
0 new messages