NFS写文件效率这么低？

[lijie]

我建了个NFS服务器，挂载了3个客户端在其它3台机器上，测试在其中一台客户端上进行，100M局域网。

测试写文件，测试文件包含大概10000个小文件，加起来20M左右，平均每个2kB。写文件效率非常低，大概每秒能写十几个文件，也就是差不多30多kB/s。

测试读取效率还是不错的，所有文件大概10s就能全部拷过来。

测试写大文件，效率还可以，一个20M的文件2s就拷完了。

想问一下这个速度是正常的吗？如果用GFS会不会有改善？或者有其它解决方案更适合小文件的共享存储？

[lee venture]

我写100M的文件10s内就copy完 100M 应该算正常速度了。

[Faris Xiao]

lijie 写道:
> 我建了个NFS服务器，挂载了3个客户端在其它3台机器上，测试在其中一台客户
> 端上进行，100M局域网。
>
> 测试写文件，测试文件包含大概10000个小文件，加起来20M左右，平均每个
> 2kB。写文件效率非常低，大概每秒能写十几个文件，也就是差不多30多 kB/s。
如果你写在本机上执行这样的操作，需要多长时间？

请问是什么类型的业务需要这么多的小文件读写？

[lijie]

在 06-9-2，lee venture<liwe...@gmail.com> 写道：
>
>
> > 我写100M的文件10s内就copy完 100M 应该算正常速度了。

单个大文件不慢，很多小文件就很慢。

[lijie]

在 06-9-2，Faris Xiao<atzl...@gmail.com> 写道：

>
> lijie 写道:
> > 我建了个NFS服务器，挂载了3个客户端在其它3台机器上，测试在其中一台客户
> > 端上进行，100M局域网。
> >
> > 测试写文件，测试文件包含大概10000个小文件，加起来20M左右，平均每个
> > 2kB。写文件效率非常低，大概每秒能写十几个文件，也就是差不多30多 kB/s。
> 如果你写在本机上执行这样的操作，需要多长时间？
>
> 请问是什么类型的业务需要这么多的小文件读写？

主要是多个服务器处理数据生成图表，压缩后就是这些小文件，再放到nfs上共享，高峰期1秒几百张图也不奇怪，现在这个效率远远达不到。

[lee venture]

文件系统换成ReiserFS试试看，ReiserFS处理小文件比ext2和ext3的效率都要高

在06-9-2，lijie <cpu...@gmail.com> 写道：

[lijie]

在 06-9-2，lee venture<liwe...@gmail.com> 写道：

> 文件系统换成ReiserFS试试看，ReiserFS处理小文件比ext2和ext3的效率都要高

好像是nfs太慢了，用reiserfs也一样，准备换成GFS看看。

[Yuri]

试试Samba,看是不是还这么慢,如果还这么慢说明你网络有问题.
我遇到过一次拓扑有问题的导致网络通讯巨慢.

[lijie]

除了nfs以外其它都很快。同样多的文件Samba用半分钟，nfs10分钟还没完，都是往共享的路径下写文件。Samba在写文件时很快，删文件比较慢。

2006/9/6, Yuri <Yuri....@gmail.com>:
> 试试Samba,看是不是还这么慢,如果还这么慢说明你网络有问题.
> 我遇到过一次拓扑有问题的导致网络通讯巨慢.
>

[Yuri]

把你的exports贴出来看看

在06-9-6，lijie <cpu...@gmail.com> 写道：

--
Yuri++ Posted...

[lijie]

2006/9/6, Yuri <yuri....@gmail.com>:
> 把你的exports贴出来看看

/home/nfs 192.168.0.*(rw,anonuid=1000,anongid=1000,all_squash)

[Yuri]

top看一下nfs的nice是多少

在06-9-6，lijie <cpu...@gmail.com> 写道：

2006/9/6, Yuri <yuri....@gmail.com>:
> 把你的exports贴出来看看

/home/nfs       192.168.0.*(rw,anonuid=1000,anongid=1000,all_squash)

--
Yuri++ Posted...

[lijie]

2006/9/6, Yuri <yuri....@gmail.com>:
> top看一下nfs的nice是多少

top显示信息的含义我一直没搞懂，下面是空闲时：

top - 14:53:33 up 23 min, 2 users, load average: 0.01, 0.21, 0.18
Tasks: 63 total, 2 running, 61 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0% us, 0.0% sy, 0.0% ni, 100.0% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 504616k total, 435496k used, 69120k free, 128836k buffers
Swap: 522072k total, 0k used, 522072k free, 196880k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 16 0 776 304 252 S 0.0 0.1 0:00.74 init
2 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/0
3 root 10 -5 0 0 0 S 0.0 0.0 0:00.01 events/0
4 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 khelper
5 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kthread
7 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kblockd/0
8 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 kacpid

下面是在客户机上往nfs共享路径下拷文件：

top - 14:55:41 up 25 min, 2 users, load average: 0.83, 0.40, 0.25
Tasks: 63 total, 3 running, 60 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.3% us, 3.3% sy, 0.0% ni, 10.3% id, 84.7% wa, 0.0% hi, 1.3% si
Mem: 504616k total, 446540k used, 58076k free, 130440k buffers
Swap: 522072k total, 0k used, 522072k free, 204824k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2380 root 15 0 0 0 0 D 2.0 0.0 0:04.67 nfsd
2379 root 15 0 0 0 0 S 1.3 0.0 0:04.63 nfsd
1 root 16 0 776 304 252 S 0.0 0.1 0:00.74 init

[Yuri]

我也看不出什么问题.

干脆改用Samba算了.

 

在06-9-6，lijie <cpu...@gmail.com> 写道：

--
Yuri++ Posted...

[rae]

直接启tcpserver和client测试一下，100M局域网可以到12.5MB/s的速度。

[1990 Self]

在nfs客户端使用mount命令看下nfs挂载参数里面有没有async这个参数，如果没有可以加上去试试。

在 2006年9月2日星期六 UTC+8上午10:16:35，lijie写道：

[albert zhang]

kernel版本多少？

1990 Self <self19...@gmail.com> 于2018年9月24日周一 下午4:23写道：

--
您收到此邮件是因为您订阅了Google网上论坛上的“Shenzhen (深圳) Linux Unix User Group”群组。
要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到szlug+un...@googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。