请问有没有什么比较好的断点续传上传方案?

86 views
Skip to first unread message

ghosTM55

unread,
May 18, 2012, 8:25:58 PM5/18/12
to shlug
有将近10个G的文件要上传到服务器,但是网络情况不是很好,有的时候断了就要重来了
请问scp默认是断点续传的么?如果不是,有没有别的比较好的方案?
谢谢

--
Thomas
Shanghai Linux User Group
GitCafe - Share a cup of open source

http://ghosTunix.org
Twitter: @ghosTM55

Gao Ya'nan

unread,
May 18, 2012, 8:27:44 PM5/18/12
to sh...@googlegroups.com
2012/5/19 ghosTM55 <ghost...@gmail.com>:

> 有将近10个G的文件要上传到服务器,但是网络情况不是很好,有的时候断了就要重来了
> 请问scp默认是断点续传的么?如果不是,有没有别的比较好的方案?

rsync + ssh

liyaoshi

unread,
May 18, 2012, 8:32:41 PM5/18/12
to sh...@googlegroups.com
torrent

Liang Guo

unread,
May 18, 2012, 8:35:34 PM5/18/12
to sh...@googlegroups.com
2012/5/19 ghosTM55 <ghost...@gmail.com>:

> 有将近10个G的文件要上传到服务器,但是网络情况不是很好,有的时候断了就要重来了
> 请问scp默认是断点续传的么?如果不是,有没有别的比较好的方案?
> 谢谢
>
自己电脑做成ftp server,然后在server上用支持断点续传的客户端下载


--
Liang Guo
http://bluestone.cublog.cn

ghosTM55

unread,
May 18, 2012, 8:36:38 PM5/18/12
to sh...@googlegroups.com
2012/5/19 Liang Guo <bluesto...@gmail.com>:
> 自己电脑做成ftp server,然后在server上用支持断点续传的客户端下载

那太麻烦了,我还得设置端口转发,我先看看rsync吧,谢谢各位

liyaoshi

unread,
May 18, 2012, 8:39:31 PM5/18/12
to sh...@googlegroups.com
端口转发好像比设置rsync更快吧

ghosTM55

unread,
May 18, 2012, 8:41:43 PM5/18/12
to sh...@googlegroups.com
2012/5/19 liyaoshi <liya...@gmail.com>:
> 端口转发好像比设置rsync更快吧

rsync我没有搞过,好像加几个参数就好了? 我网上看到一些人是这么做的,还没有来得及去看man
rsync我用得不多,我去看看吧

MildC

unread,
May 19, 2012, 2:33:18 PM5/19/12
to sh...@googlegroups.com

dropbox最简单了

小马xiaoma

unread,
May 19, 2012, 7:35:23 PM5/19/12
to sh...@googlegroups.com
用文件切割器,切成10000个文件,然后上传,上传完成后在服务端合并。

da chen

unread,
May 19, 2012, 7:39:04 PM5/19/12
to sh...@googlegroups.com

10000份……切的太小会影响速度的……

在 2012-5-20 上午7:35,"小马xiaoma" <cnxi...@gmail.com>编写:

用文件切割器,切成10000个文件,然后上传,上传完成后在服务端合并。

在 2012年5月20日 上午2:33,MildC <mi...@shlug.org>写道:


>
> dropbox最简单了
>
> 在 2012-5-18 下午5:26,"ghosTM55" <ghost...@gmail.com>写道:
>>

>> 有将近10个G的文件要上传到服务器...


Gao Ya'nan

unread,
May 19, 2012, 8:55:22 PM5/19/12
to sh...@googlegroups.com
2012/5/19 liyaoshi <liya...@gmail.com>:
> 端口转发好像比设置rsync更快吧

rsync + ssh 的优势在于:

0、基本无需其他附加软件
1、增量式的传递数据
2、ssh 加密,安全
3、传递过程中可以压缩,以两端 cpu 来节省带宽。

Jeova Sanctus Unus

unread,
May 19, 2012, 9:50:30 PM5/19/12
to sh...@googlegroups.com
xz压缩下,然后lftp通过sftp传过去

Shell Xu

unread,
May 20, 2012, 3:03:36 AM5/20/12
to sh...@googlegroups.com

ssh反向端口转发+http

from miui

Jianlei Zhang

unread,
May 20, 2012, 3:13:27 AM5/20/12
to sh...@googlegroups.com
众多方案中,rsync+1
--
此致

张建雷 敬上

Jeova Sanctus Unus

unread,
May 20, 2012, 3:23:49 AM5/20/12
to sh...@googlegroups.com
数据压缩加密,然后,开http.限制ip,服务器端多线程下载.

Linux network

unread,
May 24, 2012, 11:51:22 PM5/24/12
to sh...@googlegroups.com
我觉得SFTP传输的时候走SSH隧道,有压缩效果吧?不知道有多大。。

Meteor

unread,
May 25, 2012, 1:00:13 AM5/25/12
to sh...@googlegroups.com
是的.
其实SFTP是走SSH的FTP....
现在SSH最新的协议是SSH 2吧.
至少OpenSSH支持到SSH 2.0

OpenSSH is a 100% complete SSH protocol version 1.3, 1.5 and 2.0
implementation and includes sftp client and server support.

https://secure.wikimedia.org/wikipedia/zh/wiki/SFTP
http://www.openssh.org/

在 2012年5月25日星期五UTC+8上午11时51分22秒,chinawrj写道:

源泉星火(张明源)

unread,
May 25, 2012, 1:59:49 AM5/25/12
to sh...@googlegroups.com
大文件小文件?多少个文件?
不清楚的情况下支持rsync
--
明源
http://www.Linuxzh.org
Twitter: @muxueqz

Yiling Cao

unread,
May 25, 2012, 2:17:49 AM5/25/12
to sh...@googlegroups.com
u盘寄到美国去

2012/5/25 源泉星火(张明源) <zhangmin...@gmail.com>

Xunzhen Quan

unread,
May 25, 2012, 2:39:10 AM5/25/12
to sh...@googlegroups.com
丢包的话重传代价相当大啊 =。=

2012/5/25 Yiling Cao <yilin...@gmail.com>

Long Bai

unread,
May 28, 2012, 1:04:07 AM5/28/12
to sh...@googlegroups.com
http range put

Lerry

unread,
May 28, 2012, 2:35:17 AM5/28/12
to sh...@googlegroups.com
wget -c 就可以断点续传了

--
yours,Lerry
--------------------------------------
Linuxer&Pythoner lerry.org

Qf Yang

unread,
May 28, 2012, 3:43:07 AM5/28/12
to sh...@googlegroups.com
很多ftp客户端是支持断点续传的,但要设置 重传时自动续传。

不过文件过大,续传也是不方便的,可以考虑分割再传。
split -b [大文件的文件名]
传到服务器上后,再
cat 文件片1 文件片2 文件片3 .... > 合并后文件名

ghosTM55

unread,
May 28, 2012, 4:04:09 AM5/28/12
to sh...@googlegroups.com
2012/5/28 Qf Yang <fen...@gmail.com>:

> 很多ftp客户端是支持断点续传的,但要设置 重传时自动续传。
>
> 不过文件过大,续传也是不方便的,可以考虑分割再传。
> split -b [大文件的文件名]
> 传到服务器上后,再
> cat 文件片1 文件片2 文件片3 .... > 合并后文件名

谢谢各位的帮助了,我已经解决了 :)

Wizard

unread,
May 28, 2012, 4:14:38 AM5/28/12
to sh...@googlegroups.com
在 2012年5月28日 下午4:04,ghosTM55 <ghost...@gmail.com> 写道:
> 2012/5/28 Qf Yang <fen...@gmail.com>:
>> 很多ftp客户端是支持断点续传的,但要设置 重传时自动续传。
>>
>> 不过文件过大,续传也是不方便的,可以考虑分割再传。
>> split -b [大文件的文件名]
>> 传到服务器上后,再
>> cat 文件片1 文件片2 文件片3 .... > 合并后文件名
>
> 谢谢各位的帮助了,我已经解决了 :)
>
你最后用的是啥?

> --
> Thomas
> Shanghai Linux User Group
> GitCafe - Share a cup of open source
>
> http://ghosTunix.org
> Twitter: @ghosTM55

--
Wizard

liyaoshi

unread,
May 28, 2012, 4:34:01 AM5/28/12
to sh...@googlegroups.com
唐僧师徒一行经历九九八十一难终于见到了如来佛求取真经. 如来问:“你们带U盘了么” 唐僧师徒。。。。 如来又问: “移动硬盘呢” 。。。。。
如来继续问:“IPOD也可以哇” 悟空挖起耳朵来 如来叹了口气:“那你们就原路回去 吧,我用QQ传给你们
唐僧:靠,早知道加你QQ就完了,老子还走么远干嘛. 四人将要走的时候,佛祖忽然问道:你们带
PSP了吗四人回答:没带。佛祖惊讶:那多无聊呀,你们怎么过来的 四人相互看看说:我们一路打怪升级过来的

Qf Yang

unread,
May 28, 2012, 4:39:23 AM5/28/12
to sh...@googlegroups.com
同求解

在 2012年5月28日 下午4:14,Wizard <wizard...@gmail.com>写道:
Reply all
Reply to author
Forward
0 new messages