VPS下载数据到本地的快速方法

[机械唯物主义 : linjunhalida]

请教一下各位，

有什么办法可以多线程下载linux vps上面的文件？
用vps下载东西快，但是拉回本地好慢，用rsync，scp速度都不行，不知道是什么原因。

谢谢！

--

Coder, Gamer, Reader.

[Zoom.Quiet]

一般都是 tar | scp | tar 这个思路
另外,如果是大量小文件,建议使用类似 7牛的 CDN ,通过专用工具,同步到国内的IDC,
然后你就可以直接使用了

> --
> -- You received this message because you are subscribed to the Google Groups Shanghai Linux User Group group. To post to this group, send email to sh...@googlegroups.com. To unsubscribe from this group, send email to shlug+un...@googlegroups.com. For more options, visit this group at https://groups.google.com/d/forum/shlug?hl=zh-CN
> ---
> 您收到此邮件是因为您订阅了 Google 网上论坛的“Shanghai Linux User Group”论坛。
> 要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+un...@googlegroups.com。
> 要查看更多选项，请访问 https://groups.google.com/d/optout。



--
人生苦短, Pythonic! 冗余不做,日子甭过!备份不做,十恶不赦!
KM keep growing environment culture which promoting organization be learnning!
俺: http://zoomquiet.io
许: http://creativecommons.org/licenses/by-sa/2.5/cn/

[Rivsen]

我是开http，然后用axel开多线程往回拖，完了删掉服务端的～

[机械唯物主义 : linjunhalida]

我原先的策略是用dropbox中转，不过速度也不是很快。。好像说可以用百度网盘？

> 您收到此邮件是因为您订阅了Google网上论坛中的“Shanghai Linux User Group”论坛。

>
> 要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+un...@googlegroups.com。
> 要查看更多选项，请访问https://groups.google.com/d/optout。

--

Coder, Gamer, Reader.

[DaboD]

國外的 vps? Incremental backup 可以試試 obfs-proxy + ssh + rsync, 這樣 ssh 就不會被限速了.

[Shell Xu]

rsync和scp的底层一般都是ssh协议吧。这种协议在大量透过数据的时候会被认为是翻墙而附加上一个非常大的丢包。所以我一般都是开nginx，本地用迅雷（如果是我自己就用wget）。如果这样还是不行，你就调整一下tcp窗口和拥塞算法。再不行只有换VPS了。

--

Coder, Gamer, Reader.

--
-- You received this message because you are subscribed to the Google Groups Shanghai Linux User Group group. To post to this group, send email to sh...@googlegroups.com. To unsubscribe from this group, send email to shlug+un...@googlegroups.com. For more options, visit this group at https://groups.google.com/d/forum/shlug?hl=zh-CN
---
您收到此邮件是因为您订阅了 Google 网上论坛的“Shanghai Linux User Group”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+un...@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/d/optout。

--

彼節者有間，而刀刃者無厚；以無厚入有間，恢恢乎其於游刃必有餘地矣。
blog: http://shell909090.org/blog/

twitter: @shell909090
about.me: http://about.me/shell909090

[DaboD]

嗯, 所以才配合 obfs-proxy, 傳輸速度可上 MBps, 單純使用 ssh 時速度確實慘不忍睹.

On Monday, August 11, 2014 8:28:29 PM UTC+8, shell909090 wrote:

rsync和scp的底层一般都是ssh协议吧。这种协议在大量透过数据的时候会被认为是翻墙而附加上一个非常大的丢包。所以我一般都是开nginx，本地用迅雷（如果是我自己就用wget）。如果这样还是不行，你就调整一下tcp窗口和拥塞算法。再不行只有换VPS了。

在 2014年8月11日 下午7:55，机械唯物主义 : linjunhalida <linjun...@gmail.com>写道：

请教一下各位，

有什么办法可以多线程下载linux vps上面的文件？
用vps下载东西快，但是拉回本地好慢，用rsync，scp速度都不行，不知道是什么原因。

谢谢！

--

Coder, Gamer, Reader.

--
-- You received this message because you are subscribed to the Google Groups Shanghai Linux User Group group. To post to this group, send email to sh...@googlegroups.com. To unsubscribe from this group, send email to shlug+un...@googlegroups.com. For more options, visit this group at https://groups.google.com/d/forum/shlug?hl=zh-CN
---
您收到此邮件是因为您订阅了 Google 网上论坛的“Shanghai Linux User Group”论坛。

要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+unsubscribe@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/d/optout。

[DaboD]

http 的 solution 如果不會被牆的話確實簡單, ssh 則是靈活用途多.

我試過一邊執行 nc -l 1234 >/dev/null, 另一邊 nc ip:1234 </dev/urandom, 速度還不錯.

另一個實驗是, 發送端執行 nc ip:1234 <xxx.tar.bz2 這種也會被限速.

On Monday, August 11, 2014 8:28:29 PM UTC+8, shell909090 wrote:

rsync和scp的底层一般都是ssh协议吧。这种协议在大量透过数据的时候会被认为是翻墙而附加上一个非常大的丢包。所以我一般都是开nginx，本地用迅雷（如果是我自己就用wget）。如果这样还是不行，你就调整一下tcp窗口和拥塞算法。再不行只有换VPS了。

在 2014年8月11日 下午7:55，机械唯物主义 : linjunhalida <linjun...@gmail.com>写道：

请教一下各位，

有什么办法可以多线程下载linux vps上面的文件？
用vps下载东西快，但是拉回本地好慢，用rsync，scp速度都不行，不知道是什么原因。

谢谢！

--

Coder, Gamer, Reader.

--
-- You received this message because you are subscribed to the Google Groups Shanghai Linux User Group group. To post to this group, send email to sh...@googlegroups.com. To unsubscribe from this group, send email to shlug+un...@googlegroups.com. For more options, visit this group at https://groups.google.com/d/forum/shlug?hl=zh-CN
---
您收到此邮件是因为您订阅了 Google 网上论坛的“Shanghai Linux User Group”论坛。

要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+unsubscribe@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/d/optout。

[Shell Xu]

http因为协议透明，反而不容易有事。

您收到此邮件是因为您订阅了Google网上论坛中的“Shanghai Linux User Group”论坛。

要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+un...@googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。

[DaboD]

原來如此, 學習了 ;)

http因为协议透明，反而不容易有事。

要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+unsubscribe@googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。

[Haowu Ge]

开http，PGP加密后迅雷下。。。。

--
Regards.
By: Haowu Ge; PGP:B7C9977A
WWW: https://www.7axu.com/

要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+un...@googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。

[Yang Fan]

我是先用国外的VPS下好，然后用scp -c arcfour（这个参数对提速很明显）或nginx http往回拖，如果还是慢，就再用上海某机房的一台机器中转，有时候效果很明显，再从该机房拖回本地。

--

Regards,

Fan Yang

[Rongxing Liu]

使用lftp通过sftp模式多线程下载，我一般开10个就能跑满家里的带宽了。

[Shell Xu]

这个前提是ssl在你的vps上没有被ban。有些vpn的https也被ban了。

不过只要vps供应商不坑爹，基本https还是没事的。

[依云]

On Mon, Aug 11, 2014 at 08:27:45PM +0800, Shell Xu wrote:
> rsync和scp的底层一般都是ssh协议吧。这种协议在大量透过数据的时候会被认为是翻墙而附加上一个非常大的丢包。所以我一般都是开nginx，本地用迅雷（如果是我自己就用wget）。如果这样还是不行，你就调整一下tcp窗口和拥塞算法。再不行只有换VPS了。

临时性 HTTP 下载的话，webfsd 好用 :-)

--
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
--
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

[DaboD]

嗯, 我做了幾個實驗, 例如這個

http://pkg.sabayon.org/standard/sabayon-weekly/database/amd64/5/packages.db.light.bz2

直接用 wget, chrome 下載只有 10 多 k, 但如果走通道的話可以單一 thread 1MBps 以上的速度下載. 這個檔只是 Sabayon Linux 的 package database 而已, sabayon.org 也是官網, 被這麼限速真的很奇怪...

On Monday, August 11, 2014 10:31:32 PM UTC+8, shell909090 wrote:

http因为协议透明，反而不容易有事。

要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+unsubscribe@googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。

[Shell Xu]

下到你自己的vps再下回来试试。

from nexus 4

要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到shlug+un...@googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。