[issue327] 建立 OpenWrt 源镜像

[Zeming YU issues.tuna]

New submission from Zeming YU <yuze...@gmail.com>:

谁建一下Openwrt的源镜像，总共不到1G。

----------
category: request
department: mirrors
messages: 2601
nosy: tuna-mirrors, yzm
priority: normal
status: unread
title: 建立 OpenWrt 源镜像

__________________________________________________
TUNA Roundup Issue Tracker <issue...@gmail.com>
<http://issues.tuna.tsinghua.edu.cn/issue327>
__________________________________________________

[王康]

这个我正想建呢，不过今天downloads.openwrt.org服务器崩溃了，改天等都恢复了再建

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

貌似 downloads.openwrt.org 服务器恢复了？

[sca...@gmail.com]

目录里是空的

--
Sent from my blackberry device.


-- original message --
thu-opensourc...@googlegroups.com @10-04 2012 20:53

[Alick ZHAO issues.tuna]

Alick ZHAO <alic...@gmail.com> added the comment:

ping scateu

----------
assignedto: -> scateu
nosy: +scateu

[惠轶群]

应该是已经完全恢复了 但是用什么办法建这个mirror呢 openwrt貌似没有支持rsync 如果用wget -m的话效率貌似很差

2012/11/3 Alick ZHAO issues.tuna <issue...@gmail.com>

[cosli china]

我们当初是wget过来的，有一月左右时间没有更新了，而且下过来的有135G，你可以看看

 rsync --list-only rsync://mirrors6.cugb.edu.cn

[Qijiang Fan]

lftpfs + rsync

在 2012年11月9日 下午9:03，cosli china <china...@gmail.com> 写道：
>>>
>> 我们当初是wget过来的，有一月左右时间没有更新了，而且下过来的有135G，你可以看看
>
> rsync --list-only rsync://mirrors6.cugb.edu.cn

--
喵～～

[Qijiang Fan]

好像lftp就够了。。

--
喵～～

[Alick ZHAO issues.tuna]

Alick ZHAO <alic...@gmail.com> added the comment:

哦，那么可能得 yet another sync.xxx script 了。

希望有人做 issue323。

[Qijiang Fan]

openwrt真要做？按照地质大学的数据，135G唉。。

2012/11/9 Alick ZHAO issues.tuna <issue...@gmail.com>:

--
喵～～

[惠轶群]

应该差不多 我当时做了trunk的所有架构的mirror 貌似是10G还是20G 如果保留所有版本的话 应该要100多G 而且wget效率比较低 中国有一个mirror http://downloads.openwrt.org.cn/ 它也是用wget拖下来的 不过不知道多久更新一次 而且版本好像不全

2012/11/9 Qijiang Fan <fqj...@gmail.com>

[Qijiang Fan]

反正都得用http协议托了
用lftp托也行，lftp会判断文件的修改情况，并且可以删除服务器上删除的文件。不知道wget怎么实现删除。

--
喵～～

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

貌似 fqj 童鞋已经把一部分 release 的 bin 同步过来了，但是貌似这部分没多少用……

[Qijiang Fan issues.tuna]

Qijiang Fan <fqj...@gmail.com> added the comment:

慢得一逼啊。。20+ KB/s

xbd有好办法吗

----------
nosy: +heroxbd

[XU Benda issues.tuna]

XU Benda <her...@gmail.com> added the comment:

"Qijiang Fan issues.tuna" <issue...@gmail.com> writes:

https://forum.openwrt.org/viewtopic.php?id=36457

自己做 build machine?

[Wentao Han issues.tuna]

Wentao Han <wenta...@gmail.com> added the comment:

我写了个脚本统计了一下，http://downloads.openwrt.org/ 一共是825,785个文件，302,923,516,055字节
（303GB）。

[Zeming YU issues.tuna]

Zeming YU <yuze...@gmail.com> added the comment:

开？

[Cheer Xiao issues.tuna]

Cheer Xiao <xiaq...@gmail.com> added the comment:

@hanwentao @yzm

欢迎两位正式参与镜像站建设。:) @alick 把镜像维护文档更新了
(http://wiki.tuna.tsinghua.edu.cn/MirrorMaintenance)，请阅读。

我和 @huiyiqun 以前试过用 wget -m 镜像 OpenWrt，结果跑一次的时间很长，应该是往返
HTTP 次数太多造成的。这样很容易造成镜像不完整，这是镜像 OpenWrt 需要解决的问题。

此外，目前的镜像脚本结构比较糟糕，鉴于镜像 OpenWrt 要写新脚本，如果可以把脚本结
构改善一下是更好了。参阅 http://pad.tuna.tsinghua.edu.cn/p/better-mirror-scripts

[Zeming YU issues.tuna]

Zeming YU <yuze...@gmail.com> added the comment:

收到，明天早起去看看。

[Alick ZHAO issues.tuna]

Alick ZHAO <alic...@gmail.com> added the comment:

之前在 mirror-nas aka ftp4 上同步过？注意 mirror-nas 存储已经不多了：
3.7T 3.4T 254G 94% /srv

[Wentao Han issues.tuna]

Wentao Han <wenta...@gmail.com> added the comment:

目前来看要镜像整个openwrt有点不太现实，我建议可以先镜像snapshot目录，大家觉得呢？

[Zeming YU issues.tuna]

Zeming YU <yuze...@gmail.com> added the comment:

先能用再说。

[XU Benda issues.tuna]

XU Benda <her...@gmail.com> added the comment:

没事，都镜像了不才 303G 嘛

[XU Benda issues.tuna]

XU Benda <her...@gmail.com> added the comment:

跟 openwrt 官方联系做镜像的事了吗，可以请求他们给开 rsync

[Wentao Han issues.tuna]

Wentao Han <wenta...@gmail.com> added the comment:

@heroxbd: 我在openwrt的官方论坛上发帖问了，还没人回我。

学校连openwrt很慢，只有1x kB/s，我家里能到5xx kB/s，我先在家做个镜像，大概要一周左右的时间，回头
人肉拷到学校去。

[Wentao Han issues.tuna]

Wentao Han <wenta...@gmail.com> added the comment:

更新一下状态

----------
assignedto: scateu -> hanwentao
nosy: +hanwentao
status: chatting -> in-progress

[Qijiang Fan issues.tuna]

Qijiang Fan <fqj...@gmail.com> added the comment:

学校确实很慢，在solar搬之前。我在上面跑了一周，就没多少动静。

[Qijiang Fan issues.tuna]

Qijiang Fan <fqj...@gmail.com> added the comment:

try this
$ lftp http://downloads.openwrt.org/
mirror -c -e -P 5

[Qijiang Fan issues.tuna]

Qijiang Fan <fqj...@gmail.com> added the comment:

aron提供其他线路来做这个
assign to aron

----------
assignedto: hanwentao -> aron
nosy: +aron

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

已经开始初始同步，从电信线路连 downloads.openwrt.org，从 CERNET2 IPv6 连 solar，
速度不是特别稳定，2~6MB/s的样子。还没有设置cron job，第一次同步完了再说吧。

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

WorkLog: https://wiki.tuna.tsinghua.edu.cn/WorkLog/2013-01-21

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

发现直接用sshfs很不靠谱，目前通过 manifold 连到 solar 同步，暂时还是在用 sshfs，
正在考虑用无加密的协议减少开销。

[Wentao Han]

现在啥进度？一次完整的镜像做完了吗？

2013/1/22 Aron Xu issues.tuna <issue...@gmail.com>

--

Wentao Han ❘ 韩文弢

PhD Student

Department of Computer Science and Technology, Tsinghua University

http://pacman.cs.tsinghua.edu.cn/~hanwentao/

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

木有啊，20号晚上跑了一宿发现sshfs直接连很不靠谱，昨天配置VPN之后到现在跑了一天，
已经同步 122G。

[Wentao Han]

这速度比我快多了，我放弃了……

2013/1/22 Aron Xu issues.tuna <issue...@gmail.com>

[Alick ZHAO issues.tuna]

Alick ZHAO <alic...@gmail.com> added the comment:

@hanwentao，你可以负责它的日常维护 :)

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

@hanwentao 还是希望你来维护，同时我也没有很多精力来经常看它……

[Wentao Han]

好的，没问题。等第一次同步完了之后咱俩交接一下吧

2013/1/23 Aron Xu issues.tuna <issue...@gmail.com>

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

初始同步昨天就完成了，我正在再做一次同步来看有没有问题。看上去 snapshot 经常更
新，而且量比较大，建议考虑下以后如何处理。

[Wentao Han]

好的，看一下第二次同步的增量吧。

2013/1/25 Aron Xu issues.tuna <issue...@gmail.com>

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

Total: 1010 directories, 827203 files, 0 symlinks

New: 2432 files, 0 symlinks
Modified: 63107 files, 0 symlinks
14128748600 bytes transferred in 150770 seconds (91.5K/s)
Removed: 0 directories, 2276 files, 0 symlinks
185 errors detected

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

更新的基本上都是 snapshot 目录下的，统计信息如上条 msg2883 所写。

[Wentao Han]

更新的过程要两天时间？

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

从我这里更新一次需要10个小时左右，不包括有release版本出现时。

[XU Benda issues.tuna]

XU Benda <her...@gmail.com> added the comment:

把 snapshot exclude 掉怎么样？

反正用 snapshot 的人都会自己编镜像。

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

我觉得 snapshot 同步下来无妨，但是同步频率要低一些，比如每周一次这种……

@hanwentao，你能否尝试写写同步脚本来试着满足目前的需求？

[Wentao Han]

嗯，我觉得降低频率比较合适，毕竟snapshot还是挺有用的。我31号有个deadline，之后来搞这个事情。

2013/1/26 Aron Xu issues.tuna <issue...@gmail.com>

--

[Aron Xu issues.tuna]

Aron Xu <happya...@gmail.com> added the comment:

等solar迁移完了谁跟我联系接手啊。。。

[XU Benda issues.tuna]

XU Benda <her...@gmail.com> added the comment:

友情提示，这件事不必等 solar 迁移完了，可以直接在 mirror-nas 上。

[Shan Yafeng]

我觉得没必要做所有所有目录所有体系的镜像

做ar71xx snapshot  http://downloads.openwrt.org/snapshots/trunk/ar71xx/

以及 http://downloads.openwrt.org/attitude_adjustment/  中各版本的ar71xx系列

最多再加源代码 http://downloads.openwrt.org/sources/ 就行了

没必要所有都来，其他的处理器我到现在都还没接触到过

2013/4/9 XU Benda issues.tuna <issue...@gmail.com>

--
您收到此邮件是因为您订阅了 Google 网上论坛的“THU Opensource Mirror Admin”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到 thu-opensource-mirr...@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

[Justin Wong]

怒拔 Flag ！

http://mirrors.tuna.tsinghua.edu.cn/tunasync/log/openwrt/latest

 

 

--

Justin Wong

 

[ShanYafeng]

赞！！！

难道是http一个个抓的？

---

From: i...@bigeagle.me
To: thu-opensourc...@googlegroups.com
Subject: Re: [THU Mirror:2959] [issue327] 建立 OpenWrt 源镜 像
Date: Sun, 15 Nov 2015 00:44:23 +0800

--
您收到此邮件是因为您订阅了Google网上论坛上的“THU Opensource Mirror Admin”群组。
要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到thu-opensource-mirr...@googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。