關於測試版的LZ4壓縮的參數和網站製作

康家豪

unread,

Dec 24, 2017, 8:19:22 PM12/24/17

to 再生龍clonezilla

測試了一下最新測試版新增的LZ4壓縮，壓縮大小比pigz（gzip平行版）小，但是速度只有pigz的一半，跟許多網路上的測試結果似乎有落差，不知道有沒有預設z8的參數？

另外最近工作使用 CloneZilla 發現一些資料都散見於討論區、英文網站、中文網站，不知道有沒有興趣改用 Markdown + jekyll 重新製作中英文網站？這部份我可以協助

Steven Shiau

unread,

Dec 24, 2017, 9:30:07 PM12/24/17

to ocs-clo...@googlegroups.com

Hi,

On 12/25/2017 AM 09:17, 康家豪 wrote:
> 測試了一下最新測試版新增的LZ4壓縮，壓縮大小比pigz（gzip平行版）小，但是速度只有pigz的一半，跟許多網路上的測試結果似乎有落差，不知道有沒有預設z8的參數？

預設lz4壓縮程度是"-3"
,若要更快，應該可以考慮用"-1"，可以在/etc/drbl/drbl-ocs.conf中將
extra_lz4_opt="-3"
改成
extra_lz4_opt="-1"
(有在考慮調整成-1)
其實Debian/Ubuntu上的lz4也沒有支援multi-core，所以在存印象檔的時候，跟pigz比就真的讓CPU涼在旁邊了。不過還原的時候，lz4應該可以明顯看出比pigz的印象檔快不少。

>
> 另外最近工作使用 CloneZilla
> 發現一些資料都散見於討論區、英文網站、中文網站，不知道有沒有興趣改用
> Markdown + jekyll 重新製作中英文網站？這部份我可以協助||

謝謝。我們網站其實就是想要背後簡單，用apache+php就好。當然，您若可以，先找個地方把您提出來的網站建立起來，初期我們之後可以連結過去。若未來成熟了，可以考慮切換過去。

Steven
> --
> 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
> ocs-clonezill...@googlegroups.com
> <mailto:ocs-clonezill...@googlegroups.com>。
> 如要在這個群組張貼留言，請傳送電子郵件到 ocs-clo...@googlegroups.com
> <mailto:ocs-clo...@googlegroups.com>。
> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla。
> 如需更多選項，請前往：https://groups.google.com/d/optout。

--
Steven Shiau <steven _at_ stevenshiau org>
Public Key Server PGP Key ID: 4096R/163E3FB0
Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD 163E 3FB0

康家豪

unread,

Dec 24, 2017, 11:31:49 PM12/24/17

to 再生龍clonezilla

稍微測試了一下，用 Intel E7500，透過Gbe網路存到網芳（SMB 3協定）

LZ4：壓縮約80MB/s、解壓縮約82MB/s
pigz：壓縮約30MB/s、解壓縮約80MB/s

另外看了一下 ubuntu 的 man page，LZ4應該是有支援 multi-core ？
http://manpages.ubuntu.com/manpages/artful/man1/lz4c.1.html

Steven Shiau於 2017年12月25日星期一 UTC+8上午10時30分07秒寫道：

Hi,

On 12/25/2017 AM 09:17, 康家豪 wrote:
> 測試了一下最新測試版新增的LZ4壓縮，壓縮大小比pigz（gzip平行版）小，但是速度只有pigz的一半，跟許多網路上的測試結果似乎有落差，不知道有沒有預設z8的參數？
預設lz4壓縮程度是"-3"
,若要更快，應該可以考慮用"-1"，可以在/etc/drbl/drbl-ocs.conf中將
extra_lz4_opt="-3"
改成
extra_lz4_opt="-1"
(有在考慮調整成-1)
其實Debian/Ubuntu上的lz4也沒有支援multi-core，所以在存印象檔的時候，跟pigz比就真的讓CPU涼在旁邊了。不過還原的時候，lz4應該可以明顯看出比pigz的印象檔快不少。
>
> 另外最近工作使用 CloneZilla
> 發現一些資料都散見於討論區、英文網站、中文網站，不知道有沒有興趣改用
> Markdown + jekyll 重新製作中英文網站？這部份我可以協助||
謝謝。我們網站其實就是想要背後簡單，用apache+php就好。當然，您若可以，先找個地方把您提出來的網站建立起來，初期我們之後可以連結過去。若未來成熟了，可以考慮切換過去。

Steven
> --
> 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
> ocs-clonezill...@googlegroups.com

> <mailto:ocs-clonezilla+unsub...@googlegroups.com>。

Steven Shiau

unread,

Dec 24, 2017, 11:41:01 PM12/24/17

to ocs-clo...@googlegroups.com

Hi,

On 12/25/2017 PM 12:29, 康家豪 wrote:
> 稍微測試了一下，用 Intel E7500，透過Gbe網路存到網芳（SMB 3協定）
>
> LZ4：壓縮約80MB/s、解壓縮約82MB/s
> pigz：壓縮約30MB/s、解壓縮約80MB/s

所以這是將lz4改用參數"-1"嗎?

>
> 另外看了一下 ubuntu 的 man page，LZ4應該是有支援 multi-core ？
> http://manpages.ubuntu.com/manpages/artful/man1/lz4c.1.html

若是embedded的話，就不不知道了，因為沒有看到lz4有像pigz參數可以直接指定core數目。而且我看在壓縮的時候，用htop看，CPU大部分都是idle狀態。你那邊所有CPU都滿載嗎?

Steven

>
> Steven Shiau於 2017年12月25日星期一 UTC+8上午10時30分07秒寫道：
>
> Hi,
>
> On 12/25/2017 AM 09:17, 康家豪 wrote:
> >
> 測試了一下最新測試版新增的LZ4壓縮，壓縮大小比pigz（gzip平行版）小，但是速度只有pigz的一半，跟許多網路上的測試結果似乎有落差，不知道有沒有預設z8的參數？
>
> 預設lz4壓縮程度是"-3"
> ,若要更快，應該可以考慮用"-1"，可以在/etc/drbl/drbl-ocs.conf中將
> extra_lz4_opt="-3"
> 改成
> extra_lz4_opt="-1"
> (有在考慮調整成-1)
> 其實Debian/Ubuntu上的lz4也沒有支援multi-core，所以在存印象檔的時候，跟pigz比就真的讓CPU涼在旁邊了。不過還原的時候，lz4應該可以明顯看出比pigz的印象檔快不少。
>
> >
> > 另外最近工作使用 CloneZilla
> > 發現一些資料都散見於討論區、英文網站、中文網站，不知道有沒有興趣改用
>
> > Markdown + jekyll 重新製作中英文網站？這部份我可以協助||
> 謝謝。我們網站其實就是想要背後簡單，用apache+php就好。當然，您若可以，先找個地方把您提出來的網站建立起來，初期我們之後可以連結過去。若未來成熟了，可以考慮切換過去。
>
>
> Steven
> > --
> > 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
>
> > 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到

> > ocs-clonezill...@googlegroups.com <javascript:>
> > <mailto:ocs-clonezill...@googlegroups.com
> <javascript:>>。
> > 如要在這個群組張貼留言，請傳送電子郵件到 ocs-clo...@googlegroups.com
> <javascript:>
> > <mailto:ocs-clo...@googlegroups.com <javascript:>>。
> >
> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla

> <https://groups.google.com/group/ocs-clonezilla>。
> > 如需更多選項，請前往：https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>。
>
> --
> Steven Shiau <steven _at_ stevenshiau org>
> Public Key Server PGP Key ID: 4096R/163E3FB0
> Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD 163E 3FB0
>

> --
> 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
> ocs-clonezill...@googlegroups.com

> <mailto:ocs-clonezill...@googlegroups.com>。

康家豪

unread,

Dec 29, 2017, 1:23:33 AM12/29/17

to 再生龍clonezilla

> 稍微測試了一下，用 Intel E7500，透過Gbe網路存到網芳（SMB 3協定）
>
> LZ4：壓縮約80MB/s、解壓縮約82MB/s
> pigz：壓縮約30MB/s、解壓縮約80MB/s
所以這是將lz4改用參數"-1"嗎?

這邊我寫反了，之前的測試是pigz比較快

pigz：壓縮約80MB/s、解壓縮約80MB/s

LZ4：壓縮約30MB/s、解壓縮約82MB/s

這邊是LZ4是用"-3"，今天用了新的CloneZilla測試版測試（LZ4參數改為 "-1"）

LZ4：壓縮約80MB/s、解壓縮約60MB/s

很怪，改了-1反而解壓縮變慢了，我下週再用另外的硬碟測試看看

>
> 另外看了一下 ubuntu 的 man page，LZ4應該是有支援 multi-core ？
> http://manpages.ubuntu.com/manpages/artful/man1/lz4c.1.html
若是embedded的話，就不不知道了，因為沒有看到lz4有像pigz參數可以直接指定core數目。而且我看在壓縮的時候，用htop看，CPU大部分都是idle狀態。你那邊所有CPU都滿載嗎?

在執行CloneZilla的過程中可以用命令列看嗎？

Steven
>
> Steven Shiau於 2017年12月25日星期一 UTC+8上午10時30分07秒寫道：
>
> Hi,
>
> On 12/25/2017 AM 09:17, 康家豪 wrote:
> >
> 測試了一下最新測試版新增的LZ4壓縮，壓縮大小比pigz（gzip平行版）小，但是速度只有pigz的一半，跟許多網路上的測試結果似乎有落差，不知道有沒有預設z8的參數？
>
> 預設lz4壓縮程度是"-3"
> ,若要更快，應該可以考慮用"-1"，可以在/etc/drbl/drbl-ocs.conf中將
> extra_lz4_opt="-3"
> 改成
> extra_lz4_opt="-1"
> (有在考慮調整成-1)
> 其實Debian/Ubuntu上的lz4也沒有支援multi-core，所以在存印象檔的時候，跟pigz比就真的讓CPU涼在旁邊了。不過還原的時候，lz4應該可以明顯看出比pigz的印象檔快不少。
>
> >
> > 另外最近工作使用 CloneZilla
> > 發現一些資料都散見於討論區、英文網站、中文網站，不知道有沒有興趣改用
>
> > Markdown + jekyll 重新製作中英文網站？這部份我可以協助||
> 謝謝。我們網站其實就是想要背後簡單，用apache+php就好。當然，您若可以，先找個地方把您提出來的網站建立起來，初期我們之後可以連結過去。若未來成熟了，可以考慮切換過去。
>
>
> Steven
> > --
> > 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
>
> > 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
> > ocs-clonezill...@googlegroups.com <javascript:>

> > <mailto:ocs-clonezilla+unsub...@googlegroups.com

> <javascript:>>。
> > 如要在這個群組張貼留言，請傳送電子郵件到 ocs-clo...@googlegroups.com
> <javascript:>
> > <mailto:ocs-clo...@googlegroups.com <javascript:>>。
> >
> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla
> <https://groups.google.com/group/ocs-clonezilla>。
> > 如需更多選項，請前往：https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>。
>
> --
> Steven Shiau <steven _at_ stevenshiau org>
> Public Key Server PGP Key ID: 4096R/163E3FB0
> Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD 163E 3FB0
>
> --
> 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
> ocs-clonezill...@googlegroups.com

> <mailto:ocs-clonezilla+unsub...@googlegroups.com>。

康家豪

unread,

Jan 2, 2018, 2:52:47 AM1/2/18

to 再生龍clonezilla

新的測試結果

康家豪於 2017年12月29日星期五 UTC+8下午2時23分33秒寫道：

> 稍微測試了一下，用 Intel E7500，透過Gbe網路存到網芳（SMB 3協定）
>
> LZ4：壓縮約80MB/s、解壓縮約82MB/s
> pigz：壓縮約30MB/s、解壓縮約80MB/s
所以這是將lz4改用參數"-1"嗎?

這邊我寫反了，之前的測試是pigz比較快
pigz：壓縮約80MB/s、解壓縮約80MB/s
LZ4：壓縮約30MB/s、解壓縮約82MB/s

這邊是LZ4是用"-3"，今天用了新的CloneZilla測試版測試（LZ4參數改為 "-1"）
LZ4：壓縮約80MB/s、解壓縮約60MB/s

很怪，改了-1反而解壓縮變慢了，我下週再用另外的硬碟測試看看

LZ4：壓縮約80MB/s、解壓縮約82MB/s

跑起來幾乎跟 pigz 差不多，另外測試了i3-6100T：

LZ4：壓縮約130MB/s、解壓縮約125MB/s（Gbe網路速度上限）

個人認為測試結果可以取代預設的 z1p 壓縮選項

Steven Shiau

unread,

Jan 2, 2018, 7:28:50 PM1/2/18

to ocs-clo...@googlegroups.com

謝謝分享。因為lz4還是蠻新的東西，所以多放一陣子再來考慮是否列為預設。畢竟gzip是最廣泛也最成熟，也有些工具可以救壞掉的gzip檔。
BTW，最近加了lz4mt
(平行版)的(-z8p)，以及zstd/pzstd(-z9/-z9p)，有興趣可以抓測試版的Clonezilla
live >= 2.5.5-19 or 201802-*來測看看:
http://clonezilla.org/downloads.php
初步在VM中測試-z9p速度不見得會比-z8p慢太多，而且壓縮的印象檔再小一點，也是不錯的選擇。

Steven

> > > <mailto:ocs-clonezill...@googlegroups.com

> > <javascript:>>。
> > > 如要在這個群組張貼留言，請傳送電子郵件到
> ocs-clo...@googlegroups.com
> > <javascript:>
> > > <mailto:ocs-clo...@googlegroups.com <javascript:>>。
> > >
> >
> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla
> <https://groups.google.com/group/ocs-clonezilla>
> > <https://groups.google.com/group/ocs-clonezilla
> <https://groups.google.com/group/ocs-clonezilla>>。
> > > 如需更多選項，請前往：https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>
> > <https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>>。
> >
> > --
> > Steven Shiau <steven _at_ stevenshiau org>
> > Public Key Server PGP Key ID: 4096R/163E3FB0
> > Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD
> 163E 3FB0
> >
> > --
> > 這是 Google
> 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> >
> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
>
> > ocs-clonezill...@googlegroups.com

> > <mailto:ocs-clonezill...@googlegroups.com>。

> > 如要在這個群組張貼留言，請傳送電子郵件到
> ocs-clo...@googlegroups.com
> > <mailto:ocs-clo...@googlegroups.com>。
> >
> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla

> <https://groups.google.com/group/ocs-clonezilla>。
> > 如需更多選項，請前往：https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>。
>
> --
> Steven Shiau <steven _at_ stevenshiau org>
> Public Key Server PGP Key ID: 4096R/163E3FB0
> Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD 163E 3FB0
>
> --
> 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
> ocs-clonezill...@googlegroups.com

> <mailto:ocs-clonezill...@googlegroups.com>。

Steven Shiau

unread,

Jan 2, 2018, 8:29:26 PM1/2/18

to ocs-clo...@googlegroups.com

補上用Macbook Pro (2010年的，有點舊，4
cores，純粹只是比較同個硬體不同壓縮軟體的效能)測試的結果，不同參數-z1p,
-z8p, -z9p，存Ubuntu 16.04到NFS server的結果:
-z1p (pigz): 存下來之印象檔1.7 GB, 約238秒完成存檔，還原此印象檔約176秒
-z8p (lz4mt): 存下來之印象檔2.0 GB, 約188秒完成存檔，還原此印象檔約177秒
-z9p (pzstd): 存下來之印象檔1.4 GB, 約191秒完成存檔，還原此印象檔約175秒

Steven

康家豪

unread,

Feb 6, 2018, 8:06:36 AM2/6/18

to 再生龍clonezilla

今天用 Intel Q8400 測試了 -z9p（pzstd），存下來跟還原都可以跑到 GbE 網路的極限速度（約123MB/s，7.2GB/min）

另外可否問一下 Partclone 的問題？想建議 Partclone 的速度改為顯示 MB/s，但是發了 GitHub 的 Issues，似乎沒什麼回應？

Steven Shiau於 2018年1月3日星期三 UTC+8上午9時29分26秒寫道：

>> > > <mailto:ocs-clonezilla+unsub...@googlegroups.com

>>         > <javascript:>>。
>>         > > 如要在這個群組張貼留言，請傳送電子郵件到
>>         ocs-clo...@googlegroups.com
>>         > <javascript:>
>>         > > <mailto:ocs-clo...@googlegroups.com <javascript:>>。
>>         > >
>>         >
>> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla
>>
>>         <https://groups.google.com/group/ocs-clonezilla>
>>         > <https://groups.google.com/group/ocs-clonezilla
>> <https://groups.google.com/group/ocs-clonezilla>>。
>>         > > 如需更多選項，請前往：https://groups.google.com/d/optout
>>         <https://groups.google.com/d/optout>
>>         > <https://groups.google.com/d/optout
>>         <https://groups.google.com/d/optout>>。
>>         >
>>         > --
>>         > Steven Shiau <steven _at_ stevenshiau org>
>>         > Public Key Server PGP Key ID: 4096R/163E3FB0
>>         > Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD
>>         163E 3FB0
>>         >
>>         > --
>>         > 這是 Google
>>         網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
>>         >
>>
>> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
>>
>>         > ocs-clonezill...@googlegroups.com

>> > <mailto:ocs-clonezilla+unsub...@googlegroups.com>。

>>         > 如要在這個群組張貼留言，請傳送電子郵件到
>>         ocs-clo...@googlegroups.com
>>         > <mailto:ocs-clo...@googlegroups.com>。
>>         >
>> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla
>>
>>         <https://groups.google.com/group/ocs-clonezilla>。
>>         > 如需更多選項，請前往：https://groups.google.com/d/optout
>>         <https://groups.google.com/d/optout>。
>>
>>         --         Steven Shiau <steven _at_ stevenshiau org>
>>         Public Key Server PGP Key ID: 4096R/163E3FB0
>>         Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD 163E 3FB0
>>
>> --
>> 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
>> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
>> ocs-clonezill...@googlegroups.com

>> <mailto:ocs-clonezilla+unsub...@googlegroups.com>。

Steven Shiau

unread,

Feb 6, 2018, 8:13:33 AM2/6/18

to ocs-clo...@googlegroups.com

On 2018年02月06日 17:20, 康家豪 wrote:
> 今天用 Intel Q8400 測試了 -z9p（pzstd），存下來跟還原都可以跑到 GbE
> 網路的極限速度（約123MB/s，7.2GB/min）

OK, cool.

>
> 另外可否問一下 Partclone 的問題？想建議 Partclone 的速度改為顯示
> MB/s，但是發了 GitHub 的 Issues，似乎沒什麼回應？

Partclone當然也可以在這裡問。速度顯示要用GB/min或者MB/s見仁見智，因為硬碟上的資料大小搭配時間的話，用GB/min來算，比較直覺，改用MB/s，就變大16倍左右，對有些人就覺得數字太大了。其實這真的是青菜各有所好。

Steven

> <mailto:ocs-clonezill...@googlegroups.com <javascript:>

> >> > <mailto:ocs-clonezill...@googlegroups.com
> <javascript:>>。

> >>         > 如要在這個群組張貼留言，請傳送電子郵件到
> >>         ocs-clo...@googlegroups.com
> >>         > <mailto:ocs-clo...@googlegroups.com>。
> >>         >
> >>
> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla
> <https://groups.google.com/group/ocs-clonezilla>
> >>

> >>         <https://groups.google.com/group/ocs-clonezilla
> <https://groups.google.com/group/ocs-clonezilla>>。
> >>         > 如需更多選項，請前往：https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>
> >>         <https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>>。
> >>
> >>         --         Steven Shiau <steven _at_ stevenshiau org>
> >>         Public Key Server PGP Key ID: 4096R/163E3FB0
> >>         Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD
> 163E 3FB0
> >>
> >> --
> >> 這是 Google
> 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> >> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到

> >> ocs-clonezill...@googlegroups.com <javascript:>
> >> <mailto:ocs-clonezill...@googlegroups.com

> <javascript:>>。
> >> 如要在這個群組張貼留言，請傳送電子郵件到
> ocs-clo...@googlegroups.com <javascript:>
> >> <mailto:ocs-clo...@googlegroups.com <javascript:>>。
> >>
> 請前往以下網址造訪這個群組：https://groups.google.com/group/ocs-clonezilla

> <https://groups.google.com/group/ocs-clonezilla>。
> >>
> >> 如需更多選項，請前往：https://groups.google.com/d/optout
> <https://groups.google.com/d/optout>。
> >
>
> --
> Steven Shiau <steven _at_ stevenshiau org>
> Public Key Server PGP Key ID: 4096R/163E3FB0
> Fingerprint: EB1D D5BF 6F88 820B BCF5 356C 8E94 C9CD 163E 3FB0
>
> --
> 這是 Google 網上論壇針對「再生龍clonezilla」群組發送的訂閱通知郵件。
> 如要取消訂閱這個群組並停止接收來自這個群組的郵件，請傳送電子郵件到
> ocs-clonezill...@googlegroups.com

> <mailto:ocs-clonezill...@googlegroups.com>。

Reply all

Reply to author

Forward