〔徵求建議〕科學人 open source 專欄第 2 回:open source 和雲端運算

44 views
Skip to first unread message

pingooo

unread,
Dec 5, 2011, 11:29:42 AM12/5/11
to clo...@googlegroups.com
Hi 大家好,

我在十月號的【科學人】上寫了第一篇 open source 專欄《有智慧的將不只是手機 --- 開放源碼帶來硬體的無限可能》,現在要寫 2012 年一月號的專欄了,編輯希望我寫 open source 和雲端運算相關的題材,特來請大家給些建議:要涵蓋到哪些範圍比較能帶領科學人的讀者進入這個美妙的雲端世界呢?

我打算提到的幾個切入點如下:
 1. Open source 軟體是早期打造 cloud computing 基礎的重要支柱:Yahoo/Google/Wikipedia/Blogger/YouTube/Twitter/Facebook 這些大站都用了 Linux/*BSD、許多 open source 程式庫、和 open source 語言如 PHP、Python、Perl、Ruby 來建造。
 2. Open source 軟體是催生 cloud computing 的觸媒:講一點 hadoop 的歷史
 3. 有豐富的 open source 軟體可以用來建 cloud:Eucalyptus、Sector/Sphere、ceph、Cassandra、CouchDB、OpenMQ ...

歡迎大家告訴我更多的切入點、或是更多值得簡介的軟體!總字數約 1300 字,不可能太深入,打算先快速總覽,以後再挑有妙用的軟體深入介紹。

截稿日是 12/10,所以這兩三天給我建議的話我還來得及加進去。  :)

謝謝!

- pingooo

Pofeng Lee ( 李柏鋒 )

unread,
Dec 5, 2011, 12:08:05 PM12/5/11
to clo...@googlegroups.com
哇,感謝 P 大 :p

小弟野人獻曝一下

Facebook 主導的 Open Compute Project 似乎值得一提 ( 某種程度和 Open Hardware 有關 )

如果提到 Eucalyptus, 似乎也應該提一下 OpenStack

Storage 方面, Delta 好像是選 GlusterFS (?)

另外我想提一下 淘宝, 他們放出很多東西 ( 但是其實自己還沒細看 )
http://code.taobao.org/
eg:
Taobao FileSystem 淘宝分布式文件系统
OceanBase, 淘宝分布式数据库
tair distributed key-value storage system

請諸位多討論 :p

2011/12/6 pingooo <ping.n...@gmail.com>:

--
Pofeng "informer" Lee, 李柏鋒, pofeng at gmail dot com

thx

unread,
Dec 5, 2011, 12:42:37 PM12/5/11
to CloudTW
http://storage.it168.com/a2010/0829/1096/000001096373.shtml
圖文可參考上面link
因為以前工作關係 分享一下我經驗

2003 年馬雲因為怕Globalsources 跟ebay 異業結盟
一個是B2B 大咖,一個是C2C ,B2C大咖
如果一但信用度整合 對電子商務影響不容小視..
因此推出淘寶來防堵... 這一堵下來..

馬雲大概也沒想到Taobao 可以在7年內成長到全球第15大網站 還勝過78名的alibaba網站. 中國第三大.....

極速的成長率,Taobao 面臨前所未有的技術相關問題

2006 時 淘寶網所需空間容量 約為200TB ,平均都是20K bytes 左右圖片檔
大量小檔案對於多機共用的 Cluster Storage Disk I/O會是不小挑戰

再加上每年2~3 倍在成長... 原有的頂級Netapp 也無法兼具系統效能與成長性.
(像台灣"有名"當初買了Sun StorageTek ...其實整體規劃不是好架構 )

因此Taobao 便自行研發Cluster Storage system
名為:TFS (Taobao File System)
同類型opensources 專案還有 hdfs http://hadoop.apache.org/hdfs/

分散式儲存架構 等於將DATA 用普通Server 多台分散存放

Taobao 目前約有600台一般 x86 Server .1800TB 空間 (2010 資料)
並沒有額外買昂貴Storage Server做主力儲存

TFS file block 在別台Server 都有多一份備份 本身不太依賴Raid做安全備份
這樣佔用空間會怎樣..2倍~3倍

TFS 原理請看link ,大體上是將原有file +屬性 拆成block level file 放在server 內

以上只介紹TFS
另外Oceanbase +tair 都是一起相符相成
OceanBase 淘宝分布式数据库
Tair是一个高性能的分布式缓存集群

Taobao 算是一個非常成功的應用opensources再回饋開源界的範例.

不過如果非爆發型跟極速成長網站 ..(台灣應該也沒有這類應用了吧?)
現在因為Storage 又快又便宜大碗+ SSD 加速技術. 現在是可以用硬體硬幹會比軟體架構方便


On 12月6日, 上午1時08分, Pofeng Lee ( 李柏鋒 ) <pof...@gmail.com> wrote:
> 哇,感謝 P 大 :p
>
> 小弟野人獻曝一下
>
> Facebook 主導的 Open Compute Project 似乎值得一提 ( 某種程度和 Open Hardware 有關 )
>
> 如果提到 Eucalyptus, 似乎也應該提一下 OpenStack
>
> Storage 方面, Delta 好像是選 GlusterFS (?)
>

> 另外我想提一下 淘宝, 他們放出很多東西 ( 但是其實自己還沒細看 )http://code.taobao.org/


> eg:
> Taobao FileSystem 淘宝分布式文件系统
> OceanBase, 淘宝分布式数据库
>  tair distributed key-value storage system
>
> 請諸位多討論 :p
>

> 2011/12/6 pingooo <ping.nsr....@gmail.com>:

Dave

unread,
Dec 5, 2011, 8:39:57 PM12/5/11
to clo...@googlegroups.com
hi 各位好

小弟在ic設計產業工作,因緣際會下加入這個論壇,常常看到各位在討論雲端相關的議題,相當有趣,無奈小弟才疏學淺,沒有辦法插上話
今天剛好看到這個議題
發現各位提出的皆為純軟體的開放原始碼計畫,小弟也來分享一下在我的領域(軟體+硬體)所見到的開放原始碼計畫

這是一個矽智財(Silicon Intellectual Property)的開放原始碼計畫

矽智財曾經是台灣廠商(如凌陽,智原,創意等公司)寄以厚望的生財工具,簡單來說,矽智財就是一包整合了軟體驅動程式以及硬體描述語言(VERILOG)的巨集
一間公司擁有越多關鍵性的矽智財,代表所能創造的財富將非常可觀
不過,矽智財的壟斷將造成大者恆大的局面,小公司不僅難以誕生,且生存不易

OPENCORES計畫就是期望能夠無償提供"關鍵"的矽智財,如cpu,記憶體控制器等...

這些在大公司中所費不貲,且被視為極機密的cpu設計原始碼,在OPENCORES裡可信手拈來,不收一分一毫

此舉在學術界也獲得極大的助益

例如目前交通大學資工所陳添福教授的多核心晶片計畫就是利用 OPENCORES裡的OPENRISC CPU
陳教授的這顆超多核心晶片就是定調為雲端運算所用,剛好繞回來對應主題

小弟人在上班,沒辦法說太多,大家如果有興趣的話,我在多說一點

謝謝


2011/12/6 thx <dtk...@googlemail.com>

Jazz Yao-Tsung Wang

unread,
Dec 5, 2011, 10:50:07 PM12/5/11
to CloudTW

ben

unread,
Dec 5, 2011, 11:17:16 PM12/5/11
to clo...@googlegroups.com
于2011年12月06日 星期二 11时50分07秒,Jazz Yao-Tsung Wang写到:

不错的总结,不过好像少了点opensatck,这里还有份文档值得参考:
开源IaaS软件的比较 — 构架、功能、社区、商业及其他:http://www.qyjohn.net/?p=1624

--
================================================
杜玉杰 weibo:ben_杜玉杰
OpenStack中文用户组(COSUG)管理员
http://groups.google.com/group/china-openstack-user-group

安可~

unread,
Dec 6, 2011, 12:23:14 AM12/6/11
to clo...@googlegroups.com
www.midasuser.com.tw
最近發現的一種應用於土木建築的雲端輔助工具,聊表參考
--

安可  敬上

聯絡方式
*Skype:wiki0922
*雅虎奇摩wiki...@yahoo.com.tw
*Google+
*Facebook

YFJuan

unread,
Dec 6, 2011, 12:55:49 AM12/6/11
to CloudTW
Hi pingooo,

I had a long conversation with Rick Clark, one of the founders of
OpenStack, last week. I also talked extensively with Marten Mickos,
CEO of MySQL and now CEO of Eucalyptus, about two years ago about Open
Source. Finally, I interviewed people at Mozilla (Firefox) several
times on OSS (open source software) earlier this year.

I think the most under-appreciated aspect of OSS is why do it and how
it is sustained. This is important because it helps to humanize the
OSS process and, therefore, makes it a living process that we can all
participate in to both benefit from it and shape its future.

I won't bore you with the detail. If you think this is interesting,
pls let me know and we can talk more.

Warm regards, YF Juan

On 12月6日, 上午12時29分, pingooo <ping.nsr....@gmail.com> wrote:

pingooo

unread,
Dec 6, 2011, 4:00:15 AM12/6/11
to CloudTW
謝謝 Pofeng、thx、Dave、Jazz、ben、安可、YF Juan 各位提供的資料和連結,看來我這兩天有做不完的功課了。 :)

Open source 的矽智財聽起來是個值得獨立寫的題目,不過我對矽智財了解太少,不敢下筆。改天多拜讀一些相關資料後,還要向 Dave 兄請
益。

YF Juan 兄提到的 Open source 中的人文議題,我有打算在講過足夠 open source 的好物之後,在第四次專欄或更後面來
聊,私以為這樣比較容易為科學人的讀者所接受。

感謝大家無私的建議,如果還有什麼想法或資料歡迎隨時提出。

- pingooo

Reply all
Reply to author
Forward
0 new messages