〔徵求建議〕科學人 open source 專欄第 2 回：open source 和雲端運算
pingooo
我在十月號的【科學人】上寫了第一篇 open source 專欄《有智慧的將不只是手機 --- 開放源碼帶來硬體的無限可能》，現在要寫 2012 年一月號的專欄了，編輯希望我寫 open source 和雲端運算相關的題材，特來請大家給些建議：要涵蓋到哪些範圍比較能帶領科學人的讀者進入這個美妙的雲端世界呢？
我打算提到的幾個切入點如下：
1. Open source 軟體是早期打造 cloud computing 基礎的重要支柱：Yahoo/Google/Wikipedia/Blogger/YouTube/Twitter/Facebook 這些大站都用了 Linux/*BSD、許多 open source 程式庫、和 open source 語言如 PHP、Python、Perl、Ruby 來建造。
2. Open source 軟體是催生 cloud computing 的觸媒：講一點 hadoop 的歷史
3. 有豐富的 open source 軟體可以用來建 cloud：Eucalyptus、Sector/Sphere、ceph、Cassandra、CouchDB、OpenMQ ...
歡迎大家告訴我更多的切入點、或是更多值得簡介的軟體！總字數約 1300 字，不可能太深入，打算先快速總覽，以後再挑有妙用的軟體深入介紹。
截稿日是 12/10，所以這兩三天給我建議的話我還來得及加進去。 :)
謝謝！
- pingooo
Pofeng Lee ( 李柏鋒 )
小弟野人獻曝一下
Facebook 主導的 Open Compute Project 似乎值得一提 ( 某種程度和 Open Hardware 有關 )
如果提到 Eucalyptus, 似乎也應該提一下 OpenStack
Storage 方面， Delta 好像是選 GlusterFS (?)
另外我想提一下 淘宝, 他們放出很多東西 ( 但是其實自己還沒細看 )
http://code.taobao.org/
eg:
Taobao FileSystem 淘宝分布式文件系统
OceanBase, 淘宝分布式数据库
tair distributed key-value storage system
請諸位多討論 :p
2011/12/6 pingooo <ping.n...@gmail.com>:
--
Pofeng "informer" Lee, 李柏鋒, pofeng at gmail dot com
thx
圖文可參考上面link
因為以前工作關係 分享一下我經驗
2003 年馬雲因為怕Globalsources 跟ebay 異業結盟
一個是B2B 大咖,一個是C2C ,B2C大咖
如果一但信用度整合 對電子商務影響不容小視..
因此推出淘寶來防堵... 這一堵下來..
馬雲大概也沒想到Taobao 可以在7年內成長到全球第15大網站 還勝過78名的alibaba網站. 中國第三大.....
極速的成長率,Taobao 面臨前所未有的技術相關問題
2006 時 淘寶網所需空間容量 約為200TB ,平均都是20K bytes 左右圖片檔
大量小檔案對於多機共用的 Cluster Storage Disk I/O會是不小挑戰
再加上每年2~3 倍在成長... 原有的頂級Netapp 也無法兼具系統效能與成長性.
(像台灣"有名"當初買了Sun StorageTek ...其實整體規劃不是好架構 )
因此Taobao 便自行研發Cluster Storage system
名為:TFS (Taobao File System)
同類型opensources 專案還有 hdfs http://hadoop.apache.org/hdfs/
分散式儲存架構 等於將DATA 用普通Server 多台分散存放
Taobao 目前約有600台一般 x86 Server .1800TB 空間 (2010 資料)
並沒有額外買昂貴Storage Server做主力儲存
TFS file block 在別台Server 都有多一份備份 本身不太依賴Raid做安全備份
這樣佔用空間會怎樣..2倍~3倍
TFS 原理請看link ,大體上是將原有file +屬性 拆成block level file 放在server 內
以上只介紹TFS
另外Oceanbase +tair 都是一起相符相成
OceanBase 淘宝分布式数据库
Tair是一个高性能的分布式缓存集群
Taobao 算是一個非常成功的應用opensources再回饋開源界的範例.
不過如果非爆發型跟極速成長網站 ..(台灣應該也沒有這類應用了吧?)
現在因為Storage 又快又便宜大碗+ SSD 加速技術. 現在是可以用硬體硬幹會比軟體架構方便
On 12月6日, 上午1時08分, Pofeng Lee ( 李柏鋒 ) <pof...@gmail.com> wrote:
> 哇，感謝 P 大 :p
>
> 小弟野人獻曝一下
>
> Facebook 主導的 Open Compute Project 似乎值得一提 ( 某種程度和 Open Hardware 有關 )
>
> 如果提到 Eucalyptus, 似乎也應該提一下 OpenStack
>
> Storage 方面， Delta 好像是選 GlusterFS (?)
>
> 另外我想提一下 淘宝, 他們放出很多東西 ( 但是其實自己還沒細看 )http://code.taobao.org/
> eg:
> Taobao FileSystem 淘宝分布式文件系统
> OceanBase, 淘宝分布式数据库
> tair distributed key-value storage system
>
> 請諸位多討論 :p
>
> 2011/12/6 pingooo <ping.nsr....@gmail.com>:
Dave
Jazz Yao-Tsung Wang
ben
不错的总结，不过好像少了点opensatck，这里还有份文档值得参考：
开源IaaS软件的比较 — 构架、功能、社区、商业及其他：http://www.qyjohn.net/?p=1624
--
================================================
杜玉杰 weibo:ben_杜玉杰
OpenStack中文用户组（COSUG）管理员
http://groups.google.com/group/china-openstack-user-group
安可~
YFJuan
I had a long conversation with Rick Clark, one of the founders of
OpenStack, last week. I also talked extensively with Marten Mickos,
CEO of MySQL and now CEO of Eucalyptus, about two years ago about Open
Source. Finally, I interviewed people at Mozilla (Firefox) several
times on OSS (open source software) earlier this year.
I think the most under-appreciated aspect of OSS is why do it and how
it is sustained. This is important because it helps to humanize the
OSS process and, therefore, makes it a living process that we can all
participate in to both benefit from it and shape its future.
I won't bore you with the detail. If you think this is interesting,
pls let me know and we can talk more.
Warm regards, YF Juan
On 12月6日, 上午12時29分, pingooo <ping.nsr....@gmail.com> wrote:
pingooo
Open source 的矽智財聽起來是個值得獨立寫的題目，不過我對矽智財了解太少，不敢下筆。改天多拜讀一些相關資料後，還要向 Dave 兄請
益。
YF Juan 兄提到的 Open source 中的人文議題，我有打算在講過足夠 open source 的好物之後，在第四次專欄或更後面來
聊，私以為這樣比較容易為科學人的讀者所接受。
感謝大家無私的建議，如果還有什麼想法或資料歡迎隨時提出。
- pingooo