GAE → Heroku → Linode

571 views
Skip to first unread message

蔣偉志 Toomore

unread,
Apr 8, 2012, 3:34:32 PM4/8/12
to clo...@googlegroups.com
Hi 各位:
來分享一下最近做的事情,如標題,跳了三個服務最後到 Linode。這過程還滿好玩的,說給大家聽聽。

2010 年我在 COSCUP 閃電秀 Demo 了一個關於股票擷取的程式,而服務放在 GAE 上面運行。2011 年我去報效國家了,在站哨的時候思考 GAE 還可以如何使用,但似乎因為 GAE 本身的限制,讓我有點無法自由的發揮,像是 GAE 不能使用 Python 豐富的套件庫 PyPI,就必須在 GAE 上面一直不斷的造輪子。況且 2011/11 新的收費方案出來之後,對於免費的容量大大減少,當時就決定停止在 GAE 上的開發,專注在核心程式上。

2012 年年初退伍,把之前的程式改寫並包成蛇蛋放在 PyPI 上開放下載。2月底參加小海大大講的,關於如何將應用程式搬出 Google AppEngine 後,整個3月就在測試另一個 PaaS - Heroku。也把套件實作成網站應用。Heroku 上面有滿多的 add-ons 可以使用,開了這些服務:memcachedRedisToGoHeroku SchedulerMailgunNew Relic、都是在免費範圍內使用,開1個 web Dyno,當然這裡有變通的方法。因為在 Heroku 上面使用到2個 Dyno 一定會超過免費的容量,所以我就再開一個 app,另外一個跑 worker Dyno(背景處理,無網頁訪問),又 Heroku 上的 add-ons 的帳號設定檔不會綁 app,也就是可以互相通用的意思,所以跑 worker 就幫跑 web 的背景處理 memcached、定時發信的事務。所以在 Heroku 上開了兩個 app,目前都還是沒有花到錢!(當然,也可能沒人在用所以花不到錢 XD)

不過,這時候出現問題了!網頁的部份我是用 Flask,也嘗試做 gzipcache 處理,但還是在擷取資料的時候花上不少時間,至少都會用到 1500 ms 的時間,太慢了!即使用 celery 排 Task 擷取丟到 memcached,我還是覺得太慢,上市股票的部份就 800 多檔,每檔約用到3秒,開4線程去跑(太多線程會超過 512MB 記憶體限制),保守估計也要十分鐘才走的完。問題就出在 Heroku 底層是 Amazon,連線呼叫回應要在太平洋上面跑個好幾趟,所以很慢!

最後想到之前有人提到 Linode 還不錯用,在亞太地區的日本東京有資料中心,光這樣想應該就還不錯,因為我的程式目標是台灣的證交所,當然離證交所愈近愈好!所以就刷下去了!1台 Linode 512 方案。不過 Linode 就是一台虛擬主機(VPS),換句話說不會像 GAE、Heroku 有那樣 "傳便便" 的服務,想要什麼就要自己裝起來!但我真的佩服 Linode 的文件,超詳細,閉著眼睛,照著步驟就可以輕鬆完成!在 Linode 上用 nginx + Flask + uWSGI + redis + celery + memcached,就將 Heroku 上的網站搬過去,速度明顯快很多!

所以之後就決定在 Linode 上繼續 grs 網站版的開發,而 grs 的 PyPI 套件也同步進行。以上就是3月到今天經歷過這樣的搬遷,經濟學講的尋價成本就是這樣貨比三家而來的,不過也是一個不錯的體驗,分享給大家!

至於 grs Online 4月底會送件給 appWorks,希望能夠順利的入選 ;)

~Toomore
--
蔣偉志 Toomore(Chiang Wei-Chih)
toomo...@gmail.com
http://blog.toomore.net/

Pofeng Lee ( 李柏鋒 )

unread,
Apr 8, 2012, 4:38:01 PM4/8/12
to clo...@googlegroups.com
感謝 tomore 心得分享 !!
有空大家再來聊一下 :p
( 作個 podcast ? :p )

~~~

除了 AppWorks
( App Works 其實以前不算有 seed funding , 但是現在好像有了 )

現在台灣有滿多 seed funding 的機會, toomore 可以參考一下

台灣創新工廠
http://tmi.vc/programs/

新加坡 E27, 台北衛星連線場次 - Date: April 24th
報名已經截止了 ( 但是或許再試試 ? )
http://echelon.e27.sg/SG2012/pages/satellite.php

http://taiwan.startuplabs.org/
( 不知道第二屆時間 )

YSeed
http://yushanventures.com/services/accelerator-services/
http://www.yseed.org/
不過要注意的是,這家是 "玉山國際投資顧問有限公司"
和那個玉山銀行的玉山創投沒關係

--
Pofeng "informer" Lee, 李柏鋒, pofeng at gmail dot com

CRM2顧客是核心 高長瑞

unread,
Apr 8, 2012, 6:26:08 PM4/8/12
to clo...@googlegroups.com
Dear Toomore and Pofeng:

  Richful information and Thanks

  For these VC information, appWorks is only one we know and can debate about. What about other VCs?

Cray Kao

2012/4/9 Pofeng Lee ( 李柏鋒 ) <pof...@gmail.com>



--
CRM2顧客是核心
高長瑞
0930729046

Tim Wu

unread,
Apr 8, 2012, 9:14:30 PM4/8/12
to clo...@googlegroups.com
真的很棒的心得, 我也是經過一輪的嘗試( intoVPS-> GAE-> EC2->Linode) 最後落腳 Linode, 其實事後想起來, PaaS都不好用, 好用的都不便宜, (Sorry, 直接打翻一船人)

第一次看到 browserID, 不知道有什麼特色?

這個web股票系統能整合交割就更好了, 之前有survey過


不知道有沒有進一步消息. RESTFUL 時代 這些卷商系統還停留在 TCP socket, 遜!




2012/4/9 蔣偉志 Toomore <toomo...@gmail.com>



--
Tim Wu 吳昌庭 
IntriSing Technology 嚮樂科技
TEL:  886-2-26577302

Kevin

unread,
Apr 9, 2012, 1:50:01 AM4/9/12
to clo...@googlegroups.com
用socket有什麼不對 = =||| , HTML5也提出web socket了
股市資訊和操作都非常的即時,如果不只是單純看盤的話,還包括下單等交易操作,
實務考量面來說,當然首重"快"和"即時",這當然選擇socket
就等web socket成熟了,自然也會有很多類似需求的應用移上來

-- Kevin Chiu (KevinC)



2012/4/9 Tim Wu <chang...@gmail.com>

Mu Chi Sung

unread,
Apr 9, 2012, 2:04:16 AM4/9/12
to clo...@googlegroups.com
Linode上個月才剛被hack過...短期內對他沒什麼信心 XD

要連台灣證交所...有考慮過用serverzoo嗎?...

卷商系統換REST只會更慘吧...

-- Mark (小迪克)

2012/4/9 Kevin <korp...@gmail.com>

Pofeng Lee ( 李柏鋒 )

unread,
Apr 9, 2012, 10:17:04 AM4/9/12
to clo...@googlegroups.com
哈哈,我不敢公開說耶 :p

先去 http://accupass.com/go/taipeiSD01

一次滿足 :p

然後要訂 James Hill 的 Taipei StartupDigest

那個 Tom Chiu 我通過幾次 email
我還在想要不要去看一看 ...

Tim Wu

unread,
Apr 9, 2012, 11:39:10 PM4/9/12
to clo...@googlegroups.com
與標題離題了, 不過還是回一下好了.

1. API 首重資料接取容易, 各位可以看看國外市佔率很高 ETrade API 也是用JSON + XML + OAUTH

2. 用 TCP socket的老系統, security 也無法享受標準 https, 只能重造加密規格.

3. web socket != tcp socket, 更不用說能拿來當傳輸機制與能拿來當API是兩回事.

4. 這些還在用socket 的老系統絕對不是為了效率, 通常是對第三方資料接取並不看重,
我舉另一個還在用 socket當api服務例子

中華電信企業電信簡訊API:

比對外國的 Nexmo SMS service:

各位覺得哪比較好寫?



2012/4/9 Kevin <korp...@gmail.com>

用socket有什麼不對 = =||| , HTML5也提出web socket了
股市資訊和操作都非常的即時,如果不只是單純看盤的話,還包括下單等交易操作,
實務考量面來說,當然首重"快"和"即時",這當然選擇socket
就等web socket成熟了,自然也會有很多類似需求的應用移上來

 

-- Kevin Chiu (KevinC)




2012/4/9 Tim Wu <chang...@gmail.com>
真的很棒的心得, 我也是經過一輪的嘗試( intoVPS-> GAE-> EC2->Linode) 最後落腳 Linode, 其實事後想起來, PaaS都不好用, 好用的都不便宜, (Sorry, 直接打翻一船人)

第一次看到 browserID, 不知道有什麼特色?

這個web股票系統能整合交割就更好了, 之前有survey過


不知道有沒有進一步消息. RESTFUL 時代 這些卷商系統還停留在 TCP socket, 遜!


Kevin

unread,
Apr 10, 2012, 1:19:43 AM4/10/12
to clo...@googlegroups.com
真的與標題離題了,不過真的很想回,哈哈
抱歉了大家....

我沒有挑戰的意思 ^^|||
感謝回文,也學到更多

不過,還是有些誤會要說明一下

我的意思不是tcp socket等於web socket
是說web socket的作用也是開啟雙向、點對點、持續的連線
如果web socket可行,這比現有的comet的解決方案都棒,這麼說沒錯吧....

ETrade的確是一個不錯的交易系統,作為小小的散戶,小的曾略有接觸
不過對於rest api部份,我看了他的api document,交易部份頂多提供預約交易,並沒有提供即時交易

謝謝你找了一些例子,台灣的確很多還蠻"落後"(小的也認為簡訊系統對於延遲沒有要求那麼嚴)
我是覺的因時制宜,針對即時的部份,Http的確比Socket有較多延遲
兩個技術各有優缺,而是針對需求採用適當的技術,無法魚與熊掌兼得
而我們也無法把社群網站和證卷交易所要求的即時放在同個標準來衡量

ps. 下單延遲會出人命的.....哈哈,開玩笑的,不過遇到突發狀況是真的會吐血

-- Kevin Chiu (KevinC)



2012/4/10 Tim Wu <chang...@gmail.com>

CRM2顧客是核心

unread,
Apr 26, 2012, 4:08:25 AM4/26/12
to CloudTW
這幾週與幾間創投交手的經驗

AppWorks與Yushan都一樣,他們幾乎只投資在自己育成的團隊

也就是說,他們不只給錢,還會給創業的方法,要用他們的方法創業,才有可能拿到資金

不同的只有,AppWorks育成規模較大,每梯是6個月,有多達30個團隊可以入選,Yushan的Startup Labs則不到1個月,入選團隊
較少

對技術為創業進入途徑的團隊,要得到天使的投資,其途徑是:

(1)先申請AppWorks或是Startup Labs,這是第一關

(2)進入之後,分別為期6個月或是約3週的早期創業育成,這個期間二家創投都會提供一些資金,Startup Labs的有點像是創業比賽獎金;AW
好像從這一屆開始也有育成基金,但是剛開始,還不大清楚如何運作與門檻

(3)前面這關過了之後,要拿到比較有規模的資金,那還要再過關斬將

簡單一句話,新創團隊從現在開始接觸,一切都完美,最快可以拿到資金,那也是好幾個月之後的事情。如果有任何地方不夠完美,那就拿不到資金,花的時間還
會更長,因此這是找創投的風險

此外,歸納幾點心得與建議:

[A] 對年輕的創業團隊,比較以技術為主,對商業模式、點子還沒有很清楚,那麼衝AppWorks或Startup Labs是很重要的

[B] 對於已經有能力開發顧客的團隊,那麼可能要考慮一下,拿到創投的資金之前,還是要花很多時間,其機會成本可能比直接顧客開發更高,那麼對這樣的
團隊就要把重心放在顧客開發;等到生意作起來,再等創投自己來上門

[C] 以上二類之外的創業者,現實的經驗是,除非有本事,不管是技術本事,或是非技術本領,一定要有本事,不然這個世界是沒有天使的,除了自己的爸媽
以外,創業天使並不存在

以上資訊

(1) 僅適用:早期創業團隊 (Early-stage start-ups)
(2) 未考慮也未討論政府的育成資源,例如:SIIR、SBIR、青創貸款
(3) 與創投交手經驗:AppWorks與Startup Labs,只有這二間理我,申請送件的資訊都一模一樣,創新工廠沒回音
(4) YSeed = Yushan Ventures => Startup Lab => Startup Weekend

高長瑞

On Apr 9, 4:38 am, Pofeng Lee ( 李柏鋒 ) <pof...@gmail.com> wrote:
> 感謝 tomore 心得分享 !!
> 有空大家再來聊一下 :p
> ( 作個 podcast ? :p )
>
> ~~~
>
> 除了AppWorks
>  ( App Works 其實以前不算有 seed funding , 但是現在好像有了 )
>
> 現在台灣有滿多 seed funding 的機會, toomore 可以參考一下
>

> 台灣創新工廠http://tmi.vc/programs/


>
> 新加坡 E27, 台北衛星連線場次 - Date: April 24th

> 報名已經截止了 ( 但是或許再試試 ? )http://echelon.e27.sg/SG2012/pages/satellite.php


>
> http://taiwan.startuplabs.org/
> ( 不知道第二屆時間 )
>

> YSeedhttp://yushanventures.com/services/accelerator-services/http://www.yseed.org/
> 不過要注意的是,這家是 "玉山國際投資顧問有限公司"
> 和那個玉山銀行的玉山創投沒關係


>
> On 9 April 2012 03:34, 蔣偉志 Toomore <toomore0...@gmail.com> wrote:
>
>
>
>
>
>
>
>
>
> > Hi 各位:
> > 來分享一下最近做的事情,如標題,跳了三個服務最後到 Linode。這過程還滿好玩的,說給大家聽聽。
>
> > 2010 年我在 COSCUP 閃電秀 Demo 了一個關於股票擷取的程式,而服務放在 GAE 上面運行。2011 年我去報效國家了,在站哨的時候思考
> > GAE 還可以如何使用,但似乎因為 GAE 本身的限制,讓我有點無法自由的發揮,像是 GAE 不能使用 Python 豐富的套件庫 PyPI,就必須在
> > GAE 上面一直不斷的造輪子。況且 2011/11 新的收費方案出來之後,對於免費的容量大大減少,當時就決定停止在 GAE 上的開發,專注在核心程式上。
>
> > 2012 年年初退伍,把之前的程式改寫並包成蛇蛋放在 PyPI 上開放下載。2月底參加小海大大講的,關於如何將應用程式搬出 Google
> > AppEngine 後,整個3月就在測試另一個 PaaS - Heroku。也把套件實作成網站應用。Heroku 上面有滿多的 add-ons
> > 可以使用,開了這些服務:memcached、RedisToGo、Heroku Scheduler、Mailgun、New
> > Relic、都是在免費範圍內使用,開1個 web Dyno,當然這裡有變通的方法。因為在 Heroku 上面使用到2個 Dyno
> > 一定會超過免費的容量,所以我就再開一個 app,另外一個跑 worker Dyno(背景處理,無網頁訪問),又 Heroku 上的 add-ons
> > 的帳號設定檔不會綁 app,也就是可以互相通用的意思,所以跑 worker 就幫跑 web 的背景處理 memcached、定時發信的事務。所以在
> > Heroku 上開了兩個 app,目前都還是沒有花到錢!(當然,也可能沒人在用所以花不到錢 XD)
>
> > 不過,這時候出現問題了!網頁的部份我是用 Flask,也嘗試做 gzip、cache 處理,但還是在擷取資料的時候花上不少時間,至少都會用到 1500
> > ms 的時間,太慢了!即使用 celery 排 Task 擷取丟到 memcached,我還是覺得太慢,上市股票的部份就 800
> > 多檔,每檔約用到3秒,開4線程去跑(太多線程會超過 512MB 記憶體限制),保守估計也要十分鐘才走的完。問題就出在 Heroku 底層是
> > Amazon,連線呼叫回應要在太平洋上面跑個好幾趟,所以很慢!
>
> > 最後想到之前有人提到 Linode
> > 還不錯用,在亞太地區的日本東京有資料中心,光這樣想應該就還不錯,因為我的程式目標是台灣的證交所,當然離證交所愈近愈好!所以就刷下去了!1台 Linode
> > 512 方案。不過 Linode 就是一台虛擬主機(VPS),換句話說不會像 GAE、Heroku 有那樣 "傳便便"
> > 的服務,想要什麼就要自己裝起來!但我真的佩服 Linode 的文件,超詳細,閉著眼睛,照著步驟就可以輕鬆完成!在 Linode 上用 nginx +
> > Flask + uWSGI + redis + celery + memcached,就將 Heroku 上的網站搬過去,速度明顯快很多!
>
> > 所以之後就決定在 Linode 上繼續 grs 網站版的開發,而 grs 的 PyPI
> > 套件也同步進行。以上就是3月到今天經歷過這樣的搬遷,經濟學講的尋價成本就是這樣貨比三家而來的,不過也是一個不錯的體驗,分享給大家!
>

> > 至於 grs Online 4月底會送件給appWorks,希望能夠順利的入選 ;)


>
> > ~Toomore
> > --
> > 蔣偉志 Toomore(Chiang Wei-Chih)

> > toomore0...@gmail.com

Richard J.H. Lin (legist 強)

unread,
Apr 26, 2012, 11:25:39 PM4/26/12
to clo...@googlegroups.com
之前我也有跟 Toomore 在聊創業的下一步,

感謝長瑞及柏鋒的意見, very helpful!



2012/4/26 CRM2顧客是核心 <cr...@crm2.tw>



--
Best regards,
Richard (林珈宏), a.k.a. legist 強

蔣偉志 Toomore

unread,
Apr 26, 2012, 11:31:06 PM4/26/12
to clo...@googlegroups.com
去一趟台北,感謝的人很多,也感謝這篇分享的大家~~

^^~

~Toomore

2012/4/27 Richard J.H. Lin (legist 強) <linji...@gmail.com>

leon456

unread,
Apr 27, 2012, 1:44:29 AM4/27/12
to CloudTW
個人也偏愛 json

不過我公司居然有人說 json 資料量比較大

socket: 若要做到對等的連線 不使用socket還有什麼好解? comet?

On 4月10日, 上午11時39分, Tim Wu <changti...@gmail.com> wrote:
> 與標題離題了, 不過還是回一下好了.
>

> 1. API 首重資料接取容易, 各位可以看看國外市佔率很高 ETrade API 也是用JSON + XML + OAUTHhttp://www.programmableweb.com/api/e*trade


>
> 2. 用 TCP socket的老系統, security 也無法享受標準 https, 只能重造加密規格.
>
> 3. web socket != tcp socket, 更不用說能拿來當傳輸機制與能拿來當API是兩回事.
>
> 4. 這些還在用socket 的老系統絕對不是為了效率, 通常是對第三方資料接取並不看重,
> 我舉另一個還在用 socket當api服務例子
>
> 中華電信企業電信簡訊API:http://sms.hinet.net/new/sent_program.htm
>
> 比對外國的 Nexmo SMS service:http://nexmo.com/documentation/index.html#txt
>
> 各位覺得哪比較好寫?
>

> 2012/4/9 Kevin <korpru...@gmail.com>


>
>
>
>
>
>
>
>
>
> > 用socket有什麼不對 = =||| , HTML5也提出web socket了
> > 股市資訊和操作都非常的即時,如果不只是單純看盤的話,還包括下單等交易操作,
> > 實務考量面來說,當然首重"快"和"即時",這當然選擇socket
> > 就等web socket成熟了,自然也會有很多類似需求的應用移上來
>
> > -- Kevin Chiu (KevinC)
>

> >  <http://korprulu.blogspot.com/>
>
> > 2012/4/9 Tim Wu <changti...@gmail.com>


>
> >> 真的很棒的心得, 我也是經過一輪的嘗試( intoVPS-> GAE-> EC2->Linode) 最後落腳 Linode, 其實事後想起來,
> >> PaaS都不好用, 好用的都不便宜, (Sorry, 直接打翻一船人)
>
> >> 第一次看到 browserID, 不知道有什麼特色?
>
> >> 這個web股票系統能整合交割就更好了, 之前有survey過
>
> >>http://www.openfoundry.org/of/projects/1741
>
> >> 不知道有沒有進一步消息. RESTFUL 時代 這些卷商系統還停留在 TCP socket, 遜!
>
> >> --
>
> Tim Wu 吳昌庭
> IntriSing Technology 嚮樂科技
> TEL:  886-2-26577302
> Mobile: 886-922969218

> Email: changti...@gmail.com

Reply all
Reply to author
Forward
0 new messages