[討論] 到底該做什麼才能讓開放資料變成現實

[whisky]

這一篇或許可以看成是最近的幾件事情和關於我們計畫的發展，對一個讓我一直不斷思考的主要議題，「所以現在呢？」的初步想法。

當然這也讓我回過來想到目前為止的「規劃」，「計畫」到底欠缺的是什麼？然後發現很多基礎工作其實我們都沒做好（原因很多）。

所以在這邊，我想提出下面這一個想法，並開始思考執行上我們需要的是什麼.. 如果大家有什麼想法意見，也請提出來。感謝

--

將近 7 個月前，應該是在聽過幾場政府官方舉辦的座談後，我寫下了這一段：越接觸政府資訊，越覺得不是要要求政府開放什麼資訊，而是如何更有效率的使用這些「公開」出來的資訊。同時從這邊反過來要求資訊（資料）的品質的提升... #OpenData #ODTWN

現在的房價地圖，或許可看成是我這一段話最好的實例。感謝他們做出一個很棒的 showcase。

但是，現在我一直在想的是，好，那接下來呢？除了透過在政府部門主動「約談」的會議上提意見，還有什麼是可以做的？曾經有 Access Taiwan 試著想把台灣的觀光資訊整理後開放出來 (http://accesstaiwan.org/) 但是現在似乎都沒動靜了。也有人很努力的把中央氣象局的氣象資料爬出來，寫程式/app。然後在我們的 Working group 上，有人開始爬立法院公報資訊，整理出來。

也就是，回到我一開始說的，在沒辦法（不是我們的專長）透過法令修改，立法推動，政策遊說等方法來達到「開放資料」的目的。我們還是可以直接爬資料，開放資料，使用資料，讓更多人明白這些資料的重要性。運氣好的話，如果能引起大眾的關注，例如台北市公車資訊，例如這次房價，我們就可看到一點點改變。

我不是接受所謂「傳統中華文化」教育長大的。我的認知裡面，不管是法令，或是政策，都是定來讓人去衝撞和要求修改。所以面對政府資訊，其實我一貫的想法都是，就直接拿來使用（不牽涉到私人隱私，不牽涉到侵犯他人權利 - 政府的權力例外），直接衝撞政府體系。因為這是我所知道真的可以改變這個社會，台灣政府的方法。因為我期望政府被我如此「騷動」後，終於願意改變和行動。

不過，我也知道大家不一定跟我一樣，不一定如我一般不怕政府來找麻煩。所以在這邊，我想提的是。我們一直想做一個 data hub 的計畫，也跟另一個組織（這邊先不說是哪一個，因為這是個還在計畫中的計畫）商量建立 data hub 的可能性。如果你願意跟我們一起來做這，一起來建立政府資料 scrapping 的工具與 scripts (例如使用https://scraperwiki.com/) 讓我們一起把政府資訊慢慢解放出來，並透過資料的使用，反過來要求政府改變和回應。

-- whisky / 青平台基金會

此信也貼在 FB 上的討論區 : https://www.facebook.com/groups/odtwn/

[:p]

周三二點要不要開會討論一下

XD

--
--
- Google Groups OpenData.TW Working Group group. https://groups.google.com/d/forum/odtw-wg?hl=en
- To post to this group, send email to odt...@googlegroups.com.
- To unsubscribe from this group, send email to odtw-wg+u...@googlegroups.com.
--
 
 

--

              

[whisky]

剛剛看到，實在忍不住很想跟大家分享： Ronny Wang 把房價資料爬出來放上 github 了 : https://github.com/ronnywang/realprice - 還有完整爬資料用的 script

之前在我的一篇訊息中我提到，到目前為止，我們看到的都是「資訊的揭露和利用」，並不是做 open data。

我相信很多人應該會開始問了.. 那做 open data 到底是什麼？做 open data 其實就是把資料整理（不是刪減，取片段等，是格式化，是清理）後，選擇一個開放授權把資料釋出，然後採開放格式放出讓人下載，讀取等。最後是要不要收費等（基本成本費用，就如自由軟體一樣可收費，但是在開放之下，一般我們會收取的是服務附加費用，是成本費用）

我知道這是版權所有的政府資訊。所以我才說，我認為目前最好的方法就是取，用，開放，跳過政府版權與授權限制。我想，在推動 open data 這一塊，我們也應該要比政府更有創意和點子才行啊..

[Yung-Chieh Lo]

Hi all,

從你們那邊吸了很多養份, 是該反哺的時候了  XD

我們在抓實價登錄資料的時候, 有 survey 了兩個成熟的 parser:

Scrapy

BeautifulSoup

需要花一點時間學一下, 不過我同事說, 學好以後, 要 parse 就超超超超超快的. 給大家參考.

Louis

whisky <whi...@ystaiwan.org> 於 2012年11月6日上午8:27 寫道：

--

[whisky]

感謝分享

我是用 https://scraperwiki.com/ 在玩這些。你提到的 modules 我有在 Scraperwiki 用 Python 時玩過。

關於更多使用上的介紹和說明，也可參考 https://scraperwiki.com/docs/python/ 的說明與教學。

對於不是使用 Python 的人，這個網站也支援使用 php 和 ruby。算是一個蠻有趣好玩得東西..

順便補充一點點感想..

在台灣政府沒有真正開始做 Open Data 前，其實很多資料都已經「公開」上網。但是這個政府一貫的「擾民」政策讓這些資料不只是運用，甚是在搜尋上都是困難重重。這次房價網應該就是一個很好的實例。另一個例子是 zonble 分享的他與中央氣象局的「纏鬥」過程。

但是，如果政府一直不肯把資料「開放」出來，其實這個「爬」資料的過程和程序就會非常重要。因為只有在我們能自己複製這個程序與過程下，我們才能真正確定爬出來的資料的正確與完整，而不是透過第三方他人爬過的資料。

所以，我是認為，如果我們要作一個 data hub，那不該只是資料的整合，應該還要能把這些 scrapper 也一起放進來。

但是就如 zonble 與中央氣象局的經驗一般，scapper 可能是需要有人長期照顧定期更新，一直到政府決定真正做出 open data 與遵守相關規範。

一點想法與大家分享

-- whisky

[Chia-liang Kao]

Hi all,

我是 clkao, 最近做了 http://g0v.tw/, 一些比較從開發者角度的想法，和大家分享。

所謂「衝撞」，基本上就是「沒有 API, 大家自己來」。

這當然是「想做 某些事」的人，如實價地圖、全民審預算，現階段唯一的作法。而他們做這些事情，固然對 open data 有 good will，但_主要_不會是為了推動 open data，而是想要達成「本來想做的那件事情」，例如，想查房價、想看預算。因此我認為這邊可以思考的是，有什麼樣的機制，可以讓這些事情在被進行及達成的時候，同時能推動 open data。

例如說:

1. 有沒有一個 draft 好的授權條款，像是 UK Open government license, 是我們希望將來政府用來釋出資料使用的授權？

2. 在有法律爭議時，有沒有資源能夠幫助開發者？這主要會發生在現有灰色授權加上加值應用時，那是不是要故意產出一個這樣的應用，造成爭議來來加速討論？

3. 有沒有一個給開發者的 guideline，在 scrap 完資料後，請他順便寫一下他希望將來政府提供的 API 或資料長什麼樣子？同時以某種暫時性的授權條款, 直接釋出這樣的資料 or API, 建議政府直接採用

4. 有沒有人能夠整理 (3) 產出的東西，並和相關政府單位溝通？

5. 有沒有 (4) 的 SOP or template? 例如引用法源，透過首長信箱建議政府單位使用 (1) 的授權釋出 (3)，遇到踢皮球時如何提出請願或從立法單位著手？這樣能讓沒有技術能力，但想參與推動的人，也能輕易幫上忙

6. 如果要從修法著手，要求政府釋出資料的「格式、結構、授權」，有沒有人在 draft 需要被修的法律條文，並且整理討論意見？

7. 有沒有一個 wiki, 列出目前有的各種資料？並且列出每種資料的主管單位、目前的「格式、結構、授權」、期望的「格式、結構、授權」、誰已經在應用、誰已經在和他們溝通、進展程度？

上面幾項都是我自己蠻想知道的，也許可以分開來討論。

我要說的是，如果事情是需要靠衝撞來推動，那現在能多做哪些預備及後勤工作，讓預期或不期的衝撞效果能更加倍、更可累積？

Cheers,

CLK

whisky於 2012年11月6日星期二UTC+8上午8時27分03秒寫道：

[Yung-Chieh Lo]

Hi clkao,

我試圖在後天早上與內政部開會時, 和他們提提你說的 (3). 我的投影片準備到一半, 如果有建議, 歡迎 comment.

Louis

--

[CK]

關於法律和SOP，不妨參考某律師撰寫的「討資料攻略秘技」。

[whisky]

感謝 CLKAO 如此有條理的把這些「需求」整理出來。這些問題有大部分是我想過，有些是我沒有去想到。但是不管哪一條，的確都是要「衝撞」前該準備好的，或說一邊「衝」一邊要繼續做好的。

我必須承認，很多很基本的東西其實我們都沒做好。我可以找一堆理由來說明為什麼沒有做好。但是結果就是沒有做好。

所以目前我的想法是，因為這是我真正想要做的，所以我會把這一部分當成優先處理的作業。

關於 clkao 提到的幾點，我目前沒辦法提出一個完整的回答。但是我絕對回提出我的答案，同時請大家一起參與討論和執行。

感謝

PS 也感謝 CK 建議的連結和參考資料。

-- whisky

[Chia-liang Kao]

英國的 mysociety.org 有不少有趣計畫，而且專案都是 open source 的。兩個和這邊的討論稍微有關係：

 

3. 有沒有一個給開發者的 guideline，在 scrap 完資料後，請他順便寫一下他希望將來政府提供的 API 或資料長什麼樣子？同時以某種暫時性的授權條款, 直接釋出這樣的資料 or API, 建議政府直接採用

popit 是一個可以讓人維護組織、人物資料的工具，提供 rest API 讓其他人存取 (nodejs) 很巧的是作者剛好是在英國認識的朋友。

 

4. 有沒有人能夠整理 (3) 產出的東西，並和相關政府單位溝通？

5. 有沒有 (4) 的 SOP or template? 例如引用法源，透過首長信箱建議政府單位使用 (1) 的授權釋出 (3)，遇到踢皮球時如何提出請願或從立法單位著手？這樣能讓沒有技術能力，但想參與推動的人，也能輕易幫上忙

Alaveteli (powers http://www.whatdotheyknow.com/) 是一個讓人向公家機關索取開放資料的計畫。基本上效果就是我們常常在各 mailing list 上看到別人貼出自己和公家機關的書信往返，只是會方便許多，然後有個地方看看到底已經有哪些 request，哪些成果。

這邊有個簡短說明: http://www.alaveteli.org/2012/05/15/8-steps-to-understanding-and-implementing-alaveteli/

西班牙的 tuderechoasaber.es 用 crowd funding 募集了 4100EUR 開始 run... 有人想要試試看台灣的幾個募資平台嗎？

 

[Han-Teng Liao]

scrapy, beautifulsoup, 再加lxml 還要搭firebug....

2012/11/6 Yung-Chieh Lo <yjlo...@gmail.com>:

[Han-Teng Liao]

(台灣)"到底該做什麼才能讓開放資料變成現實" 這個題目有點大,
我覺得在台灣搞一個議題的倡議, 無法不面對媒體求花俏/醜聞,
政府求形式積效/不出包的基本環境之下, 常常會比較難確定
自己的核心堅持而不被拉走....

我雖然本身對偏冷門研究的東西比較有興趣, 但在台灣政府/
媒體的習慣性選取的前提下, 建議以下的基本論述會比較以
自己的核心堅持, 用美國政治及媒體的東西來推銷/廣open data
會比較能取得在台灣的正當性

(1) Open data 是政府投資data scientist 產業的基礎建設

(2) 有這基礎建設(如美國的census database)才能讓Obama的
競選團隊以此為基礎再加semi-open data (公開在私企平台上的
資料) 台灣政黨和媒體都應該贊成這樣的公共投資, 以open data
的訊號, 補足只有靠鈔票選票收視率訊號的市場和政府運作的不足

(3) Open data 是產業在全球產能過剩overcapacity 重組並升級的
重要產業共享資源 industry commons, 產業內及產業間的open data
這對台灣中小企業利用資訊來互相幫忙交流情報及知識, 及政府出資
做的全球產業分工等研究相當重要, 如紡織所所長說的:

"如果政府要幫助臺灣的中小企業，除了利用財團法人的
能量外，還要透過適當的服務仲介，把全球各個領域比
較完整的科技新知、市場情報，以及攸關當地市場的法
律環境等資訊，充分地運用固定的管道提供給中小企業
知道。這是中小企業目前在經營上比較辛苦的地方，而
且這個部分目前連政府也沒有支持我們財團法人來做，
只有到外貿協會才有零星的訊息。我想不只財團法人，
很多如公協會也可以做，而且大家可以分工合作一同蒐
集，加上網路的方便性，可能不用投入很多經費，重點
是政府必須先認同這樣的事情。"

這些"資訊", "分工合作一同蒐集"和"網路的方便性"等等特性,
正是industry commons 應該支援的,

以上是把open data 這題目做大, 並和整體政黨政治和產業升級
的效益以歐美實例來說明open data 及處理資料, 培育
未來data scientist產業人才的一種切入方法,

公共政策的倡議和執行是不太一樣的, 以上是倡議的角度,
這和資訊學資料分析本行關係不到, 是政治正當性的合理化,
至於執行如metadata 的統一等等讓像我這樣的研究者
比較不辛苦, 那是另外一回事....

至於要搞出一些有趣的open data 範例, 我想這都是各人有各
人愛好在做, 一點一滴的在不同的政府部門及市場單位去產
生影響, 我不太把政府或市場看成鐡板一塊, 所以要找出共同
需要的"基礎工作"(給政府給市場給我們做的?) 雖是必要的過程,
但我不太確定有足夠的業餘興趣人力時間把這些所謂的
"基礎工作"搞定....

我想大家都是資訊人, 不如就做一個簡單的open data TW
To do list 流水帳表, 附加一些協同加tag, +1我也要的
collaborative filtering 機制, 還有加一些基本的 "欠缺基礎工作"
"可能主管機關/財團法人", "來源網址", "可能效果", "己有應用實例"等等
的欄位, 等data points 多了, 說不定就有共識出來...

2012/11/6 whisky <whi...@ystaiwan.org>:

[Chia-liang Kao]

7. 有沒有一個 wiki, 列出目前有的各種資料？並且列出每種資料的主管單位、目前的「格式、結構、授權」、期望的「格式、結構、授權」、誰已經在應用、誰已經在和他們溝通、進展程度？

開了一個 wiki: http://opendatatw.wikidot.com/

有空的人就先幫忙動吧

另外 irc.freenode.net #opendata.tw 似乎有人開過, 但沒什麼人?

[whisky CHANG]

這個週末我其實都在重新整理 opendata.tw / wiki.opendata.tw 網站。我想基礎的東西還是要從網站開始。

目前我們有 http://wiki.opendata.tw - 但因為安全考量（目前人力資源等），我只開放註冊者可編輯頁面。

內容的部分會在這個禮拜逐漸整理歸類。主要就是以大家提議該做但是目前沒有人在做的東西為主：政府資訊，相關資料等整理列表。

同時還會包含目前網路上的資訊與餐可資源，翻譯文件等。

IRC 的部分.... 因為現在真的很少人會上去掛著，所以我開了 channel，掛了一段時間後就沒再掛了。

如果覺得還是上 IRC 討論最方便，那我們就上 IRC

對於 IRC 不熟習的朋友們，我們使用的 server 是 irc.freenode.net 如果還不清楚可以用什麼軟體連接上線，可以先使用他們的 webchat 介面

http://www.freenode.net/

http://webchat.freenode.net/

 

-- whisky

--
--
- Google Groups OpenData.TW Working Group group. https://groups.google.com/d/forum/odtw-wg?hl=en
- To post to this group, send email to odt...@googlegroups.com.
- To unsubscribe from this group, send email to odtw-wg+u...@googlegroups.com.
--
 
 

--

-------------------------------------------
張維志 (whisky) / 資訊技術長
whi...@ystaiwan.org / 09-75-66-09-09
財團法人青平台基金會 / www.ystaiwan.org.tw
10666 台北市大安區建國南路一段42號2樓之5
(O) : 02-87724100 / (F) : 02-87724796
-------------------------------------------