[Open Congress] 院會紀錄 parser

[Chia-liang Kao]

Hi all,

先看目前結果： https://raw.github.com/g0v/twlyparser/master/examples/ly-4004.json

(建議安裝 google chrome json viewer plugin)

之前 jftsai 似乎只有 parse 議事錄, 而且沒有作語意的部分

目前才略有 semantics, 不過怕有人跟我作重工，趕快先放出來：https://github.com/g0v/twlyparser

打算做個 ly.g0v.tw, 像 theyworkforyou.com 那樣，讓質詢和其他內容容易閱讀，可以 cross reference, comment, etc.

想一起幫忙的，請上 #opendata.tw (freenode)

另外一問，立法院公報初稿目前是沒有公開放出來嗎？

Cheers,

CLK

[Nansen]

Hi Chia-liang

感謝您熱心在分析議事錄內文，這部份小弟之前有想過下列問題

1.關鍵字與正規化，有發現議事錄的章節標題與人名有不一致的問題，例如 陳委員xx 與 陳xx委員

2.於外部引用或查詢的api或url提供一致性，目前產出的json為背景資料，使用應用層產生metadata

3.吸引外部使用者採用這個api或系統的誘因為何

之前做投票記錄後覺得，opendata除了資料的公開利用之外，資料的清洗也佔了一個很重要的因素

提供易於量化與重複利用的資料，剩下的部份就是圖像化數據與解釋現象。

Nansen

Chia-liang Kao於 2012年11月15日星期四UTC+8上午12時43分39秒寫道：

[Chia-Kai Liu]

請問立委投票記錄有提供下載嗎？

2012/11/15 Nansen <nanse...@gmail.com>

--
--
- Google Groups OpenData.TW Working Group group. https://groups.google.com/d/forum/odtw-wg?hl=en
- To post to this group, send email to odt...@googlegroups.com.
- To unsubscribe from this group, send email to odtw-wg+u...@googlegroups.com.
--
 
 

--

CK  ◕‿◕

[Nansen]

Hi CK

Parser在github

https://github.com/nansenat16/tw-legis-log-parser

攫取的資料晚上會找時間轉為JSON釋出，不好意思

Nansen

CK於 2012年11月15日星期四UTC+8上午2時03分11秒寫道：

[黃莉婷]

Dear all,

之前公督盟有打過電話詢問立法院公報處
他們是說，公報初稿是不公開的，只有發言的人可以看自己發言的內容是否有記錄錯誤；
意思就是初稿有點像內部機密文件，沒有人可以調閱整份內容

提供大家參考

公督盟　莉婷

2012/11/15 Nansen <nanse...@gmail.com>

--
政策部 黃莉婷
社團法人公民監督國會聯盟
手機│ 0936-373-169
信箱│ litinghua...@gmail.com
電話│ 02-2367-1571
傳真│ 02-2364-1694
地址│ 10647 台北市大安區羅斯福路三段183號10樓
網址│ www.ccw.org.tw

[Chia-Kai Liu]

Nansen,

多謝。

給個小建議。雖然我有能力使用Parser ，但是要花時間。若有整理出來的資料，就不用再做重複的工作。

此外，除了JSON檔，若能同時提供更多人會使用的 CSV檔，該資料被再利用的機會會更高。

CK

2012/11/15 Nansen <nanse...@gmail.com>

--

CK  ◕‿◕

[Chia-liang Kao]

Hi,

這裡的資料: http://www1.stat.gov.tw/fp.asp?xItem=8575&ctNode=1640

肆、結論與展望

由於公報內所刊載之資訊包括全院會議紀錄、各委員會會議紀錄、公聽會紀錄及各式統計等，包羅萬象，所涉及的層面與每一位國民均息息相關，可謂立法院與民眾間最直接迅速又具權威性的橋樑。而本系統自九十年九月十一日開始開發建置，九十一年七月三十日驗收完成，同年九月十八日正式上線，使用者可以藉本系統上網快速檢索最新相關欲查尋之法案，以及立委質詢、提案和發言的狀況。綜上所述，立法院公報上網系統所帶來之效益，已獲得如下成果：

....

六、公報（初稿）網上原文呈現，並具第一時間上網時效。

難道.... 我又搭時光機不小心來到 2002 年以前了嗎?

是否可以發起一個要求重新公布的行動？

Shirley (黃莉婷)於 2012年11月15日星期四UTC+8上午10時28分16秒寫道：

[Chia-liang Kao]

另外， pda 版完全不能用, 這裡頭其實也有初稿檢索、查詢: http://lci.ly.gov.tw/LyLCEW/pda/PDA_menu.jsp#

Chia-liang Kao於 2012年11月15日星期四UTC+8上午11時25分58秒寫道：

[Nansen]

Hi,CK

結果已更新至github，也修正了一些名字解析的問題。

https://github.com/nansenat16/tw-legis-log-parser/tree/master/json/vote

使用時需要注意有些記錄的title是空的或者不是很精確，這是因為原始記錄就是如此，這部份依然需要人工補充

我覺得目前投票的資訊使用JSON較為適合

因為他的結構比較不一致，CSV比較適合整齊的條列式資訊。

Nansen

CK於 2012年11月15日星期四UTC+8上午10時46分45秒寫道：

[Han-Teng Liao]

各位在做data massaging 的基本工細膩程度令人佩服...

不知道各位有沒有試過英國NGO做的議會記錄公民參與網站

http://www.theyworkforyou.com/mp/diane_abbott/hackney_north_and_stoke_newington

整合了不少政府公開及其他NGO整理的內容, 分投票傾向, 記錄, 參與會記錄, 媒體記錄,

還有其公務花費...

提醒各位他們的網站是free and open source software, 他們有開放一系列的公民參與軟體

http://www.mysociety.org/

雖然不是做open data, 而是open data 的整合加值應用在collective action, 值得參考,

他們的宗旨是:
We build websites that give the public simple, tangible ways to
connect with and improve their society. As well as offering tools
directly to the public we provide integration and development services
for local authorities, corporates and government. As a UK Charity our
own work has a national focus but our vision is global, we open source
our projects and encourage international adaptation.

所以他們非常鼓勵跨國運用的, 所以在此和大家分享一下.....

http://techpresident.com/blog-entry/europe-roundup-mysocietyorg-evaluation-reports

以上是英國科技網站評論/宣傳mysociety的東西, 其中提到的Oxford Internet Institute 的博士生是我同學, 剛畢業在德國教書,

他也在德國做這方面的努力, 在此做友情宣傳, 以上

2012/11/16 Nansen <nanse...@gmail.com>:

[Chia-Kai Liu]

Nansen-  Are you going to the hackathon on Dec. 1? If so, we can have a chat face to face.

To everyone -   當天或許可以考慮組個「國會組」，專門討論 open congress 相關的 projects.

Regards,

CK

2012/11/26 Han-Teng Liao <han...@gmail.com>

--

CK  ◕‿◕

[Nansen]

Hi,CK

沒有意外的話會出席，第一次參加hackathon頗期待:P

CK於 2012年11月26日星期一UTC+8上午8時23分01秒寫道：