新酷音輸入法的羅馬拼音
Wei-Hao Syu
首先介紹一下台灣華語羅馬拼音(THL) ， THL跟通用一樣是從漢語拼音衍生出來，所以拼字結構基本上是相同的，主要是配合台灣人的習慣做調整及延伸，也因為結構相同，原則上我們希望羅馬拼音輸入法不只是吃 THL，也要能夠通吃漢語拼音及通用拼音例如：
(THL/漢語/通用)ㄑーㄠ 的音可由 chiao/qiao/ciao 任一方式輸入
ㄒㄩㄝ 的音可由 syueh/xue/syue 任一方式輸入
ci (無)/ㄘ/ㄑー
chi ㄑー/ㄔ/(無)
si ㄒー/ㄙ/ㄒー
以目前 libchewing 的架構下，就我們的理解是，每一個輸入字串最後都會被轉為單一個注音拼音，然後開始查表，要達到上面這幾點的需求，這部份的架構勢必需要調整，我們在嘗試的時候是用一些繞路抓特例的方式來實作 (目前試到一半，不確定能不能成功)，不過這種方式彈性會很低，能有一個完整的架構的話當然會更理想了，當然，如果需要我們的話，我們會非常樂意共同參與開發的，謝謝大家。
jidanni
Wei-Hao Syu
請問您是余博士的朋友嗎？
http://jidanni.org/lang/pinyin/older.html
Jim Huang
[...]
> 也就是說輸入 chi
> 時需要一併列出ㄑー及ㄔ的音，或許可以有個參數讓使用者決定以哪個拼音法為優先順序，更進一步的話亦可能將兩者的常用字(七妻棲吃蚩痴…)放在第一排等。其實這部份有點像
> iOS 開啟模糊拼音的情況，主要就是ㄓㄔㄕ/ㄗㄘㄙ捲不捲舌互相對應這類的，像是輸入 shen 跟 sen 都會出現ㄕㄣ跟ㄙㄣ的字，只是優先順序不同而已。
>
之前 Jeff Chen 做的版本是查表處理，可見 src/hanyupinyin.c
/**
* Map pinyin key-sequence to Zuin key-sequence.
* Caller should allocate char zuin[4].
*
* Non-Zero: Fail to fully convert
*
* @retval 0 Success
*/
int HanyuPinYinToZuin( char *pinyinKeySeq, char *zuinKeySeq )
如果要作到華語羅馬拼音的支援，這部份的邏輯可能得大改，但我相信可行的。
> 以目前 libchewing
> 的架構下，就我們的理解是，每一個輸入字串最後都會被轉為單一個注音拼音，然後開始查表，要達到上面這幾點的需求，這部份的架構勢必需要調整，我們在嘗試的時候是用一些繞路抓特例的方式來實作
> (目前試到一半，不確定能不能成功)，不過這種方式彈性會很低，能有一個完整的架構的話當然會更理想了，當然，如果需要我們的話，我們會非常樂意共同參與開發的，謝謝大家。
>
好的，歡迎討論。
Sincerely,
-jserv
Jeff Chen
這邊主要是指 "無聲調拼音系統"嗎?
若是的話, 很久前我有稍微研究一下, 大致上分為兩個議題.
1. 選字:
這個部份, 比較簡單一點, 可以把各聲調的字列出後, 在根據 "使用頻率" 去列出.
註: 以前松下的"漢音輸入法", 在選字列表中, 有支援這樣的特性,
但若把選詞的部份一起考慮進去, 則"根據使用頻率列出", 其實是可以被忽略的
2. 選詞的部份.
這個部份, 就和 "音標"系統沒什麼關係, 而是酷音本身的選詞演算法
選詞的部份, 一開始就是根據"有聲調的注音系統去設計",
因此, 若要支援"無聲調", 就比較麻煩.
註: "模糊拼音" 的議題, 最後也是會和選詞相關,
目前酷音, 是基於"有聲調的音標系統", 去做選選擇,
若只是, 有"聲調的拼音系統", 其實只要更改 "mapping table", 就行了.
我印象中, 當初應該是可以讀入外部檔案..
Wei-Hao Syu
Jim Huang
> 其實模糊拼音和有無聲調並沒有絕對關係，含聲調的情況下 sen1ling2 跟 shen1lin2
> 都能輸出「森林」就可以算是模糊拼音了。不過從這個例子就可以看出含聲調輸入並不是很順手，既然聲韻都可以容錯，當然聲調也要可以才理想。所以說沒錯，模糊拼音能夠搭配無聲調的話是最理想的，不過初期嘗試的話先用含聲調來測試我想是可以接受的。
>
> 如果可以用改 mapping table (phone.cin嗎？) 的方式做到含聲調的模糊拼音，那我想我可以先嘗試一下看看效果如何。
可以改 data/pinyin.tab
其內容大概為：
34
b 1
p q
m a
f z
d 2
t w
n s
l x
g e
k d
h c
... (下略) ...
以 "h" 來說，就是對到「ㄏ」(鍵位 = "c")
當然再建立另一個表格與搜尋方法也行。
> 更進一步的話，就我目前的理解(有錯請指正，感謝)，新酷音的聲調前段處理是切開處理完不同鍵盤排列，接著轉成預設注音輸入碼，然後再合流從有聲調的詞典檔做判斷。一開始
> PinYinInput() 會透過 HanyuPinYinToZuin() 一對一把輸入轉成注音輸入碼，然後放進 buffer
> 裡。這邊要改成直接可以無調或是模糊的話，那輸入就變成一對多，這樣勢必會影響到原本注音輸入的運作模式，會變成大規模變動，似乎不是很理想。
>
> 或許在後端動手會比較容易，也就是在輸入碼固定的情況下，轉出來的注音符號會不只一組(cheng2 bao3 → t/6 1l3) → ㄔㄥˊ ㄅㄠˇ +
> ㄔㄣˊ ㄅㄠˇ)，最後再照指定的順序(ex. 常用音優先或正確音優先、漢語優先或THL優先等) 合併後呈現，然後把這整段都鎖在 kbtype ==
> KB_HANYU_PINYIN 也就是只有用羅馬拼音輸入的時候才會生效，這樣影響範圍就不會太大了。
這部份應該可以參考鍵盤排列的想法來作。程式碼搜尋 "Hsu"，可見到 src/chewingio.c 與 src/zuin.c 的實做。
Regards,
-jserv
Wei-Hao Syu
jidanni
Kuang-che Wu
> 一般的拼音輸入就是弄個一大串的拼音對應表，輸入時查表輸出結果，新酷音這種拆成前後半查表的方式在實作時倒是出現意外的方便性，單一字採用不同拼音方案就變得可能，而且對應表會相對很簡單，像是雄(漢語
> xiong2, THL syong2) 輸入 xyong2 或是 siong2 都通，甚至要交互支援威妥瑪也是可行的，像是大家比較習慣的 hsiung
> 我們只要多加一組 hs- (ㄒ) 跟 -iung (ㄩㄥ) 即可，如果是整串式的對應表，那要加的可多了，另一個例子是黃(huang2)，因為我們韻母有
> uang 也有 wang，所以可以直接無痛順便支援郵政式拼音 hwang2，而這個甚至是完全不需任何修改就已經支援了。
>
> 這兩個修改過的檔案放在這裡，也歡迎大家多多測試，謝謝。
Wei-Hao Syu
jid...@jidanni.org
>>>>> "WS" == Wei-Hao Syu <whsy...@gmail.com> writes:
WS> 之前有針對漢語拼音 ㄩ 對應到 u, v 的部份做補齊，結果沒檢查到這個，不好意思 ^^"
WS> 這個問題倒是很好解決，因為 phone.cin 裡面有唷(ーㄛ)，但是 yo 並沒有對應到所以打不出來，只要動
WS> 一下 pinyin.tab 即可
WS> http://admin.thl.tw/_media/programming/2012-08-17/pinyin.tab (修正版)
WS> On Friday, August 17, 2012 5:56:12 AM UTC+8, jidanni wrote:
WS> 只知道我無法打「 唷」with yo1 in Hanyu Pinyin.
WS> --
WS> 您已訂閱「Google 網上論壇」的「Chewing IM Development」群組，因此我們特別傳送這封郵件通知您。
WS> 如要在網路上查看這項討論，請造訪 https://groups.google.com/d/msg/chewing-devel/-/-1249ksMecoJ
WS> 。
WS> 如要在此群組張貼留言，請傳送電子郵件至 chewin...@googlegroups.com。
WS> 如要取消訂閱此群組，請傳送電子郵件至 chewing-deve...@googlegroups.com。
WS> 如需更多選項，請造訪此群組：http://groups.google.com/group/chewing-devel?hl=zh-TW。
Jim Huang
感謝分享與提交實做。附件是針對 libchewing GIT 的 patch (作了些微的縮排語行末空白調整，可 git apply 來測試。
「單一字採用不同拼音方案就變得可能，而且對應表會相對很簡單，像是雄(漢語 xiong2, THL syong2) 輸入 xyong2 或是
siong2 都通，甚至要交互支援威妥瑪也是可行的」聽起來很有趣 :)
Regards,
-jserv
Wei-Hao Syu
jidanni
會害他們一輩子，
故應有嚴拼設定，
不接受所選目前方案非完整之輸入。
Wei-Hao Syu
On Saturday, August 18, 2012 3:33:21 PM UTC+8, jidanni wrote:
若讓學生亂拼，
會害他們一輩子，
故應有嚴拼設定，
不接受所選目前方案非完整之輸入。
Buganini
現在打「ㄎㄠˋㄧㄠ」有「哭夭」可以選，感覺好像不太對
2012/8/18 jidanni <jid...@jidanni.org>:
> 若讓學生亂拼，
> 會害他們一輩子，
> 故應有嚴拼設定，
> 不接受所選目前方案非完整之輸入。
>
> --
> 您已訂閱「Google 網上論壇」的「Chewing IM Development」群組，因此我們特別傳送這封郵件通知您。
> 如要在網路上查看這項討論，請造訪
> https://groups.google.com/d/msg/chewing-devel/-/m5VOKRLhKS4J。
>
> 如要在此群組張貼留言，請傳送電子郵件至 chewin...@googlegroups.com。
> 如要取消訂閱此群組，請傳送電子郵件至 chewing-deve...@googlegroups.com。
> 如需更多選項，請造訪此群組：http://groups.google.com/group/chewing-devel?hl=zh-TW。
Wei-Hao Syu
Jim Huang
感謝三位指出目前新酷音在詞語支援的疑慮，個人想法是我們讓詞庫本身保持一個平衡，也就是說，開發階段尊重語文演化的事實，並採納相關的詞彙，而經由網路統計與人工檢閱的方式，將原本單一詞庫切離成兩個以上的詞庫。這樣我們可透過
subset 的控制，克服詞彙的相容議題。
目前台科大 Rifur 等同學正在進行動態詞庫加載的機制，並預期導入由社群成員分享交流的詞庫匯出、匯入機制。
而成大 Sponge 等同學在進行允許模糊音 / 無調詞彙的輸入機制。
在暑假結束後，我們預期這些開發成果能導入到 libchewing，並且輔助詞彙處理。
回到羅馬拼音，我個人傾向採納 Wei-Hao 的貢獻，但應該提供必要的「容錯」選項 (抱歉，我意思是相容多個拼音系統)。各位覺得如何？
Regards,
-jserv
Kuang-che Wu
我認為關於"同時"支援數個羅馬拼音系統, 應該要是可開關的選項(而且可能預設要是關閉)
單一拼音系統的使用者, 並不見得會喜歡容錯.
譬如 chang 在威妥瑪是ㄓㄤ, 在漢語拼音是ㄔㄤ, (在法國遠東學院拼音是ㄕㄤ)
ref. http://zh.wikipedia.org/wiki/%E4%B8%AD%E6%96%87%E6%8B%BC%E9%9F%B3%E5%B0%8D%E7%85%A7%E8%A1%A8
拼音輸入法因為同音字要翻好幾頁來選字已經很惱人了,
若再加上(對特定拼音使用者而言)其他錯誤的字到候選字中, 恐怕更擾人.
> 您已訂閱「Google 網上論壇」的「Chewing IM Development」群組，因此我們特別傳送這封郵件通知您。
Buganini
Wei-Hao Syu
jidanni
至於余氏兼信徒，通通抓起來。
WM
jidanni於 2012年8月26日星期日UTC-7上午3時13分23秒寫道：
至於革命性的功能，只要預設關閉。
至於余氏兼信徒，通通抓起來。
definite
WM於 2012年8月27日星期一UTC+10上午3時30分45秒寫道：
jidanni
Wei-Hao Syu
Jim Huang
請問這部份有計劃更新嗎？或許我們來得及在年底前整合進去。
Thanks,
-jserv
Wei-Hao Syu
Wei-Hao Syu
patch 大致上完成，主要是 kbtype 新增了 KB_THL_PINYIN (台灣華語羅馬拼音) 跟 KB_MPS2_PINYIN (注音二式)，同時修正了 KB_HANYU_PINYIN (漢語拼音) 的一些問題，原來的特性大致上都還是保留了下來。
然後因為有些音有重疊的定義，所以我另外拉了一個 Alt 的系列出來，ZuinData 裡面多了 pho_inx_alt 跟 phoneAlt，ChewingData 多了一個 phoneSeqAlt，原則上就是拼音遇到同輸入不同音時， Alt 就能派上用場了，以 si 來講：
KB_THL_PINYIN:
phone: 0x1c80 (ㄒㄧ)
phoneAlt: 0x2a00 (ㄙ)
KB_HANYU_PINYIN:
phone: 0x2a00 (ㄙ)
phoneAlt: 0x1c80 (ㄒㄧ)
會依照所選的 kbtype 決定順序，當然也有些是共用的，像 lu 不管選哪個 kbtype ㄌㄨ 後面都會加上 ㄌㄩ。至於一般情況，包括所有其他注音排列，phoneAlt 就只是 phone 的複製，例如 ji：
phone: 0x1880 (ㄐㄧ)
phoneAlt: 0x1880
然後在 choice.c 的 SetChoiceInfo() 會看兩個值有沒有相同再決定要不要附加，這個附加跟許氏注音附加音 (例：ㄘ/ㄟ) 的方式類似，只是單純處理單字的情況，並不會影響到組詞的部份。話說回來，其實許氏注音附加音的那塊也可以整合進來…
附檔一個是 libchewing 的 patch，另外我通常用 ibus 在測試，所以也弄了一個給 ibus-chewing 用的 patch，還請大家多多測試，謝謝。
ChangZhuo Chen
On Thursday, December 27, 2012 10:36:00 AM UTC+8, Wei-Hao Syu wrote:
patch 大致上完成，主要是 kbtype 新增了 KB_THL_PINYIN (台灣華語羅馬拼音) 跟 KB_MPS2_PINYIN (注音二式)，同時修正了 KB_HANYU_PINYIN (漢語拼音) 的一些問題，原來的特性大致上都還是保留了下來。
Wei-Hao Syu
Jim Huang
感謝 patch! 我有以下的問題：
在 2012年12月27日上午10:36，Wei-Hao Syu <whsy...@gmail.com> 寫道：
> patch 大致上完成，主要是 kbtype 新增了 KB_THL_PINYIN (台灣華語羅馬拼音) 跟 KB_MPS2_PINYIN
> (注音二式)，同時修正了 KB_HANYU_PINYIN (漢語拼音) 的一些問題，原來的特性大致上都還是保留了下來。
既然拼音系統已經大幅擴充，要不我們趁這個機會將 src/hanyupinyin.c 重新命名？
若稱為 src/pinyin.c 適當嗎？
> 然後因為有些音有重疊的定義，所以我另外拉了一個 Alt 的系列出來，ZuinData 裡面多了 pho_inx_alt 跟
> phoneAlt，ChewingData 多了一個 phoneSeqAlt，原則上就是拼音遇到同輸入不同音時， Alt 就能派上用場了，以 si 來講：
[...]
> 然後在 choice.c 的 SetChoiceInfo() 會看兩個值有沒有相同再決定要不要附加，這個附加跟許氏注音附加音 (例：ㄘ/ㄟ)
> 的方式類似，只是單純處理單字的情況，並不會影響到組詞的部份。話說回來，其實許氏注音附加音的那塊也可以整合進來…
src/zuin.c (EndKeyProcess)
u16Pho = UintFromPhoneInx( pZuin->pho_inx );
+ u16PhoAlt = UintFromPhoneInx( pZuin->pho_inx_alt );
+
+ /* no alternative phone, copy from origial as alt*/
+ if ( (u16PhoAlt & 0xFFF8) == 0 ) {
+ u16PhoAlt = u16Pho;
+ }
+
if ( GetCharFirst( pgdata, &tempword, u16Pho ) == 0 ) {
ZuinRemoveAll( pZuin );
return ZUIN_NO_WORD;
}
這裡就是改回同輸入不同音的預設值，是嗎？ 0xFFF8 是 magic number 嗎？
另外，能否將程式碼的註解改以英文為主？
Thanks,
-jserv
jid...@jidanni.org
JH> 要不我們趁這個機會將 src/hanyupinyin.c 重新命名？
該重新命名莫非到處 "ZUIN"... ZHUYIN 拜託。
還有不少。
Jim Huang
在年底的 release，應該來不及更名 "zuin" 這項「美麗的錯誤」。但可以列入 2013 年的計畫，連同 API 改版一起處理。
jid...@jidanni.org
對呀，有好多同類，小學不如，我不敢看！
Wei-Hao Syu
On Friday, December 28, 2012 6:22:46 PM UTC+8, jserv wrote:
hi Wei-Hao,感謝 patch! 我有以下的問題：
在 2012年12月27日上午10:36，Wei-Hao Syu <whsy...@gmail.com> 寫道：
> patch 大致上完成，主要是 kbtype 新增了 KB_THL_PINYIN (台灣華語羅馬拼音) 跟 KB_MPS2_PINYIN
> (注音二式)，同時修正了 KB_HANYU_PINYIN (漢語拼音) 的一些問題，原來的特性大致上都還是保留了下來。既然拼音系統已經大幅擴充，要不我們趁這個機會將 src/hanyupinyin.c 重新命名？
若稱為 src/pinyin.c 適當嗎？
> 然後因為有些音有重疊的定義，所以我另外拉了一個 Alt 的系列出來，ZuinData 裡面多了 pho_inx_alt 跟
> phoneAlt，ChewingData 多了一個 phoneSeqAlt，原則上就是拼音遇到同輸入不同音時， Alt 就能派上用場了，以 si 來講：
[...]
> 然後在 choice.c 的 SetChoiceInfo() 會看兩個值有沒有相同再決定要不要附加，這個附加跟許氏注音附加音 (例：ㄘ/ㄟ)
> 的方式類似，只是單純處理單字的情況，並不會影響到組詞的部份。話說回來，其實許氏注音附加音的那塊也可以整合進來…src/zuin.c (EndKeyProcess)
u16Pho = UintFromPhoneInx( pZuin->pho_inx );
+ u16PhoAlt = UintFromPhoneInx( pZuin->pho_inx_alt );
+
+ /* no alternative phone, copy from origial as alt*/
+ if ( (u16PhoAlt & 0xFFF8) == 0 ) {
+ u16PhoAlt = u16Pho;
+ }
+
if ( GetCharFirst( pgdata, &tempword, u16Pho ) == 0 ) {
ZuinRemoveAll( pZuin );
return ZUIN_NO_WORD;
}這裡就是改回同輸入不同音的預設值，是嗎？ 0xFFF8 是 magic number 嗎？
另外，能否將程式碼的註解改以英文為主？
Thanks,
-jserv
Wei-Hao Syu
Jim Huang
> On Friday, December 28, 2012 6:22:46 PM UTC+8, jserv wrote:
>> 既然拼音系統已經大幅擴充，要不我們趁這個機會將 src/hanyupinyin.c 重新命名？
>> 若稱為 src/pinyin.c 適當嗎？
>
> 可以的，而且其實對應的表格本來就叫 data/pinyin.tab 了， include/internal/hanyupinyin-private.h
> 也可以配合改成 pinyin-private.h，然後 function name 看要不要一起動，像是 InitHanyuPinYin() ->
> InitPinyin()，struct 裡面倒是本來就叫 pinyin 了。
Great!
已更名：
commit ec247444905a00cff0101919f4ed5a7f37d6e26f
Author: Jim Huang <js...@0xlab.org>
Date: Fri Dec 28 20:09:02 2012 +0800
Rename all occurrence of 'hanyupinyin' with 'pinyin' to be more generic
We are going to merge THL-Pinyin (台灣華語羅馬拼音) and MPS2-Pinyin
(注音二式). It should be better to make naming more consistent.
請在這基礎上提交 patch。
Thanks,
-jserv
jid...@jidanni.org
WS> 除了 zuin 還有 zhuin，而且有時候還會同時出現 :p
祝祝祝
蠻牛跳電篇
http://www.youtube.com/watch?v=bmpTkYS0mkM&list=PL6E40919035151385
Wei-Hao Syu
commit 536c9ab82ce680b1446d4cc612c3e41152c0df69 (Fix memory leak when malloc() fails)
http://admin.thl.tw/_media/programming/2012-12-30/libchewing-pinyin-update-2012-12-30.patch
write comments in English
InitHanyuPinYin() ->InitPinyin(), TerminateHanyuPinyin -> TerminatePinyin(),... in pinyin-private.h and pinyin.c
minor updates of pinyin.c and zuin.c
ChangZhuo Chen
patch based on czchen's latest commit:
commit 536c9ab82ce680b1446d4cc612c3e41152c0df69 (Fix memory leak when malloc() fails)
http://admin.thl.tw/_media/programming/2012-12-30/libchewing-pinyin-update-2012-12-30.patch
Wei-Hao Syu
Jim Huang
> this one should be ok
> http://thl.tw/_media/programming/2012-12-30/libchewing-pinyin-update-2012-12-30.patch
>
commit ad9691c2a98d418f51228aeda0a3d9d349ae5bf7
Author: Wei-Hao Syu <whsy...@gmail.com>
Date: Sun Dec 30 18:45:08 2012 +0800
Support THL (Taiwan Huayu Luomapinyin) and MPS2 Pinyin keyboard
THL (Taiwan Huayu Luomapinyin)[*] is derived from Hanyu Pinyin system and
adapted according to the conventions in Taiwan. This patch introduces
two key layouts: THL and MPS2 Pinyin (注音二式). Also, the case when
one key sequence is mapped to several Pinyin representations is
considered. The new-added phoneAlt in struct ZuinData is used for such
purpose.