PEG grammar and parser

[Ilmen]

coi ro do ♪

The current version of the parser and PEG grammar can be found there:
• http://ilmen.tk/lojban/camxes-exp.html
• http://ilmen.tk/lojban/camxes-exp.js.peg


Here is the changelog — list of the changes made from the original camxes.js.peg of Masato Hagiwara (many thanks to him ^^):


1) implementation of foretought BE-clause
• {lo be mi broda} now parses.

2) A/JA/JOI merge, gijek implementation
• {brode gi je brodo} now parses.
• {brode na gi joi nai brodo} now parses.
• {na je nai gi mi klama gi mi citka} now parses.
• {broda gi .a brode .e brodo} now parses.

3) merging ZIhE with JA/JOI
• {da po'u do je nai poi drata} now parses.

4) GI TAG BO (suggested by tsani; implemented by selpa'i)
• {mi klama lo zarci gi mu'i bo .ei cpacu lo cidja} now parses.

5) brivla / cmevla merge
• {lo .cmevlas. broda ku co'e} now parses.
• {la .cmevlas. broda ku} now parses.
• {la .cmevlas. ku} now parses.

6) ZOhOI and MEhOI implemented.

7) NAhE BO SUMTI  → NAhE SUMTI  (the bo is no longer necessary)
    (So far it has been only implemented outside MEX.)
• {na'e mi broda} now parses.

8) Recycling SOI (implementation of the new SOI).

9) TAG grammar simplification + assimilation of FA into TAG
• {tavla fi je fo lo jbobau} and {.i se fe bo ko'a broda} now parses.

10) Add of a digit preprocessing (e.g. 3→ci, 4→vo) and a [diacritic → upper case] preprocessing.

11) NAI/UI merge.

12) ZOI now fully implemented.

13) Experimental change from Tsani: empty BE clause + enabling linkargs before tanru_unit_1.
• {be be broda} now parses.
• {jai be broda} now parses.

14) Changes in VUhO's grammar: now the following relative clause is optional, and if present, adding a trailing JOI+SUMTI is now allowed.
• {mi je do vu'o .ei broda} now parses.
• {mi je do vu'o noi broda joi ko'a} now parses.

15) Allowing JA to play the same role as GIhA (yes, this is possible!)
• {mi klama vau je sanga} is now equivalent to {mi klama gi je sanga} and {mi klama gi'e sanga}
• {mi klama do je sanga} is now equivalent to {mi klama do gi je sanga} and {mi klama do gi'e sanga}
• now {mi klama lo pendo ku je sanga} = {mi klama lo pendo gi je sanga} = {mi klama lo pendo gi'e sanga}

16) Allowing CU without bridi-head, so that it is now a mere main-selbri prefix, and not anymore a "bridi-head terminator"
• {fi'i lo vitke cu se pluka .a'o} now parses.
• {sei kucli cu slabu xu do} now parses.

17) Elided terminators are now shown in upper case in the parser's output.

18) NOhOI–KUhOI now implemented.
• {do sanga no'oi pluka mi} (= "you're singing, which is pleasant to me") now parses.


Any suggestion or contribution is welcome. :)

Enjoy!

mi'e la .ilmen. mu'o

[Ilmen]

I copy the todo list here too:

TODO as of 05/10/2013

— Adding some experimental cmavo (ko'oi, si'au, fu'au...)

— jek/ek cleanup + deleting A and JA selma'o altogether (along with ZIhE)

— DOI/COI merge

— RAhO and GAhO — Merge with UI (therefore GOhA merges with BRIVLA and BIhI merges with JOI).

— MEX — Merge operator and JOhI with joik-jek. Eliminate selma'o BIhE. See MEX grammar proposal. [http://www.lojban.org/tiki/MEX+grammar+proposal]

— NUhA — Use ME instead of NUhA to convert operator (including connectives) to selbri. Selma'o NUhA eliminated. There is no reason to have to remember yet another converter when ME can do the job. Include "nu'a" in selma'o ME to preserve backward compatibility.

— sentence — Allow tuhe-tuhu sentences and sentences with elided selbri with NOI and NU 

— + Some changes on CEI and BO

— Fixing SI, SA and SU  .ii

— je gu'Vi replacing {GUhA} (least urgent, nobody uses this construct)

— rename fa'orma'o to famyma'o in postprocessor comments

— improve on displaying famyma’o in several prettifying modes

— [of the really lowest priority] rename selma'o JOI to JA, CMENE to CMEVLA. Do similar renaming with other selma'o if found any

— add glossing like in lojban.org/jboski and genrei.

[guskant]

2013/11/6 Ilmen <ilmen....@gmail.com>:

> coi ro do ♪
>
> The current version of the parser and PEG grammar can be found there:
> • http://ilmen.tk/lojban/camxes-exp.html
> • http://ilmen.tk/lojban/camxes-exp.js.peg
>
>
> Here is the changelog — list of the changes made from the original
> camxes.js.peg of Masato Hagiwara (many thanks to him ^^):
>

ki'e do'o

>
> 1) implementation of foretought BE-clause
> • {lo be mi broda} now parses.
>
> 2) A/JA/JOI merge, gijek implementation
> • {brode gi je brodo} now parses.
> • {brode na gi joi nai brodo} now parses.
> • {na je nai gi mi klama gi mi citka} now parses.
> • {broda gi .a brode .e brodo} now parses.
>
> 3) merging ZIhE with JA/JOI
> • {da po'u do je nai poi drata} now parses.
>
> 4) GI TAG BO (suggested by tsani; implemented by selpa'i)
> • {mi klama lo zarci gi mu'i bo .ei cpacu lo cidja} now parses.
>
> 5) brivla / cmevla merge
> • {lo .cmevlas. broda ku co'e} now parses.
> • {la .cmevlas. broda ku} now parses.
> • {la .cmevlas. ku} now parses.
>
> 6) ZOhOI and MEhOI implemented.
>
> 7) NAhE BO SUMTI → NAhE SUMTI (the bo is no longer necessary)
> (So far it has been only implemented outside MEX.)
> • {na'e mi broda} now parses.
>

di'e preti fi mi
i
lo cabna gerna zo'u lu NAhE BO li'u pu dunli zo LAhE lo ka gerna fi ce'u
i ja'ebo tu'e
[na'e bo [[ko'a poi broda] e ko'e]]
i
[[[na'e bo ko'a lu'u] poi broda] e ko'e]
tu'u
i za'a lo zasni gerna zo'u zo NAhE ka'e basti lu NAhE BO li'u
i ja'e bo zo NAhE ba na'e roroi kuspe lo cmalu pagbu
i va'i tu'e
[na'e [[ko'a poi broda] je ko'e]]
i
[[[na'e ko'a lu'u] poi broda] je ko'e]
tu'u
i va'i zo lu'u sarcu lo nu zo NAhE kuspe lo po'o cmalu pagbu be lo sumti
i lo nu go'i cu sarxe xu lo drata selkai be zo na'e noi mu'a lu NAhE
BRIVLA li'u je lu NAhE BAI li'u mu'anai kuspe lo po'o cmalu pagbu
i iepei lu NAhE SUMTI li'u gau na'e dunli lu NAhE BO SUMTI li'u je
kuspe lo po'o cmalu pagbu

> 8) Recycling SOI (implementation of the new SOI).
>

zo soi ba mo

> --
> You received this message because you are subscribed to the Google Groups
> "lojban zasni" group.
> To unsubscribe from this group and stop receiving emails from it, send an
> email to lojban-zasni...@googlegroups.com.
> For more options, visit https://groups.google.com/groups/opt_out.

[Jacob Errington]

On 5 November 2013 22:21, guskant <gusni...@gmail.com> wrote:

2013/11/6 Ilmen <ilmen....@gmail.com>:> 7) NAhE BO SUMTI  → NAhE SUMTI  (the bo is no longer necessary)

>     (So far it has been only implemented outside MEX.)
> • {na'e mi broda} now parses.
>

di'e preti fi mi
i
lo cabna gerna zo'u lu NAhE BO li'u pu dunli zo LAhE lo ka gerna fi ce'u
i ja'ebo tu'e
[na'e bo [[ko'a poi broda] e ko'e]]
i
[[[na'e bo ko'a lu'u] poi broda] e ko'e]
tu'u
i za'a lo zasni gerna zo'u zo NAhE ka'e basti lu NAhE BO li'u
i ja'e bo zo NAhE ba na'e roroi kuspe lo cmalu pagbu
i va'i tu'e
[na'e [[ko'a poi broda] je ko'e]]
i
[[[na'e ko'a lu'u] poi broda] je ko'e]
tu'u
i va'i zo lu'u sarcu lo nu zo NAhE kuspe lo po'o cmalu pagbu be lo sumti
i lo nu go'i cu sarxe xu lo drata selkai be zo na'e noi mu'a lu NAhE
BRIVLA li'u je lu NAhE BAI li'u mu'anai kuspe lo po'o cmalu pagbu
i iepei lu NAhE SUMTI li'u gau na'e dunli lu NAhE BO SUMTI li'u je
kuspe lo po'o cmalu pagbu

.i coi la gusni kantu .i se jetmlu lo du'u lo do se pensi cu na srana lo jai cabna vau .u'i .i je'u lu na'e mi poi co'e li'u cu frica lu na'e mi lu'u poi co'e li'u .i ca'o ku zo lu'u cu famyma'o zo'e ne zo na'e ne lo sumti

.i sa'u .e'u do zgana zoi .peg.
na'e mi poi broda
([na'e {mi <poi (¹broda VAU¹) KUhO>} LUhU] VAU)

na'e mi lu'u poi broda
([{na'e mi lu'u} {poi <broda VAU> KUhO}] VAU)
.peg.

.i ja'a frica fi lo ka makau smuni
 

> 8) Recycling SOI (implementation of the new SOI).
>

zo soi ba mo

.i zo soi simsa zo sei joi zo noi .i zo soi zo sei mintu lo ka makau gerna .i ku'i zo soi zo noi mintu lo ka makau smuni
.i lu mi klama soi do ke'a na djuno li'u cu dunli lu .i mi klama .i do la'e di'u na djuno li'u .i ku'i frica milxe lo ka makau se basna vau pe'a ru'e .i va'i ge zo'e ne ma'oi noi zo'u sumti ra'abri gi zo'e ne zo soi zo'u ba'e bridi ra'abri .i la'e di'u zo'u zo soi mokau

.i mi'e la tsani mu'o

[guskant]

Le mercredi 6 novembre 2013 02:49:42 UTC+9, Ilmen a écrit :

coi ro do ♪

The current version of the parser and PEG grammar can be found there:
• http://ilmen.tk/lojban/camxes-exp.html
• http://ilmen.tk/lojban/camxes-exp.js.peg

zoi py

http://ilmen.tk/lojban/camxes-exp.js.peg 

tag = expr:(tense_modal (joik_jek tense_modal)*) {return _node("tag", expr); }

py

zo'u 

pe'i .iepei re zoi py + py sarcu

i sa'unai zoi py

tag = expr:(tense_modal+ (joik_jek tense_modal+)*) {return _node("tag", expr); }

py

.i ki'u bo caku le zasni camxes na ka'e genturfa'i lu lo ca na'o broda li'u 

[guskant]

i ke'u lo nu go'i cu sarxe xu lo drata selkai be zo na'e be'o

po'u lo ka mu'a lu NAhE BRIVLA li'u je lu NAhE BAI li'u mu'anai kuspe lo po'o cmalu pagbu 

i .e'u la'apei .iepei gau ma'a 

lu NAhE SUMTI li'u na'e dunli lu NAhE BO SUMTI li'u 

je kuspe lo po'o cmalu pagbu tai mu'a lu NAhE BRIVLA li'u je lu NAhE BAI li'u mu'anai

.i va'i .iepei di'e gau drani

i tu'e

[[[na'e ko'a] poi broda] je ko'e] = [[[na'e bo ko'a lu'u] poi broda] je ko'e]

i di'u na dunli

[na'e bo [[ko'a poi broda] je ko'e]]

tu'u

 

 

> 8) Recycling SOI (implementation of the new SOI).
>

zo soi ba mo

.i zo soi simsa zo sei joi zo noi .i zo soi zo sei mintu lo ka makau gerna .i ku'i zo soi zo noi mintu lo ka makau smuni
.i lu mi klama soi do ke'a na djuno li'u cu dunli lu .i mi klama .i do la'e di'u na djuno li'u .i ku'i frica milxe lo ka makau se basna vau pe'a ru'e .i va'i ge zo'e ne ma'oi noi zo'u sumti ra'abri gi zo'e ne zo soi zo'u ba'e bridi ra'abri .i la'e di'u zo'u zo soi mokau

je'e ki'e

[selpa'i]

mi pu stidi lo du'u na ku zo soi zo sei gerna mintu .i mi curmi tu'a lu mi soi do na djuno ke'a cu klama li'u .i pe'i vlipa je plixau zmadu .i lo gentufa (to genturfa'i toi) zo'u:

([{mi <soi (¹[do CU] [na djuno] [ke'a VAU]¹) SEhU>} cu] [klama VAU]) 

.i pe'i xagmau

mu'o mi'e la selpa'i

[Jacob Errington]

On 6 November 2013 05:52, guskant <gusni...@gmail.com> wrote:

i .e'u la'apei .iepei gau ma'a 

lu NAhE SUMTI li'u na'e dunli lu NAhE BO SUMTI li'u 

je kuspe lo po'o cmalu pagbu tai mu'a lu NAhE BRIVLA li'u je lu NAhE BAI li'u mu'anai

.i va'i .iepei di'e gau drani

i tu'e

[[[na'e ko'a] poi broda] je ko'e] = [[[na'e bo ko'a lu'u] poi broda] je ko'e]

i di'u na dunli

[na'e bo [[ko'a poi broda] je ko'e]]

tu'u

.i ua ie .i lo da'i nu lo nu pilno zo bo cu se curmi gi'e se smuni lo drata be lo me lo nu na pilno zo bo moi cu plixau ie
.i mi tugni .i da'i se jalge lo nu lo nu pilno zo lu'u cu jdika lo ni cafne .ije la'e di'u pluka mi
 

.i zo soi simsa zo sei joi zo noi .i zo soi zo sei mintu lo ka makau gerna .i ku'i zo soi zo noi mintu lo ka makau smuni
.i lu mi klama soi do ke'a na djuno li'u cu dunli lu .i mi klama .i do la'e di'u na djuno li'u .i ku'i frica milxe lo ka makau se basna vau pe'a ru'e .i va'i ge zo'e ne ma'oi noi zo'u sumti ra'abri gi zo'e ne zo soi zo'u ba'e bridi ra'abri .i la'e di'u zo'u zo soi mokau

je'e ki'e

.i lo selsku be la selpa'i zo'u mi jinvi lo du'u xagmau .i sa'u mi pu na morji lo du'u makau sa'e gerna fi zo'e ne zo soi .i pu djuno lo du'u ba'o casnu lo da'i nu tergenmi'u  zo to kei je lo me zo sei moi .i ku'i ie soi mi tugni la selpa'i ke'a cu plixaumau fa lo nu tergenmi'u zo to gi'e ku'i se famyma'o zo se'u noi ke'a melmau zo toi va'o (to zo'e ne lu soi toi li'u na'e melbi toi)

[selpa'i]

la tsani cu cusku di'e noi srana zo soi

> .i lo selsku be la selpa'i zo'u mi jinvi lo du'u xagmau .i sa'u mi pu na
> morji lo du'u makau sa'e gerna fi zo'e ne zo soi .i pu djuno lo du'u
> ba'o casnu lo da'i nu tergenmi'u zo to kei je lo me zo sei moi .i ku'i
> ie soi mi tugni la selpa'i ke'a cu plixaumau fa lo nu tergenmi'u zo to
> gi'e ku'i se famyma'o zo se'u noi ke'a melmau zo toi va'o (to zo'e ne lu
> soi toi li'u na'e melbi toi)

mi gleki lo nu mi'o tugysi'u .i .a'u lo drata ma jinvi

[selpa'i]

la .guskant. cu cusku di'e

> i .e'u la'apei .iepei gau ma'a

> lu NAhE SUMTI li'u na'e dunli lu NAhE BO SUMTI li'u
> je kuspe lo po'o cmalu pagbu tai mu'a lu NAhE BRIVLA li'u je lu NAhE BAI li'u mu'anai

> .i va'i .iepei di'e gau drani

> i tu'e

> [[[na'e ko'a] poi broda] je ko'e] = [[[na'e bo ko'a lu'u] poi broda] je ko'e]
> i di'u na dunli

> [na'e bo [[ko'a poi broda] je ko'e]]
> tu'u

ni'o mi se cizra vau je ku'i jimpe lo du'u ma kau sidbo .i mi zo'u: pu
mukti lo nu vimcu zo bo pe zo na'e kei fa lo nu zo bo sarcu na ku je
na'e melbi .i .ai pensi ...

ni'o ku'i xu nabmi fa lo du'u lu na'e ko'a li'u zo'u: zo lu'u va'o su'o
da jai sarcu .i ke'u .u'i mi mutce lo ka se to'emle zo bo

ni'o ta'o mi pu zi sai te sidbo fi tu'a lo'u na'e ke mi je do [ke'e]
le'u .i .y si'a .ai mi ba pensi

mu'o .u'i mi'e la selpa'i

[Ilmen]

la selpa'i cu cusku di'e

li'a mi tugni :)
.i pe'i lo zo soi gerna poi curmi lo nu nenri fa lo bridi soi simsa tu'a zo noi ku'o cu matmau

mu'o mi'e la .ilmen.

[Ilmen]

la gleki pu cusku di'e

mi klama vau je gidva do vau ui

is parsed as
([mi CU] [klama vau] [je {gidva <do vau>} VAU])

where is {ui} ?

This issue is now fixed; it was related to the javascpript node output and was already present in the original camxes.js (I should consider fixing it in the official camxes too, by the way).

To be precise, several cmavo were affected (VAU, VA, SOI...), and the solution was to replace the _node() call with a _node2() one, on the left of a dozen of the *_clause expressions (VAU_clause, SOI_clause...).

[Ilmen]

coi ro do
.i .a'o pluka do fa lo cnino nanca

.i ca'e mi jungau do lo du'u cnino fa su'o da pe le cipra .camxes.


Camxes-Exp changelog:

2013-11-07: Replaced _node() calls with _node2() within several *_clause productions (e.g. VAU_clause), fixing a bug in the original camxes.js.peg, whereby indicators (e.g. UI_clause) didn't show up in the output when following such productions. We should fix this in the original Camxes too. :)

2013-12-27: Empty prenexes allowed.

2013-12-27: Minor fix in gihek_1 (thanks to Selpa'i)

2013-12-27: {uy} and {iy} added to BY (requested by Selpa'i)

2013-12-27: Cleanup of camxes_postprocessor.js and output modes (minimalistic modes renamed to "prettified" and deletion of fa'orma'o modes).

2013-12-28: Add of {ko'oi} and {si'au} to UI.

# http://ilmen.tk/lojban/camxes-exp.html

mi'e la .ilmen. mu'o

__________________________

[Ilmen]

Grammar changelog:

2014-01-13:  Term grammar changed so that tags immediately followed by a selbri become part thereof.
This behavior is more in accordande with that of Jbofi'e, except that in Jbofi'e, terms within the bridi-tail of a subordinate bridi are handled differently so that a trailing tag can't be stolen from the subordinate clause by the following selbri, i.e. {lo nu broda pu brode} parses as {lo nu broda pu (ku) (kei) (ku) (cu) brode} in Jbofi'e, whereas it currently parses as {lo nu broda (kei) (ku) (cu) pu brode} in Camxes-Exp. Copying Jbofi'e's behavior in this regard would necessitate further tinkering and a significantly increased complexity in terms and termset grammars, and the resulting twofold handling of terms is probably not as intuitive as unconditional absorbtion into selbri anyway.

2014-01-13:  Allowing the pattern {TAG TAGTERM JA TAG TAGTERM}: {ba ko'a je na ku} now parses.

2014-01-13:  Minor node naming mistake fixed (PU_clause was misnamed "PA_clause" in the output of the original Camxes).

[Ilmen]

coi ro do,

I'm pleased to announce you that the Javascript Camxes (both standard and experimental versions) have now a GitHub repository:

• https://github.com/Ilmen-vodhr/ilmentufa

You can now fork it, propose patches or report issues in its issue tracker.

You can also find there a glosser written by la .uilym. (in the /glosser directory) as well as a couple of IRC grammar bot scripts (in the /ircbot directory).

You can also find the new changelog of the experimental grammar hereunder.

The most noticeable change is the implementation of JACU, a new alternative to GIhA proposed by Selpa'i. Please read the article linked below for further explanations:

• http://selpahi.weebly.com/17/post/2014/03/how-to-substantially-simplify-the-lojban-connective-system-my-connective-system.html

As usual, a HTML interface of the current version of the parser is available there:

• http://ilmen.tk/lojban/camxes-exp.html

Enjoy!


=======

•Experimental grammar's changelog:

• 2014-01-26: A few node naming mistakes fixed.
• Fix: selbri tcita before gek_sentence (fix also added to the standard version of the grammar).
• Implementation of a change by Selpa'i on the "number" production ( of whose purpose I don't recall :p ).
• Allowing NA sequences in sentence fragments (now {.i na ja'a .i} parses).
• 2014-03-19: Implementation of JACU bridi tail connection (a new alternative to GIhA proposed by Selpa'i).
• Implementation of forethought relative clause connections (both on NOI and NOhOI). Now {lo plise ge noi se citka gi poi xunre} parses.
• Implementation of FIhOI-FIhAU (bridi —adverbial— relative clause).
• 2014-04-02: Tag sequences fixed, so that {lo prenu pe pu zi} has {pu zi} treated back as a single term.


____________________

[Gleki Arxokuna]

{mi broda vau jebabo brode} parses but

{mi broda vau jebabo cu brode} fails.

--
You received this message because you are subscribed to the Google Groups "lojban zasni" group.
To unsubscribe from this group and stop receiving emails from it, send an email to lojban-zasni...@googlegroups.com.

To post to this group, send email to lojban...@googlegroups.com.
Visit this group at http://groups.google.com/group/lojban-zasni.

For more options, visit https://groups.google.com/d/optout.

[Ilmen]

Le 03/04/2014 18:24, Gleki Arxokuna a écrit :
> {mi broda vau jebabo brode} parses but
> {mi broda vau jebabo cu brode} fails.
>

Fixed. Thank you!

[Ilmen]

Erm, nope, this isn't fixed at all actually. My fix didn't work. :'(

I'll try to fix this tomorrow. Thanks for having pointed this issue out.

[selpa'i]

la .ilmen. cu cusku di'e

This is because my implementation was just a proof of concept. To add
{babo} etc you need to add a few more things. If you like I can write it
and send it to you.

mi'e la selpa'i mu'o

[Gleki Arxokuna]

1.What is your opinion on allowing {babo} as sumti and tanru right-scope connective? What about {vau babo}?
2. How would you fill in yellow cells in the following table https://docs.google.com/spreadsheets/d/1sa2cKreykt_tqCPF30l-lNzJ7URMcsCCByk3vsLyOeA/edit#gid=0   ?

3. What about making {lo broda be lo brode poi poi brodi cu brodo} gendra and automatically expanding to {lo broda be lo brode poi [co'e] poi brodi cu brodo} ?

Side questions: What about auto-insertion of [co'e] into selbri-less sentences? This ofc. changes nothing as {.i ko'a .i ko'a} still gendra. It might be needed only if 3. is implemented and only for complete newbies to show this general concept. Similarly, do we need to show that {za'u lo broda} = {za'u [xo'e] lo broda} ?

--
You received this message because you are subscribed to the Google Groups "lojban zasni" group.

To unsubscribe from this group and stop receiving emails from it, send an email to lojban-zasni+unsubscribe@googlegroups.com.

[Ilmen]

Now this is definitively fixed. Many thanks to Selpa'i for his valuable
help. :-)