Recompiling corpus "frq already compiled, skipping." - need to remove old indexes first?

[Valdis Saulespurens]

Greetings,

   When recompiling corpus, is it good/great/unneeded to remove old indexed files?

I assumed that --recompile-corpus would guarantee that old indexes would not be used, or is that not the case?

There is a new my_corpus.vert file and updated registry file my_corpus

Command:

compilecorp --no-ske --recompile-corpus my_corpus

Results in middle of re/compilation of multiple messages that frq is already compiled:

Truncated output follows:

Compiling frequencies...                                                                                                                                                                                                                                        Compiling arf for attribute word                                                                                                                                                                                                                                frq already compiled, skipping.                                                                                                                                                                                                                                 100 %                                                                                                                                                                                                                                                           Compiling docf for attribute word                                                                                                                                                                                                                               100 %                                                                                                                                                                                                                                                           Compiling aldf for attribute word                                                                                                                                                                                                                               100 %                                                                                                                                                                                                                                                           Compiling arf for attribute tag                                                                                                                                                                                                                                 frq already compiled, skipping.                                                                                                                                                                                                                                 100 %                                                                                                                                                                                                                                                           Compiling docf for attribute tag                                                                                                                                                                                                                                100 %  

[Miloš Jakubíček]

Dear Valdis,

yes, --recompile-corpus wipes the whole data directory at the very beginning (but keeps log files).

The fact that you see the "already compiled" message is because some of the frequency types are dependent on other frequency types (arf on raw freq, for instance), and they check whether all they need is compiled (it might not be in case of subcorpora etc.)

Best wishes,

Milos Jakubicek

CEO, Lexical Computing

http://www.lexicalcomputing.com

http://www.sketchengine.eu

--
You received this message because you are subscribed to the Google Groups "NoSketch Engine" group.
To unsubscribe from this group and stop receiving emails from it, send an email to noske+un...@sketchengine.co.uk.
To view this discussion visit https://groups.google.com/a/sketchengine.co.uk/d/msgid/noske/c3b77f73-58ee-4190-a0db-92e5b14cbdc5n%40sketchengine.co.uk.