frwiki et frwiktionary téléchargement

323 views
Skip to first unread message

franc

unread,
Jun 29, 2015, 8:06:01 AM6/29/15
to aard...@googlegroups.com
Bonjour

Il y a un nouveau fichiér slob (pour Aard2) de la Wikipédia francaise:

https://github.com/itkach/slob/wiki/Dictionaries#french

La Wiktionnaire francaise actuelle va venir dans quelque jours, car je devais recréer completement la base de données (couchdb) de nouveau (durée: env. une semaine!). Le lien va etre aussi sur le Wiki de Aard2:

https://github.com/itkach/slob/wiki/Dictionaries#id3

franc

ENGLISH: I made an actual slob of frwiki and soon from wiktionary, the links are above and simply to find on the aard2-wiki. Thanks.


mhbraun

unread,
Jun 29, 2015, 6:45:56 PM6/29/15
to aard...@googlegroups.com
Salü Franc,

est-ce que la date est correcte dans le fichier
https://github.com/itkach/slob/wiki/Dictionaries#french
car cela indique 13 mai qui est plus d'un mois?

Merci pour partager et felicitations.

...is the date may 13 correct as it is more than a month old? (probably mistyping?)

Interesting, the frwiki has just the same size as dewiki.
Do you use lzma2 compression as well?

Markus

Frank Röhm

unread,
Jun 30, 2015, 1:11:14 AM6/30/15
to aard...@googlegroups.com


Am 30. Juni 2015 00:45:56 MESZ, schrieb mhbraun <mhb...@freenet.de>:
>Salü Franc,

Bonjour :)
Merci de regarder!

>
>est-ce que la date est correcte dans le fichier
>https://github.com/itkach/slob/wiki/Dictionaries#french
><https://www.google.com/url?q=https%3A%2F%2Fgithub.com%2Fitkach%2Fslob%2Fwiki%2FDictionaries%23french&sa=D&sntz=1&usg=AFQjCNGsLYNxP5rDGi_tMhskVX2njsoxFg>
>car cela indique 13 mai

Hm.
Le 25 juin, ca doit être.
Peut-être le cache?
Je lissur le site:
...
French
file: frwiki_2015-06-25.slob
size: 4093259426
sha1: aabe9c0be37cddcc2943315ec3dd3763ba2c5bbf
url: http://7fw.de/download/wiki/frwiki_2015-06-25.slob
...
>...is the date may 13 correct as it is more than a month old? (probably
> mistyping?) ...

Should be 25th june. Could be the cache?

>
>Interesting, the frwiki has just the same size as dewiki.
>Do you use lzma2 compression as well?
>

Yes, but cleaned the lzma2 from file name.
I prefer short file names but date better readable with - between year, month, day.

All good and best, franc


mhb...@freenet.de

unread,
Jun 30, 2015, 3:16:29 AM6/30/15
to aard...@googlegroups.com
I was referring to the second link which ends up with frwiktionary. With rereading the post I got it. You need to rebuild the couchdb. Hence you are still working on it.

Everything is fine.


Mit TouchDown von meinem Android-Telefon gesendet (www.nitrodesk.com)


-----Original Message-----
From: Frank Röhm [franc...@gmail.com]
Received: Dienstag, 30 Juni 2015, 7:11
To: aard...@googlegroups.com
Subject: Re: frwiki et frwiktionary téléchargement

franc

unread,
Jun 30, 2015, 5:19:54 AM6/30/15
to aard...@googlegroups.com
Am Dienstag, 30. Juni 2015 09:16:29 UTC+2 schrieb mhbraun:
... You need to rebuild the couchdb. Hence you are still working on it.

And now is finished at least, yesterday night :) very soon mwscrape2slob will be finished as well :)

franc

unread,
Jun 30, 2015, 10:04:13 AM6/30/15
to aard...@googlegroups.com
Am Dienstag, 30. Juni 2015 11:19:54 UTC+2 schrieb franc:

And now is finished at least, yesterday night :) very soon mwscrape2slob will be finished as well :)

frwiktionary est finis.

French

file: frwiktionary_2015-06-30.slob
size: 410241219
sha1: 68bcef692ed4071a0ca3dc5ad96cb6c4df5947d1
url: http://7fw.de/download/wiki/frwiktionary_2015-06-30.slob

franc

unread,
Jul 3, 2015, 6:45:03 AM7/3/15
to aard...@googlegroups.com
Nouvelles versions de frwiki et frwiktionary:

https://github.com/itkach/slob/wiki/Dictionaries#french
https://github.com/itkach/slob/wiki/Dictionaries#id3

Normalement je vais les publier au début du mois, car le serveur le fais automaticement.

franc

unread,
Aug 5, 2015, 3:49:04 AM8/5/15
to aarddict
Nouvelles version aujourd'hui
Jai du changer le serveur, il y en a moins de place maintenant, que 300 GB (avant: 1 TB) mais jespere que je peux continuer de faire et partager les fichiers de wiki slob encore quelques temps.

franc

unread,
Sep 9, 2015, 4:35:05 PM9/9/15
to aarddict
Nouvelles versions de frwiki et frwiktionary, tele comme toujours:
 

Jais fait le mwscrape et ..slob totalement automatique cette f/mois ci. Silvouplait dites moi si il y a des erreur! Merci.

france
 

franc

unread,
Sep 20, 2015, 4:02:34 AM9/20/15
to aarddict

J'ai regardé dans mes fichiér de log d'apache que il y a quelques téléchargements pour frwiki et frwiktionary, quelque centaines dans ce mois environ.
Est-ce que quelq'un qui a deja utilisé les frwiki et frwiktionary du mois septembre pourrais me dire si les fishier sont sans erreur?
Car je ne lai pas testè, cetait fait automaticement et je crains que il y a des trous dedans, mais je ne peux pas le verifier.
Merci pour une rèponse :)

franc(e)

mhbraun

unread,
Sep 20, 2015, 1:00:16 PM9/20/15
to aarddict
franc,

je n'utilise pas les dictionnaires francaises frwiki et frwiktionary.
Quest-ce que veut-tu tester?
Peut-être je peux t'aider.

Frank Röhm

unread,
Sep 20, 2015, 1:05:10 PM9/20/15
to aard...@googlegroups.com
Am 20.09.2015 um 19:00 schrieb mhbraun:
> franc,
>
> je n'utilise pas les dictionnaires francaises frwiki et frwiktionary.
> Quest-ce que veut-tu tester?
> Peut-être je peux t'aider.

Merci beaucoup, mais pas necessaire de tester specialement.
Je croyais seulement que, comme jais remarque quelques downloads,
peutetre quelqun a remarque de glitches ou des buges.

Car je lai fait automaticement et jamerais bien savoir si ca marche bien.

merci Marcuse dans tous les cas :)

ps. ton conte de freenet etais pioché?

franc

unread,
Oct 12, 2015, 9:04:02 AM10/12/15
to aarddict
Nouvelles version:


Am Mittwoch, 9. September 2015 22:35:05 UTC+2 schrieb franc:

franc

unread,
Nov 12, 2015, 1:54:50 AM11/12/15
to aarddict

franc

unread,
Dec 6, 2015, 4:33:47 PM12/6/15
to aarddict

franc

unread,
Jan 8, 2016, 8:50:31 AM1/8/16
to aarddict

la frwiki est nouveau, Monsieur Markuse avail la gentilesse de manufacteuriser un nouveau fichier de couch qui est beaucoup plus petit (14 GB, la mienne avait 22 GB!). Le reslutat fichier slob est meme encore plus grand, 4.2 GB, et il a plus d'articles, dont je ne sais pas pourquoi.

Si quelquin remarque quelque chose silvouplait disez le ici! Merci.

Une autre chause: je fait des slob singuliere, parce que jamais quelqun ma demande de faire un split avec 4 GB maximum dun fichier.
Si quelqun veux ceci je peux le faire, demandez svp.

Merci.

france

Dominique Faure

unread,
Jan 21, 2016, 3:17:03 PM1/21/16
to aarddict
Bonjour,

Puisque vous le proposez, je vous le demande: Cela me ferait extrêmement plaisir de pouvoir faire profiter à tous les membres de ma famille (ainsi qu'à moi-même) d'une version récente de WIkipedia sur les pauvres cartes SD de nos téléphones respectifs.

Merci d'avance,
Dominique

franc

unread,
Jan 25, 2016, 8:04:24 AM1/25/16
to aarddict
Am Donnerstag, 21. Januar 2016 21:17:03 UTC+1 schrieb Dominique Faure:
Bonjour,

Puisque vous le proposez, je vous le demande: Cela me ferait extrêmement plaisir de pouvoir faire profiter à tous les membres de ma famille (ainsi qu'à moi-même) d'une version récente de WIkipedia sur les pauvres cartes SD de nos téléphones respectifs.


Ebien, ce laa, u tareme telecharger deux fichiers pour FAT32 compatible:

https://github.com/itkach/slob/wiki/Dictionaries#french

franc

unread,
Feb 21, 2016, 8:57:14 AM2/21/16
to aarddict
Pardon, que maintenant (car vacances) je fais les links pour les telechargement de friwki et frwiktionary fevrier 2016:
https://github.com/itkach/slob/wiki/Dictionaries
Les deux fichiers de max 4 GB je ne vais pas faire chaque mois, comme il n ya pas trop de besoin. Peutetre Jacques 6 mois, si il ny a pas autant de enquête. demandez bien donc.

france

franc

unread,
Mar 3, 2016, 9:43:14 AM3/3/16
to aarddict

Dominique Faure

unread,
Mar 6, 2016, 4:19:48 AM3/6/16
to aarddict
Merci beaucoup!
Pour ma part, une mise à jour tous les 6 mois est largement suffisante.

Frank Röhm

unread,
Mar 6, 2016, 4:32:03 AM3/6/16
to aard...@googlegroups.com
Merci beaucoup, ça me soulage!
J'avais un peu soucis de me retirer ainsi du travail :)
C'est d'accord alors.

france

franc

unread,
Apr 9, 2016, 3:29:08 PM4/9/16
to aarddict
Update.
Souple dim si fot

mhbraun

unread,
Apr 9, 2016, 4:13:20 PM4/9/16
to aarddict

Sera réfléte au RWTH domain.


Am Samstag, 9. April 2016 21:29:08 UTC+2 schrieb franc:
Update.
Souple dim si fot

franc

unread,
May 7, 2016, 4:39:50 AM5/7/16
to aarddict
Nouvel version 5. Mai 2016
frwiki + frwiktionary

franc

unread,
Jun 3, 2016, 6:48:06 AM6/3/16
to aarddict

franc

unread,
Jul 7, 2016, 12:56:59 PM7/7/16
to aarddict
Juillet 2016

franc

unread,
Aug 15, 2016, 1:23:37 PM8/15/16
to aarddict
Aout 2016:

- frwiki_2016-08-04.slob
- frwiki_2016-08-04_vol-01.slob
- frwiki_2016-08-04_vol-02.slob
- frwiktionary_2016-08-04.slob

Lactuel frwiki en deux parts pour FAT32 est la

franc

unread,
Nov 10, 2016, 4:44:33 PM11/10/16
to aarddict
Bonjours les gamins et gamines

les wikipedies de Novembre sont prettes depuis kèk jou:

https://github.com/itkach/slob/wiki/Dictionaries#french
https://github.com/itkach/slob/wiki/Dictionaries#id3

Comme mon temps est devenu beaucoup plus rare, je ne vais pas ecrire isit la tous les mois que jai fait une nouvelle wiki.
Comme mon ordinateur de Ubuntu dans tout les cas le fais soi meme avec un scripte, et je ne dois pas regarder normalement que ca marche, tous les premiers jeudi du mois (ou bien le second si le premier jeudi est le 1.) vous aller trouver sur ladresse:

http://7fw.de/download/wiki/

1. la frwiki
2. la frwiki en deux pieces pour FAT32 (max. 4 GB par fichier)
3. la frwiktionary

Alors, meme si dans la wiki de github cestais toujou ecrit que une ancienne version de frwiki soit la, les chances que la version sur mon serveur est actuel (du mois actuel), sont tres bonnes :)

Bonne vacances et sejours!

franc

franc

unread,
Apr 6, 2018, 12:42:04 AM4/6/18
to aarddict


2018-04-05 nouvelles versions.

france

franc

unread,
Apr 4, 2019, 9:48:47 AM4/4/19
to aarddict
Am Donnerstag, 10. November 2016 22:44:33 UTC+1 schrieb franc:
Comme tous les débuts de mois, les nouvelles fichiers sont arrivees.
Bonne chance...

franc

unread,
May 15, 2020, 3:23:54 PM5/15/20
to aarddict
Apres des centaines, je suit de retour: Isitla enfin la Wiktionaire francaise:


La wikipede va suivre bientot...

Bonjou, france

Nikolai Yourin

unread,
May 16, 2020, 2:04:54 PM5/16/20
to aarddict
Hi Franc,

I'm sorry, but this new slob seems to be missing many articles.
frwiktionary_2019-06-06.slob had 3,482,796 articles, whereas the new one only has 3,090,899

A quick diff reveals many consecutive sequences of missing headwords:

...
-à deux
-à deux balles
-à deux doigts
-à deux mains
-à deux vitesses
-à dextre
...
-à donf
-à donner de la tête contre les murs
-à dormir debout
-à double entente
-à double tour
-à double tranchant
...
-voie
-voie anale
-voie balise
-voie banalisée
-voie biliaire
-voie charretière
-voie d’accélération
-voie d’accès
-voie d’eau
-voie d'accélération
-voie d'accès
-voie de bus
-voie de communication
-voie de fait
-voie de garage
-voie de recours
-voie de transmission
-voie d'eau
-voie Domitienne
-voie étroite
-voie express
-voie ferrée
-voie lactée
 Voie lactée
-voie large
-voie métabolique
-voie nasale
-voie navigable
-voie ophtalmique
-voie orale
-voie parallèle
-voie publique
-voie rapide
-voie rectale
-voie romaine
-voie royale
-voie sans issue
-voie verte
-voiement
...
-zygoptère
-zygoptères
-zygoses
-zygosperms
-zygosphère
-zygosphères
-zygospore
-zygospores
-zygostasium
-zygostates
-zygote
...

and many, many more like that.

franc

unread,
May 16, 2020, 2:21:27 PM5/16/20
to aarddict
Am Samstag, 16. Mai 2020 20:04:54 UTC+2 schrieb Nikolai Yourin:
Hi Franc,

I'm sorry, but this new slob seems to be missing many articles.
frwiktionary_2019-06-06.slob had 3,482,796 articles, whereas the new one only has 3,090,899



Sorry! I start scrape again.
Same happened with frwiki too, which is scraping also again.

frank

Nikolai Yourin

unread,
May 16, 2020, 2:52:57 PM5/16/20
to aarddict
Oh, there is no hurry, and thank you very much for all the hard work that you are doing

franc

unread,
May 24, 2020, 7:31:57 AM5/24/20
to aarddict
Am Samstag, 16. Mai 2020 20:52:57 UTC+2 schrieb Nikolai Yourin:
Oh, there is no hurry, and thank you very much for all the hard work that you are doing

OK, I rescraped it and remwscrape2slobed it and this time there were no errors, that I am aware of or I could see.
The size is also bigger (frwiki 6.3 GB, frwiktionary 790 MB), so it is good possible that this time there aint no leaks in the slobs.
I did both, the frwiki and the frwiktionary, so here you may give a new try:

frwiki:


The splitted slobs (also Size and SHA) are in:
(at this very moment it is still splitting, so available only in some minutes/hours)


frwiktionary:



So this frwik* job has become with CouchDB 2.3.1 much more error-prone than under good old couchdb 1.6.
I decided hencely to stop creating the slobs automatically with scripts monthly, seems to me too unreliable.
I will try to stll keep the frwik* actual (mwscrape with recent) in DB by cron etc. but I will create the slobs by hand now from time to time.

I will see how reliable the automatic mwscrape works now.
Thanks for understanding.
frank

franc

unread,
May 24, 2020, 3:07:12 PM5/24/20
to aarddict
Am Sonntag, 24. Mai 2020 13:31:57 UTC+2 schrieb franc:
...

OK, I rescraped it and remwscrape2slobed it and this time there were no errors, that I am aware of or I could see.
The size is also bigger (frwiki 6.3 GB, frwiktionary 790 MB), so it is good possible that this time there aint no leaks in the slobs.
I did both, the frwiki and the frwiktionary, so here you may give a new try:

frwiki:


The splitted slobs (also Size and SHA) are in:
(at this very moment it is still splitting, so available only in some minutes/hours)


The splitting of frwiki did take hours! But it is finished now, 3.9 GB and 2.3 GB slob-files.

By the way, if anybody is interested in the namespace 14 of frwiki, called Category I could add it too, like the namespace 100 in frwiktionary (which is working now it seems).
I don't know if "Category" is important, as I never use the frwiki in my Aard2-App, just (and only to test) the frwiktionary.
On my search of other namespaces in frwiktionary I also looked into the namespace of frwiki (in the siteinfo CouchDB > frwiki > namespace) and found it.
So let me know if namespace 14 in frwiki is interesting, so I would include it in my regular scraping (and in my mwscrape2slob).
frank

MHBraun

unread,
May 24, 2020, 4:59:07 PM5/24/20
to aarddict
The time to generate the vol files for dewiki is around 10-12h and significantly longer for enwiki. Do not worry this is normal. Your CPU is happy and the harddisk too because they got something to do LOL.

To update the couchdb run mwscrape weekly with recent days 30. The you get an overlap if the scrape is missing articles. For enwiki there are around 20000 updates a week. You may check this with latest article mwscrape generates in the mwscrape couch database (where you get the identifyer for the resume)

And correct, the 2.3.1 is very instable compared to 1.6 couchdb. I am running both in parallel for testing and I am not happy at all with 2.3.1 nor 3.0


Hope this helps

Nikolai Yourin

unread,
May 25, 2020, 2:12:11 PM5/25/20
to aarddict
On Sunday, May 24, 2020 at 2:31:57 PM UTC+3, franc wrote:

After a thorough inspection of the diff, I only found four missing headwords,
all four ridiculously unimportant ("réamorcerais", "réappareillant", "réarquais" and "réimpactez"),
which is nothing considering that there are over 3,800,000 articles.

Another good news is that the page layout is back to normal.
The previous slob looked really weird - not like anything you would expect from a wiki page.

Once again, thank you very much, Frank!

Michael Bechtold

unread,
May 26, 2020, 7:29:08 AM5/26/20
to aarddict
Great news, Frank.
Are you going to update https://github.com/itkach/slob/wiki/Dictionaries yourselves ?
Cheers
Michael

Frank Roehm

unread,
May 26, 2020, 8:05:01 AM5/26/20
to Michael Bechtold
> Are you going to update https://github.com/itkach/slob/wiki/Dictionaries yourselves ?
>

Done, just updated. Thanks for reminding.

franc

unread,
Dec 28, 2020, 11:20:08 AM12/28/20
to aarddict

Did I forget to publish a new version from 28. November 2020?
Yes, indeed, I forgot it :(

So at the old spot it is:


Sorry. france

franc

unread,
Dec 30, 2020, 11:25:33 AM12/30/20
to aarddict
franc schrieb am Montag, 28. Dezember 2020 um 17:20:08 UTC+1:

Did I forget to publish a new version from 28. November 2020?


Et voila, une nouvelle version du 29. decembre 2020 est pour telecharger.
Merci.
Reply all
Reply to author
Forward
0 new messages