Dataset reluctant à s'importer ; compteurs stables

[Jérôme Baton]

Bonjour,

Je suis en misère avec un dataset qui refuse de finir de s'importer : node et relation counts stables pendant 2H+, CPU reste autour de 40%

La heap est stable près du max, à +ou- 4Go

Apparemment, personne sur le channel Slack n'a trouvé

Le CSV fait 200Mo. J'ai déjà réussi à l'importer en 5 ou 8 minutes sur deux machines différentes.

Il s'agit d'opendata médicale pour un challenge mais c'est surtout l'occasion pour moi de jouer avec de vraies données

L'url pour le recupérer  :  https://we.tl/3be792XorL

Contexte: ubuntu 16, noyau 4.4, java 8 Oracle , version 3.0.6  (idem avec la 3.1 beta)

J'ai mis 100 000 fichiers ouverts possible, donné 16 Go à la JVM, rien n'y fait.

Est-ce que ce type de comportement rappelle qqchose à qqun ?

Merci

Jérôme

Pour suivre l'avancement, j'ai ce petit bout de shellscript, à lancer dans NEO/bin

repeat 100 {date ; ./neo4j-shell -host 127.0.0.1 -port 1337  -c "MATCH (n) RETURN count(n);"|grep '|'| grep -v ount |sed -e 's/||*/ /g' ; ./neo4j-shell -host 127.0.0.1 -port 1337  -c "MATCH ()-->() RETURN count(*);"|grep '|'| grep -v ount |sed -e 's/||*/ /g' ;sleep 10 } > trace.txt

et je fait un tail -f trace.txt  dans un autre terminal

[Jérôme Baton]

Je crois que j'ai du grain à moudre. 

lsof | wc -l

266741

ulimit -Hn

90000

ulimit -Sn

90000

cat /proc/sys/fs/file-max

250000

mais seulement 446 pour le proc de neo server, et 189 pour l'import ... 

[Jérôme Baton]

Cela marche.

Je fais deux load csv

Le premier pour les noeuds peripheriques

le 2e pour le noeud central et les relations

Cela avait pourtant fonctionné avec un seul .....