Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Nasreddine
Guillaume Polaert
De mémoire, les propriétés dfs.namenode.name.dir et dfs.namenode.edits.dir sont les emplacements de stockage pour la cartographie du NN et les edits logs (les ajouts/modif successifs en attendant d’être mergés) de la carto.
Pour éviter de perdre ces données, si tu perds le disque dur associé au répertoire, tu peux préciser dans la conf plusieurs répertories sur des disques différents (séparés par des virgules). Tu peux également y inclure un point de montage NFS pour encore plus de sécurité.
Guillaume
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-...@googlegroups.com]
De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 14:33
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
--
Hadoop User Group France
http://hugfrance.fr |
https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse
hadoop-user-group-...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page
https://groups.google.com/d/optout.
Nasreddine
On Tuesday, January 26, 2016 at 2:47:09 PM UTC+1, gpolaert wrote:
De mémoire, les propriétés dfs.namenode.name.dir et dfs.namenode.edits.dir sont les emplacements de stockage pour la cartographie du NN et les edits logs (les ajouts/modif successifs en attendant d’être mergés) de la carto.
Pour éviter de perdre ces données, si tu perds le disque dur associé au répertoire, tu peux préciser dans la conf plusieurs répertories sur des disques différents (séparés par des virgules). Tu peux également y inclure un point de montage NFS pour encore plus de sécurité.
Guillaume
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-group-fra...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 14:33
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Bonjour à tous,
j´installe et configure un cluster hadoop (1 master, 1 secondary NN et 3 esclaves) sur ubuntu 14.04.
Or le message suivant lorsque je demarre mes services
Je n´arrive pas à identifier les actions pour resoudre ces 2 pb.
Si vous avez une idee, n´hesitez pas!
********************************************************************
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
**************************************************************************************************
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-france+unsub...@googlegroups.com.
Guillaume Polaert
Oui c’est bien cela.
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-...@googlegroups.com]
De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 15:17
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : Re: [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Merci Guillaume
Si je comprends bien cela signifie que ce warning est en fait un message informatif plus qu une erreur.
les machines tournent sous AWS, cela ne doit pas etre un pb.
Ma comprehension est elle correcte?
Nasreddine
On Tuesday, January 26, 2016 at 2:47:09 PM UTC+1, gpolaert wrote:
De mémoire, les propriétés dfs.namenode.name.dir et dfs.namenode.edits.dir sont les emplacements de stockage pour la cartographie du NN et les edits logs (les ajouts/modif successifs en attendant d’être mergés) de la carto.
Pour éviter de perdre ces données, si tu perds le disque dur associé au répertoire, tu peux préciser dans la conf plusieurs répertories sur des disques différents (séparés par des virgules). Tu peux également y inclure un point de montage NFS pour encore plus de sécurité.
Guillaume
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 14:33
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Bonjour à tous,
j´installe et configure un cluster hadoop (1 master, 1 secondary NN et 3 esclaves) sur ubuntu 14.04.
Or le message suivant lorsque je demarre mes services
Je n´arrive pas à identifier les actions pour resoudre ces 2 pb.
Si vous avez une idee, n´hesitez pas!
********************************************************************
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
**************************************************************************************************
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.
--
Hadoop User Group France
http://hugfrance.fr |
https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-...@googlegroups.com.
Nasreddine
On Tuesday, January 26, 2016 at 3:19:14 PM UTC+1, gpolaert wrote:
Oui c’est bien cela.
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-group-fra...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 15:17
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : Re: [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Merci Guillaume
Si je comprends bien cela signifie que ce warning est en fait un message informatif plus qu une erreur.
les machines tournent sous AWS, cela ne doit pas etre un pb.
Ma comprehension est elle correcte?
Nasreddine
On Tuesday, January 26, 2016 at 2:47:09 PM UTC+1, gpolaert wrote:
De mémoire, les propriétés dfs.namenode.name.dir et dfs.namenode.edits.dir sont les emplacements de stockage pour la cartographie du NN et les edits logs (les ajouts/modif successifs en attendant d’être mergés) de la carto.
Pour éviter de perdre ces données, si tu perds le disque dur associé au répertoire, tu peux préciser dans la conf plusieurs répertories sur des disques différents (séparés par des virgules). Tu peux également y inclure un point de montage NFS pour encore plus de sécurité.
Guillaume
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-group-fra...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 14:33
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Bonjour à tous,
j´installe et configure un cluster hadoop (1 master, 1 secondary NN et 3 esclaves) sur ubuntu 14.04.
Or le message suivant lorsque je demarre mes services
Je n´arrive pas à identifier les actions pour resoudre ces 2 pb.
Si vous avez une idee, n´hesitez pas!
********************************************************************
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
**************************************************************************************************
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-france+unsub...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-france+unsub...@googlegroups.com.
matt Lieber
Merci!
On Tuesday, January 26, 2016 at 3:19:14 PM UTC+1, gpolaert wrote:
Oui c’est bien cela.
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 15:17
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : Re: [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Merci Guillaume
Si je comprends bien cela signifie que ce warning est en fait un message informatif plus qu une erreur.
les machines tournent sous AWS, cela ne doit pas etre un pb.
Ma comprehension est elle correcte?
Nasreddine
On Tuesday, January 26, 2016 at 2:47:09 PM UTC+1, gpolaert wrote:
De mémoire, les propriétés dfs.namenode.name.dir et dfs.namenode.edits.dir sont les emplacements de stockage pour la cartographie du NN et les edits logs (les ajouts/modif successifs en attendant d’être mergés) de la carto.
Pour éviter de perdre ces données, si tu perds le disque dur associé au répertoire, tu peux préciser dans la conf plusieurs répertories sur des disques différents (séparés par des virgules). Tu peux également y inclure un point de montage NFS pour encore plus de sécurité.
Guillaume
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 14:33
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Bonjour à tous,
j´installe et configure un cluster hadoop (1 master, 1 secondary NN et 3 esclaves) sur ubuntu 14.04.
Or le message suivant lorsque je demarre mes services
Je n´arrive pas à identifier les actions pour resoudre ces 2 pb.
Si vous avez une idee, n´hesitez pas!
********************************************************************
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
**************************************************************************************************
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-...@googlegroups.com.
Nasreddine
On Tuesday, January 26, 2016 at 5:47:07 PM UTC+1, matt lieber wrote:
Ce message indique que tu n'as probablement mis qu'un directory pour stocker les donnees relatives au name table; typiquement, il en faut plusieurs, pour ajouter de la redondance, les paths des directories etant separés par des virgules.matt
2016-01-26 7:11 GMT-08:00 Nasreddine <nasreddi...@gmail.com>:
Merci!
On Tuesday, January 26, 2016 at 3:19:14 PM UTC+1, gpolaert wrote:
Oui c’est bien cela.
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-group-fra...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 15:17
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : Re: [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Merci Guillaume
Si je comprends bien cela signifie que ce warning est en fait un message informatif plus qu une erreur.
les machines tournent sous AWS, cela ne doit pas etre un pb.
Ma comprehension est elle correcte?
Nasreddine
On Tuesday, January 26, 2016 at 2:47:09 PM UTC+1, gpolaert wrote:
De mémoire, les propriétés dfs.namenode.name.dir et dfs.namenode.edits.dir sont les emplacements de stockage pour la cartographie du NN et les edits logs (les ajouts/modif successifs en attendant d’être mergés) de la carto.
Pour éviter de perdre ces données, si tu perds le disque dur associé au répertoire, tu peux préciser dans la conf plusieurs répertories sur des disques différents (séparés par des virgules). Tu peux également y inclure un point de montage NFS pour encore plus de sécurité.
Guillaume
De : hadoop-user-...@googlegroups.com [mailto:hadoop-user-group-fra...@googlegroups.com] De la part de Nasreddine
Envoyé : mardi 26 janvier 2016 14:33
À : Hadoop User Group France <hadoop-user-...@googlegroups.com>
Objet : [HUG France] Cela vous parle-t-il: hdfs.server.namenode.FSNamesystem?
Bonjour à tous,
j´installe et configure un cluster hadoop (1 master, 1 secondary NN et 3 esclaves) sur ubuntu 14.04.
Or le message suivant lorsque je demarre mes services
Je n´arrive pas à identifier les actions pour resoudre ces 2 pb.
Si vous avez une idee, n´hesitez pas!
********************************************************************
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one image storage directory (dfs.namenode.name.dir) configured. Beware of data loss due to lack of redundant storage directories!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Only one namespace edits storage directory (dfs.namenode.edits.dir) configured. Beware of data loss due to lack of redundant storage directories!
**************************************************************************************************
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-france+unsub...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-france+unsub...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.
--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-france+unsub...@googlegroups.com.