Hadoop mapreduce V2 en Yarn --> HDP 2.x et Debian 7.x--> problème d’exécution de mapreduce

[Billy]

Hello tout le monde,

Je rencontre un sérieux problème pour l'installation de HDP (hortonworks hadoop 2.5) 2.x sur Debian 7.x (7.7 exactement).

après l'installation et la configuration le mapreduce ne s’exécute pas comme il faut. en testant avec u n teragen, hive ou autre c'est le même problème,  

sans pouvoir avoir une erreur précise dans les logs, sauf ça :

2014-11-19 16:59:42,717 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerRequestor: getResources() for application_1416410161148_0005: ask=1 release= 0 newContainers=0 finishedContainers=0 resourcelimit=<memory:49152, vCores:-2> knownNMs=2
2014-11-19 16:59:43,727 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Received completed container container_1416410161148_0005_01_000002
2014-11-19 16:59:43,729 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Received completed container container_1416410161148_0005_01_000003
2014-11-19 16:59:43,729 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: After Scheduling: PendingReds:0 ScheduledMaps:0 ScheduledReds:0 AssignedMaps:0 AssignedReds:0 CompletedMaps:0 CompletedReds:0 ContAlloc:2 ContRel:0 HostLocal:0 RackLocal:0
2014-11-19 16:59:43,735 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: attempt_1416410161148_0005_m_000000_0 TaskAttempt Transitioned from RUNNING to FAIL_CONTAINER_CLEANUP
2014-11-19 16:59:43,735 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1416410161148_0005_m_000000_0: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 
org.apache.hadoop.util.Shell$ExitCodeException: 
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)
	at org.apache.hadoop.util.Shell.run(Shell.java:418)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
	at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
	at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)
	at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:745)


Container exited with a non-zero exit code 1

 et une erreur de type:

Error: Could not find or load main class 7168

Pour infos : Hive sur tez fonctionne correctement , Spark aussi.

pouvez vous me donner des pistes à suivre?

Merci d'avance.

[matt Lieber]

Avez vous regardé dans les task tracker / node manager logs, au niveau des nodes eux même?

Matt

--
Hadoop User Group France
http://hugfrance.fr | https://twitter.com/hugfrance
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "Hadoop User Group France".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse hadoop-user-group-...@googlegroups.com.
Pour obtenir davantage d'options, consultez la page https://groups.google.com/d/optout.