关于ClassNotFoundException: NewMaxTemperatureMapper错误

[李玉林]

以前就提到过这个错误，最后没有解决，只是重新搭建了一个Hadoop环境，运行就可以了。这次本来是想看看map输出的中间数据的数据结构等，所以又运行了一次原来的程序，只是输入的数据量大了许多。

11/08/30 22:17:48 INFO mapred.JobClient:     Rack-local map tasks=120

11/08/30 22:17:48 INFO mapred.JobClient:     Launched map tasks=243

11/08/30 22:17:48 INFO mapred.JobClient:     Data-local map tasks=123

由上面的输出信息可以看到，总共启动了243个map task，其中rack的是120个，datalocal是123个，说明一下master跟slave是用虚拟机虚拟出来的两台主机，配置基本相同。

但是slave是后来新配置的环境，单独运行job也没有提示class not found错误。

这次运行的统计信息

Hadoop job_201108302048_0010 on master

---

Kind	% Complete	Num Tasks	Pending	Running	Complete	Killed	Failed/Killed Task Attempts
map	100.00%	122	0	0	122	0	121 / 0
reduce	100.00%	1	0	0	1	0	0 / 0

此图中可以看出complete的map个数是122个，也就是说rack local的120个都没有错误，此外 data local即master运行的123个中有2个是成功的，即没有提示class not found错误的，所以搞不清楚到底是什么配置造成了这种错误。

此外，想问一下map输出的中间数据的数据结构是什么？在哪里能查看到输出的中间数据？我的是默认配置，没有改过map的中间数据输出的directory。reduce是如何取这些数据的？有没有关于这方面的详细资料。

--
李玉林

[air]

遇到这种问题先应该定位问题，你可以先点开 121 / 0 看一下是什么引发的问题；

中间结果存放的位置是在本地文件系统的 mapred.local.dir （mapred-site.xml）下，默认值是${hadoop.tmp.dir}/mapred/local，你可以根据你的hadoop.tmp.dir来找到该路径。

--
李玉林

--
Knowledge Mangement .

[李玉林]

错误就是题目中描述的那样找不到类，还有一个问题，我用job.setNumReduceTasks(int tasks) 类，设置了reduce的个数是2，但是执行的还是1个reduce，这个除了在程序中配置外，貌似还可以在core-site.xml中配置吧？但是忘了那个参数怎么写了。

--
李玉林

[ke yuan]

你看下，是不是每个tasktracker里的lib里的jar包都是相同的，看看出问题的是哪台机器或者哪几台机器

[air]

找不到类，说明hadoop TT的启动进程里可能没有加载到相应的jar包，你可以通过执行ps aux | grep tasktracker来看每台机器的TT加载jar包的情况，看看是否有不同；

设置reduce个数（mapred-site.xml）：


<property>
  <name>mapred.reduce.tasks</name>
  <value>2</value>
  <description>The default number of reduce tasks per job. Typically set to 99%
  of the cluster's reduce capacity, so that if a node fails the reduces can
  still be executed in a single wave.
  Ignored when mapred.job.tracker is "local".
  </description>
</property>

在 2011年8月31日 上午10:36，李玉林 <yulin...@gmail.com>写道：

--
Knowledge Mangement .

[air]

还有，就是你再编译完你地java文件、打完jar包后，要把对应的.class文件删除掉，否则可能会出现找不到类的情况。

在 2011年8月31日 上午10:36，李玉林 <yulin...@gmail.com>写道：

--
Knowledge Mangement .

[李玉林]

谢谢air，提示找不到类的问题已经解决了，方法就是删除多余的class，但是原理不清楚，air能否给讲解下？reduce在xml设置后，也可以运行两个了。

在slave端运行ps -aux | grep tasktracker，显示如下：

[hadoop@slave1 ~]$ ps -aux | grep tasktracker

Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ

hadoop    2179  0.4  6.7 1197716 49600 ?       Sl   Aug30   5:08 /home/hadoop/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs -Dhadoop.log.file=hadoop-hadoop-tasktracker-slave1.log -Dhadoop.home.dir=/home/hadoop/hadoop-0.20.203.0/bin/.. -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/home/hadoop/hadoop-0.20.203.0/bin/../lib/native/Linux-i386-32 -Dhadoop.policy.file=hadoop-policy.xml -classpath /home/hadoop/hadoop-0.20.203.0/bin/../conf:/home/hadoop/jdk1.6.0_26/lib/tools.jar:/home/hadoop/hadoop-0.20.203.0/bin/..:/home/hadoop/hadoop-0.20.203.0/bin/../hadoop-core-0.20.203.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/aspectjrt-1.6.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/aspectjtools-1.6.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-beanutils-1.7.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-beanutils-core-1.8.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-cli-1.2.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-codec-1.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-collections-3.2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-configuration-1.6.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-daemon-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-digester-1.8.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-el-1.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-httpclient-3.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-lang-2.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-logging-1.1.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-logging-api-1.0.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-math-2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-net-1.4.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/core-3.1.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/hsqldb-1.8.0.10.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jackson-core-asl-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jackson-mapper-asl-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jasper-compiler-5.5.12.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jasper-runtime-5.5.12.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jets3t-0.6.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jetty-6.1.26.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jetty-util-6.1.26.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsch-0.1.42.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/junit-4.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/kfs-0.2.2.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/log4j-1.2.15.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/mockito-all-1.8.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/oro-2.0.8.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/servlet-api-2.5-20081211.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/slf4j-api-1.4.3.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/slf4j-log4j12-1.4.3.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/xmlenc-0.52.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsp-2.1/jsp-2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsp-2.1/jsp-api-2.1.jar:. org.apache.hadoop.mapred.TaskTracker

hadoop   27559  0.0  0.1   4464   740 pts/2    S+   15:38   0:00 grep --color=auto tasktracker

在master端运行，显示如下：

[hadoop@master hadoop]$ ps -aux | grep tasktracker

hadoop    4028  0.4  4.1 1194344 43188 ?     S    Aug30   4:59 /home/hadoop/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs -Dhadoop.log.file=hadoop-hadoop-tasktracker-master.log -Dhadoop.home.dir=/home/hadoop/hadoop-0.20.203.0/bin/.. -Dhadoop.id.str=hadoop 

hadoop   19561  0.0  0.0  4812  636 pts/3    S    15:44   0:00 grep tasktracker

这是不是说明master中没有加载那些jar包啊，但是在删除class之后，就可以运行了，那么上面的两个ps显示的结果说明了什么问题呢？

--
李玉林

[air]

在 2011年8月31日 下午3:52，李玉林 <yulin...@gmail.com>写道：

谢谢air，提示找不到类的问题已经解决了，方法就是删除多余的class，但是原理不清楚，air能否给讲解下？reduce在xml设置后，也可以运行两个了。

应该是类冲突的原因

在slave端运行ps -aux | grep tasktracker，显示如下：

[hadoop@slave1 ~]$ ps -aux | grep tasktracker

Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ

hadoop    2179  0.4  6.7 1197716 49600 ?       Sl   Aug30   5:08 /home/hadoop/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs -Dhadoop.log.file=hadoop-hadoop-tasktracker-slave1.log -Dhadoop.home.dir=/home/hadoop/hadoop-0.20.203.0/bin/.. -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/home/hadoop/hadoop-0.20.203.0/bin/../lib/native/Linux-i386-32 -Dhadoop.policy.file=hadoop-policy.xml -classpath /home/hadoop/hadoop-0.20.203.0/bin/../conf:/home/hadoop/jdk1.6.0_26/lib/tools.jar:/home/hadoop/hadoop-0.20.203.0/bin/..:/home/hadoop/hadoop-0.20.203.0/bin/../hadoop-core-0.20.203.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/aspectjrt-1.6.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/aspectjtools-1.6.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-beanutils-1.7.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-beanutils-core-1.8.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-cli-1.2.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-codec-1.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-collections-3.2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-configuration-1.6.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-daemon-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-digester-1.8.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-el-1.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-httpclient-3.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-lang-2.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-logging-1.1.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-logging-api-1.0.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-math-2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-net-1.4.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/core-3.1.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/hsqldb-1.8.0.10.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jackson-core-asl-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jackson-mapper-asl-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jasper-compiler-5.5.12.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jasper-runtime-5.5.12.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jets3t-0.6.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jetty-6.1.26.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jetty-util-6.1.26.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsch-0.1.42.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/junit-4.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/kfs-0.2.2.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/log4j-1.2.15.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/mockito-all-1.8.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/oro-2.0.8.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/servlet-api-2.5-20081211.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/slf4j-api-1.4.3.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/slf4j-log4j12-1.4.3.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/xmlenc-0.52.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsp-2.1/jsp-2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsp-2.1/jsp-api-2.1.jar:. org.apache.hadoop.mapred.TaskTracker

hadoop   27559  0.0  0.1   4464   740 pts/2    S+   15:38   0:00 grep --color=auto tasktracker

在master端运行，显示如下：

[hadoop@master hadoop]$ ps -aux | grep tasktracker

hadoop    4028  0.4  4.1 1194344 43188 ?     S    Aug30   4:59 /home/hadoop/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs -Dhadoop.log.file=hadoop-hadoop-tasktracker-master.log -Dhadoop.home.dir=/home/hadoop/hadoop-0.20.203.0/bin/.. -Dhadoop.id.str=hadoop 

hadoop   19561  0.0  0.0  4812  636 pts/3    S    15:44   0:00 grep tasktracker

这是不是说明master中没有加载那些jar包啊，但是在删除class之后，就可以运行了，那么上面的两个ps显示的结果说明了什么问题呢？

找不到类是你本机环境的问题，与其它机器没有关系，hadoop会自动将jar文件分发到分布式缓存；不过如果你再master上启动TT的话，应该能够自动将hadoop目录/lib下的jar包都包含进来的，奇怪啊。。。

--
Knowledge Mangement .

[air]

在 2011年8月31日 下午4:26，air <cnw...@gmail.com>写道：

在 2011年8月31日 下午3:52，李玉林 <yulin...@gmail.com>写道：

谢谢air，提示找不到类的问题已经解决了，方法就是删除多余的class，但是原理不清楚，air能否给讲解下？reduce在xml设置后，也可以运行两个了。

应该是类冲突的原因

在slave端运行ps -aux | grep tasktracker，显示如下：

[hadoop@slave1 ~]$ ps -aux | grep tasktracker

Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ

hadoop    2179  0.4  6.7 1197716 49600 ?       Sl   Aug30   5:08 /home/hadoop/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs -Dhadoop.log.file=hadoop-hadoop-tasktracker-slave1.log -Dhadoop.home.dir=/home/hadoop/hadoop-0.20.203.0/bin/.. -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/home/hadoop/hadoop-0.20.203.0/bin/../lib/native/Linux-i386-32 -Dhadoop.policy.file=hadoop-policy.xml -classpath /home/hadoop/hadoop-0.20.203.0/bin/../conf:/home/hadoop/jdk1.6.0_26/lib/tools.jar:/home/hadoop/hadoop-0.20.203.0/bin/..:/home/hadoop/hadoop-0.20.203.0/bin/../hadoop-core-0.20.203.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/aspectjrt-1.6.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/aspectjtools-1.6.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-beanutils-1.7.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-beanutils-core-1.8.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-cli-1.2.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-codec-1.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-collections-3.2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-configuration-1.6.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-daemon-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-digester-1.8.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-el-1.0.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-httpclient-3.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-lang-2.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-logging-1.1.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-logging-api-1.0.4.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-math-2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/commons-net-1.4.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/core-3.1.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/hsqldb-1.8.0.10.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jackson-core-asl-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jackson-mapper-asl-1.0.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jasper-compiler-5.5.12.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jasper-runtime-5.5.12.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jets3t-0.6.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jetty-6.1.26.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jetty-util-6.1.26.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsch-0.1.42.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/junit-4.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/kfs-0.2.2.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/log4j-1.2.15.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/mockito-all-1.8.5.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/oro-2.0.8.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/servlet-api-2.5-20081211.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/slf4j-api-1.4.3.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/slf4j-log4j12-1.4.3.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/xmlenc-0.52.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsp-2.1/jsp-2.1.jar:/home/hadoop/hadoop-0.20.203.0/bin/../lib/jsp-2.1/jsp-api-2.1.jar:. org.apache.hadoop.mapred.TaskTracker

hadoop   27559  0.0  0.1   4464   740 pts/2    S+   15:38   0:00 grep --color=auto tasktracker

在master端运行，显示如下：

[hadoop@master hadoop]$ ps -aux | grep tasktracker

hadoop    4028  0.4  4.1 1194344 43188 ?     S    Aug30   4:59 /home/hadoop/jdk1.6.0_26/bin/java -Dproc_tasktracker -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-0.20.203.0/bin/../logs -Dhadoop.log.file=hadoop-hadoop-tasktracker-master.log -Dhadoop.home.dir=/home/hadoop/hadoop-0.20.203.0/bin/.. -Dhadoop.id.str=hadoop 

hadoop   19561  0.0  0.0  4812  636 pts/3    S    15:44   0:00 grep tasktracker

这是不是说明master中没有加载那些jar包啊，但是在删除class之后，就可以运行了，那么上面的两个ps显示的结果说明了什么问题呢？

找不到类是你本机环境的问题，与其它机器没有关系，hadoop会自动将jar文件分发到分布式缓存；不过如果你再master上启动TT的话，应该能够自动将hadoop目录/lib下的jar包都包含进来的，奇怪啊。。。

对于你这个问题，你可以看看你master上的hadoop的启动脚本，看看里面都包含了那些jar包，实在不行就重启一下看看；另外看一看这台机器是不是失败的task特别多？

--
Knowledge Mangement .

[李玉林]

以前因为找不到类失败的相当多，现在根据你的方法删除了class之后，偶尔有一两个，恩我在看看，还需要多看资料，谢了！

--
李玉林