Hadoop 集群的内存不释放问题

[china baby]

嗨:

   各位,最近集群出现内存一直不释放的问题,截图如下:

   Cluster Summary (Heap Size is 2.16 GB/22.76 GB)

    内存占用量,Heap Size 一直会增加,每次增加到临界值,都需要重新启动JoTracker,麻烦各位,如何解决?

[stane jia]

你的jobtracker log中有什么信息吗？

--
You received this message because you are subscribed to the Google Groups "Hadoop In China" group.
To unsubscribe from this group and stop receiving emails from it, send an email to hadooper_cn...@googlegroups.com.
To post to this group, send email to hadoo...@googlegroups.com.
Visit this group at http://groups.google.com/group/hadooper_cn.
For more options, visit https://groups.google.com/groups/opt_out.
 
 

[kojie.fu]

确认下是不是因为历史作业信息量过大导致。

默认历史状态在内存保持24小时,

用户历史作业在内存保持最新的100个。

 

 

 

---

kojie.fu

 

发件人： china baby

发送时间： 2013-07-25 13:58

收件人： hadooper_cn

主题： Hadoop 集群的内存不释放问题

--

[gmail]

咨询各位大牛一个问题，hadoop-1.0.4的SequenceFile不能对已有的文件append，但是官方有patch。我尝试多次，都不能将该补丁打上，我想咨询下大家，hadoop打补丁该如何打？

Index: src/java/org/apache/hadoop/io/SequenceFile.java
===================================================================
--- src/java/org/apache/hadoop/io/SequenceFile.java	(revision 1070317)
+++ src/java/org/apache/hadoop/io/SequenceFile.java	(working copy)

上面是一段patch代码，如果我要打该patch是否我需要revert到该revision才行？有没有谁有这方面的经验，能否赐教下？

谢谢

姓名：

杨果（技术研究部）
邮箱：
yan...@ddmap.com
yan...@outlook.com

mapser...@gmail.com
公司：
上海极索信息技术有限公司(丁丁网)

部门：

无线事业部-技术研究部
 地址：
徐汇区虹梅路1535号星联科研大厦2号楼7楼（丁丁优惠）

[china baby]

我跟踪了一下内存,有如此情况导致:

Completed Jobs 任务中,有这样的完成任务,Reduce并非100%,但标记为成功了,而内存的计数器并没有释放造成的,具体原因,不明白为什么会不足100%,却在完成列表里

在 2013年7月25日星期四UTC+8下午6时21分15秒，jeff写道：

[china baby]

你最好更新一下你的版本,那么旧的版本,好多功能不支持

在 2013年7月25日星期四UTC+8下午10时58分22秒，城的灯写道：

[gmail]

感谢你的回信，我不是从头开始搭建一个集群，一个在线运行了很久，并且很多业务都是基于这个版本的，不是换个版本就行的事情。并且该patch的体现会在

• Target Version/s:

  3.0.0

所以我希望知道怎样添加补丁，虽然该补丁我已经打上去了，并且在测试中，但是非常坎坷！！！！！！！！！

我是希望有这方面经验的前辈给点指点，让后来者少走点弯路。

谢谢！

杨果