开发了个简单监控hadoop系统的脚本

86 views
Skip to first unread message

周梦想

unread,
Jan 5, 2013, 5:49:15 AM1/5/13
to hado...@googlegroups.com

用于监控hadoop系统各主机状态,如内存占用,硬盘占用,进程是否存在。如果达到一定阈值或进程退出则发送email告警。

下载地址:https://code.google.com/p/hadoop-simple-monitor/

特点:

  1. 很简单的用于监控Hadoop各节点状况,包括内存占用情况,硬盘占用情况,进程是否存在等。如果出问题将发送email告警。
  2. 部署非常简单。只需下载或解压到一台机器上,配置完毕,即可监控所有节点。不需到远程去部署。
  3. 用Bash脚本写成,方便修改
  4. 用于监控Java(Hadoop相关的,如HBase,Thrift,Zookeeper,Hadoop )进程。也可监控其他进程,需少量修改。

部署:

  1. 下载解压到一台机器上,远程监控的机器不需要下载和配置
  2. 配置config.sh,设置好要监控哪些机器,哪些进程
  3. 修改loopcheck.sh, 设置好路径,该文件供crontab使用。
  4. 可以测试一下邮件发送是否正常
  5. 添加到crontab,如5分钟运行一次

0-59/5 * * * * $HOME/smr/loopcheck.sh

测试邮件发送

  1. 编辑sendmail.sh
  2. 将EMAIL变量注释去掉,修改成自己的email
  3. 编辑邮件正文,保存到emailbody.txt
  4. 运行命令 ./sendmail.sh emailbody.txt
希望对需要的人有所帮助。
致礼!
周海汉

Steven Cheng

unread,
Jan 10, 2013, 12:51:50 AM1/10/13
to hado...@googlegroups.com
 thanks, it's cool 

2013/1/5 周梦想 <ablo...@gmail.com>

panfei

unread,
Jan 10, 2013, 4:32:21 AM1/10/13
to Hadoop中文用户组
支持!
--
不学习,不知道

尤春

unread,
Jan 13, 2013, 8:19:56 PM1/13/13
to hado...@googlegroups.com
支持!

Guo Dong

unread,
Jan 13, 2013, 9:34:00 PM1/13/13
to hado...@googlegroups.com
辛苦的劳动,不过个人建议要做监控,还是选一个好的监控系统。
比如Nagios或Zabbix。

2013/1/14 尤春 <yous...@gmail.com>



--
Whatever is worth doing is worth doing well.

panfei

unread,
Jan 13, 2013, 10:20:44 PM1/13/13
to Hadoop中文用户组
再加上 Ganglia,我们是Ganglia + Nagios
--
不学习,不知道

Charles Ai

unread,
Jan 15, 2013, 5:15:53 AM1/15/13
to hado...@googlegroups.com
Thank you!


2013/1/14 panfei <cnw...@gmail.com>



--
in a hadoop learning cycle

timecoding

unread,
Jun 6, 2013, 12:31:44 PM6/6/13
to hado...@googlegroups.com
good!

在 2013年1月5日星期六UTC+8下午6时49分15秒,ablo写道:
Reply all
Reply to author
Forward
0 new messages