flume问题求教
Qiankun ZHAO
1、flume传输到hadoop里做了zip压缩，当传输过程中和hadoop连接不成功后，当前传输的这个压缩文件就不能使用了。重新恢复通信后，也不会续传的，导致之前整个文件都不能使用了。
2、当flume中间有中断的话，日志传输中有了间隔，能否找到最早的一个传输点，重新load数据呢？
3、flume监控方面有那些好的方法，初步测试发现在它提供的监控页面，显示是正常，但实际可能已经不能正常传输了，进程也存在。（监控进程、日志文件出现ERROR或者有更好的方法？）
4、怎么去规划collector的节点数，有数据流数量的限制？
系统：CentOS release 5.6 内核：Linux 2.6.18-238.el5 #1 SMP Thu Jan 13
15:51:15 EST 2011 x86_64 x86_64 x86_64 GNU/Linux
Hadoop：hadoop-0.20.2-cdh3u2
Flume：0.9.3
Master：
2012-07-17 12:15:26,552 ERROR
org.apache.thrift.server.TSaneThreadPoolServer: Thrift error occurred
during processing of message.
2012-07-17 12:21:54,790 ERROR
com.cloudera.flume.master.CommandManager: Unexpected exception during
cmdid:18 config [agentDap68, n
ull, null] : Attempted to write an invalid sink/source: null
2012-07-17 12:22:00,368 ERROR
com.cloudera.flume.master.CommandManager: Unexpected exception during
cmdid:19 config [agentDSAcy65,
null, null] : Attempted to write an invalid sink/source: null
2012-07-17 12:22:12,329 ERROR
com.cloudera.flume.master.CommandManager: Unexpected exception during
cmdid:20 config [agentDSImp30,
null, null] : Attempted to write an invalid sink/source: null
2012-07-17 12:24:07,309 ERROR
com.cloudera.flume.master.MultiConfigCommand: Invalid Flume
specification
Collector：
2012-07-30 10:51:58,913 ERROR
com.cloudera.flume.handlers.rolling.RollSink: Failure when attempting
to rotate and open new sink: A
ll datanodes 172.16.213.42:50010 are bad. Aborting...
2012/8/10 <hadoo...@googlegroups.com>:
> Today's Topic Summary
>
> Group: http://groups.google.com/group/hadooper_cn/topics
>
> (info) 关于Cassandra的问题请教 [1 Update]
>
> (info) 关于Cassandra的问题请教
>
> "dong.yajun" <dong...@gmail.com> Aug 10 09:11AM +0800
>
> Hi list
>
> 最近遇到一个诡异的问题：
>
> 我四台节点作为研发环境，首先保证这四台节点都是up状态，然后此时，kill（kill进程）其中一台，（可能是seed），然后再重启这一台机器，那么用nodetool
> ring去连接这台机器，发现自己是up，其他都是down，然后用nodetool
> ring去连接其他三台机器，那么其他三台都是up，这台被kill重启的是down。
>
> 简单来说，重启过之后，它似乎并没有加入到ring中，但是我用nodetool join命令，提示已经加入到环中了，不知道是不是哪里配置有问题呢？
>
> 不知哪位有cassandra的经验，还请不奢赐教一下呀。
>
> --
> *Ric Dong *
> Newegg Ecommerce, MIS department
>
>
>
> You received this message because you are subscribed to the Google Group
> hadooper_cn.
> You can post via email.
> To unsubscribe from this group, send an empty message.
> For more options, visit this group.
>
> --
> You received this message because you are subscribed to the Google Groups
> "Hadoop In China" group.
> To post to this group, send email to hadoo...@googlegroups.com.
> To unsubscribe from this group, send email to
> hadooper_cn...@googlegroups.com.
> For more options, visit this group at
> http://groups.google.com/group/hadooper_cn?hl=en.