请问现在Dpark对Streaming的支持如何了?

95 views
Skip to first unread message

kEvin Climx

unread,
Nov 5, 2014, 9:59:04 PM11/5/14
to dpark...@googlegroups.com
作为python党,看到pyspark的stable版依然不支持streaming很不舒服啊,想转投Dpark。
看到了代码中关于DStream的部分,看描述是可以接驳ip和端口,但是却没有实际可用的例子,所以想询问下现在Dpark是否支持Streaming。

田忠博(Zhongbo Tian)

unread,
Nov 5, 2014, 10:18:58 PM11/5/14
to dpark-users
Hi kEvin,

   DPark目前有简单的Streaming支持,你可以试用一下,目前也没有例子,只能参考tests/test_dstream.py的测试用例来了解基本用法了。

   目前DPark没有加强Streaming的支持主要是我们自己并没有太多这方面的需求,我们无法保证我们在生产环境上不使用的功能的质量,所以搁置了这方面功能研发。
   如果有人愿意在这些方面贡献代码,我们将感激不尽~

2014-11-06 10:59 GMT+08:00 kEvin Climx <kevinl...@gmail.com>:
作为python党,看到pyspark的stable版依然不支持streaming很不舒服啊,想转投Dpark。
看到了代码中关于DStream的部分,看描述是可以接驳ip和端口,但是却没有实际可用的例子,所以想询问下现在Dpark是否支持Streaming。

--
You received this message because you are subscribed to the Google Groups "DPark Users" group.
To unsubscribe from this group and stop receiving emails from it, send an email to dpark-users...@googlegroups.com.
For more options, visit https://groups.google.com/d/optout.

Davies Liu

unread,
Nov 5, 2014, 10:40:24 PM11/5/14
to dpark...@googlegroups.com
PySpark 的 1.2 (这个月发布)已经支持 streaming, 这几天应该会发布一个 beta,或者你自己编译使用

On Wed, Nov 5, 2014 at 6:59 PM, kEvin Climx <kevinl...@gmail.com> wrote:
> 作为python党,看到pyspark的stable版依然不支持streaming很不舒服啊,想转投Dpark。
> 看到了代码中关于DStream的部分,看描述是可以接驳ip和端口,但是却没有实际可用的例子,所以想询问下现在Dpark是否支持Streaming。
>
> --
> You received this message because you are subscribed to the Google Groups
> "DPark Users" group.
> To unsubscribe from this group and stop receiving emails from it, send an
> email to dpark-users...@googlegroups.com.
> For more options, visit https://groups.google.com/d/optout.



--
- Davies
Reply all
Reply to author
Forward
0 new messages