Groups
Sign in
Groups
DPark Users
Conversations
About
Send feedback
Help
DPark Users
Contact owners and managers
1–30 of 45
Mark all as read
Report group
0 selected
TAO
,
田忠博(Zhongbo Tian)
9
11/29/16
请问“Slave ID mismatch”如何解决?
好的,多谢 在 2016年11月29日 下午2:36,TAO <worldw...@sina.com>写道: 感谢,打了补丁后问题解决。我抽时间发个issue。 在 2016年11月
unread,
请问“Slave ID mismatch”如何解决?
好的,多谢 在 2016年11月29日 下午2:36,TAO <worldw...@sina.com>写道: 感谢,打了补丁后问题解决。我抽时间发个issue。 在 2016年11月
11/29/16
tree olive
12/28/15
请问数据源可以是哪些呢?
我想用ES作为数据源,可以么? 有数据源这方面的详细一点的文档么?
unread,
请问数据源可以是哪些呢?
我想用ES作为数据源,可以么? 有数据源这方面的详细一点的文档么?
12/28/15
田忠博
,
Davies Liu
2
12/28/15
[ANN] DPark on pypi
Great, thanks! -- Davies Liu Sent with Sparrow (http://www.sparrowmailapp.com/?sig) 已使用 Sparrow (http
unread,
[ANN] DPark on pypi
Great, thanks! -- Davies Liu Sent with Sparrow (http://www.sparrowmailapp.com/?sig) 已使用 Sparrow (http
12/28/15
alexand...@gmail.com
, …
muxueqz(张明源)
5
11/28/15
安装了dpark之后ipyhon的版本发生了变化并且不能更新
不好意思,回复晚了,我是源码安装的.现在问题解决了. 2015-11-17 9:50 GMT+08:00 muxueqz(张明源) <zhangmin...@gmail.com>:
unread,
安装了dpark之后ipyhon的版本发生了变化并且不能更新
不好意思,回复晚了,我是源码安装的.现在问题解决了. 2015-11-17 9:50 GMT+08:00 muxueqz(张明源) <zhangmin...@gmail.com>:
11/28/15
fengdy
, …
田忠博(Zhongbo Tian)
5
5/21/15
从python接触到Dpark,请教个菜鸟问题
目前DPark不支持windows,支持Windows目前也不在计划之中 在 2015年5月20日 下午5:50,muxueqz(张明源) <zhangmin...@gmail.com
unread,
从python接触到Dpark,请教个菜鸟问题
目前DPark不支持windows,支持Windows目前也不在计划之中 在 2015年5月20日 下午5:50,muxueqz(张明源) <zhangmin...@gmail.com
5/21/15
Samuel Marks
4/11/15
Roadmap? - How complete is your reimplementation of Apache Spark?
Apache Spark is great! Like the idea of DPark (reimplementing Spark in Python). Can you publish a
unread,
Roadmap? - How complete is your reimplementation of Apache Spark?
Apache Spark is great! Like the idea of DPark (reimplementing Spark in Python). Can you publish a
4/11/15
kEvin Climx
, …
Davies Liu
3
11/5/14
请问现在Dpark对Streaming的支持如何了?
PySpark 的 1.2 (这个月发布)已经支持 streaming, 这几天应该会发布一个 beta,或者你自己编译使用 On Wed, Nov 5, 2014 at 6:59 PM, kEvin
unread,
请问现在Dpark对Streaming的支持如何了?
PySpark 的 1.2 (这个月发布)已经支持 streaming, 这几天应该会发布一个 beta,或者你自己编译使用 On Wed, Nov 5, 2014 at 6:59 PM, kEvin
11/5/14
jay Young
, …
Davies Liu
4
9/18/14
dpark集群的配置问题?
后期追加机器,甚至增加配置不一样的机器也是很容易的,可以灵活调整。 2014-09-18 0:49 GMT-07:00 Davies Liu <davie...@gmail.com>:
unread,
dpark集群的配置问题?
后期追加机器,甚至增加配置不一样的机器也是很容易的,可以灵活调整。 2014-09-18 0:49 GMT-07:00 Davies Liu <davie...@gmail.com>:
9/18/14
Han JU
, …
田忠博
13
8/20/14
dpark用例以及前景
在DPark里面放了一个Numba的Lazy Decorator,用户的函数可以用这个优化,DPark的Shuffle还没做 --- Windreamer On 2014年8月21日 GMT+8上午8:
unread,
dpark用例以及前景
在DPark里面放了一个Numba的Lazy Decorator,用户的函数可以用这个优化,DPark的Shuffle还没做 --- Windreamer On 2014年8月21日 GMT+8上午8:
8/20/14
kenneth
,
muxueqz(张明源)
2
8/15/14
osx下dpark无法import
看起来,你要先解决pyzmq在osx里import的问题 2014-08-16 8:13 GMT+08:00 kenneth <kenne...@gmail.com>: python
unread,
osx下dpark无法import
看起来,你要先解决pyzmq在osx里import的问题 2014-08-16 8:13 GMT+08:00 kenneth <kenne...@gmail.com>: python
8/15/14
jay Young
,
田忠博(Zhongbo Tian)
3
8/14/14
新手问题,dpark 计算的集群和moosefs的集群 可以是同一个集群 ?
ok, thanks :) 在 2014年8月15日星期五UTC+8上午11时27分58秒,田忠博写道: Hi Jay, 在我们的部署中,计算集群和MooseFS的存储集群是同一个集群,这也是我们推荐的
unread,
新手问题,dpark 计算的集群和moosefs的集群 可以是同一个集群 ?
ok, thanks :) 在 2014年8月15日星期五UTC+8上午11时27分58秒,田忠博写道: Hi Jay, 在我们的部署中,计算集群和MooseFS的存储集群是同一个集群,这也是我们推荐的
8/14/14
阿德
, …
田忠博(Zhongbo Tian)
7
7/17/14
求助,如何跑在mesos上?可能我漏了什么步骤
嗯,同意,1G一个task真的太大了,文档也可以提示下配置在哪里 2014-07-17 12:01 GMT+08:00 田忠博(Zhongbo Tian) <windreamer@gmail.
unread,
求助,如何跑在mesos上?可能我漏了什么步骤
嗯,同意,1G一个task真的太大了,文档也可以提示下配置在哪里 2014-07-17 12:01 GMT+08:00 田忠博(Zhongbo Tian) <windreamer@gmail.
7/17/14
策马江湖
,
田忠博(Zhongbo Tian)
4
7/11/14
在mesos模式下一定概率出错
Hi sunzy, 从mesos的slave日志来看, 似乎有部分任务失败了(Task Lost), 失败的原因可能你需要再仔细看看,有可能是executor节点的权限问题,或者是内存使用过多被杀。当然
unread,
在mesos模式下一定概率出错
Hi sunzy, 从mesos的slave日志来看, 似乎有部分任务失败了(Task Lost), 失败的原因可能你需要再仔细看看,有可能是executor节点的权限问题,或者是内存使用过多被杀。当然
7/11/14
田忠博
,
muxueqz(张明源)
3
5/30/14
Docker Images for DPark
需要注意 由于 https://github.com/dotcloud/docker/issues/5892 现在 官方 repository 的dpark trusted build镜像有问题需要自己
unread,
Docker Images for DPark
需要注意 由于 https://github.com/dotcloud/docker/issues/5892 现在 官方 repository 的dpark trusted build镜像有问题需要自己
5/30/14
Igor Gatis
, …
Windreamer
7
5/28/14
Any plans to support for coreos?
Mesos is built in. Currently trusted build images in Docker Repository are affected by some bugs of
unread,
Any plans to support for coreos?
Mesos is built in. Currently trusted build images in Docker Repository are affected by some bugs of
5/28/14
Wilson Cao
,
Windreamer
2
5/7/14
在Dpark使用机器学习库
hi Wilson, DPark目前专注于集群计算,是一个计算框架。机器学习算法可能要使用其他包或者自己实现 --- Windreamer On 2014年5月7日 GMT+8下午10:16:14,
unread,
在Dpark使用机器学习库
hi Wilson, DPark目前专注于集群计算,是一个计算框架。机器学习算法可能要使用其他包或者自己实现 --- Windreamer On 2014年5月7日 GMT+8下午10:16:14,
5/7/14
timger™
, …
muxueqz(张明源)
28
3/17/14
[OT]Dpark的群集模式必须使用meos吗?
2014-03-17 16:57 GMT+08:00 muxueqz(张明源) <zhangmin...@gmail.com>: mv 过去再改配置文件应该就可以了 多谢 应该是
unread,
[OT]Dpark的群集模式必须使用meos吗?
2014-03-17 16:57 GMT+08:00 muxueqz(张明源) <zhangmin...@gmail.com>: mv 过去再改配置文件应该就可以了 多谢 应该是
3/17/14
D.Y Feng
,
田忠博
3
3/6/14
报告一个可能的Bug
额,那就是说如果没有设置ssc.remember的话,WindowedDStream的上游就不会记住windowDuration时间段以内的东西了,这不大合理吧。。。因为每次rdd过后都会
unread,
报告一个可能的Bug
额,那就是说如果没有设置ssc.remember的话,WindowedDStream的上游就不会记住windowDuration时间段以内的东西了,这不大合理吧。。。因为每次rdd过后都会
3/6/14
muxueqz(张明源)
,
xiaobo lee
3
3/5/14
大家是怎么部署Dpark的?
我这里多virtualenv的问题已经解决, 你可以看看mesos slave日志stderr/stdout中具体的内容 2014-03-06 11:21 GMT+08:00 xiaobo lee
unread,
大家是怎么部署Dpark的?
我这里多virtualenv的问题已经解决, 你可以看看mesos slave日志stderr/stdout中具体的内容 2014-03-06 11:21 GMT+08:00 xiaobo lee
3/5/14
D.Y Feng
, …
Windreamer
4
3/4/14
关于TrackerServer的疑问
可以参考这篇spark的论文 http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf --- Windreamer On 2014年3月
unread,
关于TrackerServer的疑问
可以参考这篇spark的论文 http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf --- Windreamer On 2014年3月
3/4/14
D.Y Feng
,
Davies Liu
4
2/21/14
关于dpark的内存回收
如果说定时做做Context.clear(),这样子会不会有什么副作用的?如果不clear,一天下来内存就被吃完了. On Friday, February 21, 2014 1:34:33 PM
unread,
关于dpark的内存回收
如果说定时做做Context.clear(),这样子会不会有什么副作用的?如果不clear,一天下来内存就被吃完了. On Friday, February 21, 2014 1:34:33 PM
2/21/14
D.Y Feng
, …
田忠博
12
2/12/14
现在Streaming的可用度如何了?
现在checkpoint仍然是todo状态你可以试试 new = old.map(lambda rdd:rdd.snapshot()) 这样在rdd计算时会把中间结果保存在磁盘,下次使用这个rdd的时候
unread,
现在Streaming的可用度如何了?
现在checkpoint仍然是todo状态你可以试试 new = old.map(lambda rdd:rdd.snapshot()) 这样在rdd计算时会把中间结果保存在磁盘,下次使用这个rdd的时候
2/12/14
muxueqz(张明源)
,
田忠博
6
12/27/13
如果避免glom写数据重复?
可以用在map之前,mergeSplit主要是为了合并过多的split 在 2013年12月27日 上午10:17,muxueqz(张明源) <zhangmin...@gmail.com
unread,
如果避免glom写数据重复?
可以用在map之前,mergeSplit主要是为了合并过多的split 在 2013年12月27日 上午10:17,muxueqz(张明源) <zhangmin...@gmail.com
12/27/13
Leslie Wen
,
田忠博
5
10/29/13
更新了最新代码的同学安装没有出问题么, portable_hash.c doesn't exist
是的,没安装Cython会报ImportError。但是似乎并没有把Cython文件生成对应的c文件 2013/10/29 Leslie Wen <xinsh...@gmail.com
unread,
更新了最新代码的同学安装没有出问题么, portable_hash.c doesn't exist
是的,没安装Cython会报ImportError。但是似乎并没有把Cython文件生成对应的c文件 2013/10/29 Leslie Wen <xinsh...@gmail.com
10/29/13
Jet Zheung
,
田忠博
4
10/21/13
PageRank运行出错
Hi Jet, 不好意思,回复晚了。dsgd这个例子的问题的确存在,但是并不是is_iterator的问题,而是对put的返回值判断应该判断是否为None。这个问题会近期修复。另外dsgd这个例子恐怕是
unread,
PageRank运行出错
Hi Jet, 不好意思,回复晚了。dsgd这个例子的问题的确存在,但是并不是is_iterator的问题,而是对put的返回值判断应该判断是否为None。这个问题会近期修复。另外dsgd这个例子恐怕是
10/21/13
kenneth
, …
田忠博
9
10/10/13
Dpark的性能怎么样?
Numba 的确不是万能灵药,但是对部分场景还是有用处的。 目前DPark的功能看上去是基本完善了,性能评测看起来还是没有什么大问题。主体部分大概还是以修正bug为主。 dpark的附加部分
unread,
Dpark的性能怎么样?
Numba 的确不是万能灵药,但是对部分场景还是有用处的。 目前DPark的功能看上去是基本完善了,性能评测看起来还是没有什么大问题。主体部分大概还是以修正bug为主。 dpark的附加部分
10/10/13
Casa Zhang
,
Davies Liu
2
10/9/13
dpark中有用到actor模式吗?
没用到,DPark 中使用ZeroMQ来处理网络IO,异步变同步了。 Python中使用 Marshal 或者 cPickle 来做序列化,不需要akka。 On Wed, Oct 9, 2013 at
unread,
dpark中有用到actor模式吗?
没用到,DPark 中使用ZeroMQ来处理网络IO,异步变同步了。 Python中使用 Marshal 或者 cPickle 来做序列化,不需要akka。 On Wed, Oct 9, 2013 at
10/9/13
Casa Zhang
, …
muxueqz(张明源)
6
10/5/13
word_count.py执行错误
没,同事有用,不过他在Windows下已知有很多地方是不兼容的了 建议你试试不在IDE里运行,直接在终端下运行,IDE可能会修改你的一些环境变量 2013/10/5 张磊 <
unread,
word_count.py执行错误
没,同事有用,不过他在Windows下已知有很多地方是不兼容的了 建议你试试不在IDE里运行,直接在终端下运行,IDE可能会修改你的一些环境变量 2013/10/5 张磊 <
10/5/13
zhuoran yu
,
田忠博
2
10/3/13
Translation Chinese documents to English
Sorry for the late reply. Any contribution is surely welcome, eps. on documents and user guides. You
unread,
Translation Chinese documents to English
Sorry for the late reply. Any contribution is surely welcome, eps. on documents and user guides. You
10/3/13
kenneth
, …
Davies Liu
8
8/22/13
Dpark & TF-IDF
DPark 只是一个库,在同一个服务器上可能会有多人同时使用,指定端口的方式可能不太合适。 内网一般不需要做过于激进的防火墙设定吧,一般封禁外网的访问即可。如果有一个比较开放的内网用户内部使用,应该会
unread,
Dpark & TF-IDF
DPark 只是一个库,在同一个服务器上可能会有多人同时使用,指定端口的方式可能不太合适。 内网一般不需要做过于激进的防火墙设定吧,一般封禁外网的访问即可。如果有一个比较开放的内网用户内部使用,应该会
8/22/13