Re: [ErloungIV]ZQ 现场流水报道{OT}
Zoom.Quiet
== 091108 am ==
09:00 到场
~09:30 悠然开始...
- 焜工坊 ! 完全自个儿摸索出来的山寨型"分布式"架构的经验!
2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
> ~21:25 shiwei.xu 开始高度抽象的分析 CERL 的思想
> - Boost.ASIO 的分析,针对IO组织代码,提高运行效率;但是代码被IO切割,很分散
> - 进一步的进程/纤程,在C++ 中理解的Erl 进程调度,,,
> - 语法糖还是人靠谱,或是模块库靠谱?
> - shiwei.xu 很纠结的当众想公开自个儿思維的顿点,,,
>
> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>> ~21:05 51.com 后台的主要服务核心已经全部迁移到这一准erl C++ 调度机制中了...
>> - 不得了,C++ 们非常高兴也非常怀疑这种急就章的准OS 平台框架是否实用
>>
>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>> ~20:00 大家在外面快速被宰N刀后，回到会场继续思想轰炸...
>>> ~20:50 51.com 的同学说C++ 的erl 模式实践
>>> - 平稳的念完了幻灯，但是也引发了讨论，的确C++的人多哪
>>> - xiu shiwiu 也非常有感触，进行了打边鼓...
>>>
>>>
>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>> ~17:18 ...进入熵编码..然后才可以BigPacket
>>>> - 8x8 解码后,是不定长的,怎么拼回来?
>>>> - 稀疏数组的分析: 一般两组Integer 128x2 的输出比较容易处理
>>>> - 一样使用前项合,并复用内存空间,使用最后一个数值标识,复制出有效的结果
>>>> - 进一步优化,对数据块的索引分析位再进行前项合,以便获得索引数,完成归并
>>>> ? RLE 中的0值计数算法问题...
>>>> - Byte级别的循环转换为 Bit 上的位运算
>>>> - Parallel reduce 算法用或运算完成加
>>>> - 使用 CLZ 算法来统计每个 thread 的0系数数量
>>>> - 使用 POPC 算法来统计每个 thread 的!0系数数量
>>>> - 但是最后面对纹理依然没有办法...
>>>>
>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>> ~17:35 进入后面的魔法时间了...
>>>>> - RLE 阶段,准备输出了...
>>>>> - 将线性化的系数序列变成描述码
>>>>> - 使用haffman 表,进一步将描述码压缩成 Bit 码
>>>>> - 但是 Bit Packet 有强烈的前效性...
>>>>> + 先作前项合,然后/16 取模,就可以知道怎么拼字节...
>>>>> + 才可以得出并行计算的切分策略
>>>>> -> Prefix Sum 前项合消除算法
>>>>> - 很多种,其中 Nvidia version, 复杂度串行的 O(n); 2*(n-1)加,并行 O(n/p+lgn)
>>>>> -> 改进为盛大版本 每线程处理c个前向和 [Log c N]的速度收敛...
>>>>> 感觉这一路的东西,真的应该在大学课程中出现哪!
>>>>>
>>>>>
>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>> ~17:10 Jepg 10ms中的行动过程
>>>>>> - 整整6个步骤,其中只有最先的3步可以并行
>>>>>> - 性能瓶颈在后面的过程
>>>>>> 原先 430us ! CUDA 只有 135us!
>>>>>> - 逐一优化!
>>>>>> + 8x8 的并行图形处理,DU->MCU 嗯嗯嗯,开始奇异的思维体操
>>>>>> + 算法优化,将计算尽量变成位运算...
>>>>>> ? 输出时 Plan 和 Packed的决择: 问题在内存操作效率
>>>>>> - 取决于 Zig-Zag 算法...
>>>>>> -> 使用Plan 输出
>>>>>> 进入 70us
>>>>>> + Fourier Serise/Trandform + Discrete Cosine Transform(DCT)
>>>>>> - 实数域上的一种特殊傅立叶变换
>>>>>> - Jpeg 的压缩值 就是使用数学变换计算放弃人眼不敏感的高频颜色,从而得到图片体积的压缩
>>>>>> - 再进行矩阵运算的优化,分行列分别计算,降价复杂度到 O(N^3) <- O(N^4)
>>>>>> - 得到 153us (28次加,24次乘)
>>>>>> + 使用数字变换,AAN 算法后,得到 O(nlogn) 复杂度
>>>>>> - 消去 16次浮点乘法
>>>>>> -> 119us
>>>>>>
>>>>>>
>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>> ~16:50 CUDA 的基本元素:
>>>>>>> - Thread/Block 的维度,3维的!
>>>>>>> - praprapra.... 血淋淋的技术细节,不过,很高兴,中国有公司愿意付钱让T1来研究这种基础技术
>>>>>>> - 远程渲染的时间核算,给 CPU 只有10ms 的时间来作,已经不可能了!
>>>>>>> - 所以,进入 GPU专用的 CUDA Jepg 世界
>>>>>>>
>>>>>>>
>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>> ~16:30 CUDA 加速jepg 的压缩
>>>>>>>> - Erl/OpenMP/Cilk/TBB 粗颗粒并行
>>>>>>>> - GPGPU/CUDA/OpenCL...精密并行
>>>>>>>> - Coarse Gained us 級别
>>>>>>>> - Fine Gained ns 級别
>>>>>>>> - 进入 Bit世界,离开 Bety 级别!
>>>>>>>> - "普朗克尺度"
>>>>>>>> - 这时的编程是量子体验的,几乎所有的原有编程体验都不靠谱的!
>>>>>>>>
>>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>>> ~16:25 T1(金尹) - CUDA Programming，一次异域之旅
>>>>>>>>> - 先澄清 并行和并发计算的不同!
>>>>>>>>> - 神曲的插图... 反云计算的思考!
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>>>> ~16:05 创建自个儿的web应用时的思索:
>>>>>>>>>> - RabbitMQ 是 AMQP 的实现
>>>>>>>>>> - RestMQ 是新标准
>>>>>>>>>> - Riak 是RestMQ 的可用实现之一
>>>>>>>>>> - fireflymq 是...
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>>>>> ~15:50 RestMS.org
>>>>>>>>>>> - fireflymq 是 RestMQ 的erl 实现
>>>>>>>>>>> - Riak 当然的也支持 MapReduce 模式的计算...
>>>>>>>>>>> - Links 式的发布和消息組織形式支持的!
>>>>>>>>>>>
>>>>>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>>>>>> ~15:40 RestMS 开始忽悠:
>>>>>>>>>>>> - Twitter 曰: RestMS=AMQP+AtomPub
>>>>>>>>>>>> - 工作场景基本是对订阅的各种消息进行集约化的处理
>>>>>>>>>>>> - 并基于路由算法快速使用各种规则进行聚合!
>>>>>>>>>>>> - 当然的基于HTTP 协议的
>>>>>>>>>>>>
>>>>>>>>>>>>
>>>>>>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>>>>>>> ~15:27 Stewart Mackenzie - An Erlang Implementation of Restms
>>>>>>>>>>>>> - 来自HK 的年轻程序员; 用白人的特色表情,夸张的开始自个儿的 erl 体验分享
>>>>>>>>>>>>> - 也是从Python/Django 过来的,最后选择了 erl 挑战自个儿,对 消息的处置方式...
>>>>>>>>>>>>> - erl 是有近20年的历史了, OTP 却没有被所有人及时的认可...
>>>>>>>>>>>>> - 消息的现实需求和技术解决历史...
>>>>>>>>>>>>>
>>>>>>>>>>>>>
>>>>>>>>>>>>>
>>>>>>>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>>>>>>>> ~14:25 EB架构的演化:
>>>>>>>>>>>>>> - 无名 ets 表,发布战场时况
>>>>>>>>>>>>>> - 各种游戏运营过程中的情景
>>>>>>>>>>>>>> - 同时行动时的内置顺序聲明
>>>>>>>>>>>>>> - 战队算法>..
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> 2009/11/7 Zoom.Quiet <zoom....@gmail.com>:
>>>>>>>>>>>>>>> ~14:00 xiu shiwei引言,预告明日的沙龙...
>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>> ~14:09 老范 开讲EB:
>>>>>>>>>>>>>>> - 先用实况录像来开始,讲解EB 的实际情景
>>>>>>>>>>>>>>> - 有机会使用Erl 的情景非常稀少,所以,通过一个简单的程序智力游戏实例来学习,有效,而且可行
--
http://zoomquiet.org 人生苦短? Pythonic!
Time is unimportant, only life important!
Zoom.Quiet
- 利用老旧的本地机器,形成本地的静态页面工厂,然后自动上传到主机发布
- 在主机上就地生成网页的话,有峰值现象,无法承受
- 但是,下面有规模运营体验的同学,就反射式的给出了N多方案...
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
> 又一日密集分享....
> == 091108 am ==
> 09:00 到场
> ~09:30 悠然开始...
> - 焜工坊 ! 完全自个儿摸索出来的山寨型"分布式"架构的经验!
>
--
http://zoomquiet.org 人生苦短? Pythonic!
Free as in Freedom! 哲思社区:http://zeuux.com
Zoom.Quiet
- 分布式分帧渲染...
- hypershot 分布式处理; Blender->obj->py->erl->bip->分配给多台hypershot进行渲染
- 选择erl 另外的原因是：可以最大限度的激发CPU 的所有能力
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
> ~09:45 CMS 在VPS环境中的分布式:
> - 利用老旧的本地机器,形成本地的静态页面工厂,然后自动上传到主机发布
> - 在主机上就地生成网页的话,有峰值现象,无法承受
> - 但是,下面有规模运营体验的同学,就反射式的给出了N多方案...
>
> 2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
>> 又一日密集分享....
>> == 091108 am ==
>> 09:00 到场
>> ~09:30 悠然开始...
>> - 焜工坊 ! 完全自个儿摸索出来的山寨型"分布式"架构的经验!
--
http://zoomquiet.org 人生苦短? Pythonic!
过程改进乃是催生可促生靠谱的人的组织! (ProcessEnhancement keeps evolving organizations
which promoting people b...
Zoom.Quiet
- "不开发，只组合"~这一策略来推行
- 虽然可以找到各种可用的组件，但是总有一些缺憾
- 使用了各种语言和工具，虽然很乱，但是很有效率！
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
> ~09:55 Blender3D渲染工厂
> - 分布式分帧渲染...
> - hypershot 分布式处理; Blender->obj->py->erl->bip->分配给多台hypershot进行渲染
> - 选择erl 另外的原因是：可以最大限度的激发CPU 的所有能力
>
> 2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
>> ~09:45 CMS 在VPS环境中的分布式:
>> - 利用老旧的本地机器,形成本地的静态页面工厂,然后自动上传到主机发布
>> - 在主机上就地生成网页的话,有峰值现象,无法承受
>> - 但是,下面有规模运营体验的同学,就反射式的给出了N多方案...
>>
>> 2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
>>> 又一日密集分享....
>>> == 091108 am ==
>>> 09:00 到场
>>> ~09:30 悠然开始...
>>> - 焜工坊 ! 完全自个儿摸索出来的山寨型"分布式"架构的经验!
--
http://zoomquiet.org 人生苦短? Pythonic!
工作的层次(依靠谱程度从低到高)=有做-＞做完-＞做对-＞做好-＞帮助他人做好
Zoom.Quiet
- Modo 在Nexus 中的强大虚拟系统，可以快速生成各种指定系统中可用的东西？
小结:
- 分布式处理的对象:数据或是功能
- 注意: 细颗粒的裁决；日志记录...
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
usage 7-zip to replace WinRAR/WinZip; You can get the truely Freedom 4 software.
Zoom.Quiet
- 需求的要求和原有的基本相同，但是要求了高可用性
- 是要求整合入现有集群?!:
+ DB 使用原生 mysql-erl 驱动
+ 协议要标准！否则一定会反复...但是，已经通过原创的协议解析代码生成器囧解决
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
金山常年招聘Py/C++人才! http://bit.ly/UoTV 简历直投俺就成;-)
Zoom.Quiet
- 之前C++/Py 非常痛苦...
- 现在,可视化的分布式测试配置/变更/启动/收集
- GUI 也是用 erl 开发的!(一周就完善)
- erl 可以理解 wxPy 的wxFormBuild 生成的布局描述文件! xrc
- 山寨的 loadrunner ...
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
向靠谱,反脑残! Kaopulity,小白退散! [Kaopulity~= Keep all processes usablity!]
Zoom.Quiet
- 现实应用场景,对所有连接进行网关认证...
- 进入具体方案后,大家直接利用昨天分享的思路进行了分析,非常犀利
- 进程时间成本已经在本次大会中成立!
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
Zoom.Quiet
- 进程是消息,要在两处消耗,发现的秘密是 > 256 时,erl 不进行复制....
+ erl在游戏中的展望:
- 热部署非常非常必要和贴心!
- AI 中的协程,erl 大有可为...
- 运营接口
- 整合工具 ~ 转接各种运营商的接口标准...
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
Zoom.Quiet
Zoom.Quiet
- 从10试不第的晩唐诗人开始...上马还是下马,进门还是出门?
- 时间可以证明一切!
- 踱步而侃...
- 算法＋数据结构 = 程序
- 所以，程序不是系统也不是软件！
- PME 中，P属性和M 方法才在软件中，Events ~ 事件是外星来客...
- 程序是不考虑时序的系统的静态特定数据结构的抽象...
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
一个人如果力求完善自己,就会看到:为此也必须同时完善他人. 一个人如果不关心别人的完善,自己便不可能完善!
Zoom.Quiet
- 纯理论的解析了各种语言的目标领域...
- 在语言层面通过某种组合进行了对时序的理解和处理，但是在OS 呢？
- erl 领域中的讨论核心是: 网络环境中的数据流转..
结构化 = 使之成为结构...
- 1972 年"结构程序设计"牛书 中的内容回顾
- 数据结构,逻辑结构,...
- 层次化结构,就是 OOP
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
流程是对先前蠢行的内在反应! ~ Clay Shirky (Process is an embedded reaction to prior
stupidity)http://bit.l...
Zoom.Quiet
- 在途与历史...
- 由于在途数据有严格的顺序关系,所以一般只能进行事务聚包
- 数据流动 == 时间流动
- 即时性系统中好象不重要的:
- 完整性: 正确性/有效性/一致性
- AMQP 是有序的吗?
- 当然不是!
- 所以,对于有关联的消息队列,应该进行聚包!
- 后续的:聚合的包,逐一解决时,也通过 MQ 逻辑的话...
-> Sent->ReceiveProxy->Receive
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
Zoom.Quiet
- 既往和将来
嗯嗯嗯,纯理性思维不是谁都可以享受的...
- 映射到系统层面的数据时间角度理解和对策...
- 简单的系统(聊天室)有可能必须考虑多种数据时序类型的对策..
对策之一:
-> 顺序消息在 App 处聚包
-> 通过MQ
-> 处理机,解开处理其中之一,然后剩余的打包,继续丢回MQ(头部)
-> 继续...
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
Zoom.Quiet
- XEngine 的原因...需要中国的 GAE/EC2
- 几乎每40秒中就说一声,"后面就说" Apsara ~ 飞天系统
- Alibaba 将独立开发一个独立的内部 Google API 集群,提供B2B 应用服务商的所有关键服务..
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
Zoom.Quiet
http://www.woodpecker.org.cn/share/media/2009-erloung-iv/
~14:44 瓶颈在于 AJAV 原生VM无法加载多应用!
- 后羿 系统已经完成论证,3年内覆盖 2.5万台主机运营
- XEngine 当前 就2人,其中一名实习生
- 后羿 有10人左右
- erlang 入门和使用非常快
- 明年, taobao 非关键业务将使用这一体系...
- 先降低 taobao 支付宝 的硬件成本
-
2009/11/8 Zoom.Quiet <zoom....@gmail.com>:
David Gao
官方 有视频发布么？
--
-
David Gao
HomePage: www.iucai.com
MSN : Godw...@Gmail.com