贝叶斯与相对熵
lingfei wu
Min|数据熵-信息熵|的过程，就是用似然函数（对样本数据进行加工）不断修改先验分布（源于历史知识积累），取得后验分布去逼近真实分布的过程。
--
Wu Lingfei
wlf8...@gmail.com
School of Journalism and Communication, East of Yaogan Building
PeKing University
Haidian District
Beijing, 100871
CHINA
jake
现在我对于贝叶斯概率理论还是不明白，就是我们究竟怎么来区分主观概率和客观概率？贝叶斯定理所讨论的概率是不是一定是主观概率？
在2009-06-26，"lingfei wu" <wlf8...@gmail.com> 写道：
-----原始邮件-----
发件人:"lingfei wu" <wlf8...@gmail.com>
发送时间:2009年6月26日 星期五
收件人:ci-en...@googlegroups.com
主题:贝叶斯与相对熵
200万种商品,最低价格,疯狂诱惑你
Wei
如http://www.pedometrics.org网站提名一篇相关文章为2008年最优文章候选之一
(1) Brus, D.J., Bogaert, P. and Heuvelink, G.B.M., 2008. Bayesian
Maximum Entropy prediction of soil categories using a traditional soil
map as soft information. European Journal of Soil Science, 59(2):
166-
177.
http://www3.interscience.wiley.com/journal/119416159/abstract
目前我还没看。
贝叶斯公式告诉我们“学无止境”：）
lingfei wu
东方隐
今天集智热力学小组的讨论非常令人兴奋！记上几笔流水账，大家可以参考回忆一下。
这次三号会所装修，故在北师大里搞的活动，Jake大人很早就到了，贫僧是第二个到的，见面没有来得及寒暄马上就开始讨论虚空神功的起手式等等问题；贫僧说利用镜中有镜的办法就可以打破镜像，建立手性，道理很玄妙，以Jake大人内功之深，一时间好像还没有很领会。之后青晴小MM也到了，坐下捧着脸才听了一会儿，就讨水喝，Jake大人便排出几文大钱，青晴同学就蹦蹦跳跳地去了。于是我们继续讨论，贫僧出手略演了几招，感觉非常兴奋，之后来的人便都没怎么注意，好像不久就开始了。
早上是Jake大人演讲最大流的道理，这门学问乃是大人这两年专攻的重点方向，极其重要，不过这个方向好像没有引起足够的注意，所以今天能够来听的人都是很幸运的。Jake大人讲的极好，如排山倒海，能够亲切感到他老人家的内力一阵阵地逼压过来，好像是先从费马发明的最小作用量L讲起。什么是最小作用量呢？好像就是动能减去势能对于时间的积分；贫僧听到这里，仿佛若有所悟，再听得两句，丹田中升起一股热气，刹那间循任冲督，眼放金光，连忙拦住Jake大人请问L究竟是如何得到的，为何机械系统会自动最小化这个动能减去势能的量？众人皆摇头不知（好像计算士和Xudong两位贤人是这个时候跑来地），贫僧便猜想曰最小作用量恰恰对应于最小观察原理（对于系统是最小，对于个体是最大），并用灯泡模型做了一个比喻，不过此节乃是武学中的千古难题，一时间大家都似有所见，却又说不出什么，于是继续讲。
Jake大人又举了一个牛吃草的例子来说明最小作用原理，也就对应于光程最短，盖万物中有一个规律，一切事物都要节省自身的开销，必然用最少的材料，却盖出世间最大的形状，光也不例外。都知道那个牛到河边喝水的例子，把终点画一个镜像和起点相连，得到的便是该去喝水的那点，为啥？因为两点之间直线最短。但是如果喝水之前的速度是V，喝水之后的速度变成了U，那又当如何呢？贫僧刚刚略作思考，发现还是用同样的办法，只是须把河边的距离放大U/V倍，再用1/sin曲线来替代直线即可。
下面Jake大人就开始进入正题，也就是熵的性质，为何熵流会最大化。这里有太多东西，是怎么也讲不完的。贫僧也在旁边插嘴做了很多补充，我觉得对于初学者来说，直观的感觉比抽象的公式更加重要。比如我用癞蛤蟆和天鹅的关系来讲Osager对易原理；用谈恋爱幸福感最大化来解释流和力的关系；用傻子吃大饼来解释普利高津的最小熵原理，用一群人竞争和合作来解释并联和串联电路两种不同情况下的熵流分布；用闪电的形成和人生道路之关系来解释熵流的本质……等等，这些都是贫僧的独创，群众反映说这样讲非常直观，印象很深刻。
（中午贫僧开荤大嚼，觉得啥都好吃，爽啊！）
下午主要是青晴MM讲神经元的生物解剖结构，不但PPT很精美；讲的也非常好，充满灵气；贫僧同样听得大乐，哈哈大笑。不但复习了很多知识，纠正了我过去对于神经元的错误印象；而且还发现这个神经元的的形成过程，Hebb法则，激发加强和减弱等等道理，都是暗合贝叶斯等天机道理的，贫僧故而不住地点头。Jake大人也是龙颜大悦，哈哈。
晚上吃饭时候还有个好玩的事情，有个可爱MM跑来请我们去做调查，说问题保密，却一本正经地用摄影机拍下来，贫僧摆好Pose，说问吧，于是问“你将来会不会搞家庭暴力打老婆”，贫僧正色答曰，我乃出家人，没有家庭，更不会有暴力，就算要搞暴力，也是搞社会暴力，决不会搞家庭暴力。青晴MM却说自己是独身主义者，Jake大人则曰自己爱好和平，万一暴力也只会被老婆打，不可能打老婆。众人闻之爆笑。
谭红朝
2009/6/29 东方隐 <dfy...@hotmail.com>:
--
=================================
======================================
爱你的skythc
Tan Hongchao
Colleage of Resource and Environment, Graduate University of Chinese
Academy of Sciences
Yuquan Road 19A, Shijingshan District
Beijing 100049, China
Tel:(86)13911045243 Email: sky...@gmail.com
http://www.douban.com/people/2404866/
=================================
======================================
caoxd04
今天集智热力学小组的讨论非常令人兴奋！记上几笔流水账，大家可以参考回忆一下。
这次三号会所装修，故在北师大里搞的活动，Jake大人很早就到了，贫僧是第二个到的，见面没有来得及寒暄马上就开始讨论虚空神功的起手式等等问题；贫僧说利用镜中有镜的办法就可以打破镜像，建立手性，道理很玄妙，以Jake大人内功之深，一时间好像还没有很领会。之后青晴小MM也到了，坐下捧着脸才听了一会儿，就讨水喝，Jake大人便排出几文大钱，青晴同学就蹦蹦跳跳地去了。于是我们继续讨论，贫僧出手略演了几招，感觉非常兴奋，之后来的人便都没怎么注意，好像不久就开始了。
早上是Jake大人演讲最大流的道理，这门学问乃是大人这两年专攻的重点方向，极其重要，不过这个方向好像没有引起足够的注意，所以今天能够来听的人都是很幸运的。Jake大人讲的极好，如排山倒海，能够亲切感到他老人家的内力一阵阵地逼压过来，好像是先从费马发明的最小作用量L讲起。什么是最小作用量呢？好像就是动能减去势能对于时间的积分；贫僧听到这里，仿佛若有所悟，再听得两句，丹田中升起一股热气，刹那间循任冲督，眼放金光，连忙拦住Jake大人请问L究竟是如何得到的，为何机械系统会自动最小化这个动能减去势能的量？众人皆摇头不知（好像计算士和Xudong两位贤人是这个时候跑来地），贫僧便猜想曰最小作用量恰恰对应于最小观察原理（对于系统是最小，对于个体是最大），并用灯泡模型做了一个比喻，不过此节乃是武学中的千古难题，一时间大家都似有所见，却又说不出什么，于是继续讲。
Jake大人又举了一个牛吃草的例子来说明最小作用原理，也就对应于光程最短，盖万物中有一个规律，一切事物都要节省自身的开销，必然用最少的材料，却盖出世间最大的形状，光也不例外。都知道那个牛到河边喝水的例子，把终点画一个镜像和起点相连，得到的便是该去喝水的那点，为啥？因为两点之间直线最短。但是如果喝水之前的速度是V，喝水之后的速度变成了U，那又当如何呢？贫僧刚刚略作思考，发现还是用同样的办法，只是须把河边的距离放大U/V倍，再用1/sin曲线来替代直线即可。
下面Jake大人就开始进入正题，也就是熵的性质，为何熵流会最大化。这里有太多东西，是怎么也讲不完的。贫僧也在旁边插嘴做了很多补充，我觉得对于初学者来说，直观的感觉比抽象的公式更加重要。比如我用癞蛤蟆和天鹅的关系来讲Osager对易原理；用谈恋爱幸福感最大化来解释流和力的关系；用傻子吃大饼来解释普利高津的最小熵原理，用一群人竞争和合作来解释并联和串联电路两种不同情况下的熵流分布；用闪电的形成和人生道路之关系来解释熵流的本质......等等，这些都是贫僧的独创，群众反映说这样讲非常直观，印象很深刻。
东方隐
jake
在2009-06-29，"东方隐" <dfy...@hotmail.com> 写道：
-----原始邮件-----
发件人:"东方隐" <dfy...@hotmail.com>
发送时间:2009年6月29日 星期一
收件人:ci-en...@googlegroups.com
主题:英东且张江山势 海天青晴看路时——热力学小组第九次活动纪要
200万种商品,最低价格,疯狂诱惑你
caoxd04
huangyg
On Jun 29, 12:58 am, 东方隐 <dfy...@hotmail.com> wrote:
> 今天集智热力学小组的讨论非常令人兴奋！记上几笔流水账，大家可以参考回忆一下。
>
> 这次三号会所装修，故在北师大里搞的活动，Jake大人很早就到了，贫僧是第二个到的，见面没有来得及寒暄马上就开始讨论虚空神功的起手式等等问题；贫僧说利用镜中有镜的办法就可以打破镜像，建立手性，道理很玄妙，以Jake大人内功之深，一时间好像还没有很领会。之后青晴小MM也到了，坐下捧着脸才听了一会儿，就讨水喝，Jake大人便排出几文大钱，青晴同学就蹦蹦跳跳地去了。于是我们继续讨论，贫僧出手略演了几招，感觉非常兴奋，之后来的人便都没怎么注意，好像不久就开始了。
>
> 早上是Jake大人演讲最大流的道理，这门学问乃是大人这两年专攻的重点方向，极其重要，不过这个方向好像没有引起足够的注意，所以今天能够来听的人都是很幸运的。Jake大人讲的极好，如排山倒海，能够亲切感到他老人家的内力一阵阵地逼压过来，好像是先从费马发明的最小作用量L讲起。什么是最小作用量呢？好像就是动能减去势能对于时间的积分；贫僧听到这里，仿佛若有所悟，再听得两句，丹田中升起一股热气，刹那间循任冲督，眼放金光，连忙拦住Jake大人请问L究竟是如何得到的，为何机械系统会自动最小化这个动能减去势能的量？众人皆摇头不知（好像计算士和Xudong两位贤人是这个时候跑来地），贫僧便猜想曰最小作用量恰恰对应于最小观察原理（对于系统是最小，对于个体是最大），并用灯泡模型做了一个比喻，不过此节乃是武学中的千古难题，一时间大家都似有所见，却又说不出什么，于是继续讲。
>
> Jake大人又举了一个牛吃草的例子来说明最小作用原理，也就对应于光程最短，盖万物中有一个规律，一切事物都要节省自身的开销，必然用最少的材料，却盖出世间最大的形状，光也不例外。都知道那个牛到河边喝水的例子，把终点画一个镜像和起点相连，得到的便是该去喝水的那点，为啥？因为两点之间直线最短。但是如果喝水之前的速度是V，喝水之后的速度变成了U，那又当如何呢？贫僧刚刚略作思考，发现还是用同样的办法，只是须把河边的距离放大U/V倍，再用1/sin曲线来替代直线即可。
>
> 下面Jake大人就开始进入正题，也就是熵的性质，为何熵流会最大化。这里有太多东西，是怎么也讲不完的。贫僧也在旁边插嘴做了很多补充，我觉得对于初学者来说，直观的感觉比抽象的公式更加重要。比如我用癞蛤蟆和天鹅的关系来讲Osager对易原理；用谈恋爱幸福感最大化来解释流和力的关系；用傻子吃大饼来解释普利高津的最小熵原理，用一群人竞争和合作来解释并联和串联电路两种不同情况下的熵流分布；用闪电的形成和人生道路之关系来解释熵流的本质......等等，这些都是贫僧的独创，群众反映说这样讲非常直观，印象很深刻。
huangyg
很高兴第一次参加活动，就认识了这么多认真研究的新朋友。如果时间控制严格一些就更好了，Jake似乎还有很多想法没有展开。可能有的朋友把活动当作一
次闲谈，而有的更加认真对待吧。
对于有明确主题和主讲人的活动，中途插话建议还是申请一下，用一句话描述一下自己发言的要点，看看其他参加者是否认为有必要插入。至少有一人回应再插入
发言，否则还是应该让主讲人得到连贯的时间。
PPT下载了，多谢Jake带来的新思路和数学上的准备。昨天听下来的印象是，这个题目很难脱离对时间的定义去讨论，如果人对时间的感知就是基于熵的最
大化的，那我们就无需讨论了；如果是其它的时间定义，那研究就转移到时间定义的基础和熵之间的关系。
另外，Jake你认为MEPP用来处理信息学的熵也有效吗。
因为没注意到下午活动的通知，昨天安排其它事情了。谁有下午的ppt共享一下吧。
On Jun 29, 9:42 am, jake <jak...@163.com> wrote:
> 和尚的活动总结果然不一般，很我们这些理科人写出来的都不一样。透出一种老人家的融汇贯通之力，呵呵。
> 别的不多说了，把我昨天讲的PPT放上来，没来的同学们可以查阅一下PPT。如果你对其中的内容真正感兴趣，我愿意深入讲解。
> 和尚说的没错，我目前的主攻方向就是MEPP，如果真有对此块内容感兴趣的朋友，很欢迎你加入进来，但千万不要勉强。
>
> 在2009-06-29，"东方隐" <dfy...@hotmail.com> 写道： -----原始邮件-----
> 发件人:"东方隐" <dfy...@hotmail.com>
> 发送时间:2009年6月29日 星期一
> 收件人:ci-en...@googlegroups.com
> 主题:英东且张江山势 海天青晴看路时----热力学小组第九次活动纪要
>
> 今天集智热力学小组的讨论非常令人兴奋！记上几笔流水账，大家可以参考回忆一下。
>
> 这次三号会所装修，故在北师大里搞的活动，Jake大人很早就到了，贫僧是第二个到的，见面没有来得及寒暄马上就开始讨论虚空神功的起手式等等问题；贫僧说利用镜中有镜的办法就可以打破镜像，建立手性，道理很玄妙，以Jake大人内功之深，一时间好像还没有很领会。之后青晴小MM也到了，坐下捧着脸才听了一会儿，就讨水喝，Jake大人便排出几文大钱，青晴同学就蹦蹦跳跳地去了。于是我们继续讨论，贫僧出手略演了几招，感觉非常兴奋，之后来的人便都没怎么注意，好像不久就开始了。
>
> 早上是Jake大人演讲最大流的道理，这门学问乃是大人这两年专攻的重点方向，极其重要，不过这个方向好像没有引起足够的注意，所以今天能够来听的人都是很幸运的。Jake大人讲的极好，如排山倒海，能够亲切感到他老人家的内力一阵阵地逼压过来，好像是先从费马发明的最小作用量L讲起。什么是最小作用量呢？好像就是动能减去势能对于时间的积分；贫僧听到这里，仿佛若有所悟，再听得两句，丹田中升起一股热气，刹那间循任冲督，眼放金光，连忙拦住Jake大人请问L究竟是如何得到的，为何机械系统会自动最小化这个动能减去势能的量？众人皆摇头不知（好像计算士和Xudong两位贤人是这个时候跑来地），贫僧便猜想曰最小作用量恰恰对应于最小观察原理（对于系统是最小，对于个体是最大），并用灯泡模型做了一个比喻，不过此节乃是武学中的千古难题，一时间大家都似有所见，却又说不出什么，于是继续讲。
>
> Jake大人又举了一个牛吃草的例子来说明最小作用原理，也就对应于光程最短，盖万物中有一个规律，一切事物都要节省自身的开销，必然用最少的材料，却盖出世间最大的形状，光也不例外。都知道那个牛到河边喝水的例子，把终点画一个镜像和起点相连，得到的便是该去喝水的那点，为啥？因为两点之间直线最短。但是如果喝水之前的速度是V，喝水之后的速度变成了U，那又当如何呢？贫僧刚刚略作思考，发现还是用同样的办法，只是须把河边的距离放大U/V倍，再用1/sin曲线来替代直线即可。
>
> 下面Jake大人就开始进入正题，也就是熵的性质，为何熵流会最大化。这里有太多东西，是怎么也讲不完的。贫僧也在旁边插嘴做了很多补充，我觉得对于初学者来说，直观的感觉比抽象的公式更加重要。比如我用癞蛤蟆和天鹅的关系来讲Osager对易原理；用谈恋爱幸福感最大化来解释流和力的关系；用傻子吃大饼来解释普利高津的最小熵原理，用一群人竞争和合作来解释并联和串联电路两种不同情况下的熵流分布；用闪电的形成和人生道路之关系来解释熵流的本质......等等，这些都是贫僧的独创，群众反映说这样讲非常直观，印象很深刻。
>
> （中午贫僧开荤大嚼，觉得啥都好吃，爽啊！）
>
> 下午主要是青晴MM讲神经元的生物解剖结构，不但PPT很精美；讲的也非常好，充满灵气；贫僧同样听得大乐，哈哈大笑。不但复习了很多知识，纠正了我过去对于神经元的错误印象；而且还发现这个神经元的的形成过程，Hebb法则，激发加强和减弱等等道理，都是暗合贝叶斯等天机道理的，贫僧故而不住地点头。Jake大人也是龙颜大悦，哈哈。
>
> 晚上吃饭时候还有个好玩的事情，有个可爱MM跑来请我们去做调查，说问题保密，却一本正经地用摄影机拍下来，贫僧摆好Pose，说问吧，于是问"你将来会不会搞家庭暴力打老婆"，贫僧正色答曰，我乃出家人，没有家庭，更不会有暴力，就算要搞暴力，也是搞社会暴力，决不会搞家庭暴力。青晴MM却说自己是独身主义者，Jake大人则曰自己爱好和平，万一暴力也只会被老婆打，不可能打老婆。众人闻之爆笑。
>
> MEPP & Primary Investigation of Statistical Physics about.rar
> 3143KViewDownload
东方隐
就是牛吃草以前的速度是U，吃草以后的速度是V，那么你可以想象成速度没有变，而是大地被缩放了，缩放的比例是U/V。同理，从一个固定点到河岸的距离也要等比例缩放，这样的一条直线缩放得到什么呢？好像就是一条正弦曲线的倒数吧。
贫僧其实对这些细节根本不感兴趣，我是和尚，要做数学题作甚？晓得一个大概也就是了，这里的关键是最小、缩放两个词。抓住了就行了，具体的做法不重要。
--------------------------------------------------
From: "huangyg" <fro...@gmail.com>
Sent: Monday, June 29, 2009 10:01 AM
To: "热力学与进化论" <ci-en...@googlegroups.com>
Subject: Re: 英东且张江山势 海天青晴看路时——热力学小组第九次活动纪要
> "把河边的距离放大U/V倍"这个请解释一下。
huangyg
缩放的比例是明确的，但是整个大地缩放的中心点不好取。
选取不同的河岸点和B点相连，缩放的结果是不同的。而最佳的河岸点的位置本来就是未知的。
我也是想从这里找突破，不过没有成功。
On Jun 29, 10:49 am, 东方隐 <dfy...@hotmail.com> wrote:
> 就是牛吃草以前的速度是U，吃草以后的速度是V，那么你可以想象成速度没有变，而是大地被缩放了，缩放的比例是U/V。同理，从一个固定点到河岸的距离也要等比例缩放，这样的一条直线缩放得到什么呢？好像就是一条正弦曲线的倒数吧。
>
> 贫僧其实对这些细节根本不感兴趣，我是和尚，要做数学题作甚？晓得一个大概也就是了，这里的关键是最小、缩放两个词。抓住了就行了，具体的做法不重要。
>
> --------------------------------------------------
> From: "huangyg" <from...@gmail.com>
> Sent: Monday, June 29, 2009 10:01 AM
> To: "热力学与进化论" <ci-en...@googlegroups.com>
> Subject: Re: 英东且张江山势 海天青晴看路时----热力学小组第九次活动纪要
>
> > "把河边的距离放大U/V倍"这个请解释一下。
>
> >> Jake大人又举了一个牛吃草的例子来说明最小作用原理，也就对应于光程最短，盖万物中有一个规律，一切事物都要节省自身的开销，必然用最少的材料，却盖出世间最大的形状，光也不例外。都知道那个牛到河边喝水的例子，把终点画一个镜像和起点相连，得到的便是该去喝水的那点，为啥？因为两点之间直线最短。但是如果喝水之前的速度是V，喝水之后的速度变成了U，那又当如何呢？贫僧刚刚略作思考，发现还是用同样的办法，只是须把河边的距离放大U/V倍，再用1/sin曲线来替代直线即可。
>
>
>
> Snap1.jpg
> 47KViewDownload
jake
> -----原始邮件----- > 发件人: "东方隐" <dfy...@hotmail.com> > 发送时间: 2009年6月29日 星期一 > 收件人: ci-en...@googlegroups.com
> 抄送: > 主题: Re: 把河边的距离放大U/V倍"这个请解释一下 > > > 就是牛吃草以前的速度是U，吃草以后的速度是V，那么你可以想象成速度没有变，而是大地被缩放了，缩放的比例是U/V。同理，从一个固定点到河岸的距离也要等比例缩放，这样的一条直线缩放得到什么呢？好像就是一条正弦曲线的倒数吧。 > > 贫僧其实对这些细节根本不感兴趣，我是和尚，要做数学题作甚？晓得一个大概也就是了，这里的关键是最小、缩放两个词。抓住了就行了，具体的做法不重要。 > > -------------------------------------------------- > From: "huangyg" <fro...@gmail.com> > Sent: Monday, June 29, 2009 10:01 AM > To: "热力学与进化论" <ci-en...@googlegroups.com> > Subject: Re: 英东且张江山势 海天青晴看路时----热力学小组第九次活动纪要 > > > "把河边的距离放大U/V倍"这个请解释一下。 > > > > >> > >> Jake大人又举了一个牛吃草的例子来说明最小作用原理，也就对应于光程最短，盖万物中有一个规律，一切事物都要节省自身的开销，必然用最少的材料，却盖出世间最大的形状，光也不例外。都知道那个牛到河边喝水的例子，把终点画一个镜像和起点相连，得到的便是该去喝水的那点，为啥？因为两点之间直线最短。但是如果喝水之前的速度是V，喝水之后的速度变成了U，那又当如何呢？贫僧刚刚略作思考，发现还是用同样的办法，只是须把河边的距离放大U/V倍，再用1/sin曲线来替代直线即可。 > >> > > > >
200万种商品,最低价格,疯狂诱惑你
jake
在2009-06-27，"lingfei wu" <wlf8...@gmail.com> 写道：
-----原始邮件-----
发件人:"lingfei wu" <wlf8...@gmail.com>
发送时间:2009年6月27日 星期六
收件人:ci-en...@googlegroups.com
主题:Re: 贝叶斯与相对熵
2009/6/26 jake<jak...@163.com>
东方隐
东方隐
又想了一下，您是对的，贫僧刚刚的那个解法是错的，因为放缩以后，河岸变成了曲线，无法和原来的河岸接上了。
这个问题目前还没有直观的解法，大家不妨也思考一下。
--------------------------------------------------
From: "huangyg" <fro...@gmail.com>
Sent: Monday, June 29, 2009 11:08 AM
To: "热力学与进化论" <ci-en...@googlegroups.com>
Subject: Re: 把河边的距离放大U/V倍"这个请解释一下
