深度学习和重整化

[Everett You]

我最近读到一篇去年的文章（arXiv:1410.3831），讨论深度学习和重整化的关系，觉得非常有趣。深度学习和重整化都是一层一层地过滤微观特征提取宏观特征的过程，它们都可以由一个神经网络（也就是物理学中的张量网络）来描述。不同的是深度学习的网络连接和神经元特性都是可以改变的，而物理学中传统的重整化都是实现选定了一套重整化方案，也就固定了网络的结构。所以深度学习可以说是一种自动寻找重正化方案的重整化。所以我很想知道深度学习到底是在最优化什么目标函数，我们如何有效地计算这个目标函数，以及如何改变神经网络来实现优化。深度学习和重整化的关系之所以重要，是因为重整化在物理中被认为是时空的起源，因此深度学习可能为我们理解量子引力提供新的角度。按照全息宇宙(holographic universe)的时空观，我们的宇宙可能是一个量子态的全息投影。所谓全息投影，就是对一个量子态做重整化，或者说做深度编码(deep encoding)。深度编码的过程就会产生出一套神经网络，而这套神经网络就是我们的时空结构，两点之间的距离由它们在神经网络中的互信息决定。所以我觉得理解神经网络的优化动力学，也许会帮助我们理解引力和时空的动力学。我知道论坛里有很多深度学习的专家，所以来问问大家的想法。

[jake]

Hi，尤亦庄：

像你这样站在高端的凝聚态物理背景往深度学习里面寻找灵感的人真的非常非常少见呐。一般都是反着来。

其实这个问题最好的回答人应该是肖达，他对深度学习研究很精深，而且也对统计物理感兴趣。你有机会可以直接给他写信：xiao...@qq.com。

不过我也接触过一些深度学习，所以对于你的问题也能简单地回答一些：针对你提到的这篇文章来说，这个Boltzmann机的确是一个可变权重的网络，学习就是为了调整权重值。那么目标是什么呢？就是要让Boltzmann机运行到稳态时候的分布能够和真实数据中的分布尽量地靠近。人们通常用相对熵来刻画这个靠近程度。所以，Boltzmann机实际上做的就是对数据的重构，从数据中提取出关键信息，再把数据重构出来。

另外，再深度学习中人们更经常使用的一个目标函数就是对数似然值。比如我们扫描一段文本，那么我的训练目标就是根据前面出现的单词序列来推测下一个单词的似然值，把这个东西最大化，从而调整模型的参数。

至于你说的全息编码这些东西对于我来说是神一样的存在，没有一定的理论物理积累搞不定啊，哪天你给我们科普科普吧～

Jake

在2015年09月14 02时12分, "Everett You"<you.e...@gmail.com>写道:

我最近读到一篇去年的文章（arXiv:1410.3831），讨论深度学习和重整化的关系，觉得非常有趣。深度学习和重整化都是一层一层地过滤微观特征提取宏观特征的过程，它们都可以由一个神经网络（也就是物理学中的张量网络）来描述。不同的是深度学习的网络连接和神经元特性都是可以改变的，而物理学中传统的重整化都是实现选定了一套重整化方案，也就固定了网络的结构。所以深度学习可以说是一种自动寻找重正化方案的重整化。所以我很想知道深度学习到底是在最优化什么目标函数，我们如何有效地计算这个目标函数，以及如何改变神经网络来实现优化。深度学习和重整化的关系之所以重要，是因为重整化在物理中被认为是时空的起源，因此深度学习可能为我们理解量子引力提供新的角度。按照全息宇宙(holographic universe)的时空观，我们的宇宙可能是一个量子态的全息投影。所谓全息投影，就是对一个量子态做重整化，或者说做深度编码(deep encoding)。深度编码的过程就会产生出一套神经网络，而这套神经网络就是我们的时空结构，两点之间的距离由它们在神经网络中的互信息决定。所以我觉得理解神经网络的优化动力学，也许会帮助我们理解引力和时空的动力学。我知道论坛里有很多深度学习的专家，所以来问问大家的想法。

--
您收到此邮件是因为您订阅了Google网上论坛上的“集智AI(人工智能)讨论组”群组。
要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到swarmagents_a...@googlegroups.com。
要发帖到此群组，请发送电子邮件至swarmag...@googlegroups.com。
要在网络上查看此讨论，请访问https://groups.google.com/d/msgid/swarmagents_ai/0e7b610a-7045-459e-8df4-b945426cdaa1%40googlegroups.com。
要查看更多选项，请访问https://groups.google.com/d/optout。