{经典转载}人工智能的历史
68 views
Skip to first unread message
pongba
Aug 14, 2008, 9:59:58 AM8/14/08
to TopLanguage
我也算是 wikipedia 的重度用户了，学习一门东西的时候常常发现是始于 wikipedia 中间经过若干次 google ，然后止于某一本或几本著作。
而今天看到的这篇文章是我在 wikipedia 浏览至今觉得最好的。
文章名为《人工智能的历史》，顺着 AI 发展历史娓娓道来，中间穿插无数牛人故事，且一波三折大气磅礴，可谓"事实比想象更令人惊讶"。人工智能始于哲学思辨，中间经历了一个没有心理学（尤其是认知神经科学的）的帮助的阶段，仅通过牛人对人类思维的外在表现的归纳、内省，以及数学工具进行探索，其间最令人激动的是 Herbert Simon 写的一个自动证明机，证明了罗素的数学原理中的二十几个定理，其中有一个定理比原书中的还要优雅，Simon 的程序用的是启发式搜索，因为公理系统中的证明可以简化为从条件到结论的树状搜索（但由于组合爆炸，所以必须使用启发式剪枝）。后来 Simon 又写了 GPS （General Problem Solver），据说能解决一些能良好形式化的问题，如汉诺塔。（对这两个东西哪位牛人有深入的了解请不吝赐教）但说到底 Simon 的研究毕竟只触及了人类思维的一个很小很小的方面 —— Formal Logic，甚至更狭义一点 Deductive Reasoning （即不包含 Inductive Reasoning , Transductive Reasoning (俗称 analogic thinking）。还有诸多比如 Common Sense、Vision、尤其是最为复杂的 Language 、Consciousness 都还谜团未解。还有一个比较有趣的就是有人认为 AI 问题必须要以一个物理的 Body 为支撑，一个能够感受这个世界的物理规则的身体本身就是一个强大的信息来源，基于这个信息来源，人类能够自身与时俱进地总结所谓的 Common-Sense Knowledge （这个就是所谓的 Emboddied Mind 理论。 ），否则像一些老兄直接手动构建 Common-Sense Knowledge Base ，就很傻很天真了，须知人根据感知系统从自然界获取知识是一个动态的自动更新的系统，而手动构建常识库则无异于古老的 Expert System 的做法。
当然，以上只总结了很小一部分我个人觉得比较有趣的，每个人看到的有趣的地方不一样，所以我强烈建议你看自己一遍，别忘了里面链接到其他地方的链接:)
via: http://en.wikipedia.org/wiki/History_of_artificial_intelligence
Reference
科普的：
[1] IBM 的蓝脑计划：在分子层面模拟哺乳动物包括人类的神经网络结构。
[2] On Intelligence, Jeff Hawkins. （读了一部分，蛮有趣的，包括 hawkins 这个人，我会在 twitter 上写读书笔记，比如这里，这里，还有这里，欢迎 follow me。）
[3] Scientific American Mind Magazine （电子版 gigapedia.org 上有下，这是 sciam 专门为脑科学开设的子刊物，我一般挑封面文章读，封面文章质量还是蛮高的）
[4] 这个 wikipedia 条目后面的大量参考资料。
[5] AI on wikipedia
科普的书（这三本我都看过，推荐，相当不错）：
[1] In Search of Memory
[2] Searching for Memory
[3] Synaptic Self
专业的书：（[1] 还没看。[2] 拿来参考过一些，很权威。[3] 很科普，写得也很好。
[1] AI: A Modern Approach 2nd
[2] Principle of Neural Science
[3] 专业的科普书一本：Programming Collective Intelligence
[4] 这个 wikipedia 条目（机器学习）后面的若干机器学习参考书目，需要深入细节的可以拿来参考。其中我觉得比较好的参考（其实也是公认的）：
4.1. The.Elements.of.Statistical.Learning_Data.Mining,.Inference.and.Prediction
4.2. Springer - Vapnik V.N. The nature of statistical learning theory (2ed., Springer, 2000)(K)(150dpi)(T)(332s)
4.3. Neural Networks for Pattern Recognition
4.3.1. 最后例外地转一个 video， The Next Generation of Neural Networks, by Hinton 看上去很靠谱的一个方法。
当然，这三本只是参考书，一般来说拿 Programming Collective Intelligence 这样的书以及 wikipedia 条目作 Overview 式的概览，遇到觉得有兴趣深入的，再找大部头权威的书深入进去，我觉得这是最有效的学习方案。
--
刘未鹏(pongba)|C++的罗浮宫
http://blog.csdn.net/pongba
TopLanguage
http://groups.google.com/group/pongba
而今天看到的这篇文章是我在 wikipedia 浏览至今觉得最好的。
文章名为《人工智能的历史》，顺着 AI 发展历史娓娓道来，中间穿插无数牛人故事，且一波三折大气磅礴，可谓"事实比想象更令人惊讶"。人工智能始于哲学思辨，中间经历了一个没有心理学（尤其是认知神经科学的）的帮助的阶段，仅通过牛人对人类思维的外在表现的归纳、内省，以及数学工具进行探索，其间最令人激动的是 Herbert Simon 写的一个自动证明机，证明了罗素的数学原理中的二十几个定理，其中有一个定理比原书中的还要优雅，Simon 的程序用的是启发式搜索，因为公理系统中的证明可以简化为从条件到结论的树状搜索（但由于组合爆炸，所以必须使用启发式剪枝）。后来 Simon 又写了 GPS （General Problem Solver），据说能解决一些能良好形式化的问题，如汉诺塔。（对这两个东西哪位牛人有深入的了解请不吝赐教）但说到底 Simon 的研究毕竟只触及了人类思维的一个很小很小的方面 —— Formal Logic，甚至更狭义一点 Deductive Reasoning （即不包含 Inductive Reasoning , Transductive Reasoning (俗称 analogic thinking）。还有诸多比如 Common Sense、Vision、尤其是最为复杂的 Language 、Consciousness 都还谜团未解。还有一个比较有趣的就是有人认为 AI 问题必须要以一个物理的 Body 为支撑，一个能够感受这个世界的物理规则的身体本身就是一个强大的信息来源，基于这个信息来源，人类能够自身与时俱进地总结所谓的 Common-Sense Knowledge （这个就是所谓的 Emboddied Mind 理论。 ），否则像一些老兄直接手动构建 Common-Sense Knowledge Base ，就很傻很天真了，须知人根据感知系统从自然界获取知识是一个动态的自动更新的系统，而手动构建常识库则无异于古老的 Expert System 的做法。
当然，以上只总结了很小一部分我个人觉得比较有趣的，每个人看到的有趣的地方不一样，所以我强烈建议你看自己一遍，别忘了里面链接到其他地方的链接:)
via: http://en.wikipedia.org/wiki/History_of_artificial_intelligence
Reference
科普的：
[1] IBM 的蓝脑计划：在分子层面模拟哺乳动物包括人类的神经网络结构。
[2] On Intelligence, Jeff Hawkins. （读了一部分，蛮有趣的，包括 hawkins 这个人，我会在 twitter 上写读书笔记，比如这里，这里，还有这里，欢迎 follow me。）
[3] Scientific American Mind Magazine （电子版 gigapedia.org 上有下，这是 sciam 专门为脑科学开设的子刊物，我一般挑封面文章读，封面文章质量还是蛮高的）
[4] 这个 wikipedia 条目后面的大量参考资料。
[5] AI on wikipedia
科普的书（这三本我都看过，推荐，相当不错）：
[1] In Search of Memory
[2] Searching for Memory
[3] Synaptic Self
专业的书：（[1] 还没看。[2] 拿来参考过一些，很权威。[3] 很科普，写得也很好。
[1] AI: A Modern Approach 2nd
[2] Principle of Neural Science
[3] 专业的科普书一本：Programming Collective Intelligence
[4] 这个 wikipedia 条目（机器学习）后面的若干机器学习参考书目，需要深入细节的可以拿来参考。其中我觉得比较好的参考（其实也是公认的）：
4.1. The.Elements.of.Statistical.Learning_Data.Mining,.Inference.and.Prediction
4.2. Springer - Vapnik V.N. The nature of statistical learning theory (2ed., Springer, 2000)(K)(150dpi)(T)(332s)
4.3. Neural Networks for Pattern Recognition
4.3.1. 最后例外地转一个 video， The Next Generation of Neural Networks, by Hinton 看上去很靠谱的一个方法。
当然，这三本只是参考书，一般来说拿 Programming Collective Intelligence 这样的书以及 wikipedia 条目作 Overview 式的概览，遇到觉得有兴趣深入的，再找大部头权威的书深入进去，我觉得这是最有效的学习方案。
--
刘未鹏(pongba)|C++的罗浮宫
http://blog.csdn.net/pongba
TopLanguage
http://groups.google.com/group/pongba
Linker
Aug 14, 2008, 12:39:10 PM8/14/08
to pon...@googlegroups.com
我也算是 wikipedia 的重度用户了，学习一门东西的时候常常发现是始于 wikipedia 中间经过若干次 google ，然后止于某一本或几本著作。
而今天看到的这篇文章是我在 wikipedia 浏览至今觉得最好的。
文章名为《人工智能的历史》，顺着 AI 发展历史娓娓道来，中间穿插无数牛人故事，且一波三折大气磅礴，可谓"事实比想象更令人惊讶"。人工智能始于哲学思辨，中间经历了一个没有心理学（尤其是认知神经科学的）的帮助的阶段，仅通过牛人对人类思维的外在表现的归纳、内省，以及数学工具进行探索，其间最令人激动的是 Herbert Simon 写的一个自动证明机，证明了罗素的数学原理中的二十几个定理，其中有一个定理比原书中的还要优雅，Simon 的程序用的是启发式搜索，因为公理系统中的证明可以简化为从条件到结论的树状搜索（但由于组合爆炸，所以必须使用启发式剪枝）。后来 Simon 又写了 GPS （General Problem Solver），据说能解决一些能良好形式化的问题，如汉诺塔。（对这两个东西哪位牛人有深入的了解请不吝赐教）但说到底 Simon 的研究毕竟只触及了人类思维的一个很小很小的方面 ---- Formal Logic，甚至更狭义一点 Deductive Reasoning （即不包含 Inductive Reasoning , Transductive Reasoning (俗称 analogic thinking）。还有诸多比如 Common Sense、Vision、尤其是最为复杂的 Language 、Consciousness 都还谜团未解。还有一个比较有趣的就是有人认为 AI 问题必须要以一个物理的 Body 为支撑，一个能够感受这个世界的物理规则的身体本身就是一个强大的信息来源，基于这个信息来源，人类能够自身与时俱进地总结所谓的 Common-Sense Knowledge （这个就是所谓的 Emboddied Mind 理论。 ），否则像一些老兄直接手动构建 Common-Sense Knowledge Base ，就很傻很天真了，须知人根据感知系统从自然界获取知识是一个动态的自动更新的系统，而手动构建常识库则无异于古老的 Expert System 的做法。
莫华枫
Aug 14, 2008, 8:45:46 PM8/14/08
to pon...@googlegroups.com
把这等宝贝存货都放出来了，pongba是打算改行研究AI？:P
AI应该算是IT行里最激动人心的东西了。不过都是牛人干的活，俺也就看看故事，接受在教育啦。:)
AI应该算是IT行里最激动人心的东西了。不过都是牛人干的活，俺也就看看故事，接受在教育啦。:)
我也算是 wikipedia 的重度用户了，学习一门东西的时候常常发现是始于 wikipedia 中间经过若干次 google ，然后止于某一本或几本著作。
而今天看到的这篇文章是我在 wikipedia 浏览至今觉得最好的。
文章名为《人工智能的历史》，顺着 AI 发展历史娓娓道来，中间穿插无数牛人故事，且一波三折大气磅礴，可谓"事实比想象更令人惊讶"。人工智能始于哲学思辨，中间经历了一个没有心理学（尤其是认知神经科学的）的帮助的阶段，仅通过牛人对人类思维的外在表现的归纳、内省，以及数学工具进行探索，其间最令人激动的是 Herbert Simon 写的一个自动证明机，证明了罗素的数学原理中的二十几个定理，其中有一个定理比原书中的还要优雅，Simon 的程序用的是启发式搜索，因为公理系统中的证明可以简化为从条件到结论的树状搜索（但由于组合爆炸，所以必须使用启发式剪枝）。后来 Simon 又写了 GPS （General Problem Solver），据说能解决一些能良好形式化的问题，如汉诺塔。（对这两个东西哪位牛人有深入的了解请不吝赐教）但说到底 Simon 的研究毕竟只触及了人类思维的一个很小很小的方面 ---- Formal Logic，甚至更狭义一点 Deductive Reasoning （即不包含 Inductive Reasoning , Transductive Reasoning (俗称 analogic thinking）。还有诸多比如 Common Sense、Vision、尤其是最为复杂的 Language 、Consciousness 都还谜团未解。还有一个比较有趣的就是有人认为 AI 问题必须要以一个物理的 Body 为支撑，一个能够感受这个世界的物理规则的身体本身就是一个强大的信息来源，基于这个信息来源，人类能够自身与时俱进地总结所谓的 Common-Sense Knowledge （这个就是所谓的 Emboddied Mind 理论。 ），否则像一些老兄直接手动构建 Common-Sense Knowledge Base ，就很傻很天真了，须知人根据感知系统从自然界获取知识是一个动态的自动更新的系统，而手动构建常识库则无异于古老的 Expert System 的做法。
pongba
Aug 14, 2008, 10:28:07 PM8/14/08
to pon...@googlegroups.com
这个要召唤 Eric ，我是业余:0)
Chen Zhengguang
Aug 15, 2008, 4:33:03 AM8/15/08
to pon...@googlegroups.com
最近在做相关的工作，竟然还不熟悉这些指示，看来要赶快补补课了。
2008/8/15 pongba <pon...@gmail.com>
莫华枫
Aug 17, 2008, 10:00:18 PM8/17/08
to pon...@googlegroups.com
Zoom.Quiet
Aug 17, 2008, 10:22:29 PM8/17/08
to pon...@googlegroups.com
我也算是 wikipedia 的重度用户了，学习一门东西的时候常常发现是始于 wikipedia 中间经过若干次 google ，然后止于某一本或几本著作。
而今天看到的这篇文章是我在 wikipedia 浏览至今觉得最好的。
文章名为《人工智能的历史》，顺着 AI 发展历史娓娓道来，中间穿插无数牛人故事，且一波三折大气磅礴，可谓"事实比想象更令人惊讶"。人工智能始于哲学思辨，中间经历了一个没有心理学（尤其是认知神经科学的）的帮助的阶段，仅通过牛人对人类思维的外在表现的归纳、内省，以及数学工具进行探索，其间最令人激动的是 Herbert Simon 写的一个自动证明机，证明了罗素的数学原理中的二十几个定理，其中有一个定理比原书中的还要优雅，Simon 的程序用的是启发式搜索，因为公理系统中的证明可以简化为从条件到结论的树状搜索（但由于组合爆炸，所以必须使用启发式剪枝）。后来 Simon 又写了 GPS （General Problem Solver），据说能解决一些能良好形式化的问题，如汉诺塔。（对这两个东西哪位牛人有深入的了解请不吝赐教）但说到底 Simon 的研究毕竟只触及了人类思维的一个很小很小的方面 ---- Formal Logic，甚至更狭义一点 Deductive Reasoning （即不包含 Inductive Reasoning , Transductive Reasoning (俗称 analogic thinking）。还有诸多比如 Common Sense、Vision、尤其是最为复杂的 Language 、Consciousness 都还谜团未解。还有一个比较有趣的就是有人认为 AI 问题必须要以一个物理的 Body 为支撑，一个能够感受这个世界的物理规则的身体本身就是一个强大的信息来源，基于这个信息来源，人类能够自身与时俱进地总结所谓的 Common-Sense Knowledge （这个就是所谓的 Emboddied Mind 理论。 ），否则像一些老兄直接手动构建 Common-Sense Knowledge Base ，就很傻很天真了，须知人根据感知系统从自然界获取知识是一个动态的自动更新的系统，而手动构建常识库则无异于古老的 Expert System 的做法。
当然，以上只总结了很小一部分我个人觉得比较有趣的，每个人看到的有趣的地方不一样，所以我强烈建议你看自己一遍，别忘了里面链接到其他地方的链接:)
via: http://en.wikipedia.org/wiki/History_of_artificial_intelligence
Reference
科普的：
[1] IBM 的蓝脑计划：在分子层面模拟哺乳动物包括人类的神经网络结构。
[2] On Intelligence, Jeff Hawkins. （读了一部分，蛮有趣的，包括 hawkins 这个人，我会在 twitter 上写读书笔记，比如这里，这里，还有这里，欢迎 follow me。）
[3] Scientific American Mind Magazine （电子版 gigapedia.org 上有下，这是 sciam 专门为脑科学开设的子刊物，我一般挑封面文章读，封面文章质量还是蛮高的）
[4] 这个 wikipedia 条目后面的大量参考资料。
[5] AI on wikipedia
科普的书（这三本我都看过，推荐，相当不错）：
[1] In Search of Memory
[2] Searching for Memory
[3] Synaptic Self
专业的书：（[1] 还没看。[2] 拿来参考过一些，很权威。[3] 很科普，写得也很好。
[1] AI: A Modern Approach 2nd
[2] Principle of Neural Science
[3] 专业的科普书一本：Programming Collective Intelligence
[4] 这个 wikipedia 条目（机器学习）后面的若干机器学习参考书目，需要深入细节的可以拿来参考。其中我觉得比较好的参考（其实也是公认的）：
4.1. The.Elements.of.Statistical.Learning_Data.Mining,.Inference.and.Prediction
4.2. Springer - Vapnik V.N. The nature of statistical learning theory (2ed., Springer, 2000)(K)(150dpi)(T)(332s)
4.3. Neural Networks for Pattern Recognition
4.3.1. 最后例外地转一个 video， The Next Generation of Neural Networks, by Hinton 看上去很靠谱的一个方法。
当然，这三本只是参考书，一般来说拿 Programming Collective Intelligence 这样的书以及 wikipedia 条目作 Overview 式的概览，遇到觉得有兴趣深入的，再找大部头权威的书深入进去，
我觉得这是最有效的学习方案。
同意！
同意！
--
http://zoomquiet.org'''
过程改进乃是催生可促生靠谱的人的组织!
PE keeps evolving organizations which promoting people be good!'''
Marshall
Aug 17, 2008, 11:08:45 PM8/17/08
to pon...@googlegroups.com
--
Marshall Wu(Wu Hansi),
Software Institute, Nanjing University
Linker
Aug 17, 2008, 11:20:59 PM8/17/08
to pon...@googlegroups.com
神经网络的模拟在计算量上遇到困难.
我在CPU上模拟的时候,实在是等不起.
不过,比较看好用CUDA在GPGPU上模拟神经网络.
MIT在这方面有些研究...
我在CPU上模拟的时候,实在是等不起.
不过,比较看好用CUDA在GPGPU上模拟神经网络.
MIT在这方面有些研究...
james lee
Aug 17, 2008, 11:30:38 PM8/17/08
to pon...@googlegroups.com
莫华枫
Aug 18, 2008, 12:38:43 AM8/18/08
to pon...@googlegroups.com
神经网络的模拟在计算量上遇到困难.
我在CPU上模拟的时候,实在是等不起.
不过,比较看好用CUDA在GPGPU上模拟神经网络.
MIT在这方面有些研究...
这应该是最大的问题。冷下去是在等待，等待关键性的突破和计算能力的提升。神经网络的计算很简单，但数量大，这更加适合简单、专用而数量庞大的计算硬件。
nemo
Aug 18, 2008, 1:20:11 AM8/18/08
to TopLanguage
On 8月15日, 上午12时39分, Linker <linker.m....@gmail.com> wrote:
> 对AI很感兴趣.最近在看路径搜索方面的文章.
原来搞最短路径的时候。貌似还碰到过个遗传学算法？
katkat lim
Aug 18, 2008, 1:51:38 AM8/18/08
to pon...@googlegroups.com
pongba
Aug 18, 2008, 12:38:32 PM8/18/08
to pon...@googlegroups.com
没错。其中的核心人物之一就是 Hinton ，就是那个 video 的演讲者。他主要是提出了一种新的神经网络学习方法，比 back propagation 的计算复杂度小，也更靠谱。但 Jeff Hawkins 在 On Intelligence 里面又提到，目前的神经网络还太幼稚，跟人类大脑的神经网络的复杂性根本不在一个级别上。我们人类新皮层( neocortex) 的神经网络到底是如何学习与记忆的，还是个很大的谜团。
P.S. SVM 其实是神经网络的一个特例。SVM 的前身等价于perceptron——只有一层节点的神经网络，只能拟合线性决策边界。后来有人引入非线性核函数使得它能够拟合非线性边界，神经网络则天生就能拟合非线性决策边界。此外，神经网络具有 SVM 不具备的两个能力：1. 人脑的神经网络是多层的金字塔结构，越往上层认知越是抽象，这种对知识的抽象能力似乎是 SVM 不具备的，SVM 归根到底只是一个基于非线性拟合的分类器。2. 神经网络能够在突触之间分布式存储"记忆"， Hawkins 称之为 auto-associative memory ，auto 是指当记忆的某一些局部线索在外界出现并被感知到的时候我们的大脑就能够据此提取出完整的记忆 （scienceblog上的 the frontal cortex 博客的作者写过一本有名的科普读物 《普鲁斯特是个神经科学家》——普鲁斯特在作品中对记忆的一些现象做了很多的归纳和描述）。这也是极其重要的一个功能。
jrckkyy
Aug 18, 2008, 8:42:58 PM8/18/08
to pon...@googlegroups.com
最近AI又火了！
没错。其中的核心人物之一就是 Hinton ，就是那个 video 的演讲者。他主要是提出了一种新的神经网络学习方法，比 back propagation 的计算复杂度小，也更靠谱。但 Jeff Hawkins 在 On Intelligence 里面又提到，目前的神经网络还太幼稚，跟人类大脑的神经网络的复杂性根本不在一个级别上。我们人类新皮层( neocortex) 的神经网络到底是如何学习与记忆的，还是个很大的谜团。
P.S. SVM 其实是神经网络的一个特例。SVM 的前身等价于perceptron----只有一层节点的神经网络，只能拟合线性决策边界。后来有人引入非线性核函数使得它能够拟合非线性边界，神经网络则天生就能拟合非线性决策边界。此外，神经网络具有 SVM 不具备的两个能力：1. 人脑的神经网络是多层的金字塔结构，越往上层认知越是抽象，这种对知识的抽象能力似乎是 SVM 不具备的，SVM 归根到底只是一个基于非线性拟合的分类器。2. 神经网络能够在突触之间分布式存储"记忆"， Hawkins 称之为 auto-associative memory ，auto 是指当记忆的某一些局部线索在外界出现并被感知到的时候我们的大脑就能够据此提取出完整的记忆 （scienceblog上的 the frontal cortex 博客的作者写过一本有名的科普读物 《普鲁斯特是个神经科学家》----普鲁斯特在作品中对记忆的一些现象做了很多的归纳和描述）。这也是极其重要的一个功能。
莫华枫
Aug 18, 2008, 8:48:39 PM8/18/08
to pon...@googlegroups.com
没错。其中的核心人物之一就是 Hinton ，就是那个 video 的演讲者。他主要是提出了一种新的神经网络学习方法，比 back propagation 的计算复杂度小，也更靠谱。但 Jeff Hawkins 在 On Intelligence 里面又提到，目前的神经网络还太幼稚，跟人类大脑的神经网络的复杂性根本不在一个级别上。我们人类新皮层( neocortex) 的神经网络到底是如何学习与记忆的，还是个很大的谜团。
bp似乎用的最多，但是实在太古老了，太简单了。十多年前，art/art2很热，因为引入了膜电位方程，模拟了神经元的非线性特性。但是，对运算要求太高，当时叫好不叫座。后来还有som什么的，好像都没有很好发展。此后就没听说有什么很好的理论模型了。（其实是不怎么关注了:P）。
现在对大脑了解最深的似乎还只是枕叶（视觉皮层），或许是因为它是初级皮层，结构和特性相对简单，容易与外界刺激对应起来。其他的，听觉和触觉等初级皮层都还行。更高级的，就一头雾水了。至于记忆，也就知道长期记忆和海马有关。学习记忆都和LTP/LTD有关。至于怎么有关，没人说得清。路漫漫其修远兮啊。对于人脑的功能性研究，更多的是控制论问题，而非生物学问题。但是缺少生物学数据，连个方程都建不起来，这是理论上真正的瓶颈啊。
P.S. SVM 其实是神经网络的一个特例。SVM 的前身等价于perceptron----只有一层节点的神经网络，只能拟合线性决策边界。后来有人引入非线性核函数使得它能够拟合非线性边界，神经网络则天生就能拟合非线性决策边界。此外，神经网络具有 SVM 不具备的两个能力：1. 人脑的神经网络是多层的金字塔结构，越往上层认知越是抽象，这种对知识的抽象能力似乎是 SVM 不具备的，SVM 归根到底只是一个基于非线性拟合的分类器。2. 神经网络能够在突触之间分布式存储"记忆"， Hawkins 称之为 auto-associative memory ，auto 是指当记忆的某一些局部线索在外界出现并被感知到的时候我们的大脑就能够据此提取出完整的记忆 （scienceblog上的 the frontal cortex 博客的作者写过一本有名的科普读物 《普鲁斯特是个神经科学家》----普鲁斯特在作品中对记忆的一些现象做了很多的归纳和描述）。这也是极其重要的一个功能。
Eric
Aug 19, 2008, 9:15:05 AM8/19/08
to TopLanguage
我来说几句:
1. "神经系统是已经被证实具有智能的唯一系统" 我没发现出处. 唯一和神经网络有关系的一个理论是3层神经网络可以拟合任意连续非线性函数.
(可能还有一些其他条件).
2. SVM 的确"可以" 看成是神经网络的一个特例. 但SVM 底层是一个 QP 规划问题. QP规划问题是 凸的, 有全局最优解的, 算法
也很robust. BP 是局部下降算法的推广, 是局部优化. 神经网络有很多局部最优点, 全局最优点很难找. 训练的过程是最优化的过程, 局
部方法和初始点有关, 而全局方法和初始点无关. 这就是为啥大家都跑过来做SVM的原因. 好比平面几何只是立体几何的特例, 但是自由自己的一套
研究方法, 最好不要把SVM当成神经网络的一个分支.
3. 实践证明, 很难说现在的神经网络比 SVM 好. 特别是大数据集合上. 也很难说因为人脑神经网络比SVM复杂抽象所以神经网络比SVM
好. 我们在说神经网络的时候, 其实都忽略了人工二字. 标准的术语应该叫做 人工神经元网络 (ANN)
1. "神经系统是已经被证实具有智能的唯一系统" 我没发现出处. 唯一和神经网络有关系的一个理论是3层神经网络可以拟合任意连续非线性函数.
(可能还有一些其他条件).
2. SVM 的确"可以" 看成是神经网络的一个特例. 但SVM 底层是一个 QP 规划问题. QP规划问题是 凸的, 有全局最优解的, 算法
也很robust. BP 是局部下降算法的推广, 是局部优化. 神经网络有很多局部最优点, 全局最优点很难找. 训练的过程是最优化的过程, 局
部方法和初始点有关, 而全局方法和初始点无关. 这就是为啥大家都跑过来做SVM的原因. 好比平面几何只是立体几何的特例, 但是自由自己的一套
研究方法, 最好不要把SVM当成神经网络的一个分支.
3. 实践证明, 很难说现在的神经网络比 SVM 好. 特别是大数据集合上. 也很难说因为人脑神经网络比SVM复杂抽象所以神经网络比SVM
好. 我们在说神经网络的时候, 其实都忽略了人工二字. 标准的术语应该叫做 人工神经元网络 (ANN)
pongba
Aug 19, 2008, 11:18:48 AM8/19/08
to pon...@googlegroups.com
我来说几句:
1. "神经系统是已经被证实具有智能的唯一系统" 我没发现出处. 唯一和神经网络有关系的一个理论是3层神经网络可以拟合任意连续非线性函数.
(可能还有一些其他条件).
我也没发现。我觉得这样的证明不会容易，因为这样的证明面对的是无穷多种可能性的智能模型。不过如果说（生物）神经网络是目前为止已知唯一能够承载智能的结构，还是可以这么说的。
不过神经网络未必是三层啊，可以有多层&局部连通的，9几年就有人手动构造了在手写字体识别上非常不错的 LeNet-5，就是一个多层&局部连通的网络。另外还有 Hawkins 提出来的 HTM 。
3. 实践证明, 很难说现在的神经网络比 SVM 好. 特别是大数据集合上. 也很难说因为人脑神经网络比SVM复杂抽象所以神经网络比SVM
好. 我们在说神经网络的时候, 其实都忽略了人工二字. 标准的术语应该叫做 人工神经元网络 (ANN)
恩。如何从上帝老人家手里窃取生物神经网络的设计奥秘，是个问题啊:-) 目前研究机器学习的主流思路还是从数学入手，而 Hawkins 则是从神经科学入手，我个人倾向于后者，既然都有了成品在那里，自然是反向工程抄袭来得快嘛:P
btw. 有篇相关文章： Machine Intelligence Meets Neuroscience 。要 ieee 或 acm 帐号，我不在学校，谁能发给我一下？:P
btw. 有篇相关文章： Machine Intelligence Meets Neuroscience 。要 ieee 或 acm 帐号，我不在学校，谁能发给我一下？:P
Eric
Aug 19, 2008, 2:16:42 PM8/19/08
to TopLanguage
> 我也没发现。我觉得这样的证明不会容易，因为这样的证明面对的是无穷多种可能性的智能模型。不过如果说（生物）神经网络是目前为止已知唯一能够承载智能的结构，还是可以这么说的。
>
> 不过神经网络未必是三层啊，可以有多层&局部连通的，9几年就有人手动构造了在手写字体识别上非常不错的 LeNet-5，就是一个多层&局部连通的网络。另外还有
>
所谓的三层， 是一个非线性核函数的线性组合形式。 参见
http://polar.ncep.noaa.gov/mmab/papers/tn154/nntutor.html
详细的论文有两个， 但是都很难下载：
@article{71290,
author = {K. Funahashi},
title = {On the approximate realization of continuous mappings by
neural networks},
journal = {Neural Network},
volume = {2},
number = {3},
year = {1989},
issn = {0893-6080},
pages = {183--192},
publisher = {Elsevier Science Ltd.},
address = {Oxford, UK, UK},
}
@article{1350943,
author = {Vra Krkov},
title = {Kolmogorov's theorem is relevant},
journal = {Neural Comput.},
volume = {3},
number = {4},
year = {1991},
issn = {0899-7667},
pages = {617--622},
doi = {http://dx.doi.org/10.1162/neco.1991.3.4.617},
publisher = {MIT Press},
address = {Cambridge, MA, USA},
}
这些是神经网络领域的经典结论。 不见得每一个神经网络都是BP类型的，但是BP类型有柯尔莫哥洛夫罩着，又简单， 所以长盛不衰。
windstorm
Aug 19, 2008, 3:54:30 PM8/19/08
to pon...@googlegroups.com
Is this article you want? I don't see the content because don't know
what you guys talking about.
what you guys talking about.
----------------------------------------------------------------------------------
Yours Sincerely
Kun
blog: www.forwind.cn
2008/8/19 pongba <pon...@gmail.com>:
Message has been deleted
liuxinyu
Aug 19, 2008, 9:02:27 PM8/19/08
to TopLanguage
在实际工程应用中，人工神经元网络作为非线性方程建模和求解恐怕是最大的应用了。
根据我的经验，将人工神经元网络应用到实际问题中的瓶颈之一，就是训练时间太长，样本量需求过大。
这在探索完全未知，或大部分未知问题的时候有很大的局限性。前几年，人工神经元网络几乎成了工程领域的偷懒方法。
懒得进行数学建模的时候，就拼个人工神经元网络。又能出paper，导师也高兴，效果也说得过去。
我记得当时有篇文章批评这种现象，好像叫《朴素自然的理论，洋洋洒洒单位文章》。值得反省。
根据我的经验，将人工神经元网络应用到实际问题中的瓶颈之一，就是训练时间太长，样本量需求过大。
这在探索完全未知，或大部分未知问题的时候有很大的局限性。前几年，人工神经元网络几乎成了工程领域的偷懒方法。
懒得进行数学建模的时候，就拼个人工神经元网络。又能出paper，导师也高兴，效果也说得过去。
我记得当时有篇文章批评这种现象，好像叫《朴素自然的理论，洋洋洒洒单位文章》。值得反省。
莫华枫
Aug 19, 2008, 9:05:58 PM8/19/08
to pon...@googlegroups.com
2008/8/19 Eric <xu.ma...@gmail.com>我来说几句:
1. "神经系统是已经被证实具有智能的唯一系统" 我没发现出处. 唯一和神经网络有关系的一个理论是3层神经网络可以拟合任意连续非线性函数.
(可能还有一些其他条件).
我也没发现。我觉得这样的证明不会容易，因为这样的证明面对的是无穷多种可能性的智能模型。不过如果说（生物）神经网络是目前为止已知唯一能够承载智能的结构，还是可以这么说的。
不过神经网络未必是三层啊，可以有多层&局部连通的，9几年就有人手动构造了在手写字体识别上非常不错的 LeNet-5，就是一个多层&局部连通的网络。另外还有 Hawkins 提出来的 HTM 。
呵呵，这里实际上是个诡辩。尽管"智能"的定义有很多，但都是来源于生物神经系统。既然定义都来自神经系统，那么证明还不容易吗？:P
况且我是说"证实"，不是"证明"哦。不好意思，又诡辩了，自罚，自罚...。:)
层次化的ann模型并非真正意义上对bnn的模拟，太简化了，差太远了。目前了解的最清楚的视觉皮层柱状结构大约有6层（7层？记不清了），有的层次还有亚层。但这只是物理上的分布，以及主要神经元形态上的划分。各层次之间的链接并非依次传递，而是相互关联的。也就是说，这些层次相互间也形成了网络。
实际上就有一些很复杂的ann模型，典型的代表就是art1/2/3...。当时认为过于复杂而难以实现。
对于bnn的了解实际上已经相当深入了。比如视觉系统，特别是初级视觉皮层。但是鉴于对硬件的要求太高，而无法实现很接近的模拟。举个例子。在初级视觉皮层和视网膜之间有一个外侧膝状体，由若干层神经元构成。其中的一些神经元有同心圆的感受野。内园中是兴奋的，也就是有光的情况下会导致神经元兴奋。外园和内园之间的环形区域则有光是抑制的。这样一个结构可以检测到边缘，但不管方向。在图像识别中，边缘是最重要的。这些简单的感受野可以在后续的神经元上形成更复杂的感受野，比如同心圆按直线排列，则构成可以检测特定方向边缘的感受野。然后还可以有对特定角度敏感的感受野，对直线敏感的感受野等等。越来越复杂。
简单地说，只要能够想到的基本图形结构，都必须有相应的一个，甚至一组神经元表达，合起来是一套图像编码模块。而在一个或若干个像素构成的区域中就必须有这么一套完整的神经元。这还没有考虑颜色和眼优势（左右眼）等其他内容。这样一套神经元少说也得几千上万。无论怎么简化，一个100×100的图像系统怎么也得上百万神经元，突触总数可能在几十亿上下。这对硬件要求明显太高了。相比其他领域的图像处理方法没有任何优势。
但是，我相信随着硬件进步，硬件需求会逐步得到满足。在高端的智能应用方面，ann的优势便会体现出来。比如根据行为特征，比如运动，来识别物体。
ann最先的应用应该是在控制方面，nasa已经把ann放上了天。或许最早的模拟对象可能是苍蝇之类。它们小，神经系统简单，但却具备很优秀的控制能力，非常适合在飞机上使用。或许那天我们就能坐上模拟苍蝇脑控制的飞机哦。:)
况且我是说"证实"，不是"证明"哦。不好意思，又诡辩了，自罚，自罚...。:)
层次化的ann模型并非真正意义上对bnn的模拟，太简化了，差太远了。目前了解的最清楚的视觉皮层柱状结构大约有6层（7层？记不清了），有的层次还有亚层。但这只是物理上的分布，以及主要神经元形态上的划分。各层次之间的链接并非依次传递，而是相互关联的。也就是说，这些层次相互间也形成了网络。
实际上就有一些很复杂的ann模型，典型的代表就是art1/2/3...。当时认为过于复杂而难以实现。
对于bnn的了解实际上已经相当深入了。比如视觉系统，特别是初级视觉皮层。但是鉴于对硬件的要求太高，而无法实现很接近的模拟。举个例子。在初级视觉皮层和视网膜之间有一个外侧膝状体，由若干层神经元构成。其中的一些神经元有同心圆的感受野。内园中是兴奋的，也就是有光的情况下会导致神经元兴奋。外园和内园之间的环形区域则有光是抑制的。这样一个结构可以检测到边缘，但不管方向。在图像识别中，边缘是最重要的。这些简单的感受野可以在后续的神经元上形成更复杂的感受野，比如同心圆按直线排列，则构成可以检测特定方向边缘的感受野。然后还可以有对特定角度敏感的感受野，对直线敏感的感受野等等。越来越复杂。
简单地说，只要能够想到的基本图形结构，都必须有相应的一个，甚至一组神经元表达，合起来是一套图像编码模块。而在一个或若干个像素构成的区域中就必须有这么一套完整的神经元。这还没有考虑颜色和眼优势（左右眼）等其他内容。这样一套神经元少说也得几千上万。无论怎么简化，一个100×100的图像系统怎么也得上百万神经元，突触总数可能在几十亿上下。这对硬件要求明显太高了。相比其他领域的图像处理方法没有任何优势。
但是，我相信随着硬件进步，硬件需求会逐步得到满足。在高端的智能应用方面，ann的优势便会体现出来。比如根据行为特征，比如运动，来识别物体。
ann最先的应用应该是在控制方面，nasa已经把ann放上了天。或许最早的模拟对象可能是苍蝇之类。它们小，神经系统简单，但却具备很优秀的控制能力，非常适合在飞机上使用。或许那天我们就能坐上模拟苍蝇脑控制的飞机哦。:)
恩。如何从上帝老人家手里窃取生物神经网络的设计奥秘，是个问题啊:-) 目前研究机器学习的主流思路还是从数学入手，而 Hawkins 则是从神经科学入手，我个人倾向于后者，既然都有了成品在那里，自然是反向工程抄袭来得快嘛:P3. 实践证明, 很难说现在的神经网络比 SVM 好. 特别是大数据集合上. 也很难说因为人脑神经网络比SVM复杂抽象所以神经网络比SVM
好. 我们在说神经网络的时候, 其实都忽略了人工二字. 标准的术语应该叫做 人工神经元网络 (ANN)
btw. 有篇相关文章： Machine Intelligence Meets Neuroscience 。要 ieee 或 acm 帐号，我不在学校，谁能发给我一下？:P
--
刘未鹏(pongba)|C++的罗浮宫TopLanguage
pongba
Aug 20, 2008, 1:24:53 AM8/20/08
to pon...@googlegroups.com
为什么能这么说呢？
> 我也没发现。我觉得这样的证明不会容易，因为这样的证明面对的是无穷多种可能性的智能模型。不过如果说（生物）神经网络是目前为止已知唯一能够承载智能的结构，还是可以这么说的。
>
呃。是这样的，我对智能的定义是具有对未知现象进行抽象归纳的能力。目前的智能已经做到了能够推理了，但抽象归纳还不能够。我觉得这是最重大的一个区别。也就是说，一个推理机能够在欧几里德几何系统里面进行演绎，推导出新的结论。然而却无法自己建立欧几里德几何。
如果放松智能的定义，放松为只要能对环境输入有目的地进行响应的话，那我们造的机器都有智能了:P 只有智能高低之分，没有有无之分。
我觉得抽象归纳能力意味着认知能力的一个质变。
@Eric & Windstorm:
paper 收到，看了一下，没我期望的好，就是一篇书评，而且还并不深入，估计是作者的头衔（Intel IA32 主要架构设计者）怪吓人。另外看了 Hawkins 的 HTM 相关的文章，对于如何在输入中归纳新的 pattern ， HTM 也还是没有做到，它最底层的输入节点用了一组预定义的 pattern （线、角，等等）。不过 HTM 的整体结构——分层，越上层的属性越抽象。以及将抽象的属性往下层 unfold 来预测下层的输入。这两个源于人类 neocortex 的点子也许还是靠谱的。Hinton 在 next generation of neural networks 当中就用的是逐层抽象结构（不过为什么做不到像人类那样的抽象能力呢？——比如对物体的拓扑结构进行抽象）。
Tinyfool
Aug 20, 2008, 2:06:27 AM8/20/08
to TopLanguage
希望pongba和youxu，以及其他的牛人，看过这篇wikipedia的英文版后，建立一下该文的中文版，哪怕是简略版本。我们这些英文不行的人
看起来真是吃力啊，呵呵。
On Aug 20, 1:24 pm, pongba <pon...@gmail.com> wrote:
> 2008/8/20 Eric <xu.math...@gmail.com>
>
> --
> 刘未鹏(pongba)|C++的罗浮宫http://blog.csdn.net/pongba
> TopLanguagehttp://groups.google.com/group/pongba
看起来真是吃力啊，呵呵。
On Aug 20, 1:24 pm, pongba <pon...@gmail.com> wrote:
> 2008/8/20 Eric <xu.math...@gmail.com>
>
>
>
> > 我也没发现。我觉得这样的证明不会容易，因为这样的证明面对的是无穷多种可能性的智能模型。不过如果说（生物）神经网络是目前为止已知唯一能够承载智能的结构，还是可以这么说的。
>
> > 为什么能这么说呢？
>
> 呃。是这样的，我对智能的定义是具有对未知现象进行抽象归纳的能力。目前的智能已经做到了能够推理了，但抽象归纳还不能够。我觉得这是最重大的一个区别。也就是说，一个推理机能够在欧几里德几何系统里面进行演绎，推导出新的结论。然而却无法自己建立欧几里德几何。
>
> 如果放松智能的定义，放松为只要能对环境输入有目的地进行响应的话，那我们造的机器都有智能了:P 只有智能高低之分，没有有无之分。
>
> 我觉得抽象归纳能力意味着认知能力的一个质变。
>
> @Eric & Windstorm:
> paper 收到，看了一下，没我期望的好，就是一篇书评，而且还并不深入，估计是作者的头衔（Intel IA32 主要架构设计者）怪吓人。另外看了
> Hawkins 的 HTM 相关的文章，对于如何在输入中归纳新的 pattern ， HTM 也还是没有做到，它最底层的输入节点用了一组预定义的
> pattern （线、角，等等）。不过 HTM 的整体结构----分层，越上层的属性越抽象。以及将抽象的属性往下层 unfold
>
>
> > 我也没发现。我觉得这样的证明不会容易，因为这样的证明面对的是无穷多种可能性的智能模型。不过如果说（生物）神经网络是目前为止已知唯一能够承载智能的结构，还是可以这么说的。
>
> > 为什么能这么说呢？
>
> 呃。是这样的，我对智能的定义是具有对未知现象进行抽象归纳的能力。目前的智能已经做到了能够推理了，但抽象归纳还不能够。我觉得这是最重大的一个区别。也就是说，一个推理机能够在欧几里德几何系统里面进行演绎，推导出新的结论。然而却无法自己建立欧几里德几何。
>
> 如果放松智能的定义，放松为只要能对环境输入有目的地进行响应的话，那我们造的机器都有智能了:P 只有智能高低之分，没有有无之分。
>
> 我觉得抽象归纳能力意味着认知能力的一个质变。
>
> @Eric & Windstorm:
> paper 收到，看了一下，没我期望的好，就是一篇书评，而且还并不深入，估计是作者的头衔（Intel IA32 主要架构设计者）怪吓人。另外看了
> Hawkins 的 HTM 相关的文章，对于如何在输入中归纳新的 pattern ， HTM 也还是没有做到，它最底层的输入节点用了一组预定义的
> 来预测下层的输入。这两个源于人类 neocortex 的点子也许还是靠谱的。Hinton 在 next generation of neural
> networks 当中就用的是逐层抽象结构（不过为什么做不到像人类那样的抽象能力呢？----比如对物体的拓扑结构进行抽象）。
>
> --
> 刘未鹏(pongba)|C++的罗浮宫http://blog.csdn.net/pongba
> TopLanguagehttp://groups.google.com/group/pongba
liuxinyu
Aug 20, 2008, 3:36:44 AM8/20/08
to TopLanguage
说道不完全归纳这类"创新"性的智能，一个立刻引起的联想就是"遗传算法"了。
遗传算法中专门有一个环节是人为在genome中随机选择某些位，改变他们的值，来模拟自然界的基因突变。
然后再放到种群样本中，进行选择。
不过工程中同样面临类似的问题：
1. 初始种群太少，不具备统计意义；
2. 训练时间太长。
遗传算法中专门有一个环节是人为在genome中随机选择某些位，改变他们的值，来模拟自然界的基因突变。
然后再放到种群样本中，进行选择。
不过工程中同样面临类似的问题：
1. 初始种群太少，不具备统计意义；
2. 训练时间太长。
> > 我也没发现。我觉得这样的证明不会容易，因为这样的证明面对的是无穷多种可能性的智能模型。不过如果说（生物）神经网络是目前为止已知唯一能够承载智能的结构，还是可以这么说的。
>
> > 为什么能这么说呢？
>
> 呃。是这样的，我对智能的定义是具有对未知现象进行抽象归纳的能力。目前的智能已经做到了能够推理了，但抽象归纳还不能够。我觉得这是最重大的一个区别。也就是说，一个推理机能够在欧几里德几何系统里面进行演绎，推导出新的结论。然而却无法自己建立欧几里德几何。
>
> 如果放松智能的定义，放松为只要能对环境输入有目的地进行响应的话，那我们造的机器都有智能了:P 只有智能高低之分，没有有无之分。
>
> 我觉得抽象归纳能力意味着认知能力的一个质变。
>
> @Eric & Windstorm:
> paper 收到，看了一下，没我期望的好，就是一篇书评，而且还并不深入，估计是作者的头衔（Intel IA32 主要架构设计者）怪吓人。另外看了
> Hawkins 的 HTM 相关的文章，对于如何在输入中归纳新的 pattern ， HTM 也还是没有做到，它最底层的输入节点用了一组预定义的
> pattern （线、角，等等）。不过 HTM 的整体结构----分层，越上层的属性越抽象。以及将抽象的属性往下层 unfold
>
> > 为什么能这么说呢？
>
> 呃。是这样的，我对智能的定义是具有对未知现象进行抽象归纳的能力。目前的智能已经做到了能够推理了，但抽象归纳还不能够。我觉得这是最重大的一个区别。也就是说，一个推理机能够在欧几里德几何系统里面进行演绎，推导出新的结论。然而却无法自己建立欧几里德几何。
>
> 如果放松智能的定义，放松为只要能对环境输入有目的地进行响应的话，那我们造的机器都有智能了:P 只有智能高低之分，没有有无之分。
>
> 我觉得抽象归纳能力意味着认知能力的一个质变。
>
> @Eric & Windstorm:
> paper 收到，看了一下，没我期望的好，就是一篇书评，而且还并不深入，估计是作者的头衔（Intel IA32 主要架构设计者）怪吓人。另外看了
> Hawkins 的 HTM 相关的文章，对于如何在输入中归纳新的 pattern ， HTM 也还是没有做到，它最底层的输入节点用了一组预定义的
> 来预测下层的输入。这两个源于人类 neocortex 的点子也许还是靠谱的。Hinton 在 next generation of neural
pongba
Aug 20, 2008, 4:22:19 AM8/20/08
to pon...@googlegroups.com
说道不完全归纳这类"创新"性的智能，一个立刻引起的联想就是"遗传算法"了。
遗传算法中专门有一个环节是人为在genome中随机选择某些位，改变他们的值，来模拟自然界的基因突变。
然后再放到种群样本中，进行选择。
我说的抽象归纳是指归纳事物的共性并建立新的抽象概念。跟遗传算法应该是有区别的吧？
王帅
Aug 20, 2008, 4:25:13 AM8/20/08
to pon...@googlegroups.com
Eric
Aug 20, 2008, 7:25:00 PM8/20/08
to TopLanguage
@tinyfool
我一有空就去做这个事情。 这几天太忙了
@pongba
那篇YouTube 上的 The Next Generation of Neural Networks 你全看完了么? 我好多年不碰ANN了，
很多技术细节已经不熟悉了， 听他说的有些部分已经云里雾里了。 如有空，可在线与你交流一下。
On Aug 20, 3:25 am, "王帅" <shuai.wang....@gmail.com> wrote:
> 两者好像是没有太大的关联。
>
> 2008/8/20 pongba <pon...@gmail.com>
>
>
>
>
>
> > 2008/8/20 liuxinyu <liuxiny...@gmail.com>
我一有空就去做这个事情。 这几天太忙了
@pongba
那篇YouTube 上的 The Next Generation of Neural Networks 你全看完了么? 我好多年不碰ANN了，
很多技术细节已经不熟悉了， 听他说的有些部分已经云里雾里了。 如有空，可在线与你交流一下。
On Aug 20, 3:25 am, "王帅" <shuai.wang....@gmail.com> wrote:
> 两者好像是没有太大的关联。
>
> 2008/8/20 pongba <pon...@gmail.com>
>
>
>
>
>
pongba
Aug 21, 2008, 7:28:27 AM8/21/08
to pon...@googlegroups.com
@tinyfool
我一有空就去做这个事情。 这几天太忙了
@pongba
那篇YouTube 上的 The Next Generation of Neural Networks 你全看完了么? 我好多年不碰ANN了，
很多技术细节已经不熟悉了， 听他说的有些部分已经云里雾里了。 如有空，可在线与你交流一下。
我看倒是看了一遍，但技术细节我也不甚理解，不过作者演讲中对方法的思路描述还算清晰。作者的主页上有相关paper的，不过我这方面的基础还需要补的（主要似乎是 Boltzmann Machine 和 Ising Model ，目前我的知识储备只是 back propagation 而已。），恐怕至少还得先把 Peter Norvig 推荐的 Neural Networks For Pattern Recognition 基础知识部分看了才能完全理解那个方法的技术细节。
Reply all
Reply to author
Forward
0 new messages