训练神经网络的数据量阈值的讨论

[Xiao Da]

周末deep learning读书会和尚问的训练神经网络的数据量阈值问题非常好。在我看来这个阈值在非平衡态统计物理里有个很好的对应物，就是产生耗散结构的能量梯度的阈值。

当给一个开放系统施加能量梯度dE，dE小于某个阈值dE0时，系统会沿着热二定律的方向演化，趋向最大熵，耗散掉dE。当dE > dE0时，会发生另外一个故事，为了更快的耗散掉dE，系统会自发涌现出有序结构（参见Benard斑纹）。

我的假设是，一个开放非平衡物理系统的能量梯度，就是一个信息处理系统（比如脑或人工神经网络）的surprise。

喂给系统的数据太少，surprise能量没达到阈值，它不会发生有趣的质变，始终是白痴。

只有喂给它足够多的interesting pattern（就是surprise），它才会长出有序结构（学到有用的东西），发生质变产生智慧。

[东方和尚]

贫僧觉得，相比梯度，更重要的一个量是空间尺度，所有的涌现现象都需要相比单个格点非常巨大的尺度，有点像一个聪明人想几天，也就放下了，但一个一般人想十几年，说不定就悟道了。

老玉提醒我的，就是这一点，所以我回来啦！I am back!

发自我的 iPad

--
您收到此邮件是因为您订阅了 Google 网上论坛的“集智AI(人工智能)讨论组”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到 swarmagents_a...@googlegroups.com。
要向此网上论坛发帖，请发送电子邮件至 swarmag...@googlegroups.com。
要在网络上查看此讨论，请访问 https://groups.google.com/d/msgid/swarmagents_ai/CAK6rXFZ3tvD%2BRLkMdM60-9cGXrvJpLNgCPUUxHn6nRmF%3DGgFcA%40mail.gmail.com。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。
 
 

[Unprepared Be]

怎么验证？有验证吗？

2013/6/18 东方和尚 <dfy...@hotmail.com>

要在网络上查看此讨论，请访问 https://groups.google.com/d/msgid/swarmagents_ai/BLU405-EAS288CE516697F24E0A55360DD48C0%40phx.gbl。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。