gabor filter

23 views
Skip to first unread message

troy dongdong troy

unread,
Mar 22, 2010, 10:26:23 AM3/22/10
to swarmag...@googlegroups.com
之前一次活动中讲computational vision,当时文献中提到了gabor filter
今天再次遇到这个概念,就查了一些相关资料,总结在附件中

gabor函数特点和人类视觉细胞的receptive field反映特点十分相似
使用gabor filter对图像滤波,模拟了人类感光细胞对光线刺激的反应


顺便推荐一个网站:
http://cbcl.mit.edu/index.html
这是poggio领导的一个实验室,poggio的一个重要工作时建模了视觉的hierarchy architecture

我觉得hierarchy architecture是智能实现的最重要环节,如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的,有些概念是处于中间层平时会被用到但是人并不能意识到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并且robust的算法。

我最近在读这方面的paper,感兴趣的人可以一路~

gabor.doc

jake

unread,
Mar 22, 2010, 8:47:53 PM3/22/10
to swarmag...@googlegroups.com
你对小波变换熟悉吗?可以专门给我们讲一讲?


在2010-03-22,"troy dongdong troy" <not...@gmail.com> 写道:
-----原始邮件-----
发件人:"troy dongdong troy" <not...@gmail.com>
发送时间:2010年3月22日 星期一
收件人:swarmag...@googlegroups.com
主题:[swarmagents_ai] gabor filter
--
您收到此邮件是因为您订阅了 Google 网上论坛的“集智AI(人工智能)讨论组”论坛。
要向此网上论坛发帖,请发送电子邮件至swarmag...@googlegroups.com
要取消订阅此网上论坛,请发送电子邮件至 swarmagents_ai+unsub...@googlegroups.com
若有更多问题,请通过 http://groups.google.com/group/swarmagents_ai?hl=zh-CN 访问此网上论坛。


troy dongdong troy

unread,
Mar 22, 2010, 10:27:09 PM3/22/10
to swarmag...@googlegroups.com
不熟。。。
只是用到了看一下

2010/3/23 jake <jak...@163.com>
要取消订阅此网上论坛,请发送电子邮件至 swarmagents_a...@googlegroups.com

01-_-19

unread,
Mar 22, 2010, 10:45:15 PM3/22/10
to swarmag...@googlegroups.com
从我的领域看,这个非常非常难。可能是因为大家都在死扣细节而没有从整体上寻找规律吧。欢迎提供新的视角。

在2010-03-22 22:26:23,"troy dongdong troy" <not...@gmail.com> 写道:
……如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的,有些概念是处于中间层平时会被用到但是人并不能意识到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并且robust的算法。

我最近在读这方面的paper,感兴趣的人可以一路~

东方隐

unread,
Mar 22, 2010, 11:04:50 PM3/22/10
to swarmag...@googlegroups.com
新的视角早就有了,就是现象学的那一整套理论,不过贫僧最近去听了一些哲学的课程。感觉现象学根本没有被主流文化所接受。更不要说被科学界所接受。建议果蝇小姐先把GEB好好读一读,把唯物的那些根深蒂固的观念先放一放。人脑的规律是不完全能被当作一台计算机理解的,把人脑当作计算机看,是和地心说一样,会走入误区的。
 
比如上次说画符的事情,并不是因为我是画符的专家,而是打一个比方,希望大家能够开放心胸。对很多看上去很唯心的事情也去研究一番,作一点疯狂的设想,很可能是会有收获的。
要取消订阅此网上论坛,请发送电子邮件至 swarmagents_a...@googlegroups.com

troy dongdong troy

unread,
Mar 22, 2010, 11:39:51 PM3/22/10
to swarmag...@googlegroups.com
嗯,我也是这样想的

在我做computational visual时觉得现在的算法在提取feature point的程度上已经超过人了。

但是在建立hierarchy architecture上面却输得一塌糊涂,现在的做法都是提取完feature point(这应该是视觉皮层V1干的事情吧),之后直接做recognition 或者 categorize,而人是通过多个皮层最后才实现人脸的识别或者动物植物的分类。从这个角度上讲现在的技术只是赢得了细节输给了结构。所以看到poggio在做hierarchy architecture的时候就很激动

之所以说在提取feature point上现在的算法超过了人是基于这篇文章
2005   Object Recognition with Features Inspired by Visual Cortex
这篇文章piggio使用gabor 模拟了不同感光细胞的receptive field,并且使用提取的feature point来做recognition,但是效果和现在的主流方法比起来还是有差距的

2010/3/23 01-_-19 <01-...@163.com>
要取消订阅此网上论坛,请发送电子邮件至 swarmagents_a...@googlegroups.com

Miner

unread,
Mar 22, 2010, 11:50:48 PM3/22/10
to 集智AI(人工智能)讨论组
谢谢xudong的分享!

东方隐,希望你讨论科学时与哲学分开,对哲学和宗教的不同见解不影响对科学的讨论,就好比你信奉佛教、基督教还是无神论,信奉唯物还是唯心,都可以接受
或者不接受进化论。科学有公认的评判体系,你提出你的理论和证据,大家自然可以评判,无须接受或不接受现象学。

你若想说明"人脑的规律是不完全能被当作一台计算机理解的,把人脑当作计算机看,是和地心说一样,会走入误区的",请先给出你对计算机的定义,以及你
对"什么是理解"的定义,然后说明你为什么认为"人脑的规律是不完全能被当作一台计算机理解的",这样大家才能在同一语境下讨论你提出的问题,否则各说
各话,那不是讨论科学的方式。

On Mar 23, 11:04 am, 东方隐 <dfy...@hotmail.com> wrote:
> 新的视角早就有了,就是现象学的那一整套理论,不过贫僧最近去听了一些哲学的课程。感觉现象学根本没有被主流文化所接受。更不要说被科学界所接受。建议果蝇小姐先把GEB好好读一读,把唯物的那些根深蒂固的观念先放一放。人脑的规律是不完全能被当作一台计算机理解的,把人脑当作计算机看,是和地心说一样,会走入误区的。
>
> 比如上次说画符的事情,并不是因为我是画符的专家,而是打一个比方,希望大家能够开放心胸。对很多看上去很唯心的事情也去研究一番,作一点疯狂的设想,很可能是会有收获的。
>
> From: 01-_-19
> Sent: Tuesday, March 23, 2010 10:45 AM
> To: swarmag...@googlegroups.com
> Subject: Re:[swarmagents_ai] gabor filter
>
> 从我的领域看,这个非常非常难。可能是因为大家都在死扣细节而没有从整体上寻找规律吧。欢迎提供新的视角。
>
> 在2010-03-22 22:26:23,"troy dongdong troy" <not...@gmail.com> 写道:
>

> ......如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的,有些概念是处于中间层平时会被用到但是人并不能意识到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并且robust的算法。
>
> 我最近在读这方面的paper,感兴趣的人可以一路~
>
>

东方隐

unread,
Mar 23, 2010, 12:13:01 AM3/23/10
to swarmag...@googlegroups.com

Ŀ�ľ��������������������ѧ��Ҫ�ȶ��壬Ȼ�����������Ŀ�������������⡣��˭˵һ����Ҫ����ģ�˭˵һ��Ҫͬһ���ᄈ�ģ�˭��˵��Ҫ���ۿ�ѧ�ģ����ڵ�Ŀ����Ҫ���۴��ԵĹ��ɻ���˵��֪�Ĺ��ɣ��������δ���ǿ�ѧ�ģ�Ҳδ����Ψ��ģ���ȫ��������ѧ�Ĺ��ɡ�������Ҫ��Ϊ����˼���Ķ���һ���Ƕ���ĺ�����Ķ�����һ���ǿ������Ķ������Ǿ��Ѿ�������Ϊ������ͷǿ���ڴ���֮���ˣ���ʵ����ȫ���Բ�������

����Ϊ�����۵ķ��㣬��������һЩ�������������ǿ��԰�����˵�����һ�������������������������޵�һ������������������Ժ�Ϳ����Ϳ�������ԣ������Ҫ��Ҫ�Ķ࣡

��ô�㵱Ȼ�ͺܲ����⣬˵��Ϳ��һͰ������ô�о�����������ǣ���Ϳһ�������ѧ���о��������������֮�࣬����һ�ֻ��ں�Ϳ����ϵ����ҽҲ�Ǻܺ�Ϳ�Ķ�������������˵һ���ˡ��ϻ𡱣��Ͳ��ǿ����ϸ�������顣�������Ƕ������˽�������ʲô��˼��

���ڴ�Ҷ������������ѧ���Կ�ѧ��ϵ���ֳ�ݣ�ƶɮϣ��ѿ�ѧ���Ż������ǰ����ſ�ѧ���������Ǿ������Եѧ�ƣ�������ҽ�о��������������飩��������ҲҪѧ��ѧ������Ŀ�ĸ�������෴��ϣ����λ�ܶ�ƶɮ������������㹻�Ŀ��ݶȣ�лл��ң�

--------------------------------------------------
From: "Miner" <zmse...@gmail.com>
Sent: Tuesday, March 23, 2010 11:50 AM
To: "����AI(�˹�����)������" <swarmag...@googlegroups.com>
Subject: [swarmagents_ai] Re: gabor filter

> ллxudong�ķ��?
>
> ��������ϣ�������ۿ�ѧʱ����ѧ�ֿ�������ѧ���ڽ̵IJ�ͬ��ⲻӰ��Կ�ѧ�����ۣ��ͺñ����ŷ��̡���̻��������ۣ��ŷ�Ψ�ﻹ��Ψ�ģ������Խ���
> ���߲����ܽ��ۡ���ѧ�й��ϵ�������ϵ�������������ۺ�֤�ݣ������Ȼ�������У�������ܻ򲻽�������ѧ��
>
> ������˵��"���ԵĹ����Dz���ȫ�ܱ�����һ̨��������ģ������Ե���������Ǻ͵���˵һ������������"�����ȸ����Լ����Ķ��壬�Լ���
> ��"ʲô�����"�Ķ��壬Ȼ��˵����Ϊʲô��Ϊ"���ԵĹ����Dz���ȫ�ܱ�����һ̨���������"�������Ҳ�����ͬһ�ᄈ����������������⣬�����˵
> �������Dz������ۿ�ѧ�ķ�ʽ��
>
> On Mar 23, 11:04 am, ������ <dfy...@hotmail.com> wrote:
>> �µ��ӽ�������ˣ���������ѧ����һ�������ۣ�����ƶɮ���ȥ����һЩ��ѧ�Ŀγ̡��о�����ѧ��û�б������Ļ�����ܡ���Ҫ˵����ѧ������ܡ������ӬС���Ȱ�GEB�úö�һ������Ψ�����Щ����ٹ̵Ĺ����ȷ�һ�š����ԵĹ����Dz���ȫ�ܱ�����һ̨��������ģ������Ե���������Ǻ͵���˵һ�����������ġ�
>>
>> �����ϴ�˵��������飬��������Ϊ���ǻ����ר�ң����Ǵ�һ���ȷ���ϣ�����ܹ��������ء��Ժܶ࿴��ȥ��Ψ�ĵ�����Ҳȥ�о�һ������һ��������룬�ܿ����ǻ����ջ�ġ�


>>
>> From: 01-_-19
>> Sent: Tuesday, March 23, 2010 10:45 AM
>> To: swarmag...@googlegroups.com
>> Subject: Re:[swarmagents_ai] gabor filter
>>

>> ���ҵ����򿴣�����dz��dz��ѡ���������Ϊ��Ҷ�������ϸ�ڶ�û�д�������Ѱ�ҹ��ɰɡ���ӭ�ṩ�µ��ӽǡ�
>>
>> ��2010-03-22 22:26:23��"troy dongdong troy" <not...@gmail.com> ���
>>
>> ......����ܸ�������������ν���Ϣ�������Ϊ���������˵�ĸ��Χ�ȽϹ㣬��Щ������������ʶ���ģ���Щ�����Ǵ����м��ƽʱ�ᱻ�õ������˲�������ʶ����������ܰ��������������ܹ����Ͳ�������������һ����ٵ�֪ʶ�������Լ�������һ��ʵ��ͨ�ò���robust���㷨��
>>
>> ������ڶ��ⷽ���paper������Ȥ���˿���һ·~
>>
>>
>
> --
> ���յ����ʼ�����Ϊ������ Google ������̳�ġ�����AI(�˹�����)�����顱��̳��
>
> Ҫ���������̳�����뷢�͵����ʼ��� swarmag...@googlegroups.com��
> Ҫȡ���Ĵ�������̳���뷢�͵����ʼ���
> swarmagents_a...@googlegroups.com��
> ���и�����⣬��ͨ��
> http://groups.google.com/group/swarmagents_ai?hl=zh-CN ���ʴ�������̳��
>
>

Miner

unread,
Mar 23, 2010, 9:20:33 AM3/23/10
to swarmag...@googlegroups.com
同意,早先Marr把视觉处理分成三阶段来做,后来大家发现每一阶段都非常难做,于是尝试一起做,结果好像更难了。
Marr是神经科学家和心理学家,我想计算机视觉的进展还得依赖神经科学和认知科学的进展。

大脑是如何用实物层(神经元)实现抽象层(概念)的,这也是我最想弄明白的问题,xudong你要是发现什么好的资料或者有什么心得,也请共享一下~~


于 2010-3-23 11:39, troy dongdong troy 写道:
嗯,我也是这样想的

在我做computational visual时觉得现在的算法在提取feature point的程度上已经超过人了。

但是在建立hierarchy architecture上面却输得一塌糊涂,现在的做法都是提取完feature point(这应该是视觉皮层V1干的事情吧),之后直接做recognition 或者 categorize,而人是通过多个皮层最后才实现人脸的识别或者动物植物的分类。从这个角度上讲现在的技术只是赢得了细节输给了结构。所以看到 poggio在做hierarchy architecture的时候就很激动


之所以说在提取feature point上现在的算法超过了人是基于这篇文章
2005   Object Recognition with Features Inspired by Visual Cortex
这篇文章piggio使用gabor 模拟了不同感光细胞的receptive field,并且使用提取的feature point来做recognition,但是效果和现在的主流方法比起来还是有差距的

2010/3/23 01-_-19 <01-...@163.com>
从我的领域看,这个非常非常难。可能是因为大家都在死扣细节而没有从整体上寻找规律吧。欢迎提供新的视角。

在2010-03-22 22:26:23,"troy dongdong troy" <not...@gmail.com> 写道:
…… 如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的,有些概念是处于中间层平时会被用到但是人并不能意识 到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并且robust的算法。

我最近在读这方面的paper,感兴趣的人可以一路~


troy dongdong troy

unread,
Mar 23, 2010, 9:47:38 AM3/23/10
to swarmag...@googlegroups.com
好滴~


2010/3/23 Miner <zmse...@gmail.com>

东方隐

unread,
Mar 23, 2010, 10:24:34 AM3/23/10
to swarmag...@googlegroups.com
那好,就谈这个问题,不扯到哲学上面去。
 
当我们说大脑用神经元实现概念的时候,我们究竟是什么意思?
 
因为神经元只是一些逻辑元件,它只能激活或者休息,就像一部计算机一样,数据的意义是程序员赋予的。
 
如果我们认为神经元可以实现概念,那么我能设想到的实现方式只有有限的几种。
 
一是用一个神经元实现一个概念,也就是“祖母细胞”这种东西。但这种实现方式解释不了概念的融合分化、以及比较复杂微妙的心理变化。
 
二是用神经元的组合实现概念,那么神经元的组合就意味着心理上概念的组合。姑且不谈抽象的概念,就说视觉好了。
 
摄像机拍到一头猪,那么在摄像机的内存上可以映射一头猪的点阵图,但是这张图肯定不是猪的概念。
 
那么什么才是猪的概念呢?
 
我估计你们大概会说:当我能够用一个函数去判断一切点阵图,把图分类为猪和非猪两类的时候,这个判断函数就是猪的概念。
 
到这里也不是非常难,问题是猪的概念只是无穷多可能的概念之一,你不仅仅需要猪的概念,还需要大脑能够自动把所有可能的概念归类。
 
这就太难了,也已经大大超过视觉处理的范畴了,难度在于你需要对不存在的东西进行区分,问题是,如果不做到上面这一步,能不能实现抽象的概念?退一步说,是否可以像医院的科室一样,把视觉、听觉、记忆等具体功能同智能的核心分隔开来研究?
 
关键在于,抽象层之所以抽象,就因为它不能用实物表达!如果你用一种具体的方法把实物层和抽象层联系起来了,那么抽象层已经具体化了,你怎么还能够称之为抽象层呢?反之,如果这种方法本身是抽象的,是不可言传的,那你等于把问题从概念转移到了方法上面,就像摄像机只是把光信号处理转换成了数据处理,难度一点也没有变化。
 
这也是哥德尔定理的一种表现,抽象层就是具有一种不可说性,说出来就不抽象了。
 
所以一定要绕过这个怪圈。正如我们都见到的,智能的核心问题必然牵涉到深刻的哲学问题。不谈哲学问题,你只能谈数据处理,比如用矩阵去提取图形的特征向量等等,但是这也不是我们感兴趣的问题。
 
我就想知道的是,Miner你说的这种实现,如果做出来了,大概应该是怎么样的一个东西?
 

From: Miner
Sent: Tuesday, March 23, 2010 9:20 PM
Subject: Re: [swarmagents_ai] gabor filter

2010/3/23 01-_-19 <01-...@163.com>
…… 如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的,有些概念是处于中间层平时会被用到但是人并不能意识到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并且robust的算法。

我最近在读这方面的paper,感兴趣的人可以一路~


pem

unread,
Mar 23, 2010, 10:45:44 AM3/23/10
to 集智AI(人工智能)讨论组
这年月谈虾米都要提到分层...
有句名言叫虾米问题都可以靠加入一个中间层来解决,如果效率不考虑的话

On Mar 22, 10:26 pm, troy dongdong troy <not...@gmail.com> wrote:
> 之前一次活动中讲computational vision,当时文献中提到了gabor filter
> 今天再次遇到这个概念,就查了一些相关资料,总结在附件
> 我觉得hierarchy
> architecture是智能实现的最重要环节,如果能搞明白人脑是如何将信息逐层抽象成
> gabor.doc
> 263KViewDownload

x g

unread,
Mar 23, 2010, 12:13:47 PM3/23/10
to swarmag...@googlegroups.com

我觉得你把hierarchy考虑进去,等价于假设了一个输入-->父状态变量-->状态变量的贝叶斯网络,这里的父状态变量起了层次hierarchy的作用。
我认为Pem说的对。你如果不明白其中的因果关系(条件独立性)的话,实际上不解决核心问题。hierarchy 只是一种手段。

物理图像和神经图像有本质区别的。我认为现在我们不需要解决视觉概念以及知觉之类的问题,而是需要定义一个简单可靠的标准用于评测(比图灵测试更基本),比如在这儿信号如何体现出基本的归纳,演绎等等。

当我们研究一个很难的问题时,不要开始就问为什么(why),而是首先要将问题描述清楚(what),每一步都要扎实,这样才能积累。

我对视觉识别这块不了解,但如果只是讨论hierarchy architecture的相关数学模型、方程以及算法的话,愿意参与讨论。如果是大段的哲学议论的话,那就免了。

我想你应该起引导作用的,谢谢。

On 3月22日, 下午10时26分, troy dongdong troy <not...@gmail.com> wrote:
> 之前一次活动中讲computational vision,当时文献中提到了gabor filter
> 今天再次遇到这个概念,就查了一些相关资料,总结在附件中
>
> gabor函数特点和人类视觉细胞的receptive field反映特点十分相似
> 使用gabor filter对图像滤波,模拟了人类感光细胞对光线刺激的反应
>
> 顺便推荐一个网站:http://cbcl.mit.edu/index.html
> 这是poggio领导的一个实验室,poggio的一个重要工作时建模了视觉的hierarchy architecture
>
> 我觉得hierarchy

> architecture是智能实现的最重要环节,如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的,有些概­念是处于中间层平时会被用到但是人并不能意识到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并且robust­的算法。
>
> 我最近在读这方面的paper,感兴趣的人可以一路~
>
>  gabor.doc
> 263K查看下载

jake

unread,
Mar 23, 2010, 11:32:34 PM3/23/10
to swarmag...@googlegroups.com
你这么说的方式还是大家可以接受的,在这个论坛上,至少这种话大家是听得懂的。
但是,能听进去多少,那就要看每个人不同的根器了。反正我是很明白你要说的意思的,但我估计别人还未必明白。
其实,你说来说去,是想告诉大家:大家先不着急去动手搞什么算法,搞什么具体问题,大家需要先认真想一想你最想要的东西是什么?也不一定非一下子就牵扯到哲学,而是先要弄清楚自己的目标。这种反思对于整个人工智能届都是很需要的。


在2010-03-23,"东方隐" <dfy...@hotmail.com> 写道:
-----原始邮件-----
发件人:"东方隐" <dfy...@hotmail.com>
发送时间:2010年3月23日 星期二
收件人:swarmag...@googlegroups.com
主题:Re: [swarmagents_ai] gabor filter
要取消订阅此网上论坛,请发送电子邮件至 swarmagents_ai+unsub...@googlegroups.com

若有更多问题,请通过 http://groups.google.com/group/swarmagents_ai?hl=zh-CN 访问此网上论坛。

--
您收到此邮件是因为您订阅了 Google 网上论坛的“集智AI(人工智能)讨论组”论坛。
要向此网上论坛发帖,请发送电子邮件至swarmag...@googlegroups.com
要取消订阅此网上论坛,请发送电子邮件至 swarmagents_ai+unsub...@googlegroups.com

东方隐

unread,
Mar 24, 2010, 1:09:09 AM3/24/10
to swarmag...@googlegroups.com
贫僧现在很不爽+挫败,大概因为是被群众无视的关系。
 
我就不懂,这个又不是什么新鲜的道理,计算机还没有发明的时候,早就被科学和哲学两派都清楚认识到了;至于科普,也是在我们出生前,就由侯世达说的很清楚了。怎么过了那么多年,大家还是往那条百年老路上走,去折腾分类函数,数学模型什么,这条路要能走通的话,哪里还轮得到我们去研究?现在早就机器人满街走了。
 
就看Google好了,那么有钱的公司,搞来搞去核心技术就还是关键词搜索加一点贝叶斯,十年前就开始说要搞图像识别,语音识别,智能识别,搞得出来吗?就比如“二十个问题”这样的游戏,你让Google按这个原理做一个数据库搜索出来?非不为也,乃不能也。
 
反正贫僧是穷和尚一个,信不信和尚,由诸位自己看着办。科学上走错路,十年二十年一转眼就过去了,各位保重。

 
From: jake
Sent: Wednesday, March 24, 2010 11:32 AM
要取消订阅此网上论坛,请发送电子邮件至 swarmagents_a...@googlegroups.com

Hui Lee

unread,
Mar 24, 2010, 1:45:49 AM3/24/10
to swarmag...@googlegroups.com
现在很多研究实际上是向着应用这条路上走的,并非一上来就非得弄出个本质问题来。
另外,我觉得现在很多技术没有实现所谓真正的智能,但是也不能就是“关键词搜索加一点贝叶斯”这般的简化了,放在实际应用场景下说的话它一直是在进步的。
另外我觉得如果群众无视你的言论的话,大可不必计较你的言论,相反你
的言论里面总有无视其他人心理感受的倾向。
--
=============================
NickName: blackball ;)
Email: bug...@gamil.com
MSN: bug...@live.cn
HomePage: http://bugway.appspot.com
=============================

troy dongdong troy

unread,
Mar 24, 2010, 2:04:52 AM3/24/10
to swarmag...@googlegroups.com
关于分层的想法来自于两个用于文本分析的算法LSA 和 PLSA
两个方法中虽然具体实现不同但是基本思想是相同的
都是增加了概念层之后提高了算法的计算效率和robust

我觉得分层虽然增加了训练(or学习)的的成本和时间
但就工作的效果来说,恰当的分层肯定能够提高算法效率和效果

而其分层提取概念就是数据降维,人类在高位数据上,比如视觉、听觉、文本工作的非常之好一个重要的原因,就是在日常的学习过程中逐渐形成了具有数据概括能力的概念。并且这些概念在每一个层级上都有相当程度的通用性。

2010/3/23 pem <pem...@gmail.com>

troy dongdong troy

unread,
Mar 24, 2010, 2:42:57 AM3/24/10
to swarmag...@googlegroups.com
我觉得具体做的话可以先谈谈自己想的研究框架,然后调研,自己看文献太慢了,如果需要用到的领域已经有人做的话找相关的学生聊聊天收获一定很大,找不到人了再自己看文献,这样效果会比较好。

下面是我的研究框架:
1. 【分层】分几层,每层概念大概什么样子?在视觉上这方面研究挺多的,我不知道成果到什么样的程度,总之是有借鉴价值。

2. 【概念】怎么聚类或者说形成概念,就是在第一个问题有了雏形之后,怎么来实现。再说详细点:  假设现在有输入层和第一层,在第一层上已经形成了一些概念,当输入一个新的数据,数据只能部分的被原来的概念解释,还有较大部分不能被解释。如何从这新不能被解释的数据中寻找出pattern,然后形成新的概念,这就是这一步需要做的事情。

3. 【分类】 上面已经说到了在第一层中已经有一些概念了,在给定输入数据后如何计算现有概念的响应,这就是这一步需要解决的问题。其实就是一个模糊分类问题。


4.【训练】在训练过程中,每个概念类似于神经元,输入数据引起这个概念响应的时候这个概念就会逐渐加强,如果这个概念被更高一级引用的时候这个概念也会得到加强。这样的学习机制部分的降低了概念学习的要求,因为你可以生成一些概念,概念的会随着训练的增加逐渐的优胜劣汰。

5.【落实】要具体的做一件事情,什么都行,关键是在一个具体项目上走通一个范式。我个人倾向于图像,1.处理图像的脑区最大,在语言文字出来之前视觉就已经产生并且很发达了,而且相对具体一点,至少可以避开更加困难的“意识” 2.这方面的生物学研究很多(相对于听觉或者文本理解,之前计算神经科学课程上老师说的)3.因为最近工作的关系在做图像相关的东西,这方面一定积累如意结合起来。





2010/3/24 x g <hidd...@gmail.com>

--

于墨

unread,
Mar 24, 2010, 10:01:23 AM3/24/10
to swarmag...@googlegroups.com
我现在在研究PLSA的应用,但个人不看好从PLSA开始的一系列topic models。PLSA和LSA的目标是一致的,只不过是用极大似然的概率语言描述。
分层思想的关键是先定义好概念层是什么,当前很多topic model的应用都缺乏这种定义,而仅仅是将其当做一种降维手段或者距离度量工具。

在做问题先做定义这一点上,我还是很赞同东方大师的观点的
--
Thanks for reading.
Yu Mo

x g

unread,
Mar 24, 2010, 10:09:10 AM3/24/10
to swarmag...@googlegroups.com
我总结一下,不对的地方请大家不吝指正。
troy dongdong troy的研究框架核心在第2步概念。概念及概念关系的维度和复杂性决定了分层和分类,在具体的训练过程中对概念及其关系进行优化,而贯穿着一切的对概念及其关系的计算需要用“图像”表示和呈现各阶段结果,也就是并行和多维的一个模型(语言相对来说是一维)。
这样的话,怎么用概念元素搭建这个神经图像就成了最基础的东西。比如角度、颜色以及其他。现在视觉神经的研究已比较成熟,所以,创建人工大脑皮层图像的模型已成为可能,而且会是一个下金蛋的母鸡。。。。

于墨

unread,
Mar 24, 2010, 10:09:44 AM3/24/10
to swarmag...@googlegroups.com
“搞来搞去核心技术就还是关键词搜索加一点贝叶斯”,我觉得这么说只能证明你不懂什么是统计。google的很多有效技术看似简单,但是其背后是有其对问题的深刻分析和强大的数学背景,比如当时他们把google distance跟kolmogorov complexity扯上关系就让我很震惊。
此外有些方法,它们看似简单,甚至已经被证明有不足之处,但是它们之所以叱咤风云一时,也是有其道理的,比如tfidf中的idf为什么用log倒数算

关于AI的哲学和定义方面,我十分赞同你的价值观,但恕我直言,你所表现出来的方法论并不是一个喜欢思考和研究的人应该表现出来的

在 2010年3月24日 下午1:09,东方隐 <dfy...@hotmail.com>写道:

troy dongdong troy

unread,
Mar 24, 2010, 12:09:24 PM3/24/10
to swarmag...@googlegroups.com
1.有时间的话可以我们可以互相讲讲这方面的paper,大家做的背景都不一样,提取概念或者说搭建hierarchy architecture应该在很多不用的应用背景中都有应用。我现在只是入门级的水平,很希望听见很不同背景的人这方面的具体工作,很有意思。

2.我的框架其实就是我看paper的方向,基于现在的知识背景形成的,不管怎么样,走起来,才有可能前进,这是一种务实态度。每个人的在做科学的哲学偏好都不相同,这其实没什么可多讨论的,一来说不清楚,二来就算完全矛盾也有可能都做出非常棒的成果,费曼和盖尔曼就是两者哲学观点上的死对头,就成果来看没有办法判断他们哲学观点的对错高低。

3.关于金蛋的比喻我喜欢的很。我很务实,我也有点愤青。研究者应该追求发现,在这个方向我很痴迷,而且能够直觉到什么是重要的,并且能够设计出道路走下去,所以才愿意投入。其实我对很多方向都很有兴趣,只是在这些方向中没有很好的直觉和方向只能成为follower或者是积累知识的图书馆,所以现在都变成了业余爱好。做这个方向,就是想要做出漂亮的东西来。

4.我很喜欢和朋友互通paper,聊聊自己的新想法,如果有朋友做到相关东西可以分享一下。






2010/3/24 x g <hidd...@gmail.com>

lingfei wu

unread,
Mar 24, 2010, 12:11:48 PM3/24/10
to swarmag...@googlegroups.com
这个kolmogorov complexity很不简单,和信息熵联系在一起。
 
看到于墨同学说和google设计的语义网距离有关,上网搜索了一下,看到一个不错的介绍paper《The Google Similarity Distance》。在这里分享一下。

Wu  Lingfei
wlf8...@gmail.com
Dept. of Media & Communication
City University of Hong Kong

The Google Similarity Distance.pdf

Miner

unread,
Mar 24, 2010, 12:18:51 PM3/24/10
to swarmag...@googlegroups.com
德谟克利特公元前就创立哲学上的原子论了,为什么后世花了两千多年才建立起科学的原子论?
贝叶斯统计也发展几百年了,为什么近十年才成为研究热点?
电机、电源、传感器、机械传动的关键技术不解决,机器人就没法满街走!
你以为科学研究就是拍脑袋顿悟一把就搞定了?最终你还不是得用数学模型去描述?

“二十个问题”这样的游戏不过是用简单的决策树描述概念,可惜它在每个分支上的取值太过含糊,不适于做搜索。

--“问题是猪的概念只是无穷多可能的概念之一,你不仅仅需要猪的 概念,还需要大脑能够自动把所有可能的概念归类。”
理论上讲,只需要一个概念对应一组神经元的激活态,以大脑神经元及神经突触的数量,其组合数足以表示一个人一生中遇到的所有概念。无需自动归类,只需相似 的概念对应相似的激活态。

--“难度在于你需要对不存在的东西进行区分”
我不需要对不存在的东西区分,只需要看到一个新东西时,分配一个新的激活态。

我不知道这种实现最终会是什么样子,我只知道只谈哲学是谈不出来的~~

于 2010-3-24 13:09, 东方隐 写道:
贫僧现在很不爽+挫败,大概因为是被群众无视的关 系。
 
我就不懂,这个又不是什么新鲜的道理,计算机还没有 发明的时候,早就被科学和哲学两派都清楚认识到了;至于科普,也是在我们出生前,就由侯世达说的很清楚了。怎么过了那么多年,大家还是往那条百年老路上 走,去折腾分类函数,数学模型什么,这条路要能走通的话,哪里还轮得到我们去研究?现在早就机器人满街走了。
 
就看Google好了,那么有钱的公司,搞来搞去核 心技术就还是关键词搜索加一点贝叶斯,十年前就开始说要搞图像识别,语音识别,智能识别,搞得出来吗?就比如“二十个问题”这样的游戏,你让Google 按这个原理做一个数据库搜索出来?非不为也,乃不能也。
 
反正贫僧是穷和尚一个,信不信和尚,由诸位自己看着 办。科学上走错路,十年二十年一转眼就过去了,各位保重。

 
From: jake
Sent: Wednesday, March 24, 2010 11:32 AM
Subject: Re:Re: [swarmagents_ai] gabor filter

你这么说的方式还是大家可以接受的,在这个论坛上,至少这种话大家是听得懂的。
但是,能听进去多少,那就要看每个人不同的根器了。反正我是很明白你要说的意思的,但我估计别人还未必明白。
其实,你说来说去,是想告诉大家:大家先不着急去动手搞什么算法,搞什么具体问题,大家需要先认真想一想你最想要的东西是什么?也不一定非 一下子就牵扯到哲学,而是先要弄清楚自己的目标。这种反思对于整个人工智能届都是很需要的。


在2010-03-23,"东方隐" <dfy...@hotmail.com> 写道:
-----原始邮件-----
发件人:"东方隐" <dfy...@hotmail.com>
发送时间:2010年3月23日 星期二
收件人:swarmag...@googlegroups.com
主题:Re: [swarmagents_ai] gabor filter

那好,就谈这个问题,不扯到哲学上面去。
 
当我们说大脑用神经元实现概念的时候,我们究竟 是什么意思?
 
因为神经元只是一些逻辑元件,它只能激活或者休 息,就像一部计算机一样,数据的意义是程序员赋予的。
 
如果我们认为神经元可以实现概念,那么我能设想 到的实现方式只有有限的几种。
 
一是用一个神经元实现一个概念,也就是“祖母细 胞”这种东西。但这种实现方式解释不了概念的融合分化、以及比较复杂微妙的心理变化。
 
二是用神经元的组合实现概念,那么神经元的组合 就意味着心理上概念的组合。姑且不谈抽象的概念,就说视觉好了。
 
摄像机拍到一头猪,那么在摄像机的内存上可以映 射一头猪的点阵图,但是这张图肯定不是猪的概念。
 
那么什么才是猪的概念呢?
 
我估计你们大概会说:当我能够用一个函数去判断 一切点阵图,把图分类为猪和非猪两类的时候,这个判断函数就是猪的概念。
 
到这里也不是非常难,问题是猪的概念只是无穷多 可能的概念之一,你不仅仅需要猪的概念,还需要大脑能够自动把所有可能的概念归类。
 
这就太难了,也已经大大超过视觉处理的范畴了, 难度在于你需要对不存在的东西进行区分,问题是,如果不做到上面这一步,能不能实现抽象的概念?退一步说,是否可以像医院的科室一样,把视觉、听觉、记忆 等具体功能同智能的核心分隔开来研究?
 
关键在于,抽象层之所以抽象,就因为它不能用实 物表达!如果你用一种具体的方法把实物层和抽象层联系起来了,那么抽象层已经具体化了,你怎么还能够称之为抽象层呢?反之,如果这种方法本身是抽象的,是 不可言传的,那你等于把问题从概念转移到了方法上面,就像摄像机只是把光信号处理转换成了数据处理,难度一点也没有变化。
 
这也是哥德尔定理的一种表现,抽象层就是具有一 种不可说性,说出来就不抽象了。
 
所以一定要绕过这个怪圈。正如我们都见到的,智 能的核心问题必然牵涉到深刻的哲学问题。不谈哲学问题,你只能谈数据处理,比如用矩阵去提取图形的特征向量等等,但是这也不是我们感兴趣的问题。
 
我就想知道的是,Miner你说的这种实现,如 果做出来了,大概应该是怎么样的一个东西?
 

From:Miner
Sent:Tuesday, March 23, 2010 9:20 PM
Subject:Re: [swarmagents_ai] gabor filter

同意,早先Marr把视觉处理分成三阶段来做,后来大家发现每一阶段都非常难做,于是尝试一起做,结果好像更难了。
Marr是神经科学家和心理学家,我想计算机视觉的进展还得依赖神经科学和认知科学的进展。

大脑是如何用实物层(神经元)实现抽象层(概念)的,这也是我最想弄明白的问题,xudong你要是发现什么好的资料或者有什么心得,也请共享一下~~

于 2010-3-23 11:39, troy dongdong troy 写道:
嗯,我也是这样想的

在我做computational visual时觉得现在的算法在提取feature point的程度上已经超过人了。

但是在建立hierarchy architecture上面却输得一塌糊涂,现在的做法都是提取完feature point(这应该是视觉皮层V1干的事情吧),之后直接做recognition 或者 categorize,而人是通过多个皮层最后才实现人脸的识别或者动物植物的分类。从这个角度上讲现在的技术只是赢得了细节输给了结构。所以看到 poggio在做hierarchy architecture的时候就很激动

之所以说在提取feature point上现在的算法超过了人是基于这篇文章
2005   Object Recognition with Features Inspired by Visual Cortex
这篇文章piggio使用gabor 模拟了不同感光细胞的receptive field,并且使用提取的feature point来做recognition,但是效果和现在的主流方法比起来还是有差距的

2010/3/23 01-_-19<01-...@163.com>
从我的领域看,这个非常非常难。可能是因为大家都在死扣细节而没有从整体上寻找规律吧。欢迎提供新的视角。

在2010-03-22 22:26:23,"troy dongdong troy" <not...@gmail.com> 写道:
…… 如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的,有些概念是处于中间层平时会被用到但是人并不能意识 到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并且robust的算法。

我最近在读这方面的paper,感兴趣的人可以一路~



lingfei wu

unread,
Mar 24, 2010, 12:20:54 PM3/24/10
to swarmag...@googlegroups.com
非常赞同,特别是第二点(可归纳为“哲学争议搁置”)和第四点(可归纳为“共同开发科学”)。
 
就第四点来说,把自己的研究建立在别人的paper上,是非常靠谱的。可以迅速提升水平。而如果还有一批人共同关注,互通有无的话,那等于搜索引擎的性能翻倍。

he xiao

unread,
Mar 24, 2010, 12:29:53 PM3/24/10
to swarmag...@googlegroups.com
你们多分享下paper 吧,  我刚刚进入这个领域= =, 需要多学习啊

Miner

unread,
Mar 24, 2010, 12:35:02 PM3/24/10
to swarmag...@googlegroups.com
严重支持!大家多多分享和讨论 :)


于 2010-3-25 0:20, lingfei wu 写道:
非常赞同,特别是第二点(可归纳为“哲学争议搁置”)和第四点(可归纳为“共同开发科学”)。
 
就第四点来说,把自己的研究建立在别人的paper上,是非常靠谱的。可以迅速提升水平。而如果还有一批人共同关注,互通有无的话,那等于 搜索引擎的性能翻倍。

在 2010年3月25日 上午12:09,troy dongdong troy <not...@gmail.com>写 道:
1.有时间的话可以我们可以互相讲讲这方面的paper,大家做的背景都不一样,提取概念或者说搭建 hierarchy architecture应该在很多不用的应用背景中都有应用。我现在只是入门级的水平,很希望听见很不同背景的人这方面的具体工作,很有意思。


2.我的框架其实就是我看paper的方向,基于现在的知识背景形成的,不管怎么样,走起来,才有可能前进,这是一种务实态度。每个人的在做科学的哲学偏 好都不相同,这其实没什么可多讨论的,一来说不清楚,二来就算完全矛盾也有可能都做出非常棒的成果,费曼和盖尔曼就是两者哲学观点上的死对头,就成果来看 没有办法判断他们哲学观点的对错高低。

3.关于金蛋的比喻我喜欢的很。我很务实,我也有点愤青。研究者应该追求发现,在这个方向我很痴迷,而且能够直觉到什么是重要的,并且能够设计出道路走下 去,所以才愿意投入。其实我对很多方向都很有兴趣,只是在这些方向中没有很好的直觉和方向只能成为follower或者是积累知识的图书馆,所以现在都变 成了业余爱好。做这个方向,就是想要做出漂亮的东西来。

4.我很喜欢和朋友互通paper,聊聊自己的新想法,如果有朋友做到相关东西可以分享一下。







2010/3/24 x g <hidd...@gmail.com>
我总结一下,不对的地方请大家不吝指正。
troy dongdong troy的研究框架核心在第2步概念。概念及概念关系的维度和复杂性决定了分层和分类,在具体的训练过程中对概念及其关系进行优化,而贯穿着一切的对概念 及其关系的计算需要用“图像”表示和呈现各阶段结果,也就是并行和多维的一个模型(语言相对来说是一维)。
这样的话,怎么用概念元素搭建这个神经图像就成了最基础的东西。比如角度、颜色以及其他。现在视觉神经的研究已比较成熟,所以,创 建人工大脑皮层图像的模型已成为可能,而且会是一个下金蛋的母鸡。。。。
 
在 2010年3月24日 下午2:42,troy dongdong troy <not...@gmail.com>写道:

我觉得具体做的话可以先谈谈自己想的研究框架,然后调研,自己看文献太慢了,如果需要用到的领域已经有人做的 话找相关的学生聊聊天收获一定很大,找不到人了再自己看文献,这样效果会比较好。


下面是我的研究框架:
1. 【分层】分几层,每层概念大概什么样子?在视觉上这方面研究挺多的,我不知道成果到什么样的程度,总之是有借鉴价值。

2. 【概念】怎么聚类或者说形成概念,就是在第一个问题有了雏形之后,怎么来实现。再说详细点:  假设现在有输入层和第一层,在第一层上已经形成了一些概念,当输入一个新的数据,数据只能部分的被原来的概念解释,还有较大部分不能被解释。如何从这新不 能被解释的数据中寻找出pattern,然后形成新的概念,这就是这一步需要做的事情。


3. 【分类】 上面已经说到了在第一层中已经有一些概念了,在给定输入数据后如何计算现有概念的响应,这就是这一步需要解决的问题。其实就是一个模糊分类问题。


4.【训练】在训练过程中,每个概念类似于神经元,输入数据引起这个概念响应的时候这个概念就会逐渐加强,如果这个概念被更高一级引用的时候这个概念也会 得到加强。这样的学习机制部分的降低了概念学习的要求,因为你可以生成一些概念,概念的会随着训练的增加逐渐的优胜劣汰。

5.【落实】要具体的做一件事情,什么都行,关键是在一个具体项目上走通一个范式。我个人倾向于图像,1.处理图像的脑区最大,在语言文字出来之前视觉就 已经产生并且很发达了,而且相对具体一点,至少可以避开更加困难的“意识” 2.这方面的生物学研究很多(相对于听觉或者文本理解,之前计算神经科学课程上老师说的)3.因为最近工作的关系在做图像相关的东西,这方面一定积累如意 结合起来。





2010/3/24 x g <hidd...@gmail.com>

我觉得你把hierarchy考虑进去,等价于假设了一个输入-->父状态变量-->状态变量的贝叶斯网络,这里 的父状态变量起了层次hierarchy的作用。
我认为Pem说的对。你如果不明白其中的因果关系(条件独立性)的话,实际上不解决核心问题。hierarchy 只是一种手段。

物理图像和神经图像有本质区别的。我认为现在我们不需要解决视觉概念以及知觉之类的问题,而是需要定义一个简单可靠的标准用于 评测(比图灵测试更基本),比如在这儿信号如何体现出基本的归纳,演绎等等。

当我们研究一个很难的问题时,不要开始就问为什么(why),而是首先要将问题描述清楚(what),每一步都要扎实,这样才 能积累。

我对视觉识别这块不了解,但如果只是讨论hierarchy architecture的相关数学模型、方程以及算法的话,愿意参与讨论。如果是大段的哲学议论的话,那就免了。

我想你应该起引导作用的,谢谢。

On 3月22日, 下午10时26分, troy dongdong troy <not...@gmail.com> wrote:
> 之前一次活动中讲computational vision,当时文献中提到了gabor filter
> 今天再次遇到这个概念,就查了一些相关资料,总结在附件中
>
> gabor函数特点和人类视觉细胞的receptive field反映特点十分相似
> 使用gabor filter对图像滤波,模拟了人类感光细胞对光线刺激的反应
>
> 顺便推荐一个网站:http://cbcl.mit.edu/index.html
> 这是poggio领导的一个实验室,poggio的一个重要工作时建模了视觉的hierarchy architecture
>
> 我觉得hierarchy
> architecture是智能实现的最重要环节,如果能搞明白人脑是如何将信息逐层抽象成为概念(这里所说的概念范围比较广,有些概念是人能意识到的, 有些概­念是处于中间层平时会被用到但是人并不能意识到),如果能把这个搞清楚,就能够解释并且做到像人类一样高速的知识检索,以及向人类一样实现通用并 且robust­的算法。
>
> 我最近在读这方面的paper,感兴趣的人可以一路~
>
>  gabor.doc
> 263K查看下载


troy dongdong troy

unread,
Mar 24, 2010, 12:42:38 PM3/24/10
to swarmag...@googlegroups.com
关于定义:

1.通过程序来定义:LSA的主成分,PLSA中的隐变量,或者把视觉上从从视网膜到V1V2的过程当做定义。这样带来的问题是人的概念级别很难解释。

2.通过功能来定义,就是说在在该层应该的概念对于下一层能够产生什么样的作用。

3.从通用性上来定义,就是说这一层上的概念在多大程度上被使用。这个想法来自与写程序。如果只写一种程序的话对函数分层实现没有非常多的好处,但是如果你写非常多的不同特点的程序的时候,划分不同的层级也带来了很大的好处。其实看看matlab这种层级结构很明显。(我编程其实不好这方面可能有错误的地方,但是key point应该表达清楚了)
说到这里有一个很有价值的结论,每一层的产生不适事先定义好的,而是为了实现多功能的要求逐渐优化,而形成的。



2010/3/24 于墨 <gfl...@gmail.com>

Yan Ren

unread,
Mar 24, 2010, 12:48:22 PM3/24/10
to swarmag...@googlegroups.com
支持并围观

--
kidding holographically

troy dongdong troy

unread,
Mar 24, 2010, 1:05:27 PM3/24/10
to swarmag...@googlegroups.com
哈哈,有空一起做个小东西出来吧~



2010/3/25 Yan Ren <pem...@gmail.com>
支持并围观

--
kidding holographically

jake

unread,
Mar 24, 2010, 9:28:17 PM3/24/10
to swarmag...@googlegroups.com
旭东:
如果你真有想法要干点什么的话,我们俱乐部会全力支持你!希望你能真正把自己的想法坚持下去!
 
Jake


在2010-03-24,"troy dongdong troy" <not...@gmail.com> 写道:
-----原始邮件-----
发件人:"troy dongdong troy" <not...@gmail.com>
发送时间:2010年3月24日 星期三

收件人:swarmag...@googlegroups.com
主题:Re: [swarmagents_ai] gabor filter

要取消订阅此网上论坛,请发送电子邮件至 swarmagents_ai+unsub...@googlegroups.com

于墨

unread,
Mar 24, 2010, 10:58:59 PM3/24/10
to swarmag...@googlegroups.com
不错,我也是看的这篇文章。我本人倒是做纯应用的,对信息熵研究也不深入,只是比较喜欢了解这些东西
Reply all
Reply to author
Forward
0 new messages