谢谢大家关注

已查看 184 次
跳至第一个未读帖子

Wei Dong

未读,
2012年2月3日 16:33:132012/2/3
收件人 nise
NISE作为学校的project其实已经做完了,但是作为一个开源项目才刚刚起步,目前除了一个很难build的codebase和一篇没有发表的论
文意外几乎什么都没有。如果说这个项目要以后能有什么发展的话,那也是靠诸位添砖加瓦。图像搜索是一个经久不衰的话题,但是不管从技术上还是市场上目前
都没有太大的突破,所以这个项目也有一定的研究性质值和很大的风险。(相比之下, Lucene出来的时候文本搜索技术已经非常成熟了,也有了很多成功
的商业化网站了。) 但是从另一方面来说,和一门新的技术一同发展成长是一件非常有意思,甚至是激动人心的事情。据我所知,目前网上尚没有一个开源的大
规模图像搜索系统,而商业网站在这方面也是刚刚起步。我希望这个项目作为一个大家交流探讨图像搜索技术和相关话题的平台,大家一起来推动技术的进步。我
其实并不清楚这个项目将来的方向,所以希望能在这个讨论组里听到大家的想法。作为抛砖引玉,下面我列几个大家可以brainstorm的方向:

1. 图像搜索技术如何商业化
2. 我们的项目有何潜在的合作对象
3. 由于硬件资源所限,我们不可能对整个互联网上的图片进行索引。那么什么图像最适合用来做演示?
4. 如果进一步提高系统的scalability。
5. 如何改进用户界面
6. 如何做成一个智能手机应用
7. 开源项目应该如何管理
8. 图像搜索应该以什么作为近似性标准,或者说,什么样的图片是用户最希望从结果里看到的

谢谢大家参与。

Andy

未读,
2012年2月3日 16:51:492012/2/3
收件人 nise
小弟刚加入,待我先把paper draft仔细看看。因为下周有几个job interview,所以可能稍微晚点,尽可能在下周末前和各位探讨一下
我的看法。希望我们几个人能把这个项目做起来。

Wu Jiang

未读,
2012年2月3日 18:07:282012/2/3
收件人 nisep...@googlegroups.com
多谢wdong组织这个项目,我觉得这个项目挺值得花精力和时间做的。关于第一个问题商业用途我个人的观点是能用到很多方面:
1. 如果用到mobile phone上的话,可以用来retrieve一个人的profile。比如说你拍一个人的照片,想得到这个人的公开信息,如姓名之类的,一个在linkedin, facebook等社交网络里面的profile picture里面match。我记得前年欧洲一个公司就放话出来说他们要开发一个这样的app,但至今还没有,我觉得这个难度挺大的。记得在TED上看到媒体实验室做的一个应用是把一个摄像头放到开会时你带的badge上,能把跟你交谈的人的姓名,信息打到对方身上以便你阅读,防止忘了对方姓名的尴尬。
2. 在就是一个比较有趣的应用就是对于旅游的人来讲,可以让他们拍一幅照片,搜索引擎能够根据这个照片在知识库里面找到关于这个地方的历史,介绍之类的。
3. 在医学诊断上的应用:对象是普通大众。比如说我从医院拿到我的膝盖的fMRI图像,我可以从搜索引擎里面超找相似的图片以便诊断我的膝盖是积水还是什么。

我觉得开源项目要做的好的话,必须要有一个好的Schedule,要尽量详细,因为参与者都不是实时的交流。每个主要参与者要尽量按照计划定的来实施。对于代码要求就是大家统一一个style guide,这样代码容易维护,别人看你的代码不会太费劲。

我对这个领域不是太了解,只是我的一点想法。浏览了一下paper,发现对提到的大部分知识只是一知半解,所以我们或许可以先讨论一下paper的idea,再去看代码。

2012/2/3 Andy <andyzh...@gmail.com>

Wei Dong

未读,
2012年2月3日 20:40:092012/2/3
收件人 nisep...@googlegroups.com、Wu Jiang
�ҿ�����Ҫ����һ���ҵ�����Ŀǰ��������������Ľ�reverse image search ���ο�tineye.com����Ҳ����ֻ����ͬһ��ͼƬ����༭����IJ�ͬ�汾�����������͵ص�������Щ���ڵļ�����Զ����ʵ�ñ�׼����Щ�������Ҫ���� Ȥ����Ҳ�������ۣ�������ض�����������ñȽϼ򵥣�����Ҳ���Լӵ����ڵ�project���档

On 02/03/2012 06:07 PM, Wu Jiang wrote:
��лwdong��֯�����Ŀ���Ҿ��������Ŀֵͦ�û�������ʱ�����ġ����ڵ�һ��������ҵ��;�Ҹ��˵Ĺ۵������õ� �ܶ෽�棺
1. ����õ�mobile phone�ϵĻ�����������retrieveһ���˵�profile������˵����һ���˵���Ƭ����õ�����˵Ĺ�����Ϣ��������֮��ģ�һ���� linkedin, facebook���罻���������profile picture����match���Ҽǵ�ǰ��ŷ��һ����˾�ͷŻ�����˵����Ҫ����һ�������app��������û�У��Ҿ�������Ѷ�ͦ��ġ��ǵ���TED�Ͽ� ��ý��ʵ��������һ��Ӧ���ǰ�һ������ͷ�ŵ�����ʱ����badge�ϣ��ܰѸ��㽻̸���˵�������Ϣ�򵽶Է������Ա����Ķ�����ֹ���� �Է���������Ρ�
2. �ھ���һ���Ƚ���Ȥ��Ӧ�þ��Ƕ������ε���������������������һ����Ƭ�����������ܹ���������Ƭ��֪ʶ�������ҵ���������ط�����ʷ������֮��ġ�
3. ��ҽѧ����ϵ�Ӧ�ã���������ͨ���ڡ�����˵�Ҵ�ҽԺ�õ��ҵ�ϥ�ǵ�fMRIͼ���ҿ��Դ������������泬�����Ƶ�ͼƬ�Ա�����ҵ�ϥ���ǻ�ˮ����ʲô��

�Ҿ��ÿ�Դ��ĿҪ���ĺõĻ�������Ҫ��һ���õ�Schedule��Ҫ������ϸ����Ϊ�����߶�����ʵʱ�Ľ�����ÿ����Ҫ������Ҫ���� ���ռƻ�������ʵʩ�����ڴ���Ҫ����Ǵ��ͳһһ��style guide�������������ά�������˿���Ĵ��벻��̫�Ѿ���

�Ҷ����������̫�˽⣬ֻ���ҵ�һ���뷨�������һ��paper�����ֶ��ᵽ�Ĵ󲿷�֪ʶֻ��һ֪��⣬�������ǻ������������ һ��paper��idea����ȥ�����롣

2012/2/3 Andy <andyzh...@gmail.com>
С�ܸռ��룬�����Ȱ�paper draft��ϸ��������Ϊ�����м���job interview�����Կ�����΢��㣬������������ĩǰ�͸�λ̽��һ��
�ҵĿ�����ϣ�����Ǽ������ܰ������Ŀ��������

On Feb 3, 4:33 pm, Wei Dong <wd...@wdong.org> wrote:
> NISE��ΪѧУ��project��ʵ�Ѿ������ˣ�������Ϊһ����Դ��Ŀ�Ÿո��𲽣�Ŀǰ����һ������build��codebase��һƪû�з������
> �����⼸��ʲô��û�С����˵�����ĿҪ�Ժ�����ʲô��չ�Ļ�����Ҳ�ǿ���λ��ש���ߡ�ͼ��������һ�����ò�˥�Ļ��⣬���Dz��ܴӼ����ϻ����г���Ŀǰ
> ��û��̫���ͻ�ƣ����������ĿҲ��һ�����о�����ֵ�ͺܴ�ķ��ա�(���֮��, Lucene������ʱ���ı����������Ѿ��dz������ˣ�Ҳ���˺ܶ�ɹ�
> ����ҵ����վ�ˡ�) ���Ǵ���һ������˵����һ���µļ���һͬ��չ�ɳ���һ���dz�����˼�������Ǽ������ĵ����顣������֪��Ŀǰ������û��һ����Դ�Ĵ�
> ��ģͼ������ϵͳ������ҵ��վ���ⷽ��Ҳ�Ǹո��𲽡���ϣ�������Ŀ��Ϊһ����ҽ���̽��ͼ��������������ػ����ƽ̨�����һ�����ƶ������Ľ���
> ��ʵ������������Ŀ�����ķ�������ϣ��������������������ҵ��뷨����Ϊ��ש�����������м�����ҿ���brainstorm�ķ���
>
> 1. ͼ���������������ҵ��
> 2. ���ǵ���Ŀ�к�DZ�ڵĺ�������
> 3. ����Ӳ����Դ���ޣ����Dz����ܶ�����������ϵ�ͼƬ����������ôʲôͼ�����ʺ���������ʾ��
> 4. ����һ�����ϵͳ��scalability��
> 5. ��θĽ��û�����
> 6. �������һ�������ֻ�Ӧ��
> 7. ��Դ��ĿӦ����ι���
> 8. ͼ������Ӧ����ʲô��Ϊ�����Ա�׼������˵��ʲô���ͼƬ���û���ϣ��ӽ���￴����
>
> лл��Ҳ��롣



-- 
Wei Dong
Postdoc, EECS
University of Michigan

Wei Dong

未读,
2012年2月3日 21:00:312012/2/3
收件人 nise
不好意思出乱码了。下面是回复原文。

我可能需要降低一点大家的期望。目前这个搜索引擎做的叫reverse image search (参考tineye.com),也就是只能找同一个
图片经过编辑产生的不同版本。人脸搜索和地点搜索这些现在的技术还远不到实用标准。这些技术大家要感兴 趣我们也可以讨论,如果发现特定情况下问题变得
比较简单,我们也可以加到现在的project里面。


On Feb 3, 6:07 pm, Wu Jiang <wujian...@gmail.com> wrote:
> 多谢wdong组织这个项目,我觉得这个项目挺值得花精力和时间做的。关于第一个问题商业用途我个人的观点是能用到很多方面:
> 1. 如果用到mobile
> phone上的话,可以用来retrieve一个人的profile。比如说你拍一个人的照片,想得到这个人的公开信息,如姓名之类的,一个在linkedin,
> facebook等社交网络里面的profile
> picture里面match。我记得前年欧洲一个公司就放话出来说他们要开发一个这样的app,但至今还没有,我觉得这个难度挺大的。记得在TED上看到媒体实验室做的一个应用是把一个摄像头放到开会时你带的badge上,能把跟你交谈的人的姓名,信息打到对方身上以便你阅读,防止忘了对方姓名的尴尬。
> 2. 在就是一个比较有趣的应用就是对于旅游的人来讲,可以让他们拍一幅照片,搜索引擎能够根据这个照片在知识库里面找到关于这个地方的历史,介绍之类的。
> 3. 在医学诊断上的应用:对象是普通大众。比如说我从医院拿到我的膝盖的fMRI图像,我可以从搜索引擎里面超找相似的图片以便诊断我的膝盖是积水还是什么。
>
> 我觉得开源项目要做的好的话,必须要有一个好的Schedule,要尽量详细,因为参与者都不是实时的交流。每个主要参与者要尽量按照计划定的来实施。对于代码要求就是大家统一一个style
> guide,这样代码容易维护,别人看你的代码不会太费劲。
>
> 我对这个领域不是太了解,只是我的一点想法。浏览了一下paper,发现对提到的大部分知识只是一知半解,所以我们或许可以先讨论一下paper的idea,再去看代码。
>

> 2012/2/3 Andy <andyzheng0...@gmail.com>

Wu Jiang

未读,
2012年2月3日 21:45:072012/2/3
收件人 nisep...@googlegroups.com

奥,我是个门外汉,多谢。问一个弱弱的问题,这样做的目的是什么?

Wei Dong

未读,
2012年2月3日 21:56:592012/2/3
收件人 nise
我在做这个系统前一直在研究更加一般的图像搜索,但是一直没有找到有效的方法。最后发现只有reverse image search是目前的技术水平
下可以做到搜索精度比较好的一个问题。因为要扩大数据规模的话精度会变得非常敏感,要得到好的搜索结果非常难。当然,在多媒体和机器视觉领域一直有人在
知难而上,效果也做的越来越好。我对做系统比较感兴趣,所以选了一个相对简单的问题来实现,工作的重点则是放在了扩大数据规模上。

Cnc Cnc

未读,
2012年2月3日 23:48:462012/2/3
收件人 nisep...@googlegroups.com
one problem could be, if we train with images,   do we 
already have some "good candidate" images to start with ? 
or  it depends on the first target project we could work on? 

thanks.

2012/2/3 Wei Dong <wd...@wdong.org>

Wei Dong

未读,
2012年2月3日 23:51:102012/2/3
收件人 nisep...@googlegroups.com、Cnc Cnc
I manually collected about 81 groups of about 10,000 gold standard images.  Images in the same group are considered similar (near-duplicate).  I've uploaded the dataset to the googlecode page.


On 02/03/2012 11:48 PM, Cnc Cnc wrote:
one problem could be, if we train with images,   do we 
already have some "good candidate" images to start with ? 
or  it depends on the first target project we could work on? 

thanks.

2012/2/3 Wei Dong <wd...@wdong.org>
���������ϵͳǰһֱ���о����һ���ͼ������������һֱû���ҵ���Ч�ķ����������ֻ��reverse image search��Ŀǰ�ļ���ˮƽ
�¿��������������ȱȽϺõ�һ�����⡣��ΪҪ������ݹ�ģ�Ļ����Ȼ��÷dz����У�Ҫ�õ��õ��������dz��ѡ���Ȼ���ڶ�ý��� �����Ӿ�����һֱ������
֪�Ѷ��ϣ�Ч��Ҳ����Խ��Խ�á��Ҷ���ϵͳ�Ƚϸ���Ȥ������ѡ��һ����Լ򵥵�������ʵ�֣��������ص����Ƿ�����������ݹ�ģ �ϡ�

On Feb 3, 9:45 pm, Wu Jiang <wujian...@gmail.com> wrote:
> �£����Ǹ����⺺����л����һ�����������⣬��������Ŀ����ʲô��
> On Feb 3, 2012 9:00 PM, "Wei Dong" <wd...@wdong.org> wrote:
>
>
>
>
>
>
>
> > ������˼�������ˡ������ǻظ�ԭ�ġ�

>
> > �ҿ�����Ҫ����һ���ҵ�����Ŀǰ��������������Ľ�reverse image search ���ο�tineye.com����Ҳ����ֻ����ͬһ��
> > ͼƬ����༭����IJ�ͬ�汾�����������͵ص�������Щ���ڵļ�����Զ����ʵ�ñ�׼����Щ�������Ҫ���� Ȥ����Ҳ�������ۣ�������ض������������
> > �Ƚϼ򵥣�����Ҳ���Լӵ����ڵ�project���档

>
> > On Feb 3, 6:07 pm, Wu Jiang <wujian...@gmail.com> wrote:
> > > ��лwdong��֯�����Ŀ���Ҿ��������Ŀֵͦ�û�������ʱ�����ġ����ڵ�һ��������ҵ��;�Ҹ��˵Ĺ۵������õ��ܶ෽�棺
> > > 1. ����õ�mobile
>
> > phone�ϵĻ�����������retrieveһ���˵�profile������˵����һ���˵���Ƭ����õ�����˵Ĺ�����Ϣ��������֮��ģ�һ���� linkedin,
> > > facebook���罻���������profile
>
> > picture����match���Ҽǵ�ǰ��ŷ��һ����˾�ͷŻ�����˵����Ҫ����һ�������app��������û�У��Ҿ�������Ѷ�ͦ��ġ��ǵ���TED�Ͽ� ��ý��ʵ��������һ��Ӧ���ǰ�һ������ͷ�ŵ�����ʱ����badge�ϣ��ܰѸ��㽻̸���˵�������Ϣ�򵽶Է������Ա� ���Ķ�����ֹ���˶Է���������Ρ�
> > > 2. �ھ���һ���Ƚ���Ȥ��Ӧ�þ��Ƕ������ε���������������������һ����Ƭ�����������ܹ���������Ƭ��֪ʶ�������ҵ���������ط�����ʷ������֮��ġ�
> > > 3.
> > ��ҽѧ����ϵ�Ӧ�ã���������ͨ���ڡ�����˵�Ҵ�ҽԺ�õ��ҵ�ϥ�ǵ�fMRIͼ���ҿ��Դ������������泬�����Ƶ�ͼƬ�Ա�����ҵ�ϥ���ǻ�ˮ����ʲô��
>
> > �Ҿ��ÿ�Դ��ĿҪ���ĺõĻ�������Ҫ��һ���õ�Schedule��Ҫ������ϸ����Ϊ�����߶�����ʵʱ�Ľ�����ÿ����Ҫ������Ҫ�������ռƻ�������ʵʩ���� �ڴ���Ҫ����Ǵ��ͳһһ��style
> > > guide�������������ά�������˿���Ĵ��벻��̫�Ѿ���
>
> > �Ҷ����������̫�˽⣬ֻ���ҵ�һ���뷨�������һ��paper�����ֶ��ᵽ�Ĵ󲿷�֪ʶֻ��һ֪��⣬�������ǻ������������һ��paper�� idea����ȥ�����롣
>
> > > 2012/2/3 Andy <andyzheng0...@gmail.com>

>
> > > > С�ܸռ��룬�����Ȱ�paper draft��ϸ��������Ϊ�����м���job interview�����Կ�����΢��㣬������������ĩǰ�͸�λ̽��һ��
> > > > �ҵĿ�����ϣ�����Ǽ������ܰ������Ŀ��������
>
> > > > On Feb 3, 4:33 pm, Wei Dong <wd...@wdong.org> wrote:
>
> > NISE��ΪѧУ��project��ʵ�Ѿ������ˣ�������Ϊһ����Դ��Ŀ�Ÿո��𲽣�Ŀǰ����һ������build��codebase��һƪû�з������
>
> > �����⼸��ʲô��û�С����˵�����ĿҪ�Ժ�����ʲô��չ�Ļ�����Ҳ�ǿ���λ��ש���ߡ�ͼ��������һ�����ò�˥�Ļ��⣬���Dz��ܴӼ����ϻ����г���Ŀǰ
> > > > > ��û��̫���ͻ�ƣ����������ĿҲ��һ�����о�����ֵ�ͺܴ�ķ��ա�(���֮��,
> > Lucene������ʱ���ı����������Ѿ��dz������ˣ�Ҳ���˺ܶ�ɹ�
> > > > > ����ҵ����վ�ˡ�)
> > ���Ǵ���һ������˵����һ���µļ���һͬ��չ�ɳ���һ���dz�����˼�������Ǽ������ĵ����顣������֪��Ŀǰ������û��һ����Դ�Ĵ�
>
> > ��ģͼ������ϵͳ������ҵ��վ���ⷽ��Ҳ�Ǹո��𲽡���ϣ�������Ŀ��Ϊһ����ҽ���̽��ͼ��������������ػ����ƽ̨�����һ�����ƶ������Ľ���
> > > > > ��ʵ������������Ŀ�����ķ�������ϣ��������������������ҵ��뷨����Ϊ��ש�����������м�����ҿ���brainstorm�ķ���
>
> > > > > 1. ͼ���������������ҵ��
> > > > > 2. ���ǵ���Ŀ�к�DZ�ڵĺ�������
> > > > > 3. ����Ӳ����Դ���ޣ����Dz����ܶ�����������ϵ�ͼƬ����������ôʲôͼ�����ʺ���������ʾ��
> > > > > 4. ����һ�����ϵͳ��scalability��
> > > > > 5. ��θĽ��û�����
> > > > > 6. �������һ�������ֻ�Ӧ��
> > > > > 7. ��Դ��ĿӦ����ι���
> > > > > 8. ͼ������Ӧ����ʲô��Ϊ�����Ա�׼������˵��ʲô���ͼƬ���û���ϣ��ӽ���￴����
>
> > > > > лл��Ҳ��롣

Wu Jiang

未读,
2012年2月4日 00:01:032012/2/4
收件人 nisep...@googlegroups.com
奥,策略挺好的,多谢。能把大数据做好的话也很不容易。

Cnc: You can find the answer of your question from their paper www.wdong.org/nise/image-ddup.pdf.

2012/2/3 Wei Dong <wd...@wdong.org>

Cnc Cnc

未读,
2012年2月4日 00:07:502012/2/4
收件人 nisep...@googlegroups.com
understood,  thanks! should read the paper before asking the 
questions.  -)

2012/2/3 Wu Jiang <wuji...@gmail.com>

jun wang

未读,
2012年2月4日 02:22:142012/2/4
收件人 nisep...@googlegroups.com
http://calphotos.berkeley.edu/browse_imgs/
这里面有很多的photo,按类放的很好,或许有些可以拿来当测试用。

界面现在看到的就是想给所有可以点击的东西把鼠标的光标改成pointer,你可以试试给所有toggle的class或者id在js里面加上比如 $(#toggle).css("cursor","pointer").function 后面是你的 function,你的那个在图片上选的可调的矩形框挺好玩的,呵呵,界面也很简洁实用

2012/2/3 Cnc Cnc <qic...@gmail.com>

Yongqiang

未读,
2012年2月5日 12:01:432012/2/5
收件人 nise

1. 现在图像搜索的技术有最新的综述文章吗?或者说根据你的了解,能给我们做一些简要的介绍,或者推荐一些最新文章,这样便于大家迅速了解。
2. 有没有demo可以给我们演示你现有的成果,有个更直观的了解,然后大家可以集思广益讨论以后开发的框架,结构等。
3. 目前有什么类似的图像搜索的网站吗?(除了几大搜索引擎的)
4. 能否先降低难度,利用语义与图像共同搜索,这样至少可以和目前的搜索引擎做个对比。
5. 最简单的商业化就是建立一个图像搜索网站,允许用户上传一张或多张图片,返回搜索结果。如果做的好,可以吸引到一些投资,之后可以做一些特定的应
用开发。

个人的一点想法,欢迎一起讨论。

Yingfeng

未读,
2012年2月6日 09:05:072012/2/6
收件人 nise
对商品数据效果如何呢? 比如跟 淘淘搜 相比 ,输入如果是一件上衣,包包,等

junjie zhang

未读,
2012年3月4日 05:44:082012/3/4
收件人 nise
1.我觉得这项目是兴趣所在,先不要想商业化。
你的用什么图像来演示是指图像格式还是图像类型呀?
可以先写计划,搭架子,慢慢再加东西,demo,改进。
还有,owner觉得我们是不是应该用英文交流,不是为了别的,而是如果有其它语言开发者想加入,英文毕竟是IT的世界语。
没做过图像处理,不妥的地方大家多指正。

郭纯勇

未读,
2013年1月30日 00:25:112013/1/30
收件人 nisep...@googlegroups.com
绝对同意楼上的同学!
我觉得ideas也是在熟悉的基础上创造出来的,我下载了源代码,可惜不知道怎么搭建一个类似www.simigle.com的应用,或许这可以当做是教程的第一章节,就是讲解如何搭建最基础的一个应用。
然后接下载才能进一步熟悉系统,分几个重要的核心问题,一步步的来,
熟悉了之后,大家就对知道项目的难点在哪里,可以往其他的哪些方向发展,这样一步一步的 具体执行下去

另外,不知道这个项目,和http://www.hackerfactor.com/blog/index.php?/archives/432-Looks-Like-It.html有什么区别呢?

在 2012年3月4日星期日UTC+8下午6时44分08秒,junjie zhang写道:

Liang Liang

未读,
2013年3月14日 15:47:402013/3/14
收件人 nisep...@googlegroups.com

能否够搞点专业性质的图像搜索 比如生物医学图像 
回复全部
回复作者
转发
0 个新帖子