有人知道一淘这样的网站如何实现的吗？

298 views
Skip to first unread message

马一哥

unread,
May 4, 2012, 5:59:55 AM5/4/12
to pon...@googlegroups.com
hi
    2个不同网站 对相同东西的描述，比如 对手机 京东叫iphone4 4s  亚马逊叫 苹果手机4 黑色。 我们源头的数据只有一个描述的字符串， 用什么算法 把这2个字符串联系起来，认为他们描述的是同一样东西呢？书籍的话比较好做，书名和ISBN号是唯一而且一定的，所以很好做。但是普通商品就难了。是否是分词，还要机器学习，积累。 而不是简单的靠字符来匹配？

Bruce Dou

unread,
May 4, 2012, 6:31:13 AM5/4/12
to pon...@googlegroups.com
最简单就是人工加规则

2012/5/4 马一哥 <ppms...@gmail.com>

hi
    2个不同网站 对相同东西的描述，比如 对手机 京东叫iphone4 4s  亚马逊叫 苹果手机4 黑色。 我们源头的数据只有一个描述的字符串， 用什么算法 把这2个字符串联系起来，认为他们描述的是同一样东西呢？书籍的话比较好做，书名和ISBN号是唯一而且一定的，所以很好做。但是普通商品就难了。是否是分词，还要机器学习，积累。 而不是简单的靠字符来匹配？




--
A decathlon Developer & programmer
http://blog.eood.cn/

机械唯物主义 : linjunhalida

unread,
May 4, 2012, 6:37:24 AM5/4/12
to pon...@googlegroups.com
如果数据集比较小的话， 建立一个对照表。
然后雇佣一个大学生或者找文员人力对照， 几天搞定。

2012/5/4 Bruce Dou <doub...@gmail.com>:

--
GuruDigger- We help internet products find technical partners who
share the same dream!

- http://gurudigger.com

Qijiong Jiang

unread,
May 4, 2012, 12:02:36 PM5/4/12
to pon...@googlegroups.com
潜在语义分析(latent semantic analysis)?

2012/5/4 机械唯物主义 : linjunhalida <linjun...@gmail.com>

defaultStr

unread,
May 4, 2012, 12:28:40 PM5/4/12
to TopLanguage
锚文本？认为所有链接到该页面的超链接的描述都是这个东西的别称，这样应该挺好得到一个别称的列表的。

TLightSky

unread,
May 5, 2012, 10:51:15 AM5/5/12
to pon...@googlegroups.com

对每个网站数据进行用户关键字最低价格搜索不就行了？
搜索算法应该可以借鉴自身的。

cdredfox

unread,
May 6, 2012, 6:50:01 AM5/6/12
to pon...@googlegroups.com
机器学习+语义表
--
杨飞
Email:       cdre...@gmail.com

ppmsn

unread,
May 7, 2012, 4:45:02 AM5/7/12
to pon...@googlegroups.com
这种是最简单 效果也是最差的做法吧。  机器学习，语义表什么的知识全是空白。 是靠自己手写代码实现？还是已经有类似的系统了？

在 2012年5月5日 下午10:51，TLightSky <wangc...@gmail.com>写道：

TLightSky

unread,
May 16, 2012, 3:38:33 AM5/16/12
to pon...@googlegroups.com
都不是，只是猜想一下

一淘实现的目标是根据用户关键字给出整合各个电商性价比好的产品
然后就可以归结到搜索里了不是， 机器学习，语义表就放在搜索算法里实现了呗

2012/5/7 ppmsn <ppms...@gmail.com>



--
会当凌绝顶，一览众山小

RuiFeng Shan

unread,
May 21, 2012, 8:11:58 AM5/21/12
to pon...@googlegroups.com
分词也没用，因为分词只能将字符串分成多个词，而你所说的 iphone4 4s 和 苹果手机4分词后还是不一样。或者用HowNet，WordNet去计算词条相似度，只是不知道这两者有没有收录这些词条。

Gentle Yang

unread,
May 22, 2012, 1:52:34 AM5/22/12
to pon...@googlegroups.com
barcode + 人工校正 ！

马一哥

unread,
May 22, 2012, 8:59:22 PM5/22/12
to pon...@googlegroups.com
问题 网上的东西那里来barcode?  而且很多东西可以自己贴barcode的。


在 2012年5月22日星期二UTC+8下午1时52分34秒，Gentle Yang写道：

baizhiwei9

unread,
May 22, 2012, 10:38:22 PM5/22/12
to pon...@googlegroups.com
wordnet怎么构建呢？人工呗？国内有开源或者免费的可用吗？

Bruce Dou

unread,
May 23, 2012, 5:20:58 AM5/23/12
to pon...@googlegroups.com
WORDNET是国外大学的项目，人工建立的，英文的，所以你用不了。

2012/5/23 baizhiwei9 <baizh...@gmail.com>

baizhiwei9

unread,
May 23, 2012, 10:27:11 PM5/23/12
to pon...@googlegroups.com
那上面那哥们就是白说了？计算相似度？

RuiFeng Shan

unread,
May 23, 2012, 10:38:48 PM5/23/12
to pon...@googlegroups.com
HowNet支持中文~对于一般常用词汇的语义相似度可以以知网（HowNet）为基础来计算，不过知网词库应该还没有收录iPhone，苹果这类语义相近词~

ppmsn

unread,
May 24, 2012, 4:32:41 AM5/24/12
to pon...@googlegroups.com
这个问题蛮难的。 毕竟要把2个 字符串表明的意思连接起来。我也觉得需要要 人工智能 + 原始数据训练。   谢谢大家

倪传蕾

unread,
Jun 11, 2012, 6:57:30 AM6/11/12
to pon...@googlegroups.com
这个东西在在数据库领域或者语义网（semantic web)领域是一个很经典的问题，要解决的是对象的共指（object coreference)问题，当然你的问题描述也可能未必是完全精准的
，以你的例子为例，两件商品可能还存在价格、生产厂商等一系列的属性，这种基于结构化数据的匹配有很大的研究价值，当然现在已经有一些较为成熟的算法了，只是要趋于完美可能还需要努力。

ppmsn

unread,
Jun 12, 2012, 5:55:23 AM6/12/12
to pon...@googlegroups.com
是啊 是啊，现在有一堆原数据，无法做匹配，数据的价值就大打折扣。
Reply all
Reply to author
Forward
0 new messages