Elision et stop Token filter

[maryline]

Bonjour,

Je ne comprends pas la différence qu'il y a entre le Stop et Elision Token filter.
Dans les deux cas on spécifie une liste de lettre ou de mot qui seront "supprimés" des tokens.
Quel est la spécificité de ces filters ?

[benjamin leviant]

Bonjour,

Les tokens filters permettent de modifier les tokens extraient des documents ou des recherches avant qu'ils soient indexés ou recherchés. 

Les modifications effectuées par les token filters Stop et Elision sont très différentes :

- Stop : il permet de supprimer complètement certains tokens qui sont jugés non pertinents. 

Par exemple, si le terme "le" est défini comme étant un stop word : 

"le terminal" => standard tokenizer => [le, terminal] => stop token filter => [terminal]

Cela créer une correspondance entre "le terminal" et "terminal".

- Elision : il supprime certains préfixes des tokens correspondant à l'élision.

Par exemple, si l'article "l" est défini comme étant une élision :

"l'avion" => standard tokenizer => [l'avion] => elision token filter => [avion]

Cela créer une correspondance entre "l'avion" et "avion".

Je t'invite à tester les différents tokens filters en utilisant l'API analyze d'Elasticsearch : 

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-analyze.html

En espérant avoir été suffisamment clair.

Benjamin

2013/12/12 maryline <trusti...@free.fr>

--
--
---
Vous pouvez également poster et consulter les réponses en anglais sur le groupe Elasticsearch https://groups.google.com/group/elasticsearch
 
Si vous avez également posté votre question sur la mailing list elasti...@googlegroups.com, merci d'indiquer ici le lien vers cette discussion pour faciliter le suivi.
 
Twitter : @ElasticsearchFR https://twitter.com/#!/ElasticsearchFR
Site web (English) : http://www.elasticsearch.org/
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes Elasticsearch FR.
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Pour envoyer un message à ce groupe, adressez un e-mail à elastics...@googlegroups.com.
Visitez ce groupe à l'adresse http://groups.google.com/group/elasticsearch-fr .
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/5227232f-6e4b-45de-9910-98e81da69a8e%40googlegroups.com.
Pour plus d'options, visitez le site https://groups.google.com/groups/opt_out .

[maryline]

oui merci

[maryline]

Je n'arrive pas a faire fonctionner le filter elision.
si je prends l'exemple de David : https://gist.github.com/dadoonet/5443224
voici ce que j'ai

curl -XPOST 'http://localhost:9200/test/_analyze?analyser=francais&pretty=true' -d "D'ANGELO"
{
  "tokens" : [ {
    "token" : "d'angelo",
    "start_offset" : 0,
    "end_offset" : 8,
    "type" : "<ALPHANUM>",
    "position" : 1
  } ]
}

Ne devrais je pas avoir en token juste "angelo" ?

[maryline]

J'ai aussi essayé en minuscule au cas où mais c'est pareil

[David Pilato]

Très intéressant. Je regarde.

-- 

David Pilato | Technical Advocate | Elasticsearch.com

@dadoonet | @elasticsearchfr

Le 17 décembre 2013 at 17:50:39, maryline (trusti...@free.fr) a écrit:

J'ai aussi essayé en minuscule au cas où mais c'est pareil

--

--
---
Vous pouvez également poster et consulter les réponses en anglais sur le groupe Elasticsearch https://groups.google.com/group/elasticsearch
 
Si vous avez également posté votre question sur la mailing list elasti...@googlegroups.com, merci d'indiquer ici le lien vers cette discussion pour faciliter le suivi.
 
Twitter : @ElasticsearchFR https://twitter.com/#!/ElasticsearchFR
Site web (English) : http://www.elasticsearch.org/
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes Elasticsearch FR.
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse elasticsearch-...@googlegroups.com.
Pour envoyer un message à ce groupe, adressez un e-mail à elastics...@googlegroups.com.
Visitez ce groupe à l'adresse http://groups.google.com/group/elasticsearch-fr .

Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/elasticsearch-fr/4e05d060-8da7-46b2-928d-2c27502fba49%40googlegroups.com.

[David Pilato]

Celui-ci fonctionne: https://gist.github.com/dadoonet/8008466

En fait je pense que tu as fait une typo dans l'URL 

c'est analyzer=

et non analyser=

-- 

David Pilato | Technical Advocate | Elasticsearch.com

@dadoonet | @elasticsearchfr

Le 17 décembre 2013 at 17:59:50, David Pilato (da...@pilato.fr) a écrit:

Très intéressant. Je regarde.

-- 

David Pilato | Technical Advocate | Elasticsearch.com

@dadoonet | @elasticsearchfr

Le 17 décembre 2013 at 17:50:39, maryline (trusti...@free.fr) a écrit:

J'ai aussi essayé en minuscule au cas où mais c'est pareil

--

[maryline]

ah ben oui en effet ça marche mieux ...
merci.