Dead Simple Data Mining with Data Science Toolkit

[Bruno J. M. Melo]

http://www.readwriteweb.com/hack/2011/03/dead-simple-data-mining-with-data-science-toolkit.php

Com algumas mudanças isso se torna bem útil para processar coisas em pt-br e outros aspectos relacionado ao Brasil.

Abraços,
--
http://about.me/brunojm/

[Pedro Markun]

Realmente foda, Bruno.

A gente tem um problema com essas coisas aqui em terras tupiniquins... a maioria desses serviços funciona só (ou funciona bem só) em inglês. Boa parte dessas APIs de extrair coisas de coisas falha quando tentamos o bom e velho pt-br.

Nesse sentido, queria propor de a gente montar um grupo que tope desenvolver pequenos services para data mining, opensource e em português. Começar pela 'conversão' dessa distro do cara já seria uma ótima... quem topa?

Sei que o Maia tem algo já bastante maduro que faz as vezes do Geodict no seu Topical. Quem dá mais?

• Street Address to Coordinates - Street Address to Location calculates the latitude/longitude coordinates for a postal address.
• File to Text - Converts PDFs, Word Documents, Excel Spreadsheets to text. Recovers text from JPEG, PNG or TIFF images of scanned documents.
• Coordinates to Political Areas - Returns the country, region, state, county, constituencies and neighborhood a point is inside.
• Geodict - Geodict pulls country, city and region names from unstructured English text, and returns their coordinates.
• IP Address to Coordinates - IP Address to Location calculates country, state, city and latitude/longitude coordinates for IP addresses.
• Text to Sentences - Removes any parts of the text that look like boilerplate instead of real sentences.
• HTML to Text - Returns the full text that would actually be displayed in the browser when an HTML document was rendered.
• HTML to Story - Takes an HTML document representing a news article or similar page, and extracts just the story text.
• Text to People - Spots text fragments that look like people's names or titles, and guesses their gender where possible.

abs,

Pedro Markun

2011/3/24 Bruno J. M. Melo <bru...@gmail.com>

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

[Pedro Markun]

Putz,

muito bom, Bruno!

E valeu a referencia.

abs,
Pedro Markun

2011/3/28 Bruno J. M. Melo <bru...@gmail.com>

Essa semana vou dá um estudada no código e ver as modificações que possam ser feitas usando corpus em pt-br. As funções que são dependentes de uma 'conversão' para poder ser útil no Brasil:

- Text to People (vulgo Named Entity Extraction)

- Geodict

- Street Address to Coordinate??

Estarei focando no primeiro.

Quem se interessar por isso tem um site com coisa nesse sentido em pt-br: http://www.linguateca.pt/

Abraços,

2011/3/24 Pedro Markun <pe...@esfera.mobi>

--
http://about.me/brunojm/

[Bruno J. M. Melo]

Essa semana vou dá um estudada no código e ver as modificações que possam ser feitas usando corpus em pt-br. As funções que são dependentes de uma 'conversão' para poder ser útil no Brasil:

- Text to People (vulgo Named Entity Extraction)

- Geodict

- Street Address to Coordinate??

Estarei focando no primeiro.

Quem se interessar por isso tem um site com coisa nesse sentido em pt-br: http://www.linguateca.pt/

Abraços,

2011/3/24 Pedro Markun <pe...@esfera.mobi>

Realmente foda, Bruno.

--
http://about.me/brunojm/