Re: [okfn-br] [Escola de Dados] Aplicativo web para "melhorar" seu texto

[Edgar]

Existiu um discussão interessante no Hackernews sobre essa app há algum tempo atrás:

https://news.ycombinator.com/item?id=7223969

Mas note que as regras para análise de texto nesse app são bem simplórias, inclusive na discussão acima vai ver que teve um cara que copiou e colou um texto do próprio Hemingway nesse app e obteve uma nota baixa.

Implementar um sistema desses com regras abertas e claras, inclusive com possibilidade de escolher quais regras utilizar, definir conjuntos de regras relacionadas a diferentes estilos literários, etc não seria muito complexo enquanto as regras fossem simples e claras. Poderia ser utilizado a fantástica biblioteca do Python NLTK http://www.nltk.org/ para isso. Ela inclusive já possui alguns corpus em português, dá uma olha em:

http://www.nltk.org/howto/portuguese_en.html

Que vai encontrar alguns exemplos de análise de concordância e categorização léxica usando a biblioteca.

Se estiver interessado veja o livro aberto http://www.nltk.org/book/ que é voltado para pessoas que não necessariamente possuam experiência com programação.

E.

PS: Podiam ter escolhido um autor melhor para  inspirar uma app, mas isso é só uma questão de gosto.

 

2014-04-11 16:54 GMT-03:00 João Batista Oliveira Neto <neto.joa...@gmail.com>:

Marco,

Formatei o código do algorítimo e o inspecionei superficialmente. Aparentemente, fazê-lo funcionar com o português não é complicado. O primeiro passo, obviamente, seria modificar o dicionário declarado pela variável _0xa19f.

Vou fazer alguns experimentos aqui, mas para portá-lo para o português, será necessário pedir permissão para o autor.

:D

--
João Batista Neto
Desenvolvedor engenheiro de aplicações web

2014-04-11 16:27 GMT-03:00 Marco Túlio Pires <mtrp...@gmail.com>:

Desculpem o cross-post, mas isso pode interessar muita gente, principalmente quem trabalha com/gosta de escrever.

Já viram o http://www.hemingwayapp.com/ ?

O nome do app é uma alusão ao jornalista que tinha um texto considerado "claro e arrojado". Na teoria, o app deixaria o seu texto assim também.

É uma brincadeira, mas uma brincadeira que tem fundos de verdade.

A ideia é usar algumas das características marcantes do texto de Hemingway e ver se o seu texto é assim. Frases curtas, palavras pequenas, verbos fortes (em vez de advérbios), ausência da voz passiva etc.

Nesse sentido, o app te mostra onde estão as frases grandes, os advérbios, as palavras grandes e as frases que usam a voz passiva e você pode tentar substituir e reescrever com o objetivo de deixar seu texto mais claro.

A cereja do bolo, ainda na linha da brincadeira, é um medidor que mostra qual o grau de instrução mínimo que a pessoa deveria ter para entender seu texto. A recomendação do site é que seu texto atinja um score de 10 ou menos (algo como uma pessoa do primeiro ano do ensino médio conseguiria ler seu texto sem problemas). O cálculo, pelo que entendi, é feito a partir do número de frases, parágrafos e palavras.

Claro que escrever um bom texto não passa apenas pelas características trabalhadas no app, mas é um exercício bem legal pra tentar nos disciplinar a fazer escolhas mais "claras e arrojadas".

O único problema é que o app só funciona em inglês :(

Abraços,

--

Marco Túlio Pires :: journogeek :: @mtrpires

_______________________________________________
escoladedados mailing list
escola...@lists.okfn.org
https://lists.okfn.org/mailman/listinfo/escoladedados

_______________________________________________
okfn-br mailing list
okf...@lists.okfn.org
https://lists.okfn.org/mailman/listinfo/okfn-br
Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br

[Pedro Markun]

A gente esta tentando armar uma oficina de NLTK com o Fabbri por aqui.

Assim que passar esse meu cronograma conturbado, engrenamos isso :)

---

Em uma nota não relacionada... a gente estava pirando a uns tempos em usar TDD (test driven development) aplicado a escrita de leis. A ideia era meio essa onda... você passar um PL pelo sistema e ele apitar em questões chaves e/ou controversas.

--
Você recebeu essa mensagem porque está inscrito no grupo quot;Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em http://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAMcM9kZzHHi35FMtCHBeeq75GwfcSGuv%2B6XDUUqeA7nxKCwWsA%40mail.gmail.com.
Para mais opções, acesse https://groups.google.com/d/optout.

[Everton Zanella Alvarenga]

Tentem pedir.

Em 11 de abril de 2014 17:51, Marco Túlio Pires <mtrp...@gmail.com> escreveu:

João, sensacional. Eu dei uma mexida no código e fiquei com preguiça quando vi o dicionário. Mas é algo que dá pra fazer, né? Pelo que ouvi dizer, mas não confirmei, o código de análise sintática não estaria no front-end... Mas não é uma coisa absurda: ilumina se uma frase passar do limite x de palavras, ilumina palavra se passar do limite y de caracteres, aciona um dicionário de advérbios, e, pra mim a parte que deve ser a mais trabalhosa... aciona a linguagem natural pra identificar voz passiva e dar sugestões para substituir palavras "difíceis" — seguindo a sugestão do Edgar.

Aliás, Edgar, eu vejo esse web app como uma brincadeira... escrever um texto bom é muito mais do que fazer um corte seco como esse. Mas é um exercício valioso. Já melhora seu texto imensamente. Faça o teste :P — e pô, como assim, Hemingway é muito bom!

Pedro, seria uma boa, hein? Eu me inscreveria! Esse app em português ajudaria jornalistas a torto e à direita. Poderia ser até um plugin de wordpress, ou um código pra ser embutido nos CMSs da vida. João, a gente pede autorização pros autores. Se eles não toparem (o que é provável, uma vez que eles obfuscaram o código) podemos pensar em fazer o código do zero.

abraços

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CABnW7Vft94zio77bQo3irNH0Af3kfNwE7Z%2BjN4QUzRiAJDz-Pg%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

--

Marco Túlio Pires :: journogeek :: @mtrpires

_______________________________________________

okfn-br mailing list
okf...@lists.okfn.org
https://lists.okfn.org/mailman/listinfo/okfn-br
Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br

--

Everton Zanella Alvarenga (also Tom)
Open Knowledge Brasil - Rede pelo Conhecimento Livre
http://br.okfn.org

[ed...@ymonad.com]

Sim, é no frontend, tanto que eles possuem uma versão desktop da app.
Mas as regras são bem simples, então é fácil fazer tudo no frontend.

On Fri, Apr 11, 2014 at 06:03:48PM -0300, João Batista Oliveira Neto wrote:
> Marco,
> Posso afirmar, com certeza absoluta, sem qualquer margem de erro, de que a
> anA!lise sintA!tica A(c) 100% feita no front-end. A* possAvel, inclusive,
> rodar a app totalmente offline.
> Ainda, estou com o cA^3digo responsA!vel pela anA!lise jA! todo formatado.
> No cA^3digo original, o dicionA!rio estA! escrito utilizando notaAS:A-L-o
> hexadecimal. JA! fiz a conversA-L-o de todo o dicionA!rio para decimal e
> entA-L-o para os respectivos caracteres.
> Se o autor nos der permissA-L-o para fazer o port para portuguA-as, nA-L-o
> serA! complicado fazA-a-lo.
> ;)
> --
> JoA-L-o Batista Neto
> Desenvolvedor engenheiro de aplicaAS:Aues web
>
> 2014-04-11 17:51 GMT-03:00 Marco TA-olio Pires <mtrp...@gmail.com>:
>
> JoA-L-o, sensacional. Eu dei uma mexida no cA^3digo e fiquei com
> preguiAS:a quando vi o dicionA!rio. Mas A(c) algo que dA! pra fazer,
> nA(c)? Pelo que ouvi dizer, mas nA-L-o confirmei, o cA^3digo de anA!lise
> sintA!tica nA-L-o estaria no front-end... Mas nA-L-o A(c) uma coisa

> absurda: ilumina se uma frase passar do limite x de palavras, ilumina

> palavra se passar do limite y de caracteres, aciona um dicionA!rio de
> advA(c)rbios, e, pra mim a parte que deve ser a mais trabalhosa...
> aciona a linguagem natural pra identificar voz passiva e dar sugestAues
> para substituir palavras "difAceis" a** seguindo a sugestA-L-o do Edgar.
>
> AliA!s, Edgar, eu vejo esse web app como uma brincadeira... escrever um
> texto bom A(c) muito mais do que fazer um corte seco como esse. Mas A(c)
> um exercAcio valioso. JA! melhora seu texto imensamente. FaAS:a o teste
> :P a** e pA', como assim, Hemingway A(c) muito bom!
>
> Pedro, seria uma boa, hein? Eu me inscreveria! Esse app em portuguA-as
> ajudaria jornalistas a torto e A direita. Poderia ser atA(c) um plugin
> de wordpress, ou um cA^3digo pra ser embutido nos CMSs da vida. JoA-L-o,
> a gente pede autorizaAS:A-L-o pros autores. Se eles nA-L-o toparem (o
> que A(c) provA!vel, uma vez que eles obfuscaram o cA^3digo) podemos
> pensar em fazer o cA^3digo do zero.
>
> abraAS:os

>
> 2014-04-11 17:40 GMT-03:00 Pedro Markun <pe...@markun.com.br>:
>

> A gente esta tentando armar uma oficina de NLTK com o Fabbri por aqui.
> Assim que passar esse meu cronograma conturbado, engrenamos isso :)
> ---

> Em uma nota nA-L-o relacionada... a gente estava pirando a uns tempos

> em usar TDD (test driven development) aplicado a escrita de leis. A

> ideia era meio essa onda... vocA-a passar um PL pelo sistema e ele
> apitar em questAues chaves e/ou controversas.

>
> 2014-04-11 17:32 GMT-03:00 Edgar <e...@vaz.io>:
>

> Existiu um discussA-L-o interessante no Hackernews sobre essa app
> hA! algum tempo atrA!s:
>
> https://news.ycombinator.com/item?id=7223969
>
> Mas note que as regras para anA!lise de texto nesse app sA-L-o bem
> simplA^3rias, inclusive na discussA-L-o acima vai ver que teve um
> cara que copiou e colou um texto do prA^3prio Hemingway nesse app e

> obteve uma nota baixa.
>
> Implementar um sistema desses com regras abertas e claras, inclusive
> com possibilidade de escolher quais regras utilizar, definir

> conjuntos de regras relacionadas a diferentes estilos literA!rios,
> etc nA-L-o seria muito complexo enquanto as regras fossem simples e
> claras. Poderia ser utilizado a fantA!stica biblioteca do Python
> NLTK http://www.nltk.org/ para isso. Ela inclusive jA! possui alguns
> corpus em portuguA-as, dA! uma olha em:
>
> http://www.nltk.org/howto/portuguese_en.html
>
> Que vai encontrar alguns exemplos de anA!lise de concordA-c-ncia e
> categorizaAS:A-L-o lA(c)xica usando a biblioteca.

> Se estiver interessado veja o livro aberto http://www.nltk.org/book/

> que A(c) voltado para pessoas que nA-L-o necessariamente possuam
> experiA-ancia com programaAS:A-L-o.
>
> E.
>
> PS: Podiam ter escolhido um autor melhor paraA inspirar uma app,
> mas isso A(c) sA^3 uma questA-L-o de gosto.
> A

>
> 2014-04-11 16:54 GMT-03:00 JoA-L-o Batista Oliveira Neto
> <neto.joa...@gmail.com>:
>
> Marco,

> Formatei o cA^3digo do algorAtimo e o inspecionei
> superficialmente. Aparentemente, fazA-a-lo funcionar com o
> portuguA-as nA-L-o A(c) complicado. O primeiro passo, obviamente,
> seria modificar o dicionA!rio declarado pela variA!velA _0xa19f.
> Vou fazer alguns experimentos aqui, mas para portA!-lo para o
> portuguA-as, serA! necessA!rio pedir permissA-L-o para o autor.
> :D
> --
> JoA-L-o Batista Neto
> Desenvolvedor engenheiro de aplicaAS:Aues web

>
> 2014-04-11 16:27 GMT-03:00 Marco TA-olio Pires
> <mtrp...@gmail.com>:
>
> Desculpem o cross-post, mas isso pode interessar muita gente,
> principalmente quem trabalha com/gosta de escrever.
>

> JA! viram o http://www.hemingwayapp.com/ ?
>
> O nome do app A(c) uma alusA-L-o ao jornalista que tinha um

> texto considerado "claro e arrojado". Na teoria, o app deixaria

> o seu texto assim tambA(c)m.
> A* uma brincadeira, mas uma brincadeira que tem fundos de
> verdade.
>
> A ideia A(c) usar algumas das caracterAsticas marcantes do texto
> de Hemingway e ver se o seu texto A(c) assim. Frases curtas,
> palavras pequenas, verbos fortes (em vez de advA(c)rbios),
> ausA-ancia da voz passiva etc.
>
> Nesse sentido, o app te mostra onde estA-L-o as frases grandes,
> os advA(c)rbios, as palavras grandes e as frases que usam a voz
> passiva e vocA-a pode tentar substituir e reescrever com o

> objetivo de deixar seu texto mais claro.
>

> A cereja do bolo, ainda na linha da brincadeira, A(c) um medidor
> que mostra qual o grau de instruAS:A-L-o mAnimo que a pessoa
> deveria ter para entender seu texto. A recomendaAS:A-L-o do site
> A(c) que seu texto atinja um score de 10 ou menos (algo como uma
> pessoa do primeiro ano do ensino mA(c)dio conseguiria ler seu
> texto sem problemas). O cA!lculo, pelo que entendi, A(c) feito a
> partir do nA-omero de frases, parA!grafos e palavras.
>
> Claro que escrever um bom texto nA-L-o passa apenas pelas
> caracterAsticas trabalhadas no app, mas A(c) um exercAcio bem

> legal pra tentar nos disciplinar a fazer escolhas mais "claras e
> arrojadas".
>

> O A-onico problema A(c) que o app sA^3 funciona em inglA-as :(
>
> AbraAS:os,
>
> --
> Marco TA-olio Pires :: journogeek :: @mtrpires

> _______________________________________________
> escoladedados mailing list
> escola...@lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/escoladedados
>
> _______________________________________________
> okfn-br mailing list
> okf...@lists.okfn.org
> https://lists.okfn.org/mailman/listinfo/okfn-br
> Unsubscribe: https://lists.okfn.org/mailman/options/okfn-br
>
> --

> VocA-a recebeu essa mensagem porque estA! inscrito no grupo
> quot;TransparA-ancia Hacker" dos Grupos do Google.
> Para cancelar inscriAS:A-L-o nesse grupo e parar de receber e-mails

> dele, envie um e-mail para thackday+u...@googlegroups.com.
> Para postar nesse grupo, envie um e-mail para
> thac...@googlegroups.com.
> Acesse esse grupo em http://groups.google.com/group/thackday.

> Para ver essa discussA-L-o na Web, acesse
> https://groups.google.com/d/msgid/thackday/CAMcM9kZzHHi35FMtCHBeeq75GwfcSGuv%2B6XDUUqeA7nxKCwWsA%40mail.gmail.com.
> Para mais opAS:Aues, acesse https://groups.google.com/d/optout.
>
> --
> VocA-a recebeu essa mensagem porque estA! inscrito no grupo
> quot;TransparA-ancia Hacker" dos Grupos do Google.
> Para cancelar inscriAS:A-L-o nesse grupo e parar de receber e-mails

> dele, envie um e-mail para thackday+u...@googlegroups.com.
> Para postar nesse grupo, envie um e-mail para
> thac...@googlegroups.com.
> Acesse esse grupo em http://groups.google.com/group/thackday.

> Para ver essa discussA-L-o na Web, acesse
> https://groups.google.com/d/msgid/thackday/CABnW7Vft94zio77bQo3irNH0Af3kfNwE7Z%2BjN4QUzRiAJDz-Pg%40mail.gmail.com.
> Para mais opAS:Aues, acesse https://groups.google.com/d/optout.
>
> --
> Marco TA-olio Pires :: journogeek :: @mtrpires

[Marco Túlio Pires]

João, sensacional. Eu dei uma mexida no código e fiquei com preguiça quando vi o dicionário. Mas é algo que dá pra fazer, né? Pelo que ouvi dizer, mas não confirmei, o código de análise sintática não estaria no front-end... Mas não é uma coisa absurda: ilumina se uma frase passar do limite x de palavras, ilumina palavra se passar do limite y de caracteres, aciona um dicionário de advérbios, e, pra mim a parte que deve ser a mais trabalhosa... aciona a linguagem natural pra identificar voz passiva e dar sugestões para substituir palavras "difíceis" — seguindo a sugestão do Edgar.

Aliás, Edgar, eu vejo esse web app como uma brincadeira... escrever um texto bom é muito mais do que fazer um corte seco como esse. Mas é um exercício valioso. Já melhora seu texto imensamente. Faça o teste :P — e pô, como assim, Hemingway é muito bom!

Pedro, seria uma boa, hein? Eu me inscreveria! Esse app em português ajudaria jornalistas a torto e à direita. Poderia ser até um plugin de wordpress, ou um código pra ser embutido nos CMSs da vida. João, a gente pede autorização pros autores. Se eles não toparem (o que é provável, uma vez que eles obfuscaram o código) podemos pensar em fazer o código do zero.

abraços

2014-04-11 17:40 GMT-03:00 Pedro Markun <pe...@markun.com.br>:

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CABnW7Vft94zio77bQo3irNH0Af3kfNwE7Z%2BjN4QUzRiAJDz-Pg%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Marco Túlio Pires]

boa, joão!

Vou entrar em contato com ele!

abração

2014-04-11 18:03 GMT-03:00 João Batista Oliveira Neto <neto.joa...@gmail.com>:

Marco,

Posso afirmar, com certeza absoluta, sem qualquer margem de erro, de que a análise sintática é 100% feita no front-end. É possível, inclusive, rodar a app totalmente offline.

Ainda, estou com o código responsável pela análise já todo formatado. No código original, o dicionário está escrito utilizando notação hexadecimal. Já fiz a conversão de todo o dicionário para decimal e então para os respectivos caracteres.

Se o autor nos der permissão para fazer o port para português, não será complicado fazê-lo.

;)

--
João Batista Neto
Desenvolvedor engenheiro de aplicações web

[Marcelo Fontoura]

Oi pessoal

Tudo bem? Um monte de ideias bem legais!

Como jornalista, acho que a aplicação da app no seu estado atual não contribuiria tanto para as redações, uma vez que o jornalista já é treinado desde cedo a escrever frases curtas na ordem direta, por exemplo.

No entanto, uma app assim com as regras customizáveis, como foi falado, acho que seria de grande utilidade. Tomara que a investida traga mais vários frutos!

Abraços,

Marcelo Fontoura

[Marco Túlio Pires]

[João Batista Oliveira Neto]

Marco,

Posso afirmar, com certeza absoluta, sem qualquer margem de erro, de que a análise sintática é 100% feita no front-end. É possível, inclusive, rodar a app totalmente offline.

Ainda, estou com o código responsável pela análise já todo formatado. No código original, o dicionário está escrito utilizando notação hexadecimal. Já fiz a conversão de todo o dicionário para decimal e então para os respectivos caracteres.

Se o autor nos der permissão para fazer o port para português, não será complicado fazê-lo.

;)

--
João Batista Neto
Desenvolvedor engenheiro de aplicações web

[João Batista Oliveira Neto]

Marco,

Formatei o código do algorítimo e o inspecionei superficialmente. Aparentemente, fazê-lo funcionar com o português não é complicado. O primeiro passo, obviamente, seria modificar o dicionário declarado pela variável _0xa19f.

Vou fazer alguns experimentos aqui, mas para portá-lo para o português, será necessário pedir permissão para o autor.

:D

--
João Batista Neto
Desenvolvedor engenheiro de aplicações web

2014-04-11 16:27 GMT-03:00 Marco Túlio Pires <mtrp...@gmail.com>:

[Marcelo Träsel]

Esse app me lembra um plugin de WordPress que comparava os posts com um dicionário das dez mil palavras mais usadas no inglês e sugeria retirar as que não estivessem no banco de dados, para melhorar a compreensibilidade do texto pelo afegão médio.

Acho que seria útil algo assim nas redações, onde se procura ser o mais compreensível possível. Por outro lado, prefiro a abordagem de tentar educar o leitor. Achei legal o design do De Correspondent, que coloca setinhas nas siglas e palavras complicadas. Clicando-se nelas, aparece um parágrafo de definição que é fácil de colapsar depois:

https://decorrespondent.nl/393/deel-je-kliekjes-kweek-je-vlees-manipuleer-je-broccoli/35254065-518d5989

______________
marcelo träsel
http://www.trasel.com.br

O que é difícil? Conhecer a si mesmo.

O que é fácil? Aconselhar os outros.

                                           

                                    -- Tales de Mileto

[Pedro Markun]

Isso é um bom plugin pra texto legislativo.

—— escrito no celular

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CA%2BMF24kkzEg5xwza524CKpyVQTHYbU4wA620OKijNaPuCJGN8A%40mail.gmail.com.

[Gui Bueno]

Em português, o App não identifica advérbios e nem a voz passiva, mas indica as frases longas demais. Isso já é BEM útil!

Quanto ao nome, acho que George Orwell merecia muito mais essa homenagem. Já leram Politics and the English Language? É um texto fantástico! Ele argumenta que a linguagem complicada mascara as intenções políticas de quem fala ou escreve. Um bom exemplo são os textos legislativos, como disse o Pedro Markun. Ao final, propõe 6 regras:

(i) Never use a metaphor, simile or other figure of speech which you are used to seeing in print.
(ii) Never use a long word where a short one will do.
(iii) If it is possible to cut a word out, always cut it out.
(iv) Never use the passive where you can use the active.
(v) Never use a foreign phrase, a scientific word or a jargon word if you can think of an everyday English equivalent.
(vi) Break any of these rules sooner than say anything barbarous.

Gui Bueno

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CABnW7VeyjrYNQKaaF20OJMbeYAwnNKb8vCtPN_B54eMO%2BhgdFA%40mail.gmail.com.

[Douglas Spadotto]

Um estudo recente só com o tamanho das constituições de 110 países identificou que quanto maior o texto, menor a confiança entre os cidadãos.

http://www.foreignpolicy.com/articles/2014/03/12/constitutional_length_trust_levels

Achei bem interessante.

Cheers,

Doug, keeping it short

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAA-Otpf0wbK-rCKeOJhOhg_iUGNsFM0Ag1qNCu4_Re%2BZZ9fxBA%40mail.gmail.com.