Projeto Aranha - Robô que busca toda informação na rede do governo e tem uma presença ativa

19 views
Skip to first unread message

Pedro Markun

unread,
Jun 24, 2011, 10:44:58 PM6/24/11
to Wagner Pyter, thac...@googlegroups.com
Oi Wagner,

Estou tomando a liberdade de jogar a conversa na lista de novo, é sempre bom poder contar com mais vozes e cabeças.

A idéia de um robo da sociedade cívil que busque e armazene toda a informação pública disponível é bem legal, já rolou algumas vezes na lista e eu mesmo já tentei por em prática... mas me faltou conhecimento técnico.

Minha idéia era soltar um spider em todos os .gov.br fazendo um mirror constante e distribuido de tudo que tem na rede.

Fiz uma primeira experiência com um snapshot do site do MINC, na época que rolou a troca de licença. Baixei tudo e joguei em um torrent.

Uma das idéias era armazenar esses arquivos em um grid público tipo o projeto da OKFN.


Outro software que eu comecei a testar pra coisa era o Heritrix que é o sistema do archive.org


Enfim... idéias mil.

Mas explica melhor (se possível na thread) essa história de robô 'ativo', me parece interessante e também já rolaram alguns papos sobre democracia liquida e candidatos virtuais na lista... mas nunca tinha pensado em um bot pra isso.

abs,
Pedro Markun

2011/6/24 Wagner Pyter <wagne...@gmail.com>
Tudo bem? por diversos motivos, ainda não tinha podido iniciar um
dialogo contigo, mas assisti uma entrevista sua na televisão, canal
GloboNews, e tenho gostado das suas posturas e atividades. Então,
entrei na lista para ir acompanhando os trabalhos e se possivel tentar
contribuir com ideias e despertar o interesse nas pessoas sobre a
participação popular e transparencia.

Eu tenho essa idéia de que no futuro possa ter um "Projeto Aranha" -
Robô que busca toda informação na rede do governo e tem uma presença
ativa. Representando todos que queiram opinar nas enquetes, sobre os
temas discutidos entre o poder municipal, estadual e federal.

Sabe me dizer se já circulou algo assim nos projetos de governo
eletronico? Esse 'Politico Virtual' seria uma especie de representnte
com direito a uma porcentagem de voto pra acrescentar projetos
coletivos e direito a veto, dependendo do fluxo de participação...

On 24 jun, 00:14, Pedro Markun <pe...@esfera.mobi> wrote:
> Evandro,
>
> tem um pouco do grid publico aqui:
>
> http://blog.esfera.mobi/tag/grid-publico/
>
> <http://blog.esfera.mobi/tag/grid-publico/>E a OKFN tem um projeto
> semelhante e mais maduro aqui:
>
> http://grid.okfn.org/
>
> <http://grid.okfn.org/>A idéia central era aplicar a idéia de grid computing
> para processamento de dados públicos. Isso evoluiu, conceitualmente, para um
> cenário onde o próprio armazenamento desses dados pudesse ser distribuido e
> redundado pelos cidadãos.
>
> Imagine que a sociedade pudesse rodar uma ou mais instância dos dados do
> portal da Transparência, garantindo não só redundância e escalabilidade mas
> também garantindo justamente que os dados não pudessem ser alterados
> unilateralmente pelo governo sem justificativa.
>
> O experimento na CParty falhou miseravelmente... por vários fatores, mas
> principalmente pq o software que iamos usar como base se provou inadequado.
>
> É uma discussão que já cruzou outras listas e alguns thackdays... e muita
> gente advoga que não faz nenhum sentido do ponto de vista de performance -
> já que poucos exemplos de dados públicos tem massa crítica pra justificar um
> grid.
>
> Mas acho que conceitualmente, o governo compartilhar a responsabilidade de
> armazenar e zelar pelos dados com a sociedade é um passo bastante
> interessante.
>
> abs,
> Pedro Markun
>
> 2011/6/23 Evandro Oliveira <pyxi...@gmail.com>
>
>
>
>
>
>
>
> > Daniela,
>
> > Em 23 de junho de 2011 21:50, Daniela B. Silva <danielabsi...@gmail.com>escreveu:
>
> >> +1 pro grid.
>
> > Você tem algum link para eu poder entender melhor a proposta do "grid
> > público"
>
> >> E lembrando que é muito importante que as pessoas (todas) estejam cientes
> >> das fragilidades e dos limites da infraestrutura que nos possibilita acessar
> >> (parcamente) as informações de governo.
>
> > As pessoas (todas) tem que, em primeiro lugar, diferenciar e estar cientes
> > das fragilidades
> > das informações privadas, para depois pensarem nas informações públicas a
> > que tem
> > direito. Entendo como quase impossível falar em cidadania e direito à
> > informação com aqueles
> > que não cuidam da própria informação pessoal.
>
> >> E que é muito importante que os governos mudem a chave pra entender a
> >> tecnologia da informação como uma área estratégica e importante da gestão
> >> pública.
>
> > E vale também para o que é privado. Quantas vezes preenchemos cadastros e
> > mais cadastros,
> > com informações reservadas e pessoais e não temos o mínimo cuidado com
> > estas informações
> > até recebermos enxurradas de mensagens, malas diretas, spams e outras
> > coisas que mostram
> > a fragilidade que nós mesmos temos como a nossa informação que era para ser
> > reservada.
>
> > Ter informação pública de QUALIDADE e TEMPORAL é melhor do que ter todo
> > tipo de
> > informação sem a certeza da confiabilidade.
> > Um orçamento de órgão público, de gastos com pessoal publicado em duas
> > fontes com
> > R$2,1bi e R$2,2bi PODE parecer coisa mínima mas encerra um grande problema
> > de
> > aproximadamente R$100 MILHOES.
> > Buscar fontes PRIMÁRIAS de informação e exigir qualidade delas é muito mais
> > importante
> > para a transparência do que pedir um monte de números e dados que não se
> > faz nada com eles
>
> >> Acho os ataques legítimos, tanto quanto qualquer ação pra garantir a
> >> redundância desses dados em outros espaços.
>
> > Um ataque DDoS NÃO é legítimo para quem defende TRANSPARÊNCIA e não
> > garante
> > nenhuma redundância. Logo, sou contra, são ilegítimos e não ajudam a
> > transparência pelo
> > anonimato de quem pratica.
>
> > --
> > abs,
>
> > Evandro Oliveira
> > Beagá - MG
> > (31) 9982-0221
> > Brasília - DF
> > (61) 9299-6229
>
> > --
> > Você está recebendo esta mensagem porque se inscreveu no grupo
> > "Transparência Hacker" dos Grupos do Google.
> > Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
> > Para cancelar a inscrição nesse grupo, envie um e-mail para
> > thackday+u...@googlegroups.com.
> > Para obter mais opções, visite esse grupo em
> >http://groups.google.com/group/thackday?hl=pt-BR.

Evandro Oliveira

unread,
Jun 24, 2011, 11:04:07 PM6/24/11
to thac...@googlegroups.com
Pedro,

Depois dos links que vc me passou, entendi o que você está propondo
e te digo que tudo (tecnologias e códigos) já existe.
Vc precisa é apresentar o projeto (com mais elaboraçao e detalhes) 
para uma ONG (até que a THacker tenha recursos ou atinja a maioridade
de uma OSCIP - o que vai causar muitos dissabores).

Vc fala de um "miner" que "garimpe dados públicos e os organize (a proposito,
o curso de Ontologia apoiado pelo W3C é IMPORATANTÏSSIMO) tornando-os
públicos.

No modelo de "grid" que vocês propoem, os recursos computacionais são
bastante extensos e caros. Talvez algumas universidades no Brasil possam
ajudar. Em termos de códigos de garimpagem (miner foi uma expressão já
usada em uma universidade brasileira e que rendeu dividendo$$ para o aluno
e para o professor orientador) e projetos de grid, tem várias opções resolvidas
nas faculdades. Resta a modelagem, organização (infra) e storage...  

Se não estou enganado... um pouco de modelagem de dados e organização
adiantarão muito o projeto/proposta.
Sugiro reduzir o escopo de "tudo que tem na rede .gov" para tudo que os
.gov não querem que a sociedade cruze com outras informações.

Por exemplo... num modelo mais estudado, veríamos pelas dotações orçamentárias
do gorverno federal QUANTO e QUANDO ela disponibiliza para determinado
projeto. Aí acompanhamos QUANDO determinada entidade ou órgão de
esfera estaudal ou municipal, recebe e disponibiliza para concorrências e
e subvenções.
Separando isto por obras, saúde, educação, somos bem mais seletivos e
objetivos.
Os órgãos de controle não querem ou não sabem como fazer isto. Daremos
muitas dicas de onde eles devem fazer auditorias, podemos fazer muitas
denúncias ao MP, podremos identificar inclusive algumas barbaridades que
cometem servidores públicos que recebem propinas para "liberar coisas" ou
para "engavetar coisas".

A questão, ao meu ver, não é colocar um grid estupendo que processo
muita coisa e que ninguém conseguirá fazer cruzamentos que respondam
aos problemas e desejos de qualidade da informação.

Pedro Markun

unread,
Jun 24, 2011, 11:22:26 PM6/24/11
to thac...@googlegroups.com
Evandro,

eu não acredito que OSCIP tenha qualquer coisa a ver com maioridade.

E nem acredito que a gente precise de recursos para fazer nada disso.

Como você mesmo disse, as tecnologias estão ai. Eu sei que estão. Só precisamos de gente suficiente interessada em fazer acontecer.

E o foco dessa idéia - existem outras - é justamente disponibilizar os dados brutos para que outras pessoas possam fazer seus próprios recortes e recombinações.

abs,
Pedro Markun

2011/6/25 Evandro Oliveira <pyx...@gmail.com>

Wagner Pyter

unread,
Jun 26, 2011, 8:12:20 AM6/26/11
to Transparência Hacker
Valeu! Vou dar uma pesquisada e depois tento anexar algo existente com
o que imagino.

Nadia disse: "A questão do foco é fundamental. Isso da dotação
orçamentária e o caminho que ela percorre para chegar (ou não) a seu
destino, merece ser muito bem rastreado."

On 24 jun, 23:44, Pedro Markun <pe...@esfera.mobi> wrote:
> Oi Wagner,
>
> Estou tomando a liberdade de jogar a conversa na lista de novo, é sempre bom
> poder contar com mais vozes e cabeças.
>
> A idéia de um robo da sociedade cívil que busque e armazene toda a
> informação pública disponível é bem legal, já rolou algumas vezes na lista e
> eu mesmo já tentei por em prática... mas me faltou conhecimento técnico.
>
> Minha idéia era soltar um spider em todos os .gov.br fazendo um mirror
> constante e distribuido de tudo que tem na rede.
>
> Fiz uma primeira experiência com um snapshot do site do MINC, na época que
> rolou a troca de licença. Baixei tudo e joguei em um torrent.http://thepiratebay.org/torrent/6117869/Cultura.gov.br_21-01-2010_Mirror
>
> Uma das idéias era armazenar esses arquivos em um grid público tipo o
> projeto da OKFN.
>
> http://grid.okfn.org
>
> Outro software que eu comecei a testar pra coisa era o Heritrix que é o
> sistema do archive.org
>
> http://crawler.archive.org/
>
> Enfim... idéias mil.
>
> Mas explica melhor (se possível na thread) essa história de robô 'ativo', me
> parece interessante e também já rolaram alguns papos sobre democracia
> liquida e candidatos virtuais na lista... mas nunca tinha pensado em um bot
> pra isso.
>
> abs,
> Pedro Markun
>
> 2011/6/24 Wagner Pyter <wagnerpy...@gmail.com>

Antonio M. Moreiras

unread,
Jun 26, 2011, 11:55:33 AM6/26/11
to thac...@googlegroups.com
Pedro e demais, falando especificamente do crawler, acredito que o heritrix, ou o nutch sejam bases adequadas para um projeto como este. O nutch, em especial, tem recursos para execução distribuída. E o heritrix foi feito para o webarchive, se pensarmos num repositório centralizado, é só instalá-lo e deixá-lo fazer o trabalho.

Quero apenas falar de uma possibilidade a mais. Nossa versão do wire, o crawler que usamos para o projeto TIC Web (antes chamado de censo Web), do NIC.br e W3C Brasil, está disponível agora sob GPL no Sourceforge, bem como o ConNeCTOR, um conjunto de classes Java para análise dos dados. Mais detalhes na palestra do Heitor Ganzeli, sobre o ASA, no FISL (30/06, 15h, sala 40A), nessa semana:

O OKFN falhou, certo? Segundo a página do projeto, não houve storage (participantes) suficientes. Não é preciso muito para armazenar o .gov.br, em especial se estivermos falando de texto, então não seria muito caro fazer de forma centralizada, mesmo que com alguns mirrors. O problema é a legalidade disso, e quem estaria disposto a se arriscar? Talvez pudéssemos fazer com que o próprio governo encabeçasse um projeto assim, com storages externos e parcerias com instituições independentes, de forma que a coisa tenha chance de sobreviver em caso de mudança de idéia.

A idéia do "político virtual" do Wagner me parece intrigante. Pelo que entendi seria uma espécie de IA capaz de coletar o feedback da população e fazer uma espécie de representação direta. Acho que é inviável por hora por vários motivos, por exemplo, só 30% dos domicílios estão conectados, e a tecnologia não evoluiu tanto, fora os riscos de segurança... Mas acho que vale a pena pensar mais sobre isso.

[]s

Wagner Pyter

unread,
Jun 26, 2011, 12:25:53 PM6/26/11
to Transparência Hacker
Sim, estou pensando a longo prazo. Mas nada impede de criarmos um
Vereador Virtual em cada municipio para um Teste.

On 26 jun, 12:55, "Antonio M. Moreiras" <anto...@moreiras.eng.br>
wrote:
> Pedro e demais, falando especificamente do crawler, acredito que o heritrix,
> ou o nutch sejam bases adequadas para um projeto como este. O nutch, em
> especial, tem recursos para execução distribuída. E o heritrix foi feito
> para o webarchive, se pensarmos num repositório centralizado, é só
> instalá-lo e deixá-lo fazer o trabalho.
>
> Quero apenas falar de uma possibilidade a mais. Nossa versão do wire, o
> crawler que usamos para o projeto TIC Web (antes chamado de censo Web), do
> NIC.br e W3C Brasil, está disponível agora sob GPL no Sourceforge, bem como
> o ConNeCTOR, um conjunto de classes Java para análise dos dados. Mais
> detalhes na palestra do Heitor Ganzeli, sobre o ASA, no FISL (30/06, 15h,
> sala 40A), nessa semana:
> -http://sourceforge.net/projects/wire-nic/
> -http://sourceforge.net/projects/connector-nic/
>
> O OKFN falhou, certo? Segundo a página do projeto, não houve storage
> (participantes) suficientes. Não é preciso muito para armazenar o .gov.br,
> em especial se estivermos falando de texto, então não seria muito caro fazer
> de forma centralizada, mesmo que com alguns mirrors. O problema é a
> legalidade disso, e quem estaria disposto a se arriscar? Talvez pudéssemos
> fazer com que o próprio governo encabeçasse um projeto assim, com storages
> externos e parcerias com instituições independentes, de forma que a coisa
> tenha chance de sobreviver em caso de mudança de idéia.
>
> A idéia do "político virtual" do Wagner me parece intrigante. Pelo que
> entendi seria uma espécie de IA capaz de coletar o feedback da população e
> fazer uma espécie de representação direta. Acho que é inviável por hora por
> vários motivos, por exemplo, só 30% dos domicílios estão conectados, e a
> tecnologia não evoluiu tanto, fora os riscos de segurança... Mas acho que
> vale a pena pensar mais sobre isso.
>
> []s
> morei...@nic.br
> > 2011/6/24 Wagner Pyter <wagnerpy...@gmail.com>

Evandro Oliveira

unread,
Jun 26, 2011, 12:43:44 PM6/26/11
to thac...@googlegroups.com
Wagner,

Como este vereador virtual atuaria? Quais as prioridades dele?
Por exemplo, ano que vem tem eleições municipais. Como este
vereador atuaria sobre as candidaturas e sobre os candidatos 
eleitos e a relação destes candidatos com o prefeito eleito?
Este vereador estaria interessado em auditor a "eleição" que
ele participou?
Uma das maiores dificuldades em políticos questionarem o
Sistema Eletrônico Eleitoral Brasileiro é pelo fato de que os
vencedores não vão questionar os mecanismos que os elegeram
e os perdedores estarão praticando o "choro do perdedor", e o
maior interessado (ELEITOR) não tem resposta a nenhum de seus
anseios.

Tenho interesse nas condições gerais deste vereador virtual.
Sei que, do ponto de vista tecnológico, tudo que este vereador
quiser fazer é possível e teremos tecnologias disponíveis.


Em 26 de junho de 2011 13:25, Wagner Pyter <wagne...@gmail.com> escreveu:
Sim, estou pensando a longo prazo. Mas nada impede de criarmos um
Vereador Virtual em cada municipio para um Teste.


Pedro Markun

unread,
Jun 26, 2011, 2:43:34 PM6/26/11
to thac...@googlegroups.com
Oi Antonio,

opa, valeu pelas dicas e idéias. Vou tentar ver a palestra no FISL!

Concordo que da pra fazer de maneira centralizada. Eu acho que a THacker estaria disposta a arriscar - eu sei que eu estou. E podemos já armar isso com uma rede de juristas que topem comprar uma eventual briga. 

A OKFN falhou - entre outras coisas pq a tecnologia ainda é complexa de operar... tinhamos que simplificar o processo de instalação e replicação.

abs,
Pedro Markun

2011/6/26 Antonio M. Moreiras <ant...@moreiras.eng.br>

Wagner Pyter

unread,
Jun 26, 2011, 7:39:52 PM6/26/11
to Transparência Hacker
Minha dúvid inicial é: Ele seria um personagem Virtual, ou seria uma
rede Aranha como falei...
Mas teriamos um Administrador de Redes, responsavel, ou um Partido
Pirata?

On 26 jun, 15:43, Pedro Markun <pe...@esfera.mobi> wrote:
> Oi Antonio,
>
> opa, valeu pelas dicas e idéias. Vou tentar ver a palestra no FISL!
>
> Concordo que da pra fazer de maneira centralizada. Eu acho que a THacker
> estaria disposta a arriscar - eu sei que eu estou. E podemos já armar isso
> com uma rede de juristas que topem comprar uma eventual briga.
>
> A OKFN falhou - entre outras coisas pq a tecnologia ainda é complexa de
> operar... tinhamos que simplificar o processo de instalação e replicação.
>
> abs,
> Pedro Markun
>
> 2011/6/26 Antonio M. Moreiras <anto...@moreiras.eng.br>
>
>
>
>
>
>
>
> > Pedro e demais, falando especificamente do crawler, acredito que o
> > heritrix, ou o nutch sejam bases adequadas para um projeto como este. O
> > nutch, em especial, tem recursos para execução distribuída. E o heritrix foi
> > feito para o webarchive, se pensarmos num repositório centralizado, é só
> > instalá-lo e deixá-lo fazer o trabalho.
>
> > Quero apenas falar de uma possibilidade a mais. Nossa versão do wire, o
> > crawler que usamos para o projeto TIC Web (antes chamado de censo Web), do
> > NIC.br e W3C Brasil, está disponível agora sob GPL no Sourceforge, bem como
> > o ConNeCTOR, um conjunto de classes Java para análise dos dados. Mais
> > detalhes na palestra do Heitor Ganzeli, sobre o ASA, no FISL (30/06, 15h,
> > sala 40A), nessa semana:
> > -http://sourceforge.net/projects/wire-nic/
> > -http://sourceforge.net/projects/connector-nic/
>
> > O OKFN falhou, certo? Segundo a página do projeto, não houve storage
> > (participantes) suficientes. Não é preciso muito para armazenar o .gov.br,
> > em especial se estivermos falando de texto, então não seria muito caro fazer
> > de forma centralizada, mesmo que com alguns mirrors. O problema é a
> > legalidade disso, e quem estaria disposto a se arriscar? Talvez pudéssemos
> > fazer com que o próprio governo encabeçasse um projeto assim, com storages
> > externos e parcerias com instituições independentes, de forma que a coisa
> > tenha chance de sobreviver em caso de mudança de idéia.
>
> > A idéia do "político virtual" do Wagner me parece intrigante. Pelo que
> > entendi seria uma espécie de IA capaz de coletar o feedback da população e
> > fazer uma espécie de representação direta. Acho que é inviável por hora por
> > vários motivos, por exemplo, só 30% dos domicílios estão conectados, e a
> > tecnologia não evoluiu tanto, fora os riscos de segurança... Mas acho que
> > vale a pena pensar mais sobre isso.
>
> > []s
> > morei...@nic.br
> >> 2011/6/24 Wagner Pyter <wagnerpy...@gmail.com>
> ...
>
> mais »

Wagner Pyter

unread,
Jun 26, 2011, 7:46:46 PM6/26/11
to Transparência Hacker
Mas o forte da idéia é fazer funcionar os Conselhos da Cidade, da
Cultura etc! alem de cobrar, vetar e sugerir projetos, claro. "a
Câmara é auxiliada por um Conselho, escolhido dentre as entidades
existentes no município, que funciona através de vogais e serve como
ente consultivo."

"Eles devem trabalhar em função da melhoria da qualidade de vida da
população, elaborando leis, recebendo o povo, atendendo as
reivindicações, desempenhando a função de mediador entre os habitantes
e o prefeito.

Outra importante atribuição a um vereador é a elaboração da Lei
Orgânica do Município. Esse documento consiste numa espécie de
Constituição Municipal, na qual há um conjunto de medidas para
proporcionar melhorias para a população local. O prefeito, sob
fiscalização da Câmara de Vereadores, deve cumprir a Lei Orgânica."

• Analisar e aprovar leis ligadas à prefeitura e ao poder executivo.

• Fiscalizar vários órgãos da prefeitura, além de requerer prestação
de conta por parte do prefeito.

• Votar projetos de lei.

• Receber os eleitores e ouvir sugestões, críticas, reivindicações.

• Promover a ligação entre eleitores da região que representa e o
governo.

• Elaborar e redigir projetos.

• Criar leis com intuito de formar uma sociedade mais justa.
> ...
>
> mais »

Ricardo Poppi

unread,
Jun 27, 2011, 10:52:44 AM6/27/11
to thac...@googlegroups.com
Alow! Esse assunto de aranhas, grids e agregadores de participação social na rede muito me interessa!

Papos fragmentados, gelatinosamente agregados no Consegi e nos encontros médio-fortuitos dos últimos meses com a galera da webcidadania nos levaram a iniciar a  construção de uma proposta de ontologia padrão para forumulação e mobilização em torno de políticas públicas na web. 

A idéia inicial é, a partir da padronização dos elementos em torno da participação social, utilizando web semântica, permitir que iniciativas como cidadedemocratica.org ou portoalegre.cc ou até mesmo um post num blog possam ser publicadas a partir dessa ontologia/vocabulario comum e facilmente indexadas pelas aranhas agregadoras de conteúdo de política pública na rede.

Tamo estruturando a coisa aqui, pitacos são deseja(dos)(veis): http://okfnpad.org/ontologiaspartsocial

Acham viável?

Saúdos! Ricardo.

> ...
>
> mais »

Wagner Pyter

unread,
Jun 27, 2011, 2:36:55 PM6/27/11
to Transparência Hacker
Poxa, perfeito Ricardo.

On 27 jun, 11:52, Ricardo Poppi <ricab...@gmail.com> wrote:
> Alow! Esse assunto de aranhas, grids e agregadores de participação social na
> rede muito me interessa!
>
> Papos fragmentados, gelatinosamente agregados no Consegi e nos encontros
> médio-fortuitos dos últimos meses com a galera da webcidadania nos levaram a
> iniciar a  construção de uma proposta de ontologia padrão para forumulação e
> mobilização em torno de políticas públicas na web.
>
> A idéia inicial é, a partir da padronização dos elementos em torno da
> participação social, utilizando web semântica, permitir que iniciativas como
> cidadedemocratica.org ou portoalegre.cc ou até mesmo um post num blog possam
> ser publicadas a partir dessa ontologia/vocabulario comum e facilmente
> indexadas pelas aranhas agregadoras de conteúdo de política pública na rede.
>
> Tamo estruturando a coisa aqui, pitacos são deseja(dos)(veis):http://okfnpad.org/ontologiaspartsocial
>
> Acham viável?
>
> Saúdos! Ricardo.
>
> ...
>
> mais »
Reply all
Reply to author
Forward
0 new messages