--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
O documento é muito novo, deve evoluir nas próximas semanas melhor.
http://www.maluco.com.br/rabiscos/2011-Publicidade-de-dados-governamentais.html
Abs,
-Thiago Rondon
2011/2/8 Diego Casaes <diego...@gmail.com>:
Sim, mas o projeto não contempla nenhuma tecnologia para abertura de
dados na web de forma fácil. O nosso maior problema hoje é que não
temos dados em RDF por exemplo, um padrão aberto de documentos e de
fácil organização na web.
Não muita lógica em solicitar documentos do governo em planilhas ou
arquivos gigantescos, devemos solicitar uma forma que seja de fácil
acesso, que estes dados estejam separados da forma mais fácil para ser
manipulados de forma humana e por softwares.
Me corrigam se eu estiver errado, mas com as pessoas que conversei o
E-ping se restringe apenas a oferecer uma comunicação fácil entre os
orgãos, é mais uma ferramenta de uso interno, que pode ser muito bem
aproveitada para o uso externo e com tecnologias apropriadas em um
futuro breve.
O que adianta oferecer tudo só em CSV, para softwares de planilha e
etc ? Ou só via páginas mal formatadas... Eu iniciei há um tempo atrás
(~ 3 meses) um projeto (OpenData-BR) para transformar os dados da
maneira que estão os sites brasileiros do governo em formatos abertos,
o problema é que este é um trabalho de formiguinha. Acredito que com
trabalhamos como vejo de outras pessoas, para montar scrappers,
transformar, organizar e etc, seja a melhor maneira de pressionar no
bom sentido os técnicos do governo a estudarem novos formatos para
serem disponibilizados.
Hoje temos tecnologias como o RDF, que nos oferecem linguagens de
consulta com a SPARQL que facilitaria muito a vida de todos, tanto do
lado do governo, quando do nosso lado.
Minha maior critica ao E-ping é que ele tem um proposito ótimo, mas
precisamos oferecer sugestões para que eles façam melhor o trabalho de
disponibilidade dados na web de forma realmente transparente.
Lembre-se que restrição tecnologia é um desafio, eu vi estes dias que
o portal da transparência esta com captcha apenas por imagens por
exemplo. Estamos excluindo pessoas da sociedade, concorda ?
Meu ponto é contribuir e formatar um documento/guia prático para
oferecer como sugestão a técnicos do governo. Eu estou realizando
alguns testes utilizando basicamente software-livre de ETL, para
transformar dados organizados em bancos relacionais para RDF e em
breve espero adicionar os detalhes deste aprendizado neste documento.
Meus centavos,
-Thiago Rondon
Muito interessante! Realmente um grande passo, parabéns a equipe que
disponibilizou estes dados, inclusive vou fazer utilizar estes dados
via SPARQL, pois estava usando um laboratório local com dados
convertidos de sites via scrapper.
> Este conjunto de dados foi apresentado na Conferência W3C Brasil e-Gov
> 2010. No sítio do evento estão disponíveis as apresentações (slides)
> utilizadas:
>
> http://www.w3c.br/conferenciaegov/index.htm
Muito bom!
> Quanto ao e-PING, você tem razão ao dizer que é um padrão focado em
> interoperabilidade de governo - esse é o seu propósito, e não
> especificamente dados abertos. Todavia, os padrões utilizados em dados
> abertos estão sendo, aos poucos, incorporados no e-PING. A versão
> 2011, por exemplo, já contempla o RDF.
>
> http://www.governoeletronico.gov.br/acoes-e-projetos/e-ping-padroes-de-interoperabilidade/versoes-do-documento-da-e-ping
>
Bacana, assim que tivermos dados em RDF vou querer olhar para eles. :-)
Abs!
-Thiago Rondon
E Thiago, vc ja deu uma olhada aqui? http://www.governoeletronico.gov.br/acoes-e-projetos/e-ping-padroes-de-interoperabilidadeSim, mas o projeto não contempla nenhuma tecnologia para abertura de dados na web de forma fácil. O nosso maior problema hoje é que não temos dados em RDF por exemplo, um padrão aberto de documentos e de fácil organização na web.
Não muita lógica em solicitar documentos do governo em planilhas ou arquivos gigantescos, devemos solicitar uma forma que seja de fácil acesso, que estes dados estejam separados da forma mais fácil para ser manipulados de forma humana e por softwares. Me corrigam se eu estiver errado, mas com as pessoas que conversei o E-ping se restringe apenas a oferecer uma comunicação fácil entre os orgãos, é mais uma ferramenta de uso interno, que pode ser muito bem aproveitada para o uso externo e com tecnologias apropriadas em um futuro breve.
O que adianta oferecer tudo só em CSV, para softwares de planilha e etc ? Ou só via páginas mal formatadas... Eu iniciei há um tempo atrás (~ 3 meses) um projeto (OpenData-BR) para transformar os dados da maneira que estão os sites brasileiros do governo em formatos abertos, o problema é que este é um trabalho de formiguinha. Acredito que com trabalhamos como vejo de outras pessoas, para montar scrappers, transformar, organizar e etc, seja a melhor maneira de pressionar no bom sentido os técnicos do governo a estudarem novos formatos para serem disponibilizados.
Hoje temos tecnologias como o RDF, que nos oferecem linguagens de consulta com a SPARQL que facilitaria muito a vida de todos, tanto do lado do governo, quando do nosso lado.
Minha maior critica ao E-ping é que ele tem um proposito ótimo, mas precisamos oferecer sugestões para que eles façam melhor o trabalho de disponibilidade dados na web de forma realmente transparente. Lembre-se que restrição tecnologia é um desafio, eu vi estes dias que o portal da transparência esta com captcha apenas por imagens por exemplo. Estamos excluindo pessoas da sociedade, concorda ? Meu ponto é contribuir e formatar um documento/guia prático para oferecer como sugestão a técnicos do governo. Eu estou realizando alguns testes utilizando basicamente software-livre de ETL, para transformar dados organizados em bancos relacionais para RDF e em breve espero adicionar os detalhes deste aprendizado neste documento.
Meus centavos, -Thiago Rondon
--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.
acho que o Vagner (e o Augusto) mataram bem a charada...
Nesse evento do w3c em Brasilia, levantei a bola de que temos que nos
mobilizar para transformar o e-ping em algo com 'força impositiva'!
Acho que podemos levar essa discussão pro Brasil Aberto também.
E só pra não deixar passar batido, o e-ping é realmente um documento
pensado pra relação gov-gov, mas durante a consulta pública que rolou
no ano passado, fizemos uma série de sugestões aqui da comunidade para
colocar mais cidadão e sociedade na parada.
(Da pra resgatar nos históricos)
abs,
Pedro Markun
2011/2/9 Vagner Gmail <vagner...@gmail.com>:
Não entendi a diferença do atacado e do varejo relacionado com o que eu disse.
> Thiago Rondon escreveu:
>
> E Thiago, vc ja deu uma olhada aqui?
> http://www.governoeletronico.gov.br/acoes-e-projetos/e-ping-padroes-de-interoperabilidade
>
>
>
> Sim, mas o projeto não contempla nenhuma tecnologia para abertura de
> dados na web de forma fácil. O nosso maior problema hoje é que não
> temos dados em RDF por exemplo, um padrão aberto de documentos e de
> fácil organização na web.
>
>
> O padrão e-PING de interoperabilidade contempla sim tecnologia para abertura
> de dados. A forma de interoperação semântica prevista no documento é
> exatamente a que você propõe, o uso de XML, RDF. Página 71, do guia
> http://www.governoeletronico.gov.br/biblioteca/arquivos/guia-de-interoperabilidade-cartilha-tecnica.
Acredito que não disse e nem estou dizendo que o e-PING contempla ou
não. Estou me baseando no resultado gerado.
Eu olhei este cartilha, e esta muito rasa a explicação da
implementação de RDF pelo governo, uma coisa é dizer "use RDF" outra é
definir um schema para ser usado pelo governo em relação a isto.
O mesmo vale para o uso de XML, umas coisa é explicar o que é, outra é
montar definições para sugerir a organização melhor dos dados, com
sugestões de schemas próprios. Se você analisar bem, em outros
governos isto é bem mais definido que estou tratando deste assunto.
Por exemplo, podemos ter um schema que definie parâmetros como CPF,
CNPJ e etc.. para unificar melhor as informações e aproveitar melhor
dos dados.
Veja, o meu ponto é que só oferecer por 'oferecer' é algo e um ponto
de partida importante, mas não é só isto. Existe um documento que
explica em outros pontos melhor o que estou defendendo:
http://www.w3.org/DesignIssues/LinkedData.html
Para re-utilizar e referencias os dados, nós precisamos sugerir uma
organização diferenciada ainda.
(...)
> Agora, tem algo que me incomoda muito. Se já podemos citar vários exemplos
> de dados disponiblizados em CSV ou outros formatos pelos governos, quantos
> aplicativos podemos contabilizar que fazem uso desses dados? Salvo engano
> meu, não me recordo de nenhum. Minhas dúvidas:
Você oferendo os dados em opendata e principalmente de maneira
organizada, você vai ganhar de "bônus" vários aplicativos para lidar
com estes dados.
O http://www.programmableweb.com/ é um bom exemplo, e repositórios de
várias linguagens de programação também.
> 1) Será que há um desalinhamento entre o que os governos disponibilizam e os
> dados que a comunidade quer?
Neste momento não estou nem solicitando dados novos, apenas o que esta
na lei e na constituição.
Como eu coloco no documento um bom ponto de partida seria um
repositório visual, como já existem exemplos fora. Vide data.gov e
data.gov.uk.
Desta maneira seria mais fácil identificar o status de implementação e
a qualidade.
> 2) Será que os governos vão publicar dados sensíveis?
Exemplo ? Acredito que isto é outro assunto.
> 3) Será que queremos mais dados para fazer controle social (denúncias) do
> que para gerar aplicações de serviços ao cidadão (sem entrar no mérito da
> discussão que denúncias também é um serviço)?
Não é pensar em relação a denúncias apenas, eu montei um site parecido
com o http://wheredoesmymoneygo.org/ com dados do governo federal,
mesmo conhecendo o site o portal gráficos.
Porém, eu tive que montar uma séria de scrapers, ou mesmo baixar os
arquivos do portal da transparência manualmente e do governo de são
paulo, pq existe vários obstáculos simples, como por exemplo captcha
para baixar... e nem todas as informações estão bem organizadas... e
etc, etc. Como automatizar isto hoje ? Como referenciar as informações
entre elas ? Existem desafios que nos fazem perder tempo.
-Thiago Rondon
Muito boa a iniciativa ! Mas eu gostaria de sugerir este documento
como referencia inicialmente :
http://www.w3.org/DesignIssues/LinkedData.html
Como coloquei no e-mail anterior, não encontrei neste documento nenhum
schema definido para os dados nacionais. Apenas padrões já definidos
pela W3C como base.
Veja, existe uma importante tarefa de linkar os dados entre eles, e
referenciar eles para facilitar depois a utilização por softwares. E
não encontrei nada sobre isto neste documento.
-Thiago Rondon
acho uma questão importante, sem duvida! Mas é baaaastante complexa.
Quem define esses schemas? Quem mantém e atualiza eles?
Não acho que seja necessário descrever isso para começarmos a usar
linked data e padrões abertos. E justamente acho que se começarmos a
popularizar o uso desses formatos, vai aparecer naturalmente uma
necessidade por schemas compartilhados...
Nós - scrappers da sociedade civil - não temos schemas definidos.
Talvez fosse o caso de começar por essa ponta?
Qual é o schema do seu wheremymoneygoes?
abs,
Pedro Markun
2011/2/10 Thiago Rondon <thiago...@gmail.com>:
Pedro,
Acredito que quem deve definir estes esquemas seja o próprio governo,
nós podemos sugerir detalhes. Quem deve manter/atualizar eles são
também.
Acredito que uma vez definido um schema de dados, principalmente em
relação a dados exclusivos nossos (datatypes) podemos re-utilizar ele
em vários locais.
Por exemplo um schema utilizado pelo data.gov que observo em vários documentos:
http://data-gov.tw.rpi.edu/2009/data-gov-twc.rdf#
Esta é a base deles, porém conforme você vai usando os dados, você
consegue obter mais informações pela definição do tipo de dado por
exemplo em qual região é, e etc.
Claro, além destes datatypes específicos do contexto, existem já os
sugeridos pela W3C, como por exemplo:
http://www.w3.org/2000/01/rdf-schema#
http://www.w3.org/1999/02/22-rdf-syntax-ns
http://www.w3.org/2002/07/owl
http://xmlns.com/foaf/0.1/
(...)
Um aplicativo pode conseguir interpretar isto de forma mais -simples-
com estes schemas bem definidos.
> Não acho que seja necessário descrever isso para começarmos a usar
> linked data e padrões abertos. E justamente acho que se começarmos a
> popularizar o uso desses formatos, vai aparecer naturalmente uma
> necessidade por schemas compartilhados...
Concordo, não acho necessário também. É apenas uma sugestão para
melhorar o uso por software dos dados.
Também concordo que é muito interessante popularizar estes formatos.
> Nós - scrappers da sociedade civil - não temos schemas definidos.
> Talvez fosse o caso de começar por essa ponta?
> Qual é o schema do seu wheremymoneygoes?
>
Você tem razão, não há mesmo. Até por que quando nos vamos cruzar os
dados, por definição elaboramos os dados manualmente.
Eu estou efetuando uns testes com o D2R Server -
http://www4.wiwiss.fu-berlin.de/bizer/d2r-server/ - com dados que
tenho local, e então pesquisando e estudando como seria um schema
bacana para facilitar o meu trabalho nas próximas vezes, ou com um
cruzamento novo de dados.
Em um projeto que desenvolvemos na SPPM sobre scrapers e etc,
desenvolvemos um schema para ser usado em dados que baixamos de
scrapers :
https://github.com/maluco/OpenData-BR/blob/master/etc/schema.xsd
A ideia é trabalhar menos nas próximas vezes, que quisermos cruzar os dados.
Abs!
-Thiago Rondon