[SICONV] API quase pronta

[Nitai Silva]

Pessoal,

Sem muito alarde, quero anunciar que estamos terminando a implementação da API do SICONV. Ou a primeira versão dela, já que o domínio de informação é bem grande e o nosso escopo cobre parte dele.

O endereço é http://api.convenios.gov.br ! Tentamos ser o mais claro possível. O objetivo é, além de abrir os dados, explicar e transparecer o funcionamento desse sistema. Todos os dados estão em CSV, XML e JSON. E pra facilitar a exploração, também disponbilizamos a representação HTML dos dados (ainda instável). Sem mais detalhes técnicos, acessem e leiam a documentação.
Desejamos anunciar oficialmente a API na sexta-feira 04/05, durante o lançamento do portal dados.gov.br, ambos compromissos da OGP.   :D

Para os hackers de plantão, e servidores de órgãos que desejam interoperabilizar, usem, testem, brinquem e achem os bugs. Sugiram melhores formas de filtrar e acessar os dados. Para os jornalistas, se deleitem!
Mais pra frente gostaria de discutir aplicativos sobre os dados, temos várias ideias.

Abraços,
Nitai

[Pedro Markun]

Opa,

muito legal.

Btw, Nitai. Estamos conversando com o Chris Taggart do OpenCorporates pra levar pra lá as informações do COMPRASNET :)

abs,
Pedro Markun

2012/4/28 Nitai Silva <nitaib...@gmail.com>

[Nitai Silva]

Opa Pedro,

Já iniciaram alguma conversa pra conseguir os dados do ComprasNet?

Voltando pro Siconv, alguma melhoria? Não é possível que tá perfeito...

Alguma ideia de reuso desses dados?
Grande parte dos convênios são projetos que beneficiam um município. Seria interessante saber se a comunidade concorda com as propostas de convênios antes delas virarem convênios, não? Por exemplo: http://api.convenios.gov.br/siconv/dados/proposta/1610065.html Será que a população concorda em gastar R$ 1.000.000,00 com alguns shows?

abs
Nitai

2012/4/28 Pedro Markun <pe...@markun.com.br>

[Renato Fabbri]

acompanhando aqui a bela discussao. dando uns minutos tb
dou uns pitacos pois acompanhei varios pontos e em 5 pontoes
eu mesmo trabalhei junto.

Vai ser otimo ter isso publico.

Para quem teve preguica de ir clicar um pouco,
olha o capricho:
:-)

Método:
Consultar Órgãos
Descrição:
Fornece informações dos órgãos envolvidos em convênios. Cada órgão tem
sua própria URI e ID que compõe a mesma.
URL:
http://api.convenios.gov.br/siconv/v1/consulta/orgaos.<formato>
Formatos:
xml, json, cvs, html
Detalhar:
Documentação sobre detalhamento do órgão.
Exemplo:
http://api.convenios.gov.br/siconv/v1/consulta/orgaos.html?nome=planejamento


Nitai, penso + e + em emplacar uso de redes complexas para analizar
essas redes...

> --
> Você recebeu esta mensagem porque está cadastrado no grupo "Transparência
> Hacker"
> Para enviar uma mensagem a todo o grupo, escreva para
> thac...@googlegroups.com
> Para não receber mais mensagens, envie um email para
> thackday+u...@googlegroups.com
> Para mais informações, ou para ler mensagens arquivadas deste grupo, visite
> http://groups.google.com/group/thackday?hl=pt-BR



--
GNU/Linux User #479299
labmacambira.sf.net

[Nitai Silva]

Fala Renato,

Sim sim. Além de propostas/convênios, também existem outras entidades: órgãos concedentes, proponentes/convenentes (ONGs e prefeituras por exemplo) e programas de governo. Delas dá pra tirar várias redes.
Além desse tipo de análise, também dá pra pensar em processamento de linguagem natural (do objeto ou justificativa do convênio), pra descobrir por exemplo, que x% dos convênios do MinC são pra financiar shows, e que outros y% são pra construir bibliotecas.

[]s
Nitai

2012/4/28 Renato Fabbri <renato...@gmail.com>

[Renato Fabbri]

2 cents por enquanto pq acho q vale mesmo:

PLN: http://www.nltk.org/
RC: igraph.sourceforge.net e http://networkx.lanl.gov/

usei os tres ateh q bastantinho. Dos 2 de RC, o primeiro eh mais facil,
o segundo eh mais completo e otimizado.

funcionam maravilhosamente bem, em codigo aberto, bem documentados
(especialmente nltk), td python e igraph tem interfaces para outras linguagens.

estou para fazer uma RC da lista metareciclagem, quem sabe jah nao iniciamos
esse uso dessa api

[Patrícia Cornils]

Nitai,

oi!

existe um ID por município? Como eu descubro?

Patrícia Cornils
11 8372-7473

[Patrícia Cornils]

Hum, achei.

http://api.convenios.gov.br/siconv/doc/basico/municipio.html

[Evandro Oliveira]

Parabéns a todos que estão atuando nestes projetos e colocando

dados de convênios, contratos, acordo de cooperação e afins para

"fora" dos engessados, burocráticos e demagócios sites de 

"transparência" de governo.

Evandro Oliveira

[Nitai Silva]

Oie Paty,

Pra achar o município dá pra buscar pelo nome. Tentei buscar pelo nome "amparo da serra" e não veio nada. Procurei por "amparo" e veja http://api.convenios.gov.br/siconv/v1/consulta/municipios.html?nome=amparo tem uma cidade chamada "amparo do serra".
Se você clicar em proponentes verá que só tem um, a prefeitura. Aí se você clicar em convênios verá que são 4, e nenhum é pra construção de ponte. Mas se você clicar em propostas, verá que são 10 http://api.convenios.gov.br/siconv/v1/consulta/propostas.html?id_proponente=18316174000123, e sim, uma é pra construção da ponte: http://api.convenios.gov.br/siconv/dados/proposta/1646210.html. Essa proposta está com situação "PROPOSTA/PLANO DE TRABALHO ENVIADO PARA ANÁLISE", ou seja, ainda não virou convênio.
Mas já vejo umas coisas estranhas. O proponente (a prefeitura) enviou a proposta no dia 13/04 mas queria iniciar as obras no dia 12/04. Aí fica difícil.

Bem, já tou feliz por te ajudar Paty.
Mas já percebi algumas melhorias: ordenar por data, filtrar por data.

Abraços,
Nitai

2012/4/29 Evandro Oliveira <pyx...@gmail.com>

[Pedro Markun]

Nitai,

eu vou colocar um pad e analisar da mesma forma que fiz com o senado, ok?

De pronto, senti falta de métodos para encontrar os convenios. Eu consigo procurar cidadade e proponente (pelo nome), mas no convenio/proposta (qual a diferença?) não tem nada.

A outra coisa são os dicionários de dados. É sempre legal acompanhar a documentação de como usar o método e a descrição dos campos ter também uma descrição dos valores possíveis do campo e o que eles significam, quando for o caso.

Ex. situação de proposta.

Outra, eu não consigo buscar pro CNPJ, só por CPF do proponente. Era legal incluir, pq muitas vezes vou usar o sistema de vocês pra complementar informações de uma outra base... e ai o CNPJ é o id pra comparar.
(acabei de perceber que o ID do proponente é o cnpj, né? Nesse caso basta documentar melhor!)

Vocês vão disponibilizar um arquivo com os dados brutos também? Ia ser legal.

abs,
Pedro Markun

2012/4/29 Nitai Silva <nitaib...@gmail.com>

[Nitai Silva]

Paty, mais uma coisa. Os municípios não possuem o código IBGE, por enquanto. Com ele poderíamos fazer cruzamentos com outras bases. Mas, sequelas do SICONV, que foi feito nas pressas.

Pedro, a diferença entre proposta e convênio é que nem toda proposta vira convênio. Blz, vamos levantar filtros pros dois, além de ser pelo proponente ou órgão concedente.

Quanto ao dicionário, você diz listar na própria documentação as possibilidades? Será que vendo assim não serve? http://api.convenios.gov.br/siconv/v1/consulta/situacoes_propostas.html
Isso é um cadastro, e podemos cair no problema de desatualizar a documentação, se não for automatizada.

Quanto ao CNPJ, é o ID do proponente http://api.convenios.gov.br/siconv/id/proponente/18316174000123
Vou esclarecer mais.

[]s
Nitai

2012/4/29 Pedro Markun <pe...@markun.com.br>

[Pedro Markun]

Nitai,

acho que mesmo correndo o risco de desatualizar, é super importante ter essa documentação. Idealmente atualizada não pelo grupo técnico, mas pelo pessoal que trabalha com o SICONV, sabe?

Nesse caso específico acho até que os nomes são bem auto-explicativos. Mas eu gostaria de saber o que exatamente acontece quando uma prestação de contas entra em analise. Quem analisa? Quanto tempo dura regularmente?

[Pedro Markun]

http://pad.thacker.com.br/p/siconv

[Diego Rabatone]

Nitai e Pedro, com relação à documentação, concordo com o Pedro de que deve ter a documentação, mesmo que haja o risco de ficar desatualizada.

O que talvez possa ser feito é bolar algum sistema que lê os dados e "exporta" para o sistema de documentação, que deve ser "completado" por gente que conhece a informação.

Algo como:
1) Um bot lê o banco de X em X tempo;
2) Ao encontrar algo novo ele adiciona em um BD de documentação e, simultâneamente, envia um email para uma lista com as pessoas que possuem o know-how dessas informações para que eles complementem a documentação.

Outra possibilidade é enviar este email automaticamente quando os dados forem inseridos no BD do siconv, no processo de inserção de novos dados o sistema já faz a verificação se possui dados novos e, se possuir, já envia o email. (ou adicona um ticket num gestor de tarefas).

Enfim... só uma ideia para tentar automatizar o processo.... =)

[Nitai Silva]

Pedro, tô entendendo. Já estamos dando aquele passo adiante da maior transparência no processo, além da transparência dos dados (fatos).
Tentei contar rapidamente a história na parte "Breve explicação sobre o SICONV", mas concordo que é muito raso pra extrairmos conclusões contundentes.
Bem, tudo que conseguimos extrair da turma que trabalha com o SICONV, além dos dados, colocamos alí na documentação. Pra conseguir dar esse passo e entender melhor o negócio do SICONV, temos que colocar a turma do SICONV na roda, concordo que não é sustentável nós fazermos esse telefone sem fio. Mas isso puxa toda aquela questão da mudança de cultura, quebrar o formalismo e trazer a turma pra roda. É o próximo desafio, abrir o conhecimento, além dos dados.
Diego, me parece que você já começou a modelar um ambiente pra isso. Quem sabe isso deve ser parte do dados.gov.br ?!...

Quanto às questões de erros da API, provavelmente algum bug inserido no último minuto da sexta-feira. A falta de testes automáticos + a arquitetura generalizada, a la framework, deixa o negócio mais frágil. Quanto às questões de formatação de valores e filtros extras, sai rápido.

Antes de tudo, envolver vocês no "processo de desenvolvimento" da API é fundamental.
Vou dando o feedback no pad!

Pedro, e o ComprasNet, conta mais aí! Isso também fica na SLTI, e é questão de repriorizar pra ele ganhar uma API também.

Abraços,

2012/4/29 Diego Rabatone <dir...@diraol.eng.br>

[Pedro Markun]

Opa,

Nitai, vamos seguindo!

Acho que a ideia de incluir o descritivo dos campos no workflow do dados.gov.br seria muito legal. Rufus, sabe se o CKAN já suporta isso de alguma maneira?

Sobre o ComprasNet eu estou falando basicamente do SICAF que já esta aberto, não? O Chris Taggart esta tentando conseguir dados das empresas brasileiras para colocar no OpenCorporates. A Receita esta fazendo jogo duro, mas me ocorreu que via SICAF a gente consegue colocar uma boa quantidade de empresas lá :)

Eu ainda carregaria/complementaria com bases de doação de campanha, siconv e outras tantas pra criar uma base única de CNJP, Razão Social que a gente pudesse ir extendendo e fazendo entity matching :)

abs,
Pedro Markun
ps: Alguém conhece algum algoritmo, sistema de 'fast entity matching'? O jeito que estou fazendo no chequeurl é tão burro que da dó e o sistema não aguenta.

2012/4/29 Nitai Silva <nitaib...@gmail.com>

[William]

Que API bem feita (em termos RESTful)!

Até ETag vocês usaram, parabéns!

É um ótimo caminho se todas as APIs públicas seguissem esse modelo "bem" REST invés de XML-RPC.

[rodrigo aragão pinto]

Olá Nitai e todos da lista. Trabalho com o SICONV no SERPRO e já tinha feito um contato com o Nitai por email a um tempo atrás. A correria está muito grande e não consegui sincronizar as agendas para tratar pessoalmente do assunto, mas nos bastidores fizemos de tudo para deixar as informações do SICONV disponíveis no tempo demandado.

Ainda não dei uma olhada como ficou a base no dados.gov.br, mas sei como essas informações estão chegando lá. Quando teremos um próximo encontro da turma? Não sou desenvolvedor, mas do negócio SICONV eu entendo. Estou à disposição para esclarecer, mapear, documentar e fazer qualquer coisa que torne o processo das transferências voluntárias mais pública.

Acho que agora conseguirei ajudar de alguma forma!

Abraços,

--

Rodrigo Aragão Pinto
+55 TIM (61) 8441.8569

---

[Renato Fabbri]

Rodrigo, penso que poderia sugerir analises, busca por palavras, etc...
Pois interfaces para estes dados tornariam em tese eles disponibilizados
para todo o resto da populacao de forma mais direta, pois poucos manipularão
realmente o os dados. Se vc tem intimidade com o SICONV em si, pode
ter otimas ideias para serem implementadas.

Gostei btte da API e qqr dia faco uns scripts para alguma analise por gosto
e para ajudar um pouco, em python ou php essas coisas podem ficar 3-10 linhas.



Em 1 de maio de 2012 20:34, rodrigo aragão pinto
<rod.a...@gmail.com> escreveu:

> --
> Você recebeu esta mensagem porque está cadastrado no grupo "Transparência
> Hacker"
> Para enviar uma mensagem a todo o grupo, escreva para
> thac...@googlegroups.com
> Para não receber mais mensagens, envie um email para
> thackday+u...@googlegroups.com
> Para mais informações, ou para ler mensagens arquivadas deste grupo, visite
> http://groups.google.com/group/thackday?hl=pt-BR



--

GNU/Linux User #479299
labmacambira.sf.net

[rodrigo aragão pinto]

Oi Renato, já tenho alguns 'modelos' para consultas e/ou geração de indicadores das Transferências Voluntárias da União (TVU).

Espero poder participar do encontro da sexta-feira, assim conseguirei ver a amplitude do patrocínio do projeto e também o que se conseguirá retornar de benefício para a sociedade.

Abraços.

--

[evert...@gmail.com]

Olá!

Sei que é beeem antigo esse post.. mas a API ainda está no ar? O site da api está (http://api.convenios.gov.br/siconv/doc/) porém não consigo fazer nenhuma busca.

Att,

[Pedro Markun]

A api ta desatualizada.

Mas os dados estão disponíveis e tá rolando um Hackathon

justica.gov.br/labpi