Dados abertos do Senado Federal - Sugestões para performance

[Manoel Filho]

Olá, pessoal

Alguém aqui já precisou implementar algo com os dados abertos do Senado Federal? Trabalho com o PHP e percebi que o tempo de resposta para os dados que acesso via REST no site do Senado (http://legis.senado.gov.br/dadosabertos/docs/index.html) demoram um pouco para responder. Alguma sugestão para melhorar o tempo de resposta?

Obrigado =P

[Diego Rabatone Oliveira]

Manoel, no Radar Parlamentar (http://radarparlamentar.polignu.org e http://github.com/radar-parlamentar/radar) nós utilizamos o WebService (WS) do Senado.

Nunca avaliamos essa questão de desempenho, em grande parte porque fazemos uma leitura dos dados que necessitamos e salvamos esses dados numa base própria nossa. Assim não ficamos dependentes da disponibilidade do WS do Senado. Fazemos o mesmo com a Câmara dos Deputados e com a Câmara Municipal de SP.

Com esta abordagem, como a consulta é "pontual", o desempenho não tem impacto relevante no projeto.

Abs,

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Twitter: @diraol

--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em http://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/ef923e75-6c76-4eda-af96-216dae7b70c3%40googlegroups.com.
Para mais opções, acesse https://groups.google.com/d/optout.

[Manoel Filho]

Diego

Pensei em baixar os arquivos xml do Senado a cada X horas e fazer o PHP ler os arquivos do servidor. Assim não preciso acessar a página do Senado. Nosso servidor se encarregará de salvar os arquivos.

Você faz a atualização da base considerando um tempo? Como sabem sem algo novo nas matérias do Senado? 

Me diga o que acha da minha possível solução também.

Desde já, agradeço sua resposta.

Abtraço 

[Diego Rabatone Oliveira]

Cara,

a frequência é bem relativa, depende do dado que você quer, da frequência com a qual ele é atualizado, o quão frequente são as atualizações que você precisa.

No Radar, nossa agregação mais "detalhada" é da ordem de semestre, então não faz muito sentido atualizar "todo dia", mesmo porque as votações nominais são bem poucas.

No sistema deles ainda não existe um sistema de "Push notification", ou um RSS, infelizmente. Seria muito legal ter, e acho que essa é uma "Boa Prática" que ainda está bem longe da realidade em quase todos os sistemas de dados.

De qualquer forma, para os endpoints que possuem listagem com base numa data de referência, o que você pode fazer é registrar no seu sistema qual foi a última data buscada e nas buscas seguintes só pegar dados mais novos que aquela data específica.

Abs,

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Twitter: @diraol

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/9ee4de72-df3c-49ba-adc7-54b5933b3592%40googlegroups.com.

[Manoel Filho]

Valeu, Diego

Ajudou. 

Abraço