Dados da SSP

[Ricardo Martinelli Oliveira]

Olá,

Alguém já utilizou os dados da Secretaria de Segurança Pública do Estado de SP[1]?

Confesso que estou muito confuso com a forma de pegar esses dados. Estou utilizando um crawler escrito em Python e usando scrapy pra coletar os dados, mas os dados me parecem retornar um arquivo Excel(de acordo com os headers da resposta) porém os dados estão formatados como tsv (valores separados por tabs). Por fim, o R não consegue ler os dados corretamente, então eu tenho que manualmente criar um novo arquivo e copiar/colar os dados pra conseguir fazer o R ler o dado.

Enfim, não tá fácil mexer com esses dados e eu queria saber se minhas dificuldades são as mesmas de vocês.

Att,

Ricardo

[1] http://www.ssp.sp.gov.br/transparenciassp/Consulta.aspx

[Julio Trecenti]

Veja se ajuda

http://curso-r.com/blog/2017/05/19/2017-05-19-scrapper-ssp/

Abs

--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em https://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADn3kEuJvLRet0auyfNTpenVSKcgO-vEcvdg5SOr7oOgHQH10w%40mail.gmail.com.
Para mais opções, acesse https://groups.google.com/d/optout.

[Ricardo Martinelli Oliveira]

Obrigado Julio pelo link, é muito útil. Vendo os passos que ele fez eu tinha chegado a algo similar, mas utilizando menos argumentos.

Aproveitando, estou com dificuldade em extrair alguns dados por erro no próprio site. Alguém sabe dizer onde eu reporto os erros? Seria o próprio e-mail transp...@sp.gov.br?

Att,

Ricardo

[Ricardo Martinelli Oliveira]

Oi Julio, analisando novamente o link eu vi que ele pega de uma URL diferente. O que ele está fazendo é pegando o número de ocorrências e o que eu estou querendo é o detalhe de cada ocorrência.

Mesmo assim, obrigado pela ajuda.

[Ricardo Martinelli Oliveira]

Atualizando a Thread...

Eu acabei fazendo o download manualmente dos dados (alguns ainda geram erro ao exportá-los) e gerei um esboço muito básico do que eu quero fazer:

 https://rimolive.github.io/mapa-crime-sp/

A intenção é criar marcadores diferenciados por tipo de crime e botar mais dados. Esses que estão agora são apenas os dados de homicídio de Maio deste ano. Aos poucos eu vou colocando mais informações. Pra quem quiser contribuir, eu também criei uma seção explicando os scripts que usei.

2017-06-04 18:41 GMT-03:00 Ricardo Martinelli Oliveira <ricardo.marti...@gmail.com>:

Oi Julio, analisando novamente o link eu vi que ele pega de uma URL diferente. O que ele está fazendo é pegando o número de ocorrências e o que eu estou querendo é o detalhe de cada ocorrência.

Mesmo assim, obrigado pela ajuda.