Fwd: Re: Idéia para mapa pro Cuidando

[Everton Zanella Alvarenga]

---------- Mensagem encaminhada ----------
De: "Andres MRM" <and...@inventati.org>
Data: 22/11/2014 23:16
Assunto: Re: Idéia para mapa pro Cuidando
Para: "Edgar Zanella Alvarenga" <e...@vaz.io>, "Everton Zanella Alvarenga" <t...@okfn.org.br>
Cc: "Gisele da Silva Craveiro" <gise...@usp.br>

Oi Edgar,

Obrigado pela sugestão. Desde que o Cuidando foi feito temos pensado em outras
visualizações, e acho que uma desse tipo que você está apontando poderia ser
bem interessante. Só não sei se os dados não são tão "caóticos" que a
visualização continuaria "ruidosa". Mas acho que vale a pena tentar.

Isso me lembra outra questão que gostaria de colocar, e aproveito que a Gisele
está em CC. O Gastos Abertos vai aproveitar o código do Cuidando e aprimorar
a visualização que ele gera?
Tendo em vista que vamos usar a mesma base de dados, com fins bastante
parecidos, não vejo porque não.

A Gisele comentou comigo que a SEMPLA começou a publicar uma base
(aparentemente) mais detalhada da execução proposta para 2015:
http://sempla.prefeitura.sp.gov.br/orcamento/uploads/2015/PLOA467BaseDadosQuadroDetalhadoDaAcao.ods
(acho que era essa a base que vocês disseram que ela ficou feliz quando viu)
A ideia da Gisele seria então usar essa nova base (que não é estruturalmente
muito distinta da anterior) para as novas geolocalizações.

Abraços!


Ps.: Acho que esse e-mail deveria ir para uma (2?) das listas do GA, não? Se
concordarem, encaminhem por favor.


On 20-11-14 19:24, Edgar Zanella Alvarenga wrote:

Oi Andres,

esse é um exemplo de tipo de mapa que comentei que acredito deixaria muito
mais limpo se utilizado no Cuidando:

http://demographics.coopercenter.org/DotMap/

Mudando para marcadores maiores como hoje apenas quando estivesse mais
aproximado.

Abs,
Edgar

[Edgar Zanella Alvarenga]

Oi Andres,

> Isso me lembra outra questão que gostaria de colocar, e aproveito
> que a Gisele está em CC. O Gastos Abertos vai aproveitar o código
> do Cuidando e aprimorar a visualização que ele gera? Tendo em vista
> que vamos usar a mesma base de dados, com fins bastante parecidos,
> não vejo porque não.

Vendo o código no repositório do Cuidando eu acho bem improvável
o aproveitamento do código de lá. Em boa parte pelo fato do código
estar em php, mas quanto ao que está em Javascript, vai ser difícil
utilizar caso optemos por um dos frameworks que comentei em outros
emails. Mas mesmo o código das tabelas, vamos optar por utilizar
algo pronto como o DataTables (http://www.datatables.net/), só
gastando esforços em eventuais customizações ou na criação de novos
tipos de visualizações que não possuam ainda uma implementação aberta.

Mas vamos ver, claramente nada impede que reutilizemos um snippet
aqui ou acolá se for interessante.

Quanto a base de dados, acho que não era essa pois era uma planilha
que já temos no repositório:

https://github.com/okfn-brasil/gastos_abertos_dados

Abs,
Edgar

On 22/11/2014 23:27, Everton Zanella Alvarenga wrote:
> ---------- Mensagem encaminhada ----------

> De: "Andres MRM" <and...@inventati.org [2]>

> Data: 22/11/2014 23:16
> Assunto: Re: Idéia para mapa pro Cuidando

> Para: "Edgar Zanella Alvarenga" <e...@vaz.io [3]>, "Everton Zanella
> Alvarenga" <t...@okfn.org.br [4]>
> Cc: "Gisele da Silva Craveiro" <gise...@usp.br [5]>

>
> Oi Edgar,
>
> Obrigado pela sugestão. Desde que o Cuidando foi feito temos pensado
> em outras
> visualizações, e acho que uma desse tipo que você está apontando
> poderia ser
> bem interessante. Só não sei se os dados não são tão "caóticos"
> que a
> visualização continuaria "ruidosa". Mas acho que vale a pena
> tentar.
>
> Isso me lembra outra questão que gostaria de colocar, e aproveito
> que a Gisele
> está em CC. O Gastos Abertos vai aproveitar o código do Cuidando e
> aprimorar
> a visualização que ele gera?
> Tendo em vista que vamos usar a mesma base de dados, com fins
> bastante
> parecidos, não vejo porque não.
>
> A Gisele comentou comigo que a SEMPLA começou a publicar uma base
> (aparentemente) mais detalhada da execução proposta para 2015:
>
>
> http://sempla.prefeitura.sp.gov.br/orcamento/uploads/2015/PLOA467BaseDadosQuadroDetalhadoDaAcao.ods

> [6]

> (acho que era essa a base que vocês disseram que ela ficou feliz
> quando viu)
> A ideia da Gisele seria então usar essa nova base (que não é
> estruturalmente
> muito distinta da anterior) para as novas geolocalizações.
>
> Abraços!
>
> Ps.: Acho que esse e-mail deveria ir para uma (2?) das listas do GA,
> não? Se
> concordarem, encaminhem por favor.
>
> On 20-11-14 19:24, Edgar Zanella Alvarenga wrote:
>
>> Oi Andres,
>>
>> esse é um exemplo de tipo de mapa que comentei que acredito
>> deixaria muito
>> mais limpo se utilizado no Cuidando:
>>

>> http://demographics.coopercenter.org/DotMap/ [1]

>>
>> Mudando para marcadores maiores como hoje apenas quando estivesse
>> mais
>> aproximado.
>>
>> Abs,
>> Edgar
>

> --
> Você recebeu essa mensagem porque está inscrito no grupo
> "gastosabertos-dev" dos Grupos do Google.
> Para cancelar inscrição nesse grupo e parar de receber e-mails
> dele, envie um e-mail para
> gastosabertos-...@googlegroups.com [7].
> Para postar nesse grupo, envie um e-mail para
> gastosab...@googlegroups.com [8].
> Para ver essa discussão na Web, acesse
>
> https://groups.google.com/d/msgid/gastosabertos-dev/CAOUmeJAbzYNuzX4FhPUPxqSCnZjCU1%2B7AbaaWkQXhomjRz1ACg%40mail.gmail.com
> [9].
> Para mais opções, acesse https://groups.google.com/d/optout [10].
>
>
> Links:
> ------
> [1] http://demographics.coopercenter.org/DotMap/
> [2] mailto:and...@inventati.org
> [3] mailto:e...@vaz.io
> [4] mailto:t...@okfn.org.br
> [5] mailto:gise...@usp.br
> [6]
>
> http://sempla.prefeitura.sp.gov.br/orcamento/uploads/2015/PLOA467BaseDadosQuadroDetalhadoDaAcao.ods
> [7] mailto:gastosabertos-...@googlegroups.com
> [8] mailto:gastosab...@googlegroups.com
> [9]
>
> https://groups.google.com/d/msgid/gastosabertos-dev/CAOUmeJAbzYNuzX4FhPUPxqSCnZjCU1%2B7AbaaWkQXhomjRz1ACg%40mail.gmail.com?utm_medium=email&utm_source=footer
> [10] https://groups.google.com/d/optout

[Andres MRM]

Na verdade eu falava mais sobre o código de geolocalização dos dados, que está
em Python+Perl. (O Renan, que fez a primeira versão do Cuidando, usava Perl.
Quando eu passei a dar manutenção no projeto, o fiz em Python. Por isso a
mistura. A ideia seria reescrever também a parte em Perl para Python.)

Então, a planilha que você colocou no repositório, de 2014, é a base que o
Cuidando vem utilizando até hoje. Porém, como disse no outro e-mail, a
prefeitura publicou uma outra estrutura de base para 2015:
http://sempla.prefeitura.sp.gov.br/orcamento/uploads/2015/PLOA467BaseDadosQuadroDetalhadoDaAcao.ods
Que aparentemente tem mais detalhes em alguns aspectos (menos em outros).
A ideia seria usar essa base também.


Abs

>--
>Você está recebendo esta mensagem porque se inscreveu no grupo "gastosabertos-dev" dos Grupos do Google.
>Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para gastosabertos-...@googlegroups.com.
>Para postar neste grupo, envie um e-mail para gastosab...@googlegroups.com.
>Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/gastosabertos-dev/87412c29a533ad58984d38f6ab0c0029%40vaz.io.
>Para obter mais opções, acesse https://groups.google.com/d/optout.

[Andres MRM]

Legal esse DataTables! Não conhecia.

[Andres MRM]

É importante notar que essa base nova está na parte de "proposta" para 2015:
http://sempla.prefeitura.sp.gov.br/orcamento/proposta.html
Não sabemos ao certo como isso irá se refletir nos dados da base de execução
de 2015, que ainda não foi publicada... É possível que ela seja tão ou mais
completa que a de proposta, não fazendo sentido usarmos as duas, mas sim
apenas a de execução. O que quer dizer que precisaríamos adaptar menos coisas
ainda para continuar usando o código do Cuidando para os georeferenciamentos.

[Edgar Zanella Alvarenga]

Dei uma olhada rápida no código novamente, no lib/ com o CachedGeoCoder
e na parte em Perl e Python. O de Perl não vamos utilizar mesmo,
não só por ser Perl, mas coisas como o CachedGeoCoder, prefiro
utilizar o próprio cache de um banco de dados como o Postgresql,
(isso se viermos a utilizar uma banco de dados relacional).
Sqlite é problemático para escritas concorrentes.

O de Python:

https://github.com/okfn-brasil/cuidando/blob/master/processador/src/auto.py

com certeza iremos utilizar o Pandas pra parte de processamento
dos xls, ou pra trabalhar ler ou escrever JSON, mas isso também é
detalhe pois isso vai ser o menor dos nossos problemas (well, a
non problem na realidade).

Abs,
Edgar

[Andres MRM]

Entendo. Bom, mas e a ideia por trás? De procurar por elementos no texto das
descrições das despesas para depois tentar geolocalizar? Isso vamos usar?
Acho que era isso que eu estava querendo perguntar na verdade...


A lista de palavras que o Cuidando busca atualmente é essa:
https://github.com/okfn-brasil/cuidando/blob/master/processador/resources/lists.json
É a mesma desde a primeira versão...

>Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/gastosabertos-dev/849a7b62bb11185069da2ebadc910745%40vaz.io.