Dúvida sobre divisão de dados

[Raphael Perret]

Pessoal,

Trabalho no site do BNDES e, atualmente, disponibilizamos lá uma série de informações (financiamentos contratados) em arquivos para download divididos por ano.

Esta forma é válida? Depois de ler muito sobre dump, pergunto se é melhor deixar disponível um arquivo só com todas as informações. Ou ambas? (embora este caso pareça desnecessário)

Obrigado!

Abs,

Raphael. 

[Guilherme Jardim Duarte]

Valida sempre é. Mas sempre há custos. No caso, teríamos de rodar um script pra automatizar a coleta de todas as planilhas e importar tudo em SQL. A vantagem da planilha é que é fácil pra qualquer pessoa lê-la numa planilha comum (seja librecalc ou lotus 123).  Agora deixar para dump reduz os custos para quem quer lidar com todo o banco.
Conclusão. Deixar planilhas, aumenta acesso. Deixar para dump, aumenta transparência. Ambas é melhor

--
Você recebeu essa mensagem porque está inscrito no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar inscrição nesse grupo e parar de receber e-mails dele, envie um e-mail para thackday+u...@googlegroups.com.
Para postar nesse grupo, envie um e-mail para thac...@googlegroups.com.
Acesse esse grupo em http://groups.google.com/group/thackday.
Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-052D3QmQPc5RUNfwEwg-xreEibdjpcNQ0E0MegYHh7Rxg%40mail.gmail.com.
Para mais opções, acesse https://groups.google.com/d/optout.

[Pedro Markun]

Quantos anos são?

Qual o volume de dados?

Via regra (que acabei de inventar) eu separaria por ano se o csv total vai ter mais que 100mb

Se não,  um único csv com campo ano - resolve melhor.

Sobre o dump, eu particularmente não curto.

O trampo de migrar do seu subset (postgre? Microsoft? Mysql? Oracle?) de SQL para o meu é o mesmo ou maior que ligar com csv.

—— escrito no celular

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAH86jAR6eq_twm-f%2BnNUB9PdBj0DZC1EfZTSdOOvjJqNHbJmKg%40mail.gmail.com.

[Guilherme Jardim Duarte]

Pode ser.  Quando eu pensei em Dump, eu pensei justamente em MySQL ou PostgreSQL. 

Mas se é pra escolher entre uma das duas, prefira o .csv. Sobretudo se o banco for menor que 500 MB, aí é CSV na certa.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CABnW7Vd%2BAGszSpfp4u8x%3Dcci-U0b%3DODcQvMcNOVSnoFz0X1rEw%40mail.gmail.com.

[Raphael Perret]

A gente usa CSV (e XLS tb, não briguem comigo, please :-)) , desde 2002. 

Tenho certeza absoluta de que não passa de 100 MB. Trezentas linhas por ano, com umas dez colunas, sendo que o maior deve ter uns 100 caracteres. 

Também começo a achar que é melhor ter uma base só em CSV.

Valeu, galera.

Abs,

Raphael.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAH86jAQ6Fj6wVrMyENMviBOyGzRA5xys35at3%3DS0%3D0kMb_dZvg%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

--

Raphael Perret - Jornalista

Chico Buarque - 70 anos. Acompanhe a homenagem:

www.facebook.com/chico70anos

chico70anos.tumblr.com

[Mario Mol]

Olá,

esta semana mesmo sugeri ao pessoal aí para disponibilizarem o dump, talvez é a mesma demanda ahuuaha

bem quando falei dump é pensando em qualquer formato, mas sem duvida o preferencial é o csv, todos os anos e todas as bases em um arquivo zip.. acho q no caso de vcs realmente são poucos dados.. mas q valem muito para nós =)

abs

mario mol

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-051LXu5p%2BwVx%3DWdGsJ2hxA%3Dsex%3Du1Ha%3D5BHHQymTyQ9iA%40mail.gmail.com.

[Raphael Perret]

Sim,  Mario, minha dúvida é baseada nisso, eu estava lá  :)

Obrigado!

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-zhwWVc_GbG-J7_p07BUVPLjQPt_i5k237m3fSZnKQq9g%40mail.gmail.com.

[Mario Mol]

Quando tiver esse dump vc informa aqui pra nós?

Achei esse link com produtos de exportacoes, mas nao tem valor nem outros dados, onde posso encontrar?

http://www.bndes.gov.br/SiteBNDES/bndes/bndes_pt/Institucional/BNDES_Transparente/Consulta_as_operacoes_do_BNDES/nova_consulta_pos_embarque.html

abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-06E%2BXpHJ2aAg27-J1Z6DsgHnq01aJ-e%2B0G4DiFaH4whdg%40mail.gmail.com.

[Diego Rabatone]

Mário, aqui tem algumas coisas interessantes:

https://www.google.com.br/?gfe_rd=cr&ei=fZptVZSpJ4Gq8wed_4H4Dw&gws_rd=ssl#q=site:bndes.gov.br+filetype:xls

--------------------------------
Diego Rabatone Oliveira
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-xJvUP2nA6064PLALFjmHKee%3DV_B-z%2BB0QK%3Dv2Lgn1J9g%40mail.gmail.com.

[Mario Mol]

pois é... essa foi uma critica q fiz.. os arquivos de dados estão todos espalhados, em formato xls e mesmo assim nao contemplam todo os conteudos exibidos pelo tableu (e olha q nem toda view tem opcao pra baixar os dados)..

sem contar q grande parte destes xls nao sao dados, mas sim modelos, anexos, projetos...

alem do site ser extremamente textual.. cada área tem uma biblia pra explicar algo que poderia ser segmentado até mesmo com imagens..

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CACoXO7wSK8Pwxza5ig5AqBJc%2Bbe-q3WBuYzpGvTWeNdkNDymGQ%40mail.gmail.com.

[Raphael Perret]

No mesmo dia em que você mandou a mensagem, o site foi atualizado com a nova seção do BNDES Transparente. Por isso resolvi aguardar antes de responder com os links novos.

Dados mais completos sobre exportações para obras no exterior:

http://www.bndes.gov.br/SiteBNDES/bndes/bndes_pt/Institucional/BNDES_Transparente/consulta_as_operacoes_exportacao/painel_consulta_pos_embarque_obras.html

(Tableau + link para download da base, em XLS ou CSV)

Mais sobre exportações (dados bem resumidos, como este que vc mandou anteriormente):

http://www.bndes.gov.br/SiteBNDES/bndes/bndes_pt/Institucional/BNDES_Transparente/consulta_as_operacoes_exportacao/

Dados mais completos sobre financiamentos no Brasil:

http://www.bndes.gov.br/SiteBNDES/bndes/bndes_pt/Institucional/BNDES_Transparente/Consulta_as_operacoes_do_BNDES/painel_consulta_diretas.html

(Tableau + link para download da base, em XLS ou CSV)

Mais sobre financiamentos no Brasil (dados mais resumidos):

http://www.bndes.gov.br/SiteBNDES/bndes/bndes_pt/Institucional/BNDES_Transparente/Consulta_as_operacoes_do_BNDES/

Baseados nas conversas da semana, colocamos as planilhas recém-lançadas em CSV sem divisão por anos. As antigas ainda estão divididas por ano. 

Abs,

Raphael.

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-xJvUP2nA6064PLALFjmHKee%3DV_B-z%2BB0QK%3Dv2Lgn1J9g%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Mario Mol]

Olá!!

Fiz um pequeno dashboard com esses dados

http://bndes.rama.net.br/

O que falta muito é o juros e prazo de parcelamento para financiamentos no Brasil.

Tem alguma previsão para ter esses dados no portal do BNDES?

Abs,

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-05Tr6YBujsAKR%2Bb-%3DuyTBgs71E5htYUmrTnUqvwRHM4Ew%40mail.gmail.com.

[Raphael Perret]

Opa!

Algumas dessas planilhas do Google, embora estejam online, nem são mais chamadas dentro do site. Várias planilhas foram agrupadas, diminuindo a quantidade de arquivos. E a maioria também está disponível em CSV. Um bom sinal de que é preciso reorganizar esse conteúdo :-)

Realmente os arquivos estão espalhados porque os financiamentos têm características diferentes. Então temos uma página pra cada tipo de financiamento e seus arquivos correspondentes. Acham interessante que tenha uma página que agrupe esses arquivos/planilhas todos?

O que você chama de "modelos, anexos, projetos" nos XLS? 

O site realmente é muito textual. A diminuição de textos e aumento de imagens é requisito primordial no novo site que já estamos desenvolvendo.

Obrigado pelos comentários!

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-y8Bb86%3DLM_U61uqdmyuQU-YhLvZh%2ByHpftQdTcJycZ%3Dw%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Raphael Perret]

Ficou muito legal! Vou mostrar à nossa equipe!

Sobre juros e prazos: ué, as novas informações divulgadas na terça trazem esses dados...

Print do Tableau:

Nos arquivos (http://www.bndes.gov.br/transparencia/Consulta_as_operacoes_do_BNDES/planilhas_operacoes_diretas_e_indiretas_nao_automaticas.html) esses dados estão nas colunas "Custo financeiro", "Juros", "Prazo Carência" e "Prazo Amortização".

Quando o "custo financeiro" tem o valor "taxa fixa", então a taxa final é só o valor de "Juros".

Senão, a taxa final é custo financeiro + juros.

Abs!

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-zF8zU0cfAqRY0YFVf0w57N9j0tM4RnT9wcJUrLwnjGWg%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Mario Mol]

Eu havia baixado os dados na terça.. mas realmente agora parece ter os dados com juros... bom demais.. vou atualizar..

Só tem um problema de enconding dos arquivos CSV:  Descri��o

A dica: tente gravar com formatação UTF8 .

Eu vi que vocês já alteraram no site parte que tem muito texto e incluíram imagens, chamadas pra view direto.. isso ai.. segue essa linha q ta massa..

Ter um zip com todos os csv seria muito bom..

Pelo que entendi temos:

* Exportacoes

* Indiretas automaticas

* Diretas e Indiretas nao automaticas

* Operacoes com Estados e Municipios

Minha duvida:

* Esses 4 representam quantos % do total financiado pelo BNDES?

* Operacoes com Estados/Municipios ja nao está dentro de Diretas/Indiretas?

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-05KTbFpdgOKH-6Pp_bbWNf0LG3j1J1QQBR5bSFuf3gNXA%40mail.gmail.com.

[Mario Mol]

Ooppss.. o que tem Juros é apenas os dados de 2012 em diante..

Ja os 2011 e anteriores continua sem juros, veja so:

http://www.bndes.gov.br/SiteBNDES/export/sites/default/bndes_pt/Galerias/Arquivos/consultas/operacoes_dir_ind_nao_aut_2011.csv

[Raphael Perret]

Opa!

Legal. Vi que no dashboard do Rama não tem os financiamentos de 2012 pra cá. Quando vcs incluirem os dados de terça, devem entrar.

Vamos acertar a codificação. Vamos ver, também, se reunimos todos os dados pelo menos na mesma página.

Sobre suas dúvidas:

1) conceitualmente isso tudo representa 100% das operações. Só que as consultas às indiretas automáticas não incluem operações com Cartão BNDES. Não sei qual é o share. Lembrando também que esses dados não incluem apoio via renda variável.

2) sim, estados e municípios tem em diretas e indiretas. A gente faz uma consulta especial pra área pública porque não tem sigilo bancário em nenhuma fase do financiamento, então divulgamos se o pedido está em fase de consulta, se foi aprovado mas ainda não enquadrado... Além disso, também dá pra ver não só o valor contratado, mas também os valores já liberados ao beneficiário. 

Valeu pelos elogios... Esperamos melhorar ainda mais.

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-y7-GrurW04HHFwbd2%2B8q-K_MDvL0jpT8kkL%3Dxu5VhxAw%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Raphael Perret]

Sim. Os juros e prazos foram as informações ampliadas e divulgadas na terça, e se referem, por enquanto, apenas às operações a partir de 2012. Em breve esse escopo será ampliado.

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-wX_%3D%2BBQ2vTq0zBYueYNFQhDb7B7zeNmRE6BAbqFJQXjQ%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Mario Mol]

Percebi que as operaoes com cartao tem q ser por meio de CPF/CNPJ.

Por acaso tem o dump desses dados?

Esse modo de apoio via renda variável, ele não está disponível então?

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-05pN%2BpJbwWe%3DdAjjtkhGZhMakp-cboo7x-DTks3JKYm0A%40mail.gmail.com.

[Pedro Markun]

Gente,

to sem tempo pra mergulhar e brincar no código... mas tem isso agrupado por setor em n'algum canto?

E mais: Tem alguma dica que eu não conheço para agrupar magicamente CNPJ por Setor?

O melhor que eu consigo pensar é usar CNAE com dados da Receita. Mas 1) Tem captcha (o que acaba fazendo mais fácil raspar um desses vários sites que já raspou e espelha os dados) 2) Os CNAEs por vezes são muito descritivos e não representativos do 'setor' pq - em especial grandes conglomerados - acabam justamente tendo empresas especializadas em diferentes partes administrativas da operação.

[]'s

Pedro Markun

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-wnx02_bJLU_%3Dok_n%3De6DoLLJXyFAooXvUr7qM6ZbqPAg%40mail.gmail.com.

[Raphael Perret]

Cartão BNDES e renda variável não estão disponíveis.

Uma dúvida: se vc não tinha ainda inputado os dados de financiamentos domésticos de 2012 em diante, que são os que trazem juros e prazos, por que no ranking de empresas aparece a taxa de juros por empresa?

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CAGOV_-wnx02_bJLU_%3Dok_n%3De6DoLLJXyFAooXvUr7qM6ZbqPAg%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Raphael Perret]

Pedro,

não sei se ajuda, mas na ferramenta Mais BNDES (www.bndes.gov.br/maisbndes), o visitante vai preenchendo um formulário e, num determinadomomento, ele precisa escolher o setor econômico a que pertence (são seis disponíveis) e, em seguida, aparece uma combo de CNAEs pra ele esclher, de acordo com o setor selecionado.

Só não sei se esse agrupamento é oficial do IBGE ou se o BNDES fez de forma prática pra auxiliar quem preenche.

Abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CABnW7VdqEsUDi%3D_aRnjxrv8deO%3Dg5CzSwjtFm8353aH164keVw%40mail.gmail.com.

Para mais opções, acesse https://groups.google.com/d/optout.

[Mario Mol]

Infelizmente so na raça http://www.receita.fazenda.gov.br/pessoajuridica/cnpj/cnpjreva/cnpjreva_solicitacao.asp

bizarro nao existir um dump disso... tem esse captcha maldito.. em tese teria q ser feito na unha.. 

http://proprietariosdobrasil.org.br/ -> eles devem ter uma lista disso nao?

abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-075jU6UhTEZORHSeKh3Z6_auQAdGk3A9CDW7QGEO5tfgQ%40mail.gmail.com.

[Mario Mol]

eu me confundi.. ja estava de 2012... mas tem algum bug q so mostra no ranking e nao nas views..

o ranking considera exportacao tb..

o juros calculo media ponderada com o valor do projeto.. 

pra trazer de dolar pra real usei a cotacao media do ano..

queria juntar todos os financiamentos num bolo só.. tem alguma previsão de qd consegue liberar os outros dois?

abs

Para ver essa discussão na Web, acesse https://groups.google.com/d/msgid/thackday/CADCb-05mgxADaMCfWZFX7jFcXNdhV6vo6Fx0wc21bs27GbKkuQ%40mail.gmail.com.