não temos acesso às licitações do município - e agora?

[Daniela Mattern]

Encaminho abaixo a resposta da SEMPLA.

E agora? alguém pode ajudar raspar?

a raspagem é um pouco chata - aparentemente as páginas de resultados da busca não seguem muito uma lógica:

http://e-negocioscidadesp.prefeitura.sp.gov.br/ResultadoBusca.aspx#ACPN4kz%2fu7c%3d

@Fernanda: como é isso? - temos um sistema online que armazena dados e não é possível oferecer a base? como isso? falta conhecimento técnico lá dentro? a prodam consegue ter acesso a essa base?

um abraço

Daniela

---------- Forwarded message ----------
From: <nao-re...@e-sic.prefeitura.sp.gov.br>
Date: 2013/7/15
Subject: e-SIC - Pedido Respondido
To: 3last...@gmail.com

Sistema e-SIC

Prezado(a) Senhor(a),

Seu pedido de acesso à informação foi analisado e teve resposta na data 15/07/2013, cujo teor segue descrito abaixo.

Protocolo: 1269

Interessado: Instituto de Fomento à Tecnologia do Terceiro Setor
Prazo de atendimento: 15/07/2013
Órgão da solicitação: SEMPLA - Secretaria Municipal de Planejamento, Orçamento e Gestão

Solicitação: Prezados Senhores, gostaria de solicitar a base de dados do site http://e-negocioscidadesp.prefeitura.sp.gov.br/ desde o início do funcionamento do sistema. Referente a cada ato de compra/licitação gostaria de saber: - Nr. Publicação - Licitador - Modalidade - Data Abertura - Objeto - Link para Minuta do Contrato / Edital - Área - Sub-Área - Modalidade - Número - Processo - Publicado em (data) - Entrega Edital (data, horário) - Recebimento Proposta (data) - Abertura (data, horário) - Local de Execução Desde já agradeço pela colaboração. Atenciosamente, Daniela Mattern

Resposta: Prezada Sra. Daniela Mattern, Informamos que existe uma inviabilidade técnica quanto ao envio da base de dados solicitada, tendo em vista que o volume de registros é muito grande e sua gravação em base externa ao sistema é incompatível. Esclarecemos ainda que, para o tratamento destes dados, seria necessário um sistema para a leitura de diversas tabelas de tradução. Ressaltamos que o site http://e-negocioscidadesp.prefeitura.sp.gov.br/ foi desenvolvido para o atendimento de diversos tipos de pesquisas, não exige pré-cadastro, o acesso é gratuito, rápido e transparente. A Secretaria Municipal de Planejamento, Orçamento e Gestão agradece o contato.

Para mais informações e solicitação de esclarecimento visite o site.

http://e-sic.prefeitura.sp.gov.br

Agradecemos o contato !

--

Daniela Mattern
Coordenadora Geral
IT3S - Instituto de Fomento à Tecnologia do Terceiro Setor
Fone: 0055-11-36285787
Celular: 0055-11-987 356 563

Siga nosso Twitter | Acompanhe nosso Facebook
prestandocontas.org
maps.mootiro.org

it3s.org

[Pedro Markun]

Haha,

pro anuário de respostas bizarras, hein?

Bora raspar sim, Dani.

Esses callbacks em ASP são um saco.

http://blog.scraperwiki.com/2011/11/09/how-to-get-along-with-an-asp-webpage/

Mas vou ver se faço aqui.

abs,

Pedro Markun

2013/7/15 Daniela Mattern <daniela...@it3s.org>

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para thackday+u...@googlegroups.com.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Visite este grupo em http://groups.google.com/group/thackday.
Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CACOsoeADjgLkmL2f5p%3D8A9ov3mRJyZBFdL2Ub8PUuXKsTDE9Fg%40mail.gmail.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
 
 

[Daniela Mattern]

opa, Pedro! legal.

como a gente pode dividir?

ainda não entendi quantas licitações ao todo tem na base. Você já encontrou?

é certo que precisamos procurar a base pelos três estágios: encerrado, andamento, aberto?

aqui, por exemplo, procurei pelas encerradas entre 1999 e 2014

http://e-negocioscidadesp.prefeitura.sp.gov.br/ResultadoBusca.aspx#VcaeGh3Yejw%3d

um abraço

Daniela

2013/7/15 Pedro Markun <pe...@esfera.mobi>

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CABnW7VfRHTm2jA7f_M%2By3UH8u8%2BOh1ZQoap3gmzH0ROh5ybgTw%40mail.gmail.com.

Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
 
 

[Luiz Carlos V Silva]

Oi Daniela,

Veja aqui um exemplo:

Para mais informações e solicitação de esclarecimento visite o site. 

http://e-sic.prefeitura.sp.gov.br 

Agradecemos o contato !

Não seria o caso de ser obrigado a assinatura do responsável pela resposta?  Que coisa mais bizarra!!!

Luiz Carlos

--

[Daniela Mattern]

Sim, concordo.

de algumas respostas eu consigo saber os nome, por exemplo, a SMT e a SMDU assinam com nome. no entanto, várias não.

isso, ao meu ver tá errado. fica mais esquisito ainda, pq o cidadão tem que se identificar com tudo.

um abraço

Daniela

2013/7/15 Luiz Carlos V Silva <spa...@gmail.com>

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CAMemmXmq9hQuRD7uMSb7mc%3DQJ8krUVKNNNwkdwes8%3Dq1DvHwuA%40mail.gmail.com.

Para obter mais opções, acesse https://groups.google.com/groups/opt_out.
 
 

[Luiz Augusto]

Muito grande quanto, para travar o 386 de 1840 do funcionário que ameaçou extrair os dados?

Daniela, eu pessoalmente insistiria um pouco mais, especialmente por (já te adiantando a resposta) ser realmente necessário ir em cada um dos status. Da última vez que eu tentei, só conseguia algo indo de órgão em órgão, tipo por tipo, status por status (não consegui os termos exatos pelo site estar lentíssimo para abrir aqui, o que talvez valide minha teoria sarcástica... ou já é o Pedro brincando nele?), mas pode ter sido também barbeiragem minha.

Na insistida eu pediria arquivo(s) CSV e respectivas legendas de dados de cada posição/tabulação. Mata 1/3 da resposta.

Deixe claro que você quer trabalhar com esses dados em ferramentas mais propícias a análise de dados do que a interface deles e desenhe que você não é uma tiazinha entediada querendo navegar aleatoriamente no site. Mata mais 1/3.

E se eles encherem muito, peça pra virem também os arquivos anexos (editais e etcs disponibilizados no site) =P

Talvez seja necessário lembrar pra eles que existem unidades removíveis de armazenamento (pendrive, HD USB, CDs etc) e que, após o cerebro humano ter trabalho por algumas horas (talvez seja esse o trabalho), os computadores costumam trabalhar sozinhos ao acionamento de comandos.

Há uma ONG estadunidense especializada em ensinar o be-a-ba para os órgãos públicos até conseguir 'bulk data' de diversos tipos.

Um exemplo:

https://public.resource.org/copyright.gov/index.html

https://bulk.resource.org/copyright/

Eles disponibilizaram, além dos dados, a maior parte da conversação necessária para conseguir os dados. Vale a pena se debruçar nos argumentos deles.

Precisamos de uma dessas para o BR... =P

2013/7/15 Daniela Mattern <daniela...@it3s.org>

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CACOsoeBW_fr725Jq9hMwgm4L24FrbZJ6WZLGGQdO6L-5hcZQrw%40mail.gmail.com.

[Daniela B. Silva]

Eu diria que essa é boa pro anuário de respostas bizarras *de órgãos que não sabem o que são dados abertos*. O Haddad também *abriu* os dados do orçamento transporte em várias páginas em asp. Dureza, hein?

[Aliás, Diego, evoluiu na raspagem que-eu-disse-que-ia-ajudar-e-não-ajudei dessas bases? Tá muito difícil? Vamos tentar de novo? :P]

Dani, na paralela da raspagem, acho que vale refazer o pedido deixando que essa resposta recebida não atende a sua necessidade, e especificando o formato em que você quer receber os dados. A gente tem esse dispositivo na LAI e tem que pelo menos tentar criar essa cultura, for god sake.

Beijos e suerte.

2013/7/15 Luiz Augusto <lug...@gmail.com>

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CAMHeynkV35Wy3-z0aDQBwyk7iVVoQeJNVbRD0g4mDN2tUXzGtQ%40mail.gmail.com.

[Diego Rabatone]

Gostaria apenas de ressaltar que eu não acho que devamos exigir que as respostas sejam necessariamente "nominais". O Pedido de Informação tem que ser feito ao órgão público, não ao funcionário público, e se a resposta foi absurda e alguém tem que ser responsabilizado, esse alguém é o gestor responsável pelo órgão (que é quem deve ir atrás de quem deu a resposta e avaliar a situação).

Querer "penalizar" direta e publicamente cada um dos funcionários públicos que responde é personalizar a questão, e eu acho um enorme erro personalizarmos a questão, acho que temos que tratar institucionalmente dela.

Dani (Silva), não consegui andar mais com a raspagem não, acabei por largar mão, vai ser muito complicado.

O código abaixo, feito para o novo scraperwiki, recupera cada célula da tabela da SPTrans para um determinado mês e salva essa célula como um registro no BD (do scraperwiki). Se alguém quiser se aventurar fique à vontade! =)

#!/usr/bin/env python

import scraperwiki

import requests

import lxml.html

import re

html = requests.get("http://www.sptrans.com.br/indicadores/historico_receitas-despesas.aspx").content

dom = lxml.html.fromstring(html)

num_linha = 0;

num_coluna = 0;

dado = {}

#unique_keys_completo = [ 'mes', 'ano', 'linha', 'coluna' ]

unique_keys = [ 'linha', 'coluna' ]

def extract_ano(celula):

    conteudo = celula.text_content();

    retorno = re.match('\w\+/\d\+')

for table in dom.cssselect('.anoHold table'):

    linhas = table.cssselect('tr');

    for linha in linhas:

        num_coluna = 0;

        celulas = linha.cssselect('td');

        for celula in celulas:

            

            dado = { 'linha': num_linha, 'coluna': num_coluna, 'valor_celula': celula.text_content()};

            num_coluna += 1;

            scraperwiki.sql.save(unique_keys, dado);

        num_linha += 1;

            

--------------------------------
Diego Rabatone Oliveira
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CAOaE%3DCR-gZ%2BEe7bQ0WnJZYhrFei6vUbihS%3D34%3DWtTNRwuFvnXg%40mail.gmail.com.

[Daniela B. Silva]

Rabatone, eu concordo com você totalmente, mas infelizmente a LAI discorda. Teoricamente o pedido tem que ser sim respondido nominalmente, pra você poder identificar essa pessoa num organograma que deveria ter sido publicado, e saber quem é o primeiro responsável "superior" a ela dentro do órgão para encaminhar seu primeiro recurso. 

É uma zona, né? A gente pode ignorar a LAI pra coisa pegar de outro jeito, mas sei lá, ainda acho que se é lei e se é importante pro processo de recurso, as respostas deveriam ser nominais sim.

Eu acho que a gente tem que deixar a preguiça de lado e atacar essa base ai com scraper e com pedido de informação pelo CSV (Dani já fez esse? Vale fazer de novo?). Por que estão dizendo por ai que o Haddad "abriu" os dados do transporte, e enfim... não aconteceu, né? :P

2013/7/17 Diego Rabatone <dir...@diraol.eng.br>

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CACoXO7z%3Dk12O9DqS%3DZY9O0AC%2BqwgLZhANd8OerP4LA1UVC9RXg%40mail.gmail.com.

[Diego Rabatone]

Dani, não encontrei na LAI a parte que diz que quem responde é obrigado a se identificar.

O que acho que deveria estar na LAI (e só achei para o caso de informação sigilosa) é que todo pedido deveria se respondido já com a indicação de quem é o superior que deve receber o recurso. Isso deveria ser padronizado em todos os pedidos. #remendoNaLAI

Agora, na situação atual, saber quem é o funcionário não nos ajuda a saber a quem devemos recorrer. Infelizmente na maioria dos casos não existe um organograma pelo qual possamos nos balizar. Então acho que o passo para "primeira recorrência" seria buscar o gestor do órgão em questão, independente de quem respondeu o pedido (duvido que a resposta tenha vindo do próprio gestor num pedido inicial).

=) 

--------------------------------
Diego Rabatone Oliveira
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CAOaE%3DCTSDrPMOi2fhqR8h%2B2jeoQRxN8VetVJfaQQaTmRNd-5Yg%40mail.gmail.com.

[Jefferson Nascimento]

Bom dia,

Rabatone: Creio que a obrigação de a resposta ser identificada pode ser extraída por interpretação sistêmica do Art. 15, parágrafo único, dado que o recurso deve ser dirigido à autoridade hierarquicamente superior à que tomou a decisão que contrariou o requerente. Trata-se, ademais, de requisito similar ao entendimento bem mais consolidado que se tem acerca do mandado de segurança, conforme Lei nº. 12.016/2009.

 

Ainda sobre esse tema, sou da opinião de que a LAI já prevê a obrigação de os órgãos responsáveis pela informação requerida divulgarem aspectos que facilitem o recurso, conforme se extraí do art. 8º, § 1º, o qual copio abaixo. Claro que entre a letra da lei e a efetiva aplicação cabe o mundo, porém não dá pra comprar a tese de que o instrumental hoje existente não comporta uma demanda por maior transparência no procedimento recursal.

Art. 8^o  É dever dos órgãos e entidades públicas promover, independentemente de requerimentos, a divulgação em local de fácil acesso, no âmbito de suas competências, de informações de interesse coletivo ou geral por eles produzidas ou custodiadas. 

§ 1^o  Na divulgação das informações a que se refere o caput, deverão constar, no mínimo: 

I - registro das competências e estrutura organizacional, endereços e telefones das respectivas unidades e horários de atendimento ao público; 

II - registros de quaisquer repasses ou transferências de recursos financeiros; 

III - registros das despesas; 

IV - informações concernentes a procedimentos licitatórios, inclusive os respectivos editais e resultados, bem como a todos os contratos celebrados; 

V - dados gerais para o acompanhamento de programas, ações, projetos e obras de órgãos e entidades; e 

VI - respostas a perguntas mais frequentes da sociedade

Abraços,

 

Jefferson Nascimento

jna...@gmail.com

 

2013/7/17 Diego Rabatone <dir...@diraol.eng.br>

 

2013/7/15 Daniela Mattern <daniela...@it3s.org>

--

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CACoXO7yjQUsVwTz6VcBMLdOhJe%2BpGexeePhb_VGnKCeLoBCMfQ%40mail.gmail.com.

[Luiz Carlos V Silva]

Oi Rabatone,

O foco é na questão da impunidade. O funcionário (independente do posto) não tem responsabilidade funcional e ai vai ficar tranquilo pulando de emprego pois a culpa sempre será do CNPJ. Será que tem algum tipo de dificuldade do responsável direto pela ação declinar seu nome/cargo?  Nem sempre é o responsável pelo setor.

Luiz Carlos

Para ver esta discussão na web, acesse https://groups.google.com/d/msgid/thackday/CACoXO7z%3Dk12O9DqS%3DZY9O0AC%2BqwgLZhANd8OerP4LA1UVC9RXg%40mail.gmail.com.