ah ah, agora já disponibilizam csv

12 views
Skip to first unread message

Vitor Silva

unread,
May 24, 2011, 9:03:42 AM5/24/11
to despesa...@googlegroups.com
http://www.base.gov.pt/_layouts/ccp/ajustedirecto/search.aspx
experimentem fazer uma pesquisa sem nada e depois sacar o csv (linkezinho no fundo da pagina)
parece-me que vem tudo (54958 registo)

cheguei a isto a partir da noticia que está na página inicial do site que diz
Passa a estar disponível, no Portal dos Contratos Públicos, um novo serviço que permite efectuar pesquisas com base num campo de texto livre ou pesquisas estruturadas e exportar o resultado da informação consultada para um ficheiro em formato .csv.

Luis Azedo

unread,
May 24, 2011, 9:17:58 AM5/24/11
to despesa...@googlegroups.com
boas,

também tinha visto e estava para falar nisto mas, existem cerca de 4000 registos que o código do joão sacou que não vêm nos valores exportados. no entanto, este csv parece-me util para consolidar alguma informação que já tenhamos. o processo de importação seria mais simples a ser feito a partir deste csv.

até ja


2011/5/24 Vitor Silva <vitorsilva.com@gmail.com>
--
---------------------------------------
www.despesapublica.com
Saiba onde, como e por quem é gasto o dinheiro dos contribuintes
 
---------------------------------------
Recebeu esta mensagem porque está inscrito em Grupo "despesapublica" do
Grupos Google.
Para enviar mensagens para este grupo, envie um email para
despesa...@googlegroups.com
Para anular a inscrição neste grupo, envie um email para
despesapublic...@googlegroups.com
Para mais opções, visite este grupo em
http://groups.google.com/group/despesapublica?hl=pt-PT



--
Luis Azedo



João Martins

unread,
May 24, 2011, 7:11:44 PM5/24/11
to despesa...@googlegroups.com
Muito bom, começar a ver abertura por parte de instituições públicas para disponibilizar os dados.
Pena o IRN, não ter a mesma abertura, telefonei para eles e o acesso à informação é pago, no entanto iam avaliar o meu mail. Esta quinta-feira vou telefonar de novo, esta era sem dúvida informação importantíssima de cruzarmos.

Em relação aos registo que a despesapublica mostra a mais, pelo que parece corresponde aos concursos públicos e não a ajustes directos, esses registo não aparecem na pesquisa no base.gov.pt, mas estão acessíveis por url directo como se fossem um ajuste, o que leva ao engano, estava a pensar perceber junto do base.gov, se existe maneira de destingir os dois casos, ou então passarmos agora a utilizar o csv, para caso o registo exista no despesapublica, mas não existe no csv é sinal que é um concurso publico.

Em relação a alterar o scraper para só ter em conta o csv, não sei se em parte para já trás benefícios, e por outro lado existem com alguma frequência correções em registo antigos que não iríamos detectar, a não ser que por exemplo 1 vez por semana descarregássemos e verificássemos todos.

Luis Azedo

unread,
May 24, 2011, 8:34:13 PM5/24/11
to despesa...@googlegroups.com
boas,

em relação ao IRN era mesmo muito fixe. sabes quanto é que eles cobram ?
eu fiz uns ensaios de acesso ao site e consegui alguns resultados interessantes.

assim, para cada NIF, consegui retirar os NIFS relacionados. algumas empresas não têm nenhum NIF de sócios e/ou gerentes.
filtrei ainda retirando os TOC e alguns ROC/SROC. ia agora começar a verificar os NIFs de empresas relacionadas, ou seja, aquelas que constituem as iniciais e ir por ai fora.

fiz também uma correlação com o site sicae.pt e saquei muitos nomes de empresas com os CAEs. os resultados agregados pelos CAE também têm piada.

vou dar mais umas voltas nisto antes de carregar, mas se nos dessem acesso ao IRN é que era, pois a interpretação da página de detalhe é muito chata e sujeita a erros por causa dos ROC/SROC/TOC

encontrei 4668 NIFs com mais de 1 ligação para NIFs de empresas com ajustes. 
os numeros altos (74 até +/- 20 são de sroc/rocs que ainda não consegui tirar.

os outros..., ui ui, ligações interessantes.

até já

NRELACOES CONTAGEM
74 1
72 1
43 1
35 1
34 1
33 1
30 1
29 1
28 1
25 4
24 1
23 2
22 1
20 2
19 3
18 3
17 1
16 5
15 3
14 4
13 9
12 8
11 6
10 17
9 20
8 29
7 39
6 79
5 146
4 291
3 772
2 3214




2011/5/25 João Martins <jfma...@portugalmail.pt>



--
Luis Azedo



João Martins

unread,
May 25, 2011, 6:10:18 AM5/25/11
to despesapublica

Boas Luis,

  Telefonei agora de novo, eles pediram para voltar a enviar o email, porque não o encontram.
   Foi a mesma pessoa que me atendeu na outra vez e ela parece ser simpática e compreensivel, disse-se-lhe se quisessem marcar uma reunião para falarmos sobre este assunto que estávamos disponiveis, pode ser que tenhamos sorte.
   Se acharem que devemos alterar alguma coisa ao meu outro mail, ou até reescrever todo de novo é só sugerirem. Tou a pensar enviá-lo amanhã logo de manhã.

   Em relação a custos ainda não sei, mas acredito que ai até poderiamos através dos donativos ter uma hipotese, mas existem outras questões a esclarecer como a distribuição dos dados, etc..

  Excelentes progressos :) Se não tivermos acesso ao IRN, teremos de tentar de todas as formas utilizar o que está disponível online e visto que já tas a conseguir é optimo. Tal como tu tb acho que vamos encontrar resultados muito interessantes.
  Por alguma razão o acesso a esta informação não é tão fácil como na base.gov.pt ;)


Citando Luis Azedo <luis....@factorlusitano.com>:

>> 2011/5/24 Vitor Silva <vitorsi...@gmail.com>


>>
>>> http://www.base.gov.pt/_layouts/ccp/ajustedirecto/search.aspx
>>> experimentem fazer uma pesquisa sem nada e depois sacar o csv (linkezinho
>>> no fundo da pagina)
>>> parece-me que vem tudo (54958 registo)
>>>
>>>  cheguei a isto a partir da noticia que está na página inicial do site
>>> que diz
>>> http://www.base.gov.pt/Paginas/destaquesdetail.aspx?idDestaque=46
>>>  [image: Novos Serviços de Pesquisa]Novos Serviços de


>>>   Passa a estar disponível, no Portal dos Contratos Públicos, um novo
>>> serviço que permite efectuar pesquisas com base num campo de texto
>>> livre ou
>>> pesquisas estruturadas e exportar o resultado da informação
>>> consultada para um
>>> ficheiro em formato .csv.
>>>
>>>
>>>
>>> --
>>>
>>> http://blog.osmeusapontamentos.com/
>>> http://www.oportoemconversa.com/
>>>
>>>  --
>>> ---------------------------------------
>>> www.despesapublica.com
>>> Saiba onde, como e por quem é gasto o dinheiro dos contribuintes
>>>
>>> ---------------------------------------
>>> Recebeu esta mensagem porque está inscrito em Grupo "despesapublica" do
>>> Grupos Google.
>>> Para enviar mensagens para este grupo, envie um email para
>>> despesa...@googlegroups.com
>>> Para anular a inscrição neste grupo, envie um email para
>>> despesapublic...@googlegroups.com
>>> Para mais opções, visite este grupo em
>>> http://groups.google.com/group/despesapublica?hl=pt-PT
>>>
>>
>>
>>
>> --
>> Luis Azedo
>>
>>
>>

> --
> ---------------------------------------
> www.despesapublica.com
> Saiba onde, como e por quem é gasto o dinheiro dos contribuintes
>
> ---------------------------------------
> Recebeu esta mensagem porque está inscrito em Grupo "despesapublica" do
> Grupos Google.
> Para enviar mensagens para este grupo, envie um email para
> despesa...@googlegroups.com
> Para anular a inscrição neste grupo, envie um email para
> despesapublic...@googlegroups.com
> Para mais opções, visite este grupo em
> http://groups.google.com/group/despesapublica?hl=pt-PT





________________________________________________________________________________

Portugalmail - O email preferido dos portugueses!
http://www.portugalmail.pt

Luis Azedo

unread,
May 25, 2011, 6:28:17 AM5/25/11
to despesa...@googlegroups.com
boas,

por mim o mail que enviaste está ok.
existe também uma outra informação que é o "ficheiro central de pessoas colectivas"
http://www.direitodainformatica.com/FCPC.html

que poderiamos tentar da mesma forma como estás a tentar com o IRN pois nem todas as empresas estão no IRN.

se precisares de companhia para a reunão apita.


tentei junto das finanças saber como se poderia obter a info sobre os NIFs não existente no IRN e sicae e disseram-me que era sigilo fiscal, não percebi porquê.


até já


2011/5/25 João Martins <jfma...@portugalmail.pt>



--
Luis Azedo



João Martins

unread,
May 25, 2011, 7:23:41 AM5/25/11
to despesapublica

Este registo central de pessoas colectivas tenho quase a certeza que é o que podemos aceder através do protocolo, no site que enviaste diz:
"Utilizadores:
Registo Nacional de Pessoas Colectivas (registo de dados)
Banco de Portugal, Segurança Social, Ministério das Finanças e entidades privadas autorizadas pela DGRN (acesso a cópias do ficheiro)"

As entidades privadas autorizadas pela DGRN é o tal protocolo que se tem de assinar.

Estava precisamente a pensar nisso, se conseguirmos marcar uma reunião aviso.

Em relação a esses NIFs, tens alguns exemplo? Sabemos o nome das empresas, ou só sabemos mesmo o NIF?



Citando Luis Azedo <luis....@factorlusitano.com>:





________________________________________________________________________________
O email é um dos seus instrumentos de trabalho?
http://www.portugalmail.net/profissional

Luis Azedo

unread,
May 25, 2011, 7:54:28 AM5/25/11
to despesa...@googlegroups.com
só temos o NIF obtido aravés do IRN. podem ser SROC ou não

NIF_RELATED
500034761
500035490
500069158
500091668
500095272
500154171
500156891
500161739
500181667
500193533
500216410
500219702
500251258
500257175
500261776
500264589
500265623
500270880
500305960
500347948
500373564
500377340
500600660
500623791
500651299
500652155
500695490
500702616
500740330
500760373
500832749
500892130
500913560
500966508
501077006
501135871
501136878
501140891
501160043
501160051
501195017
501198180
501198385
501212019
501255958
501298754
501370889
501370935
501378537
501383255
501388680
501410988
501457488
501496858
501514252
501575499
501591788
501637060
501645489
501738924
501754768
501813934
501840650
501851470
501872973
501925643
501926887
501966803
501987550
501999124
502011394
502019344
502037016
502039175
502052046
502055243
502138399
502203919
502244240
502261803
502290545
502321334
502356588
502413271
502414880
502427580
502483962
502513690
502514000
502533412
502541520
502547429
502558610
502564261
502580662
502583479
502592230
502595811
502620781
502641681
502662980
502681233
502735074
502752785
502805390
502841028
502855304
502861959
502881844
502888364
502900032
502908580
502926104
502956020
502995270
503013684
503067911
503070130
503073563
503078220
503189928
503259560
503312622
503346624
503355704
503384216
503499188
503541591
503543535
503581925
503607320
503608424
503664049
503687910
503702722
503723924
503736473
503742538
503762490
503791725
503818550
503833240
503859150
503900486
503934143
503979562
503980633
504012861
504042297
504069110
504146424
504171038
504176536
504191756
504230700
504263129
504263900
504286784
504382713
504451375
504486918
504510118
504521632
504543105
504547330
504600184
504624474
504629700
504634860
504646486
504673807
504678035
504678744
504695010
504717791
504750291
504799495
504885952
504934031
504935305
504978349
504983458
504998285
505071614
505083256
505085445
505137070
505188708
505191881
505202549
505219549
505243920
505255073
505307081
505308320
505353440
505412390
505412403
505552736
505555360
505622750
505662094
505855941
505951673
505975686
505988293
506066811
506091546
506148599
506243125
506243133
506295966
506522172
506547906
506601153
506616576
506641317
506683745
506814084
506822389
506823601
506883647
506896897
506972155
506973301
506977170
506980820
507031660
507064453
507137779
507153014
507167104
507180607
507257170
507295820
507303385
507307780
507310128
507330455
507331214
507370679
507374207
507444159
507475127
507551303
507553896
507569156
507609696
507623720
507642333
507798619
507804007
507810945
507839250
507848470
507865669
507879112
507887360
507963431
507965061
508009804
508033209
508050197
508071801
508124271
508140153
508152373
508197368
508200881
508225868
508241847
508285437
508311071
508316499
508443652
508486254
508493463
508501873
508509793
508591058
508591066
508591074
508591090
508596513
508632463
508662567
508770831
508786230
508789834
508827000
509202080
509254403
511017430
511025530
511033699
511103662
511123868
511272928
511286784
512003521
512003807
512004528
512014531
512026220
512093335
582695200

2011/5/25 João Martins <jfma...@portugalmail.pt>



--
Luis Azedo



Vitor Silva

unread,
May 25, 2011, 8:59:53 AM5/25/11
to despesa...@googlegroups.com
luis
>>eu fiz uns ensaios de acesso ao site e consegui alguns resultados interessantes.
podes enviar o codigo para brincar com ele tb?

o que é um SROC?

joao
>>telefonei agora de novo, eles pediram para voltar a enviar o email, porque não o encontram.
>>Foi a mesma pessoa que me atendeu na outra vez e ela parece ser simpática e compreensivel, disse-se-lhe 
>>se quisessem marcar uma reunião para falarmos sobre este assunto que estávamos disponiveis, pode ser que tenhamos sorte.
talvez fosse conveniente enviar conjuntamente uma carta registada com aviso de recepção assim tinhamos a certeza que não seria ignorada / extraviada


>>Em relação a custos ainda não sei, mas acredito que ai até poderiamos através dos donativos ter uma hipotese,
>> mas existem outras questões a esclarecer como a distribuição dos dados, etc..
acho que não vale a pena pensar em gastar dinheiro se depois não podermos disponibilizar essa informação livremente para o dominio publico
mesmo a questão do protocolo deveria prever que nós iriamos libertar essa informação por exemplo em csv

>>nif
outra questão que era interessante saber em relação aos nifs era se existe alguma relação entre o nif e a area de actividade. eu sei que existe, por exemplo empresas são geralmente 5xx, organismos publicos tenho ideia que sao 6xxx
se alguém nos pudesse indicar essa informação conseguiriamos rapidamente criar um novo filtro que poderia ser muito interessante






2011/5/25 Luis Azedo <luis....@factorlusitano.com>



--

http://blog.osmeusapontamentos.com/

João Martins

unread,
May 25, 2011, 9:22:43 AM5/25/11
to despesapublica

Em relação à lista de NIFs, não sei se a resposta da funcionária das finanças foi a mais correcta, porque tambem existe sempre a hipotese de os nifs estarem mal escritos.
Talvez ela quisesse dizer que nas finanças devido ao singilo fiscal não podia dar esse tipo de informação, mas o saber qual é o nome de uma entidade colectiva através do NIF, não tem nada a haver com fiscalidade. Por isso é provavel que seja mais correcto tentarmos contactar o IRN

No entanto tambem existe este site da união europeia, testei alguns e ele diz que os NIfs são inválidos: http://ec.europa.eu/taxation_customs/vies/lang.do?fromWhichPage=vieshome&selectedLanguage=PT

Resto das respostas a baixo

Citando Vitor Silva <vitorsi...@gmail.com>:

> luis
>>> eu fiz uns ensaios de acesso ao site e consegui alguns resultados
> interessantes.
> podes enviar o codigo para brincar com ele tb?
>
> o que é um SROC?

 

SROC (Sociedades de Revisores Oficiais de Contas), aqui existe um pdf com a listagem completa: http://www.cnsa.pt/registos/index.html

>
> joao
>>> telefonei agora de novo, eles pediram para voltar a enviar o email, porque
> não o encontram.
>>> Foi a mesma pessoa que me atendeu na outra vez e ela parece ser simpática
> e compreensivel, disse-se-lhe
>>> se quisessem marcar uma reunião para falarmos sobre este assunto que
> estávamos disponiveis, pode ser que tenhamos sorte.
> talvez fosse conveniente enviar conjuntamente uma carta registada com aviso
> de recepção assim tinhamos a certeza que não seria ignorada / extraviada
>
 

Eles agora deram-me um email directo, não me parece que seja esta a questão, pareceu-me haver algum empenho da outra parte em tentar arranjar uma solução para nós acedermos aos dados.

 

>
>>> Em relação a custos ainda não sei, mas acredito que ai até poderiamos
> através dos donativos ter uma hipotese,
>>> mas existem outras questões a esclarecer como a distribuição dos dados,
> etc..
> acho que não vale a pena pensar em gastar dinheiro se depois não podermos
> disponibilizar essa informação livremente para o dominio publico
> mesmo a questão do protocolo deveria prever que nós iriamos libertar essa
> informação por exemplo em csv
 

 

 

Sim isso é uma preocupação que teremos de ter sempre em conta, mas as outras empresas que têm base de dados pagas com esta informação, parece-me que as obtêm da mesma forma.. Por isso deveremos conseguir arranjar uma solução


>
>>> nif
> outra questão que era interessante saber em relação aos nifs era se existe
> alguma relação entre o nif e a area de actividade. eu sei que existe, por
> exemplo empresas são geralmente 5xx, organismos publicos tenho ideia que sao
> 6xxx
> se alguém nos pudesse indicar essa informação conseguiriamos rapidamente
> criar um novo filtro que poderia ser muito interessante
>
>
>
>
>
>

João Martins

unread,
May 25, 2011, 9:26:36 AM5/25/11
to despesapublica

Só mais uma coisa em relação aos Nifs.
Este site: http://codigopostal.ciberforma.pt/ferramentas/VALIDAR_NIF.ASP, fez-me lembrar uma coisa e se nós dissermos às finanças que é o fornecedor que não customamos trabalhar e queriamos validar se o nif está correcto, devido a fraudes?
Eles deviam responder :P

________________________________________________________________________________

Luis Azedo

unread,
May 25, 2011, 10:23:19 AM5/25/11
to despesa...@googlegroups.com
boas,

em relação ao site da UE , este também não tem informação dos NIFs em questão que são válidos e foram extraidos do IRN.



2011/5/25 João Martins <jfma...@portugalmail.pt>

--
---------------------------------------
www.despesapublica.com
Saiba onde, como e por quem é gasto o dinheiro dos contribuintes
 
---------------------------------------
Recebeu esta mensagem porque está inscrito em Grupo "despesapublica" do
Grupos Google.
Para enviar mensagens para este grupo, envie um email para
despesa...@googlegroups.com
Para anular a inscrição neste grupo, envie um email para
despesapublic...@googlegroups.com
Para mais opções, visite este grupo em
http://groups.google.com/group/despesapublica?hl=pt-PT



--
Luis Azedo



Reply all
Reply to author
Forward
0 new messages