CParty 2011 - Mirror.gov.br

[Pedro Markun]

Caros,

amanhã vou trazer um pc para deixar rodando o crawler fulltime aqui na cparty. Vou ver se coloco uns 4tb nele.

Quem pode ajudar com o desenvolvimento?

• Podemos (queremos) usar o YaCy? -> http://en.wikipedia.org/wiki/YaCy
• Rola um script que levante e mapeie os dominios e subdominios 'gov.br' e que diferentes maquinas possam acessar e se candidatar a backupear diferentes páginas?
• Rola detectar a tecnologia por trás da página? Para já publicarmos uma fotografia do estado tecnologico do governo brasileiro?

se ninguem competente se voluntariar... vou fazer um wget -r http://www.brasil.gov.br :P

abs,
Pedro Markun

[Tobias Sette]

Em 18 de janeiro de 2011 12:38, Pedro Markun <pe...@esfera.mobi> escreveu:

• Podemos (queremos) usar o YaCy? -> http://en.wikipedia.org/wiki/YaCy

parace interessante. 

• Rola um script que levante e mapeie os dominios e subdominios 'gov.br'

algo que faça parser disso [0] é suficiente ? 

• e que diferentes maquinas possam acessar e se candidatar a backupear diferentes páginas?
• Rola detectar a tecnologia por trás da página? Para já publicarmos uma fotografia do estado tecnologico do governo brasileiro?

Durante ou depois da copia?

 

se ninguem competente se voluntariar... vou fazer um wget -r http://www.brasil.gov.br :P

wget -cErk --no-check-certificate --follow-ftp http://www.brasil.gov.br ^_^

[0] http://www.google.com.br/search?num=100&as_qdr=all&tbs=ctr:countryBR&q=site:.gov.br&aq=f&aqi=&aql=&oq=

Att,

Tobias

http://gnu.eti.br

-----BEGIN GEEK CODE BLOCK-----
Version: 3.1
GCS/CM/G/H/IT/L/SS d()? s++:() a--- C++++$ ULC++$ P++$ L+++$ !E !W++$>++ !N o K-- !w() !O !M !V PS$@ PE@ !Y !PGP t++$ !5 !X R+>$ tv? b++@ DI !D G++@ e$ h@ r--- y?
------END GEEK CODE BLOCK------ 

[Pedro Markun]

2011/1/18 Tobias Sette <tobia...@gmail.com>

Em 18 de janeiro de 2011 12:38, Pedro Markun <pe...@esfera.mobi> escreveu:

• Podemos (queremos) usar o YaCy? -> http://en.wikipedia.org/wiki/YaCy

parace interessante. 

• Rola um script que levante e mapeie os dominios e subdominios 'gov.br'

algo que faça parser disso [0] é suficiente ? 

acho que sim, era mesmo a minha idéia inicial. alias, acho que vale fazer esse parser 'genérico' já que da pra usar pra varias outras coisas :D 

• e que diferentes maquinas possam acessar e se candidatar a backupear diferentes páginas?
• Rola detectar a tecnologia por trás da página? Para já publicarmos uma fotografia do estado tecnologico do governo brasileiro?

Durante ou depois da copia?

que sugere? tinha pensado em rodar algo durante a cópia, pq imagino que não vai adicionar muito tempo no processo (imagino que o sistema consiga fazer o parse muito mais rapido do que o download dos arquivos?)

 

 

se ninguem competente se voluntariar... vou fazer um wget -r http://www.brasil.gov.br :P

wget -cErk --no-check-certificate --follow-ftp http://www.brasil.gov.br ^_^

[0] http://www.google.com.br/search?num=100&as_qdr=all&tbs=ctr:countryBR&q=site:.gov.br&aq=f&aqi=&aql=&oq=

Att,

Tobias

http://gnu.eti.br

-----BEGIN GEEK CODE BLOCK-----
Version: 3.1
GCS/CM/G/H/IT/L/SS d()? s++:() a--- C++++$ ULC++$ P++$ L+++$ !E !W++$>++ !N o K-- !w() !O !M !V PS$@ PE@ !Y !PGP t++$ !5 !X R+>$ tv? b++@ DI !D G++@ e$ h@ r--- y?
------END GEEK CODE BLOCK------ 

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.
Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

[Diego Rabatone]

Eu quero brincar!!!!!..... Vejo se consigo ir para a CP amanhã durante a tarde, de manhã tenho reunião então não posso. =)

Vou pensar em algo aqui, se tiver alguma ideia boa eu mando na lista....

Abs,

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/1/18 Pedro Markun <pe...@esfera.mobi>

[Diego Rabatone]

Gente, ninguém ai consegue contatar o pessoal do NIC.BR para ver se eles liberam uma lista dos domínios *.gov.br existentes em uso?

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/1/18 Diego Rabatone <dir...@diraol.eng.br>

[Cecilia Tanaka]

Tudo bem. Enviando e-mail para o fofo do Dr. Getscko em 3, 2... #caradepau :D
--
"Discordo daquilo que dizes, mas defenderei até a morte o teu direito de o dizeres". - Voltaire

[Antonio Graeff]

O Registro.br só deve ter a lista oficial dos domínios diretamente embaixo do ".gov.br". Os domínios de prefeituras e câmaras municipais (como campinas.sp.gov.br) costumam ficar abaixo do domínio com a sigla do Estado (como sp.gov.br) e não são cadastrados (ou pelo menos não aparecem na consulta) no Registro.br.

Mas o Comitê Gestor fez um censo da web no Brasil e identificou quase 19 mil sites governamentiais (números de agosto de 2010) <http://www.nic.br/imprensa/releases/2010/rl-2010-17.htm>. Essa lista era um bom começo.

--
Antonio Graeff
http://twitter.com/antoniograeff

2011/1/18 Diego Rabatone <dir...@diraol.eng.br>

[Antonio Graeff]

O Pavuk <http://www.pavuk.org/> é bem parecido com o wget (tem até um mapa de tradução das opções <http://pavuk.cvs.sourceforge.net/pavuk/pavuk/wget-pavuk.HOWTO?revision=100>) e permite fazer download de várias arquivos simultaneamente, o que provavelmente vai aproveitar melhor a largura de banda da Campus Party.

--
Antonio Graeff
http://twitter.com/antoniograeff

2011/1/18 Pedro Markun <pe...@esfera.mobi>

[Tobias Sette]

Em 18 de janeiro de 2011 13:05, Pedro Markun <pe...@esfera.mobi> escreveu:

...

acho que sim, era mesmo a minha idéia inicial. alias, acho que vale fazer esse parser 'genérico' já que da pra usar pra varias outras coisas :D 

O problema, creio, é a redundancia de url's nos resultados.
 

• e que diferentes maquinas possam acessar e se candidatar a backupear diferentes páginas?
• Rola detectar a tecnologia por trás da página? Para já publicarmos uma fotografia do estado tecnologico do governo brasileiro?

Durante ou depois da copia?

que sugere? tinha pensado em rodar algo durante a cópia, pq imagino que não vai adicionar muito tempo no processo (imagino que o sistema consiga fazer o parse muito mais rapido do que o download dos arquivos?)

 

Nao sei bem. É certo que o parser demorará menos que o download, mas como vai ser feito o reconhecimento da tecnologia utilizada em determinado site?! Se for por parser no html beleza, porem se o website nao contiver nenhuma referencia, no codigo, oriunda do backend que está usando? Creio que neste caso a analise teria que ser feita durante o acesso ao site, em busca de diretorios especificos, etc, etc.

 

 

se ninguem competente se voluntariar... vou fazer um wget -r http://www.brasil.gov.br :P

wget -cErk --no-check-certificate --follow-ftp http://www.brasil.gov.br ^_^

[0] http://www.google.com.br/search?num=100&as_qdr=all&tbs=ctr:countryBR&q=site:.gov.br&aq=f&aqi=&aql=&oq=

Att,

Até o momento tenho isso: http://gnu.eti.br/thack/mirror_govbr/saida.txt

[Oripide Cilento Filho]

Pessoal:
Talvez o link abaixo ajude j� que possui os links dos dominios gov.br (
segundo o site atualizado at� out/2010 ).

http://www.governoeletronico.gov.br/acoes-e-projetos/gestao-de-dominios/dominios-registrados

oripide

Em 18/1/2011 18:09, Antonio Graeff escreveu:
> O Registro.br s� deve ter a lista oficial dos dom�nios diretamente
> embaixo do ".gov.br <http://gov.br>". Os dom�nios de prefeituras e
> c�maras municipais (como campinas.sp.gov.br <http://campinas.sp.gov.br>)
> costumam ficar abaixo do dom�nio com a sigla do Estado (como sp.gov.br
> <http://sp.gov.br>) e n�o s�o cadastrados (ou pelo menos n�o aparecem na
> consulta) no Registro.br.
>
> Mas o Comit� Gestor fez um censo da web no Brasil e identificou quase 19
> mil sites governamentiais (n�meros de agosto de 2010)

> <http://www.nic.br/imprensa/releases/2010/rl-2010-17.htm>. Essa lista

> era um bom come�o.

>
> --
> Antonio Graeff
> http://twitter.com/antoniograeff
>
> 2011/1/18 Diego Rabatone <dir...@diraol.eng.br

> <mailto:dir...@diraol.eng.br>>
>
> Gente, ningu�m ai consegue contatar o pessoal do NIC.BR
> <http://NIC.BR> para ver se eles liberam uma lista dos dom�nios
> *.gov.br <http://gov.br> existentes em uso?

>
>
> --------------------------------
> Diego Rabatone Oliveira
> http://blog.diraol.eng.br
> diraol(arroba)diraol(ponto)eng(ponto)br
> Identica: (@diraol) http://identi.ca/diraol
> Twitter: @diraol
>
>
>
> 2011/1/18 Diego Rabatone <dir...@diraol.eng.br

> <mailto:dir...@diraol.eng.br>>
>
> Eu quero brincar!!!!!..... Vejo se consigo ir para a CP amanh�
> durante a tarde, de manh� tenho reuni�o ent�o n�o posso. =)

>
> Vou pensar em algo aqui, se tiver alguma ideia boa eu mando na
> lista....
>
> Abs,
>
> --------------------------------
> Diego Rabatone Oliveira
> http://blog.diraol.eng.br
> diraol(arroba)diraol(ponto)eng(ponto)br
> Identica: (@diraol) http://identi.ca/diraol
> Twitter: @diraol
>
>
>
> 2011/1/18 Pedro Markun <pe...@esfera.mobi

> <mailto:pe...@esfera.mobi>>
>
>
>
> 2011/1/18 Tobias Sette <tobia...@gmail.com
> <mailto:tobia...@gmail.com>>

>
> Em 18 de janeiro de 2011 12:38, Pedro Markun

> <pe...@esfera.mobi <mailto:pe...@esfera.mobi>> escreveu:
>
> * Podemos (queremos) usar o YaCy? ->
> http://en.wikipedia.org/wiki/YaCy
>
> parace interessante.
>
> * Rola um script que levante e mapeie os
> dominios e subdominios 'gov.br <http://gov.br>'
>
> algo que fa�a parser disso [0] � suficiente ?
>
>
> acho que sim, era mesmo a minha id�ia inicial. alias, acho
> que vale fazer esse parser 'gen�rico' j� que da pra usar pra
> varias outras coisas :D
>
> * e que diferentes maquinas possam acessar e se
> candidatar a backupear diferentes p�ginas?
> * Rola detectar a tecnologia por tr�s da p�gina?
> Para j� publicarmos uma fotografia do estado

> tecnologico do governo brasileiro?
>
> Durante ou depois da copia?
>
>

> que sugere? tinha pensado em rodar algo durante a c�pia, pq
> imagino que n�o vai adicionar muito tempo no processo

> (imagino que o sistema consiga fazer o parse muito mais
> rapido do que o download dos arquivos?)
>
>
>
>
>
> se ninguem competente se voluntariar... vou fazer
> um wget -r http://www.brasil.gov.br :P
>
>
> wget -cErk
> --no-check-certificate --follow-ftp http://www.brasil.gov.br

> <http://www.brasil.gov.br/> ^_^

>
>
> [0] http://www.google.com.br/search?num=100&as_qdr=all&tbs=ctr:countryBR&q=site:.gov.br&aq=f&aqi=&aql=&oq=
> <http://www.google.com.br/search?num=100&as_qdr=all&tbs=ctr:countryBR&q=site:.gov.br&aq=f&aqi=&aql=&oq=>
>
> Att,
>
> Tobias

> http://gnu.eti.br <http://gnu.eti.br/>

>
> -----BEGIN GEEK CODE BLOCK-----
> Version: 3.1
> GCS/CM/G/H/IT/L/SS d()? s++:() a--- C++++$ ULC++$ P++$
> L+++$ !E !W++$>++ !N o K-- !w() !O !M !V PS$@ PE@ !Y
> !PGP t++$ !5 !X R+>$ tv? b++@ DI !D G++@ e$ h@ r--- y?
> ------END GEEK CODE BLOCK------
>
> --

> Voc� est� recebendo esta mensagem porque se inscreveu no
> grupo "Transpar�ncia Hacker" dos Grupos do Google.

> Para postar neste grupo, envie um e-mail para
> thac...@googlegroups.com

> <mailto:thac...@googlegroups.com>.
> Para cancelar a inscri��o nesse grupo, envie um e-mail
> para thackday+u...@googlegroups.com
> <mailto:thackday%2Bunsu...@googlegroups.com>.
> Para obter mais op��es, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.
>
>
> --
> Voc� est� recebendo esta mensagem porque se inscreveu no
> grupo "Transpar�ncia Hacker" dos Grupos do Google.

> Para postar neste grupo, envie um e-mail para

> thac...@googlegroups.com <mailto:thac...@googlegroups.com>.
> Para cancelar a inscri��o nesse grupo, envie um e-mail para
> thackday+u...@googlegroups.com
> <mailto:thackday%2Bunsu...@googlegroups.com>.
> Para obter mais op��es, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.
>
>
>
> --
> Voc� est� recebendo esta mensagem porque se inscreveu no grupo
> "Transpar�ncia Hacker" dos Grupos do Google.

> Para postar neste grupo, envie um e-mail para

> thac...@googlegroups.com <mailto:thac...@googlegroups.com>.
> Para cancelar a inscri��o nesse grupo, envie um e-mail para
> thackday+u...@googlegroups.com
> <mailto:thackday%2Bunsu...@googlegroups.com>.
> Para obter mais op��es, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.
>
> --
> Voc� est� recebendo esta mensagem porque se inscreveu no grupo
> "Transpar�ncia Hacker" dos Grupos do Google.

> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.

> Para cancelar a inscri��o nesse grupo, envie um e-mail para
> thackday+u...@googlegroups.com.
> Para obter mais op��es, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.

[Mario Baldini]

Pedro,

Em que local você está ficando na CP? Hoje procurei, mas sem sucesso. 

Se possível, coloque uma indicação da thack na cpu. Dai amanhã nos falamos.

Recomendo a todos que tiverem oportunidade, façam um esforço e apareçam lá. O evento está muito bacana.

Abraços!

Mario

Em 18 de janeiro de 2011 19:47, Oripide Cilento Filho <ori...@nic.br> escreveu:

Pessoal:
Talvez  o link abaixo ajude já que possui os links dos dominios gov.br (
segundo o site atualizado até out/2010 ).

http://www.governoeletronico.gov.br/acoes-e-projetos/gestao-de-dominios/dominios-registrados

oripide


Em 18/1/2011 18:09, Antonio Graeff escreveu:

> O Registro.br só deve ter a lista oficial dos domínios diretamente

> embaixo do ".gov.br <http://gov.br>". Os domínios de prefeituras e
> câmaras municipais (como campinas.sp.gov.br <http://campinas.sp.gov.br>)

> costumam ficar abaixo do domínio com a sigla do Estado (como sp.gov.br

> <http://sp.gov.br>) e não são cadastrados (ou pelo menos não aparecem na

> consulta) no Registro.br.
>
> Mas o Comitê Gestor fez um censo da web no Brasil e identificou quase 19
> mil sites governamentiais (números de agosto de 2010)

> <http://www.nic.br/imprensa/releases/2010/rl-2010-17.htm>. Essa lista

> era um bom começo.

>
> --
> Antonio Graeff
> http://twitter.com/antoniograeff
>
> 2011/1/18 Diego Rabatone <dir...@diraol.eng.br

> <mailto:dir...@diraol.eng.br>>

>
>     Gente, ninguém ai consegue contatar o pessoal do NIC.BR

>     <http://NIC.BR> para ver se eles liberam uma lista dos domínios

>     *.gov.br <http://gov.br> existentes em uso?

>
>
>     --------------------------------
>     Diego Rabatone Oliveira
>     http://blog.diraol.eng.br
>     diraol(arroba)diraol(ponto)eng(ponto)br
>     Identica: (@diraol) http://identi.ca/diraol
>     Twitter: @diraol
>
>
>
>     2011/1/18 Diego Rabatone <dir...@diraol.eng.br

>     <mailto:dir...@diraol.eng.br>>

>

>         Eu quero brincar!!!!!..... Vejo se consigo ir para a CP amanhã

>         durante a tarde, de manhã tenho reunião então não posso. =)

>
>         Vou pensar em algo aqui, se tiver alguma ideia boa eu mando na
>         lista....
>
>         Abs,
>
>         --------------------------------
>         Diego Rabatone Oliveira
>         http://blog.diraol.eng.br
>         diraol(arroba)diraol(ponto)eng(ponto)br
>         Identica: (@diraol) http://identi.ca/diraol
>         Twitter: @diraol
>
>
>
>         2011/1/18 Pedro Markun <pe...@esfera.mobi

>         <mailto:pe...@esfera.mobi>>

>
>
>
>             2011/1/18 Tobias Sette <tobia...@gmail.com

>             <mailto:tobia...@gmail.com>>

>
>                 Em 18 de janeiro de 2011 12:38, Pedro Markun

>                 <pe...@esfera.mobi <mailto:pe...@esfera.mobi>> escreveu:

>
>                         * Podemos (queremos) usar o YaCy? ->
>                           http://en.wikipedia.org/wiki/YaCy
>
>                 parace interessante.
>
>                         * Rola um script que levante e mapeie os

>                           dominios e subdominios 'gov.br <http://gov.br>'

>
>                 algo que faça parser disso [0] é suficiente ?
>
>
>             acho que sim, era mesmo a minha idéia inicial. alias, acho
>             que vale fazer esse parser 'genérico' já que da pra usar pra

>             varias outras coisas :D
>
>                         * e que diferentes maquinas possam acessar e se

>                           candidatar a backupear diferentes páginas?
>                         * Rola detectar a tecnologia por trás da página?
>                           Para já publicarmos uma fotografia do estado

>                           tecnologico do governo brasileiro?
>
>                 Durante ou depois da copia?
>
>

>             que sugere? tinha pensado em rodar algo durante a cópia, pq

>             imagino que não vai adicionar muito tempo no processo

>             (imagino que o sistema consiga fazer o parse muito mais
>             rapido do que o download dos arquivos?)
>
>
>
>
>
>                     se ninguem competente se voluntariar... vou fazer
>                     um wget -r http://www.brasil.gov.br :P
>
>
>                 wget -cErk
>                 --no-check-certificate --follow-ftp http://www.brasil.gov.br
>                 <http://www.brasil.gov.br/> ^_^
>
>
>                 [0] http://www.google.com.br/search?num=100&as_qdr=all&tbs=ctr:countryBR&q=site:.gov.br&aq=f&aqi=&aql=&oq=
>                 <http://www.google.com.br/search?num=100&as_qdr=all&tbs=ctr:countryBR&q=site:.gov.br&aq=f&aqi=&aql=&oq=>
>
>                 Att,
>
>                 Tobias

>                 http://gnu.eti.br <http://gnu.eti.br/>

>
>                 -----BEGIN GEEK CODE BLOCK-----
>                 Version: 3.1
>                 GCS/CM/G/H/IT/L/SS d()? s++:() a--- C++++$ ULC++$ P++$
>                 L+++$ !E !W++$>++ !N o K-- !w() !O !M !V PS$@ PE@ !Y
>                 !PGP t++$ !5 !X R+>$ tv? b++@ DI !D G++@ e$ h@ r--- y?
>                 ------END GEEK CODE BLOCK------
>
>                 --

>                 Você está recebendo esta mensagem porque se inscreveu no
>                 grupo "Transparência Hacker" dos Grupos do Google.

>                 Para postar neste grupo, envie um e-mail para
>                 thac...@googlegroups.com

>                 <mailto:thac...@googlegroups.com>.

>                 Para cancelar a inscrição nesse grupo, envie um e-mail
>                 para thackday+u...@googlegroups.com

>                 <mailto:thackday%2Bunsu...@googlegroups.com>.

>                 Para obter mais opções, visite esse grupo em
>                 http://groups.google.com/group/thackday?hl=pt-BR.
>
>
>             --
>             Você está recebendo esta mensagem porque se inscreveu no
>             grupo "Transparência Hacker" dos Grupos do Google.

>             Para postar neste grupo, envie um e-mail para

>             thac...@googlegroups.com <mailto:thac...@googlegroups.com>.

>             Para cancelar a inscrição nesse grupo, envie um e-mail para
>             thackday+u...@googlegroups.com

>             <mailto:thackday%2Bunsu...@googlegroups.com>.

>             Para obter mais opções, visite esse grupo em
>             http://groups.google.com/group/thackday?hl=pt-BR.
>
>
>
>     --
>     Você está recebendo esta mensagem porque se inscreveu no grupo
>     "Transparência Hacker" dos Grupos do Google.

>     Para postar neste grupo, envie um e-mail para

>     thac...@googlegroups.com <mailto:thac...@googlegroups.com>.

>     Para cancelar a inscrição nesse grupo, envie um e-mail para
>     thackday+u...@googlegroups.com

>     <mailto:thackday%2Bunsu...@googlegroups.com>.

>     Para obter mais opções, visite esse grupo em
>     http://groups.google.com/group/thackday?hl=pt-BR.
>
> --
> Você está recebendo esta mensagem porque se inscreveu no grupo
> "Transparência Hacker" dos Grupos do Google.

> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.

> Para cancelar a inscrição nesse grupo, envie um e-mail para
> thackday+u...@googlegroups.com.
> Para obter mais opções, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.

Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.

Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

[Pedro Markun]

Não estou em lugar nenhum, estou meio flaneur nesse evento.

Mas vou tentar estabelecer uma base hoje e aviso :)

2011/1/19 Mario Baldini <mario....@ieee.org>

[Pedro Markun]

Caros,

acabei de ser informado (e confirmar) que o site cultura.gov.br não esta mais em Creative Commons.

Estou rodando meu mamembe wget-mirror lá. Mas continuo querendo uma solução mais robusta... que possa minimamente sincar esse esforço de crawling com um banco comum que todos possam ver... a Campus esta mais dispersiva do que eu previa (e eu previa ela beeem dispersiva) mas estou por aqui :)

abs,

Pedro Markun

2011/1/19 Pedro Markun <pe...@esfera.mobi>

[Pedro Markun]

Ainda nisso,

estou passando a fazer testes com o heritrix:

http://crawler.archive.org/

[Fabricio C Zuardi]

Não está em CC mas é nosso dinheiro que paga do mesmo jeito, sugiro que chupinhemos/cacheemos mesmo assim! Respeitar licença restritiva em site público seria muita bunda-molice de nossa parte ;)

Ps: Queria ajudar mais, mas ando enrolado aqui, talvez mais pro fim da semana :(

[]s

[Mauricio Maia]

Aposto que foi erro de digitação! :)

Falando sério, parece coisa de alguém que quis colocar uma frase mais clara e não conhece CC muito bem.

"Licença de Uso: O conteúdo deste site, produzido pelo Ministério da Cultura, pode ser reproduzido, desde que citada a fonte"

Se não tivessem removido o direito de remix, seria uma licença ainda mais permissiva (by vs. by-sa).

PS: Estou trabalhando num hack com "©2011 Todos os direitos reservados", vamos ver o que dá.

2011/1/19 Fabricio C Zuardi <fabr...@fabricio.org>

[Leandro Salvador]

Talvez fosse até bacana testarmos o sistema (jurídico), e criarmos um fato político, onde um Ministério brasileiro entrasse com algum processo contra vários de nós, por "violação de direitos (tsc) autorais"... mas para nos protegermos enquanto indivíduos, talvez fosse o caso de dispersarmos os databases wgetted... um .torrent talvez, tipo o que (ouvi dizer) fizeram os caras do WikiLeaks (um .torrent de 2GB criptografados, com uma senha quilométrica, no caso deles). Ah sim, é claro que ao final teríamos que dar um jeito de fazer ampla divulgação do espelhamento do .gov.br :-D e convidar alguns @gov.br para conhecer este trabalho cidadão... :-D Seria um "brute force attack" divertido... ;-)

[Diego Rabatone]

Distribuir esses torrents na Campus com uma rede P2P IPv6 seria molezinha.... rs

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/1/20 Leandro Salvador <leandro...@gmail.com>

Talvez fosse até bacana testarmos o sistema (jurídico), e criarmos um fato político, onde um Ministério brasileiro entrasse com algum processo contra vários de nós, por "violação de direitos (tsc) autorais"... mas para nos protegermos enquanto indivíduos, talvez fosse o caso de dispersarmos os databases wgetted... um .torrent talvez, tipo o que (ouvi dizer) fizeram os caras do WikiLeaks (um .torrent de 2GB criptografados, com uma senha quilométrica, no caso deles). Ah sim, é claro que ao final teríamos que dar um jeito de fazer ampla divulgação do espelhamento do .gov.br :-D e convidar alguns @gov.br para conhecer este trabalho cidadão... :-D Seria um "brute force attack" divertido... ;-)

--

[Diego Casaes]

http://thepiratebay.org/torrent/6117869

Diego Casaes
+55 11 9343-6978 | +55 11 3151-5075
Esfera (Casa da Cultura Digital)

Author at Global Voices Online
Translation Editor at Global Voices in Portuguese

Follow me on Twitter: @casaesdiego
For updates in Portuguese, follow @diegocasaes

[Diego Rabatone]

Já adicionei aqui pra baixar, mas não está disponível.... desligaram o pc?... enfim... amanhã deixo ligado em mais umas duas máquinas direto pra baixar e seedar! =)

--------------------------------
Diego Rabatone Oliveira

2011/1/21 Diego Casaes <diego...@gmail.com>

[Diego Casaes]

Estou de seed!

2011/1/21 Diego Rabatone <dir...@diraol.eng.br>

[Guilherme Almeida]

Como ja diziam: imagem nao é nada... seed é tudo!

>>>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>>>> .
>>>> Para obter mais opções, visite esse grupo em
>>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>>
>>>
>>>
>>> --
>>> Você está recebendo esta mensagem porque se inscreveu no grupo
>>> "Transparência Hacker" dos Grupos do Google.
>>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>>> Para cancelar a inscrição nesse grupo, envie um e-mail para

>>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>>> .
>>> Para obter mais opções, visite esse grupo em
>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>
>>>
>>> Diego Casaes
>>> +55 11 9343-6978 | +55 11 3151-5075

>>> Esfera <http://blog.esfera.mobi/> (Casa da Cultura Digital)
>>>
>>> Author at Global Voices Online<http://globalvoicesonline.org/author/diego-casaes/>
>>> Translation Editor at Global Voices in Portuguese<http://pt.globalvoicesonline.org/author/diegocasaes/>

>>>
>>> Follow me on Twitter: @casaesdiego
>>> For updates in Portuguese, follow @diegocasaes
>>>
>>> --
>>> Você está recebendo esta mensagem porque se inscreveu no grupo
>>> "Transparência Hacker" dos Grupos do Google.
>>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>>> Para cancelar a inscrição nesse grupo, envie um e-mail para

>>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>>> .
>>> Para obter mais opções, visite esse grupo em
>>> http://groups.google.com/group/thackday?hl=pt-BR.
>>>
>>
>> --
>> Você está recebendo esta mensagem porque se inscreveu no grupo
>> "Transparência Hacker" dos Grupos do Google.
>> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.
>> Para cancelar a inscrição nesse grupo, envie um e-mail para

>> thackday+u...@googlegroups.com<thackday%2Bunsu...@googlegroups.com>

>> .
>> Para obter mais opções, visite esse grupo em
>> http://groups.google.com/group/thackday?hl=pt-BR.
>>
>
>
>
> --
> Diego Casaes
> +55 11 9343-6978 | +55 11 3151-5075

> Esfera <http://blog.esfera.mobi/> (Casa da Cultura Digital)
>
> Author at Global Voices
> Online<http://globalvoicesonline.org/author/diego-casaes/>

> Translation Editor at Global Voices in

> Portuguese<http://pt.globalvoicesonline.org/author/diegocasaes/>
>
> Follow me on Twitter: @casaesdiego <http://www.twitter.com/casaesdiego>

> For updates in Portuguese, follow

> @diegocasaes<http://www.twitter.com/diegocasaes>

[Diego Rabatone]

Downloaded: 100%
Uploaded: 320Mb and going up! =p

2011/1/22 Guilherme Almeida <guial...@gmail.com>

[Diego Casaes]

LOL

2011/1/22 Guilherme Almeida <guial...@gmail.com>

Esfera (Casa da Cultura Digital)

Author at Global Voices Online

Translation Editor at Global Voices in Portuguese

[Pedro Markun]

caros,

estou subindo isso pra um host web... para deixar também uma versão browseable.

Rodei o heritrix em alguns outros sites do governo... mas consegui um numero muito menor de documentos do que imaginei. Vou averiguar.

abs,

pedro markun

2011/1/22 Diego Casaes <diego...@gmail.com>

[Pedro Markun]

Updates,

o heritrix é bastante eficiente, mas lida muito mal com qualquer coisa que não seja HTML... os links javascript que funcionam na maior parte dos sitios tupiniquins não são capturados - infelizmente.

Outra questão é que ele guarda todos os documentos em um arquivo ARC. O que traz algumas vantagens e desvantagens... tem alguns sistemas abertos que permitem montar o mirror a partir do próprio ARC, por exemplo e é mais 'fácil' fazer um diff com versões mais atualizadas.

De toda forma, não me parece uma solução ideal para o trabalho. Fiquei pensando se um browser-based webcrawler não poderia/deveria ser usado? 

http://seleniumhq.org/projects/remote-control/

http://simile.mit.edu/wiki/Crowbar

abs,
Pedro Markun

2011/1/22 Pedro Markun <pe...@esfera.mobi>

[Leandro Salvador]

estou subindo isso pra um host web... para deixar também uma versão browseable

Não sei se é a mesma coisa, mas alguém sabe se dá pra subir um arquivo baixado em .torrent para algum servidor web, de tal modo que ele torne-se um seed (semeador)?

Não sei se "browseable" significa que pode ser baixado por http ou ftp normalmente, ou se é exatamente isso: tornar-se um seed sem necessidade de deixar um Torrent Client online...

[Fabricio C Zuardi]

O S3 da amazon faz isto. Vc pode adicionar um ?torrent ao final da URL
de um arquivo publico que ele baixa o torrent, e sem o ?torrent vem o
download em http normal:

http://aws.amazon.com/s3/faqs/#What_is_the_BitTorrent_TM_protocol_and_how_do_I_use_it_with_Amazon_S3

[]s

On 1/22/11 8:00 PM, Leandro Salvador wrote:
> estou subindo isso pra um host web... para deixar tamb�m uma vers�o
> browseable
>
>
> N�o sei se � a mesma coisa, mas algu�m sabe se d� pra subir um arquivo

> baixado em .torrent para algum servidor web, de tal modo que ele
> torne-se um seed (semeador)?
>

> N�o sei se "browseable" significa que pode ser baixado por http ou ftp
> normalmente, ou se � exatamente isso: tornar-se um seed sem necessidade

> de deixar um Torrent Client online...
>

> --
> Voc� est� recebendo esta mensagem porque se inscreveu no grupo
> "Transpar�ncia Hacker" dos Grupos do Google.

> Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.

> Para cancelar a inscri��o nesse grupo, envie um e-mail para
> thackday+u...@googlegroups.com.
> Para obter mais op��es, visite esse grupo em
> http://groups.google.com/group/thackday?hl=pt-BR.

--
Fabricio C Zuardi
http://fabricio.org

[Pedro Markun]

Pô,

bom saber. Estava procurnado mesmo isso.

--

Leandro,

na verdade não. A idéia é deixar os arquivos sem compactação em um servidor para que as pessoas possam acessar o site por algo como:

http://mirror.thacker.com.br/www.cultura.gov.br/

sobre sua pergunta... depende do servidor. a maioria dos shared hosts não permite vc rodar um sw de torrent lá... o que é uma pena.

abs,

pedro

2011/1/22 Fabricio C Zuardi <fabr...@fabricio.org>

O S3 da amazon faz isto. Vc pode adicionar um ?torrent ao final da URL de um arquivo publico que ele baixa o torrent, e sem o ?torrent vem o download em http normal:

http://aws.amazon.com/s3/faqs/#What_is_the_BitTorrent_TM_protocol_and_how_do_I_use_it_with_Amazon_S3

[]s

On 1/22/11 8:00 PM, Leandro Salvador wrote:

   estou subindo isso pra um host web... para deixar também uma versão
   browseable

Não sei se é a mesma coisa, mas alguém sabe se dá pra subir um arquivo

baixado em .torrent para algum servidor web, de tal modo que ele
torne-se um seed (semeador)?

Não sei se "browseable" significa que pode ser baixado por http ou ftp
normalmente, ou se é exatamente isso: tornar-se um seed sem necessidade

de deixar um Torrent Client online...

--

Você está recebendo esta mensagem porque se inscreveu no grupo
"Transparência Hacker" dos Grupos do Google.

Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.

Para cancelar a inscrição nesse grupo, envie um e-mail para
thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em
http://groups.google.com/group/thackday?hl=pt-BR.

--
Fabricio C Zuardi
http://fabricio.org

--
Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.

Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.

Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

[Leandro Salvador]

Valeu pela resposta Fabricio!

O que não consegui captar ainda, é o seguinte: nós podemos pegar um arquivo .ZIP qualquer, e criar um .torrent pra ele. Daí, SE nosso cliente Torrent estiver online, E SE o arquivo .ZIP estiver disponível, E SE alguém baixar o .torrent que criamos, ENTÃO este alguém conseguirá baixar o .ZIP que estava, até agora, apenas no nosso próprio computador.

Até aí, blz! Minha questão é: e se ao invés de colocarmos este .ZIP na sessão de downloads de um site, e disponibilizarmos o link para ele (o arquivo .ZIP), disponibilizássemos o link pro .torrent, mas mantendo o .ZIP lá no servidor de hospedagem. Quer dizer: o .ZIP continuará ocupando o mesmo espaço (mesmo espaço!); as mesmas pessoas que baixariam o .ZIP continuarão baixando-o (mesmo bandwidth!), só que agora por meio do .torrent, e não diretamente por HTTP.

A vantagem disso, inclusive pro próprio servidor de hospedagem? É que toda hora em que alguém quiser baixar este .ZIP, será altruistamente um seed ou tracker, e o servidor de hospedagem não ficará sozinho com a sobrecarga. A vantagem para a rede em geral? Se o arquivo sumir do servidor de hospedagem (ou mesmo se o servidor sumir), o arquivo não desaparece da rede.

Em síntese: quando criamos um .torrent, não daria pra fazer a referência de algum endereço HTTP onde possa estar o arquivo .ZIP ao qual ele (o .torrent) referencia-se?

Valeu!
Abraços!

2011/1/22 Fabricio C Zuardi <fabr...@fabricio.org>

[Pedro Markun]

Como eu disse Leandro, para isso o seu servidor de hospedagem precisaria rodar um programa de torrent. Da mesma forma que na sua maquina.

A maior parte dos servidores compartilhados e baratos não faz isso. Porque (apesar de altamente discutivel) o 'custo' do processamento necessário para servir um arquivo torrent não compensa a economia de banda (até pq se for o unico seeder, não tem economia nenhuma.)

abs,

Pedro Markun

2011/1/24 Leandro Salvador <leandro...@gmail.com>

--

Você está recebendo esta mensagem porque se inscreveu no grupo "Transparência Hacker" dos Grupos do Google.

Para postar neste grupo, envie um e-mail para thac...@googlegroups.com.

Para cancelar a inscrição nesse grupo, envie um e-mail para thackday+u...@googlegroups.com.
Para obter mais opções, visite esse grupo em http://groups.google.com/group/thackday?hl=pt-BR.

[capi etheriel]

aí que você se engana. ser o único seeder significa ser o único com 100% do arquivo. mas se tiver dois leechers (com partes dos arquivos) eles podem trocar partes entre si, acelerando o download. vc só precisa de um seed (o do servidor web) e de quantos leechers puder.

ressucitei a thread por causa disto: http://www.trezentos.blog.br/?p=5549

quanto antes pudermos colocar o clone no ar, melhor.

[Pedro Markun]

Opa,

acabei de checar aqui nos arquivos e tenho esses posts todos no clone/backup. 

Bora subir isso em algum lugar? Btw, os vídeos desse post estão no Google Video e o audio no divshare, vale alguem fazer um backup:

http://video.google.com/videoplay?docid=3203077670712596150&hl=en#

http://www.divshare.com/download/6805945-469

abs,

Pedro Markun

2011/2/12 capi etheriel <barra...@gmail.com>

aí que você se engana. ser o único seeder significa ser o único com 100% do arquivo. mas se tiver dois leechers (com partes dos arquivos) eles podem trocar partes entre si, acelerando o download. vc só precisa de um seed (o do servidor web) e de quantos leechers puder.

ressucitei a thread por causa disto: http://www.trezentos.blog.br/?p=5549

quanto antes pudermos colocar o clone no ar, melhor.

--

[capi etheriel]

como faz pra atualizar o clone de forma não destrutiva (acrescentar o novo sem remover o velho)?

[Pedro Markun]

Da forma que fiz o mIrror não da certo.

Tenho outra cópia, feita com o Heritrix que permite isso ( http://crawler.archive.org/ ). Mas não vi se esta funcional.

btw, segue em anexo o referido post. Alguém pode backupear os vídeos do Google Video? Just in case?

abs,

Pedro Markun

2011/2/13 capi etheriel <barra...@gmail.com>

como faz pra atualizar o clone de forma não destrutiva (acrescentar o novo sem remover o velho)?

--

[Diego Rabatone]

Acho que essa questão de fazer backup de vídeos que estão na WEB pode entrar para as Oficinas Hackers hein! =)

De qualquer forma, segue o mirro do MINC online!

http://minc.diraol.eng.br/

2011/2/13 Pedro Markun <pe...@esfera.mobi>

[Diego Casaes]

Rabatone,

será que não vale colocar uma nota falando que ali é um mirror e o porque de fazermos isso?

=)

2011/2/16 Diego Rabatone <dir...@diraol.eng.br>

--
Diego Casaes
Esfera
(11) 9343-6978

[Diego Rabatone]

Estou fazendo isso agora... =p

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/2/16 Diego Casaes <di...@esfera.mobi>

[Pedro Markun]

Yeah.

pemsei aqui que valia um snippet javascript rapido que colocasse um
header fixo com data da copia e um codgo de analytics.

alguem topa desenvolver?

belo trabalho, rabatone! rola fazer outros mirrors por rsync?
On Wednesday, February 16, 2011, Diego Rabatone <dir...@diraol.eng.br> wrote:
> Estou fazendo isso agora... =p--------------------------------

[Diego Rabatone]

Pedro, tente explicar um pouco melhor o que você está pensando. Não peguei a ideia do "Header fixo com data da cópia e um código de analytics"... 

2011/2/16 Pedro Markun <pe...@esfera.mobi>

[Mario Baldini]

Eu ia sugerir a mesma idéia do Pedro, acho muito boa!

Quanto ao design, ficaria uma barra horizontal, na parte superior da página, contendo uma breve descrição ( e link para uma referência completa). (Exemplo: http://www.quackit.com/html/templates/frames/frames_example_2.html )

Na parte técnica, acho que poderia ser feito com a técnica de frame tradicional em html, assim na parte inferior a gente carrega o .html original do site. Ao contrário de outras alternativas, isso não alteraria o fonte do .html espelhado. 

Estou pensando em algum controle de versões... comparando o hash dos .htmls... então seria útil não fazer alterações (mesmo que inofensivas, para adicionar um tracker analytics).

Assim a pessoa navegaria por pelo site, sempre aparecendo a barra superior, pra mostrar que é um espelho e com botão para poder listar um histórico das versões espelhadas anteriormente. 

O que acham ?

Abraços

[capi etheriel]

$('body').prepend('<p>este é um clone do minc feito na data XX/XX/XX por um justificado medo de que o minc delete conteúdo relevante à LDA</p>');

a parte do analytics eu não sei.

[capi etheriel]

eu acho que vc mandou bem, mario, se vc puder implementar um html assim pra por os frames, mandae.

[Diego Rabatone]

Mario,

achei interessante a proposta, mas não me agrada nem um pouco usar frames. =(

Inclusive pq seria interessante usarmos o analytics no conteúdo do site mesmo. Se não colocarmos um analytics nas páginas podemos acabar perdendo informações (como, por exemplo, "o que estão procurando no mirror?").

De qualquer forma, estou fazendo uma página de entrada: http://minc.diraol.eng.br/index2.php

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/2/16 capi etheriel <barra...@gmail.com>

[Emerson Vinicius]

frameset acho que não rola.

$ cat /etc/contact
   Emerson Vinicius (Duke)
   twitter: @emersonvinicius
   gtalk: duke.m16
   evinicius.com
   blog.evinicius.com

2011/2/16 capi etheriel <barra...@gmail.com>

eu acho que vc mandou bem, mario, se vc puder implementar um html assim pra por os frames, mandae.

--

[Diego Rabatone]

Com relação ao analytics, o que podemos fazer é o seguinte.

1) Mantemos uma cópia de controle (inalterada) do mirror que temos. É com essa cópia que faremos a comparação (hash) e atualizaremos o mirror. Temos só que ver para não apagar nada durante a atualização....

2)  Criar um script que substitua todos os "</head>" por "códigoDoAnalytics</head>". Tentei fazer usando sed mas não fui muito feliz na tentativa.

Além disso, o script pode substituir também o "<body>" por um "<body><div id="thacker">" essa div "thacker" seria uma div que fica na parte superior (usando um css) com as infos que queremos.

Acho que tudo isso pode ser feito com um shell script que faça "search&replace"... mas ainda não consegui fazer... =/

O que acham?

--------------------------------
Diego Rabatone Oliveira
http://blog.diraol.eng.br
diraol(arroba)diraol(ponto)eng(ponto)br
Identica: (@diraol) http://identi.ca/diraol
Twitter: @diraol

2011/2/16 Diego Rabatone <dir...@diraol.eng.br>

[capi etheriel]

sed, eu acho. só tem que ter cuidado com os ' e " que zoam a substituição.

2011/2/16 Diego Rabatone <dir...@diraol.eng.br>

--
-capi

[Mario Baldini]

Acho uma boa. Acho q não daria mesmo pra incluir o analytics sem alterar o fonte com o frame.

Apesar do google ter as recomendações dele lá... o código do analytics/urchin realmente precisa estar na <head>/<body>? Ele não carregaria+executaria o .js mesmo fora do <body> ?

Caso não precise, seria só rodar um script estilo:

for each .html as $1

echo "analytics" >> $1

Pois seria mais complicado fazer uma regexp que funcionasse bem mesmo qdo o site tiver uma tag de body modificada. 

Não manjo de DIVs, mas daria pra fazer um q garantidamente fique na parte superior (mostrando o aviso) e q jogue para baixo o site, sem atrapalhar o layout?

Se algum site usar DIVs absolutos, eles n poderiam acabar escondidos em baixo do banner, em cima, etc... ?

Abs

[Pedro Markun]

Caros,

o que tinha pensado era justamente de montar um javascript que fizesse
todas essas substituições.

Ai era só adicionar o código, devidamente comentado, em:

site/wp-content/themes/minc-ascom/js/script.js

ou coisa parecida.

Ai não precisa alterar todooos os documentos.

abs,
Pedro Markun

2011/2/16 Mario Baldini <mario....@ieee.org>: