Detectar o uso de CURL

[william]

Boa noite, gostaria de saber se alguem sabe alguma maneira de detectar se alguem está fazendo um requisição de uma página do meu site usando o curl, exemplo:

possuo um site que eu gostaria de bloquear que outros sites peguem o conteudo das páginas do meu site.

[Alex Silva]

dificil isso cara
ou você olha os logs do seu site e tenta identificar os bots ou você bloqueia visitas sem http referer(isso vai bloquear todas as visitas diretas, só mesmo para informação, pois dependendo do sistema, as vezes é vantagem).

mas a melhor forma, são os logs.
ah, pode fazer igual o google, ve qual a média de páginas visitadas do seu site dobra isso(exemplo, 5 páginas visitadas em média, depois de 10 faz um sistema) - sistema de capthca, pedindo se é mesmo uma pessoa ou um robo

Tirando isso, não sei mesmo se tem como bloquear isso.
Talvez botar um header em cada página, sei la, nada disso vai ser 100%


abraços

2011/6/18 william <willi...@gmail.com>

Boa noite, gostaria de saber se alguem sabe alguma maneira de detectar se alguem está fazendo um requisição de uma página do meu site usando o curl, exemplo:

possuo um site que eu gostaria de bloquear que outros sites peguem o conteudo das páginas do meu site.

--
============================================================
LEIAM SEMPRE AS REGRAS DA LISTA:
http://groups.google.com.br/group/listaphp/web/regras-da-lista-php
--
JQUERY MAGAZINE > http://www.jquerymagazine.com.br
--
PHP MAGAZINE > http://www.phpmagazine.com.br
--
LISTA NODE.JS > https://groups.google.com/group/lista-nodejs?hl=pt-br
--
AJAX-BRASIL > http://groups.google.com/group/ajax-brasil
--
PYTHON-GOOGLE > http://groups.google.com.br/group/python-google
--
DOTNET-BRASIL > http://groups.google.com.br/group/dotnet_br
============================================================

[Ícaro Souza]

Não tem como pois o header é modificável, com curl posso disfarçar como Mozilla ou IE entre outros
Ícaro Souza
www.icarosouza.net

2011/6/18 william <willi...@gmail.com>

Boa noite, gostaria de saber se alguem sabe alguma maneira de detectar se alguem está fazendo um requisição de uma página do meu site usando o curl, exemplo:

possuo um site que eu gostaria de bloquear que outros sites peguem o conteudo das páginas do meu site.

--

[Eduardo]

Daria para ter uma tabela de logs com todos os IP's de acesso...

Se o IP X sempre pegar requisições da mesma página por digamos, mais de uma semana (e somente as mesmas páginas), vc poderia bloquear...

No começo parece de difícil, mas dá pra fazer script para varrer o log por esse tipo de padrão.

Tem sites que fazem esse tipo de bloqueio.

Eduardo

2011/6/18 Ícaro Souza <ica...@gmail.com>

[Natascha]

Concordo com o Eduardo e, se você não quer ninguem tirando informação
do seu site, crie a "TOS", sigla em ingles para Termos e Condições de
Uso, onde você proíbe qualquer ação relacionada a WebScraping, como
por exemplo ação de robos, etc.

Se der algum problema, você tem como argumentar.

Natascha

[Rubens Takiguti Ribeiro]

Você pode criar um termo, como a Natasche falou, e ainda incluir algumas soluções para evitar bots:

Usando o browscap.ini + função get_browser você filtra os bots declarados.

Usando uma black list, você evita alguns bots desfarçados, conforme você os detecta (como o Eduardo citou).

Outra sugestão mais garantida seria implementar uma página inicial com algum mecanismo de captcha (o que é bem chato para um site). Ou algum mecanismo que explorasse o JavaScript para gerar uma chave válida que é necessária para carregar o conteúdo (tudo transparente para o usuário). Neste caso, a pessoa precisaria, pelo menos, burlar o seu esquema em JavaScript (dificultaria um pouco).

Rubens Takiguti Ribeiro
TecnoLivre - Cooperativa de Tecnologia e Soluções Livres
Bacharel em Ciência da Computação - UFLA
Zend Certified Engineer - PHP 5
http://rubsphp.blogspot.com/

[Felipe Duardo]

Galera,

essa semana o site da receita bloqueou o acesso por CURL,

pelo menos para a aplicação do pessoal aqui, 

que buscava dados a partir de CPF e CNPJ...

--

Felipe Duardo

[Erle Carrara]

Felipe,

Tente usar curl -A 'Mozilla/5.0 (X11; Linux x86_64; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'

O curl envia o User-Agent dele na requisição, se você fizer no terminal um "curl example.com -Iv" você vai ver isso.

A opção acima é para definir um header a ser enviado com a requisição.

No php use a função curl_setopt($ch, CURLOPT_USERAGENT, $useragent) para definir o User-Agent enviado no cabeçalho

Abraços!

- - -
Erle Carrara
<carrar...@gmail.com>

[Vitor Amaral]

E ai galera da lista. Alguem já trabalhou com vídeos ??
Como eu faço para deixar o seu carregamento tão rapido igual o youtube, vimeo etc ?

Estou desenvolvendo um site que a divulgação dos produtos serão feitas por vídeos, (um player em flash buscando o vídeo externamente pela url "site.com.br/video.mp4") Até ai blz, mas está demorando muito para carregar...

Fiz umas pesquisas sobre  configuração de um servidor streaming, mas ainda não sakei como funciona isso, se alguem já teve essa experiência peço ajuda!...


Valew..

[Rogerio Morales]

Cara, o pessoal aqui trabalha com o RED5. Infelizmente nao tenho muito a te dizer, mas parece ser um streammer ideal para flash

Em 29/07/11 16:28, Vitor Amaral escreveu:

--
============================================================
LEIAM SEMPRE AS REGRAS DA LISTA:
http://groups.google.com.br/group/listaphp/web/regras-da-lista-php
--
JQUERY MAGAZINE > http://www.jquerymagazine.com.br
--
PHP MAGAZINE > http://www.phpmagazine.com.br
--
LISTA NODE.JS > https://groups.google.com/group/lista-nodejs?hl=pt-br
--
AJAX-BRASIL > http://groups.google.com/group/ajax-brasil
--
PYTHON-GOOGLE > http://groups.google.com.br/group/python-google
--
DOTNET-BRASIL > http://groups.google.com.br/group/dotnet_br
============================================================

--

Rogerio Pellarin

Suporte Técnico / Vendas

 

Email:	linux....@terra.com.br
Mobile:	+55 18 9198 6861
Phone:	+55 18 3642 4941
Skype:	pellarin.rogerio
Gtalk	tril...@gmail.com
Msn:	tril...@gmail.com

 

TORPEDO CERTO - O Melhor Disparo SMS

          www.torpedocerto.com.br

[Cassiano Ricardo Mourão]

lembrando q seu servidor tem q ter uma boa banda de upload, obviamente.

[Vitor Amaral]

Olá Rogerio, mas esse Red5 é para formato FLV não é ??

Os vídeos que estou usando estão no formato mp4, desse jeito eu consigo fazer eles rodarem na versão mobile tbm (iPhones e iPads), faço a condição de mostrar o player em flash ou carregar direto o arquivo mp4

---

Date: Fri, 29 Jul 2011 16:32:11 -0300
From: tril...@gmail.com
To: list...@googlegroups.com
Subject: Re: [ PHP - Google ] Carregamento mais rapdio de vídeos na página

[Rogerio Morales]

Eu posso te responder isso na segunda, pq o cara que trabalha com o red5 esta viajando. Ele eh especialista nisso, entao com certeza ele tem uma resposta
envie um email com a pergunta direto pra ele: fabio...@gmail.com

Em 29/07/11 16:42, Vitor Amaral escreveu:

[Vitor Amaral]

Fechado, vou mandar  um email para ele, valew Roberto...

Se alguem da lista tbm conseguir ajudar !, estou precisando muito entender como funciona......

E se por acaso eu achar uma alternativo, vou postar aqui para quem tiver interesse de saber....


vlw

---

Date: Fri, 29 Jul 2011 16:46:10 -0300

[Rogerio Morales]

Roberto???? Mudei de nome e nao sabia??? :P


Em 29/07/11 16:51, Vitor Amaral escreveu:

[Vitor Amaral]

kkkkkkkk,,, o cara me ajudando, e eu faço isso rs...

Foi mau cara!, é muito código rs.... (vc deve entender isso rs)

---

Date: Fri, 29 Jul 2011 16:54:06 -0300

[Rogerio Morales]

Claro que entendo Eufrasio!

Em 29/07/11 16:57, Vitor Amaral escreveu: