Heroku - IPs da China parecem derrubar meu site

[Tiago André Geraldi]

Situação muito estranha que não to conseguindo entender...

Faz tempo que tenho um site hospedado no heroku que costuma cair, eu preciso reiniciar, nos logs contam H12 timeout error. Já aumentei o número de dynos, fiz melhorias de performace, nada parece resolver.

O site é simples, e não se espera muitos acessos. Tenho outros maiores que causam problemas.

Acompanhando agora com "heroku logs --tail" vejo que o site está sendo bombardeado de acessos a páginas aleatórias e, no log onde tem o IP fwd, os IPs são da China segundo o whatismyipaddress.com. Não sei se esse IP "fwd" é de origem, ou se são IPs do Heroku.

Mas são muito acessos mesmo, não pára, como se fosse spyder. Pode ser google indexando páginas será?

Será que tem algo atacando o site?

Alguma idéia?

[Alexandre Minello Herrmann]

Voce ja envio isso para o suporte do Heroku? O que eles disseram?

abs,

______________________________
Alexandre Herrmann

--
--
Você recebeu essa mensagem porquê está inscrito no Google
Groups "rails-br".
Para enviar uma mensagem para o grupo, mande um email para rail...@googlegroups.com
Para se descadastrar, mande um e-mail para
rails-br+u...@googlegroups.com
Visite o grupo em http://groups.google.com/group/rails-br?hl=pt-BR
Leia nossa política de uso: http://goo.gl/YGgt7
 
---
Você está recebendo esta mensagem porque se inscreveu no grupo "rails-br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para rails-br+u...@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

[Silvio Luiz]

Existe um serviço interessante chamado Cloudflare, você pode utilizá-lo como um proxy reverso(antes do Heroku), e ai você pode monitorar o tráfego estranho e até  efetuar bloqueios de ip, range ou até país... Talvez seja uma boa pra você monitorar o acesso e restringir ataques ou suspeitas como essa, pois até os acessos feitos por crawlers são identificados no dashboard dele. Ai embaixo tem uma imagem que dá a dimensão do dashboard pra uma brincadeira que estou começando:

 

Att,

Silvio Luiz

Em 2 de setembro de 2013 22:46, Tiago André Geraldi <virg...@gmail.com> escreveu:

--

[Tiago André Geraldi]

O Heroku diz que apenas que há mais acessos do que os atuais dynos suportam ou problema na aplicação.

Buscando rapidamente no google, achei que o GoogleBot usa IPs da China, então pode ser ele.

Pretendo testar o Cloudflare.

O site é de notícias e tem mundo conteúdo antigo disponível através da paginação, vejo que esses acessos estão lendo todas essas páginas. Eu limitei o conteúdo, pra ver se ele encontra um fim nessa indexação.

[henriquealmeida]

Cara, não tem a ver com o Google pois ele faz pouquíssimas requisições aos sites.

Se fosse assim os sites em hospedagens compartilhadas iam viver fora do ar.

Acredito que seu domínio esteja em uma ~black list~.

O CloudFlare resolve o seu problema, de qualquer maneira. Ele impede acessos de origem estranha, inclusive solicitando captcha.

[Silvio Luiz]

Cloudare neles! Hehe Mesmo a opção free já te dá opções de bloqueio e Dashboard de trafego suspeito, o captcha acho que só com plano pago, dá uma olhada no site...

--

--
Você recebeu essa mensagem porquê está inscrito no Google
Groups "rails-br".
Para enviar uma mensagem para o grupo, mande um email para rail...@googlegroups.com
Para se descadastrar, mande um e-mail para
rails-br+u...@googlegroups.com
Visite o grupo em http://groups.google.com/group/rails-br?hl=pt-BR
Leia nossa política de uso: http://goo.gl/YGgt7
 
---
Você está recebendo esta mensagem porque se inscreveu no grupo "rails-br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para rails-br+u...@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

--

[Everaldo Gomes]

Puxa, eu acho mais provável que a aplicação esteja bugada do que sofrendo DDoS. Bom, não vi os logs....

2013/9/3 Silvio Luiz <silvi...@gmail.com>

[Tiago André Geraldi]

Descobri pessoal. Trata-se de um tal Baidu Spider, indexador oriental.

Ele realmente abusa do site, 24h por dia vários gets por segundo. Estou vendo uma maneira de bloqueá-lo. Via robots.txt já vi que não dá, ele nao lê.

Em segunda-feira, 2 de setembro de 2013 22h46min16s UTC-3, Tiago André Geraldi escreveu:

[Silvio Luiz]

É um único ip ou range?

--

--
Você recebeu essa mensagem porquê está inscrito no Google
Groups "rails-br".
Para enviar uma mensagem para o grupo, mande um email para rail...@googlegroups.com
Para se descadastrar, mande um e-mail para
rails-br+u...@googlegroups.com
Visite o grupo em http://groups.google.com/group/rails-br?hl=pt-BR
Leia nossa política de uso: http://goo.gl/YGgt7
 
---
Você está recebendo esta mensagem porque se inscreveu no grupo "rails-br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para rails-br+u...@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

[Tiago André Geraldi]

é Range. Achei essa página que explica algumas coisas

http://www.baidu.com/search/spider_english.html

Em segunda-feira, 2 de setembro de 2013 22h46min16s UTC-3, Tiago André Geraldi escreveu:

[Marco Giroto]

Também já tive problema com o Baidu no passado. Na hora o que fiz foi bloquear todos os IP's direto no Iptables. Depois de um tempo eu desbloqueei e o abuso parou.

Abs.

--

[Guilherme]

Eu também já tive problemas com Baidu. Bloqueei no robots.txt e resolveu em parte.

User-agent: Baiduspider

Disallow: /

E também bloqueei o range de IPs abaixo:

202.46.48.* a 202.46.63.*

Guilherme

[Tiago André Geraldi]

Eu não consegui bloquear nem com robots.txt (talvez demore um pouco pra dar efeito) nem bloqueando range de ip do cloudflare.

Daí por hora, eu fiz isso no application_controller

before_filter :block_baidu

def block_baidu

    if request.env['HTTP_USER_AGENT'].include?('Baiduspider')

      render :nothing => true, :status => :forbidden

      return false

    end

  end

Tem algumas horas, e o Baidu ainda insiste, mesmo tendo um 403 de resposta. Pelo menos já economizo recursos do server.

[Leonardo Saraiva]

Um robots.txt não ajudaria nisso? Se for o Google você conseguirá restringir alguma coisa, se não quiser ser indexado, lógico.

2013/9/3 Tiago André Geraldi <virg...@gmail.com>

--

--
Você recebeu essa mensagem porquê está inscrito no Google
Groups "rails-br".
Para enviar uma mensagem para o grupo, mande um email para rail...@googlegroups.com
Para se descadastrar, mande um e-mail para
rails-br+u...@googlegroups.com
Visite o grupo em http://groups.google.com/group/rails-br?hl=pt-BR
Leia nossa política de uso: http://goo.gl/YGgt7
 
---
Você está recebendo esta mensagem porque se inscreveu no grupo "rails-br" dos Grupos do Google.
Para cancelar a inscrição neste grupo e parar de receber seus e-mails, envie um e-mail para rails-br+u...@googlegroups.com.
Para obter mais opções, acesse https://groups.google.com/groups/opt_out.

--
Att,
Leonardo Saraiva

........__Ô                 "chuva-ou-sol,
....._ \ >_                 peda-lã-moi-gual"
....(_) / (_)                (Tássia Arouche)

[Oseias Ferreira]

O problema é: o robots.txt são instruções e não controle do acesso para o robo.
Se o dono do robo, ordenou ignorar o robots.txt, pode ter certeza que ele ignorará…

--
Oséias Ferreira.

[Tiago André Geraldi]

Exatamente. Eu tentei robots.txt mas o Baidu ignora isso.
Por hora, a solução na aplicação está funcionando, mas o bot nao para com os gets, mesmo retornando 403.

[Oseias Ferreira]

As únicas formas que conheço de evitar os gets, é especificar no servidor http quais ips serão negados, ou mais simples e radical, no firewall.
Não creio que você consiga fazer isto no Heroku…

--
Oséias Ferreira.

[Silvio Luiz]

É Tiago,

Acho que você vai ter de ir de cloudflare mesmo, senão seria bloquear mais na unha no iptables

Att,

Silvio Luiz

[Kelvin Morais]

Estou com o mesmo problema. Alguma outra solução ?

[Tiago André Geraldi]

Resolvi com Threat Control do CloudFlare. Disponível mesmo em conta free.