VPN mudando de IP servidor VPS.

[Nicolas Rodrigues]

Tenho um servidor em uma VPS com Nginx + Gunicorn com SSL/HTTP, mas estou com um grande problema, é que tenho um script que faz webscraping e para isso uso VPN/Wireguard para evitar ser bloqueado, porém, isso faz o servidor mudar de IP também que acaba caindo o servidor... geralmente o webscraping demora até ~20 horas.

Estou pensando em pegar múltiplos servidores VPN/Wireguard e tentar reduzir isso para no máximo 1 hora e deixar off mesmo o servidor. Mas além de ter o incomodo de cair o servidor, acredito que isso seja contra as normas da NordVPN ou SurfShark e resultar em algum banimento. 

Alguém tem alguma dica ou solução? 

[Josir]

Opa Nicolas,

Quando eu precisei fazer o webscrapying, eu utilizei o Free-Proxy. Não sei como está a qualidade dele agora, mas na época atendeu muito bem.

def get_proxies():
   url = 'https://free-proxy-list.net/'
   headers = {'user-agent': random.choice(USER_AGENT_CHOICES)}
   response = requests.get(url, headers=headers)
   parser = fromstring(response.text)
   lista = []
   for i in parser.xpath('//tbody/tr')[:10]:
       if i.xpath('.//td[7][contains(text(),"yes")]'):
           proxy = ":".join([i.xpath('.//td[1]/text()')[0], i.xpath('.//td[2]/text()')[0]])
   lista.append(proxy)
   print('Proxies obtidos: %d' % len(lista))
   return lista

Sempre que o server me bloqueava, eu rotaciono o user-agent e o IP. Se a lista de IPs acaba eu chamo novamente a função que retorna novos proxies.

Josir