Webproxy MK gerando latencia alta.

[Tiago Amorim]

Bom dia a todos.

Uma empresa, cliente da nossa, possui um servidor mirkotik configurado por nossa empresa, há tempos atrás.

Nesta empresa, o webproxy MK é utilizado basicamente para bloquear ou liberar sites e endereços IP da rede interna.

Mesmo que o webproxy esteja rodando na porta 80, as conexões só são "estudadas" caso haja uma regra de redirecionamento no nat. Pode ser tanto um dstnat para a porta 80 do servidor MK como um redirect para porta 80. Do contrário, as requisições não passam pelo proxy. Acho isso muito estranho.

Já tentei criar um hotspot e nele utilizar a configuração de proxy, mas novamente as requisições só passam pelo proxy caso ocorra um nat.

Acho tudo isto muito estranho, e o que pesa mais, é que a latência no cliente para um site externo, que é de cerca de 20ms sem a regra de nat, sobe para 250ms com a regra, e esse é o nosso motivo de querer excluir esse redirecionamento por nat.

Sei que marcando conexões, e posteriormente rotas, ao apontar-se um gateway, conseguimos o uso correto de um outro servidor proxy. Mas este não é o nosso caso. Estamos querendo controloar as requisições no próprio MK, e não fazer a utilização de cache.

Gostaria da ajuda de quem já experienciou este problema, pois não sei como resolvê-lo.

Guilherme, por favor, dá uma força!

Obrigado!

[]s

[Guilherme Ramires]

Olá todos,

Neste caso a única coisa que você precisa fazer é um dstnat do protocolo tcp, porta 80 com a action redirect pra porta do proxy que roda no MK. Neste caso você deve

setar o MAX CACHE SIZE=0, caso contrário o MK faz cache e realmente existe aumento de latência. Só precisa isso. Remove tudo que tiver além do que falei, ok?

Abraço a todos,

 

Guilherme Ramires
Mikrotik Training Partner
Mikrotik Consultant
Network Engineer

[Tiago Amorim]

To testando agora.

Aproveita e me adianta:

Qual a necessidade de um redirect, se eu utilizar porta 80 no web proxy?

Obrigado.

[Tiago Amorim]

Bem, sinto muito, mas o max cache size já estava setado como none.

A regra de redirect também está idêntica.

Que outro problema pode estar ocorrendo?

Ao desabilitar esta regra de nat, a latência volta a baixar e normalizar.

Obrigado!

[Guilherme Ramires]

Olá Thiago,

Não é correto usar a porta 80 no proxy já que a requisição web é: http:www.uol.com.br:80. Ela não é http://IP_DO_MIKROTIK:80

Por isso a necessidade do redirect, ok?

Abraços,

Guilherme Ramires
Mikrotik Training Partner
Mikrotik Consultant
Network Engineer

[Guilherme Ramires]

Olá Thiago,

Verifique no status do proxy se ele já fez cache. Ele já pode possuir um cache feito anteriormente, ok?

Abraços,

Guilherme Ramires
Mikrotik Training Partner
Mikrotik Consultant
Network Engineer

Em 10/01/2012, às 10:15, Tiago Amorim escreveu:

[Tiago Amorim]

Já verifiquei.

Já limpei tudo.

Já extraí as configurações e estou testando em um outro roteador em minha bancada.

O resultado é sempre o mesmo.

Há o redirect para a porta do proxy, a latência aumenta.

Não sei o que é!

Obrigado!

[]s

[Guilherme Ramires]

Olá Thiago,

Não é correto usar a porta 80 no proxy já que a requisição web é: http:www.uol.com.br:80. Ela não é http://IP_DO_MIKROTIK:80

Por isso a necessidade do redirect, ok?

Abraços,

Guilherme Ramires
Mikrotik Training Partner
Mikrotik Consultant
Network Engineer

Em 10/01/2012, às 10:15, Tiago Amorim escreveu:

[Rafael Grisotto]

Boa noite Tiago,

Posta as tuas regras aqui, acho que fica mais fácil identificar algum problema com isso, pois utilizo isso no meu escritório e em algumas empresas aqui e nunca vi nada igual a isso.

Abraços,

-- 
Rafael Grisotto
Analista de Sistemas
Sócio Diretor - Depto TI
VIRTUALI Soluções em Telecomunicação Ltda - ME
URL: www.virtuali.com.br
E-mail: sup...@virtuali.com.br
Telefone: (19) 34352422
MSN: sup...@virtuali.com.br
Charqueada-SP - Mombuca-SP - Piracicaba-SP - Saltinho-SP - São Pedro-SP

[Tiago Amorim]

Vamos lá... Por favor, me ajudem

/ip proxy

enabled: yes

             src-address: 192.168.0.1

                    port: 3128

            parent-proxy: 0.0.0.0

       parent-proxy-port: 0

     cache-administrator: cla...@mathis.com.br

          max-cache-size: none

           cache-on-disk: no

  max-client-connections: 600

  max-server-connections: 600

          max-fresh-time: 4d

   serialize-connections: no

       always-from-cache: yes

          cache-hit-dscp: 4

             cache-drive: system

/ip firewall nat

 ;;; Redireciona tudo para o Proxy

     chain=dstnat action=redirect to-ports=3128 protocol=tcp 

     src-address=192.168.0.0/24 in-interface=ether3 dst-port=80

Com a regra abaixo ativada, a latência sobe exageradamente.

Sem ela, o controle de sites não funciona.

O usuário é leigo, e sabe mexer nos filtros do proxy. E adora isso.

Utilizar filter pra fazer este tipo de controle está fora de cogitação.

Ele quer manter o modelo atual, sem aumento de latência.

Obrigado.

[Tiago Amorim]

Pessoal, fiz o seguinte:

Adicionei um roteador MIKROTIK à esta rede, no mesmo nível dos clientes.

O gateway mikrotik é um outro roteador. Endereço 192.168.0.1 e gateway da rede.

O novo roteador coloquei para fazer um teste com o webproxy separadamente. Tem o IP 192.168.0.2

Estou redirecionando todo o tráfego da porta 80 para o novo roteador, 192.168.0.2, através de política de roteamento.

Neste roteador, eu recebo o tráfego, através de NAT, redireciono para a porta 3128, onde tenho o webproxy ativado com todas as políticas.

Mesmo dessa maneira, a latência é altíssima! 

O cenário mudou, as configurações são as recomendadas, e o resultado é o mesmo!

Aguardo ajuda.

Obrigado!

[]s

[Rafael Grisotto]

Prezado Tiago,

Na verdade, nesse cen�rio de utiliza��o, o ideal � realmente manter o
sistema de proxy ativo no mesmo router em que esta o firewall, pois o
mesmo esta apenas controlando o acesso e n�o efetuando cache de p�gina,
o segundo cen�rio seria o ideal para cacheamento de p�ginas web.
Pelo que verifiquei, as configura��es s�o simples e est�o corretas, deve
ser alguma regra que o teu cliente colocou que deve estar gerando todo
esse transtorno, ou alguma regra de firewall mal dimensionada, pelo que
voc� passou, deveria estar funcionando adequadamente, vou colocar as
regras que utilizo aqui abaixo:

/ip proxy
enabled: yes
src-address: 0.0.0.0
port: 5014
parent-proxy: 0.0.0.0
parent-proxy-port: 0
cache-administrator: sup...@virtuali.com.br

max-cache-size: none
cache-on-disk: no
max-client-connections: 600
max-server-connections: 600

max-fresh-time: 3d
serialize-connections: no
always-from-cache: no
cache-hit-dscp: 4
cache-drive: system

/ip firewall nat
0 chain=dstnat action=redirect to-ports=5014 protocol=tcp
src-address-list=INTRANET in-interface=PONTE--INTRANET dst-port=80

Abra�os,

--
Rafael Grisotto
Analista de Sistemas

S�cio Diretor - Depto TI
VIRTUALI Solu��es em Telecomunica��o Ltda - ME
URL: www.virtuali.com.br
E-mail: sup...@virtuali.com.br
Telefones: (19) 34352422
MSN: sup...@virtuali.com.br
Charqueada-SP - Mombuca-SP - Piracicaba-SP - Saltinho-SP - S�o Pedro-SP

[Tiago Amorim]

Rafael, o segundo cenário foi simplesmente para testar em separado o quê poderia estar me gerando problemas.

O cenário proposto e utilizado atualmente é de apenas um roteador. E se manterá, visto que o problema não foi resolvido.

Acontece que os dados que vos passei são de roteadores novos e limpos. Eu laboratorizei a situação do cliente e a latência está altíssima.

Estou reproduzindo o cenário dele em roteadores 450g que tenho aqui na base.

Redirecionando as requisições para o web-proxy do mikrotik, mesmo vazio e sem regra de bloqueio alguma, ocorre uma lentidão enorme.

Já estou cansado. Não sei mais o quê tentar.

Obrigado pela atenção.

[]s

Em 11 de janeiro de 2012 15:40, Rafael Grisotto <rafaelg...@yahoo.com.br> escreveu:

Prezado Tiago,

Na verdade, nesse cenário de utilização, o ideal é realmente manter o sistema de proxy ativo no mesmo router em que esta o firewall, pois o mesmo esta apenas controlando o acesso e não efetuando cache de página, o segundo cenário seria o ideal para cacheamento de páginas web.
Pelo que verifiquei, as configurações são simples e estão corretas, deve ser alguma regra que o teu cliente colocou que deve estar gerando todo esse transtorno, ou alguma regra de firewall mal dimensionada, pelo que você passou, deveria estar funcionando adequadamente, vou colocar as regras que utilizo aqui abaixo:

/ip proxy
                enabled: yes
            src-address: 0.0.0.0
                   port: 5014
           parent-proxy: 0.0.0.0
      parent-proxy-port: 0
    cache-administrator: sup...@virtuali.com.br

         max-cache-size: none
          cache-on-disk: no
 max-client-connections: 600
 max-server-connections: 600

         max-fresh-time: 3d
  serialize-connections: no
      always-from-cache: no

         cache-hit-dscp: 4
            cache-drive: system

/ip firewall nat

 0   chain=dstnat action=redirect to-ports=5014 protocol=tcp
    src-address-list=INTRANET in-interface=PONTE--INTRANET dst-port=80

Abraços,

--
Rafael Grisotto
Analista de Sistemas

Sócio Diretor - Depto TI
VIRTUALI Soluções em Telecomunicação Ltda - ME
URL: www.virtuali.com.br
E-mail: sup...@virtuali.com.br

Telefones: (19) 34352422

MSN: sup...@virtuali.com.br
Charqueada-SP - Mombuca-SP - Piracicaba-SP - Saltinho-SP - São Pedro-SP

[Tiago Amorim]

Aqui vai, senhores... 

Roteador novo, recém resetado, com apenas as seguintes configurações:

/ip address

add address=192.168.67.220/24 disabled=no interface=ether1 network=192.168.67.0

add address=192.168.0.1/24 disabled=no interface=ether2 network=192.168.0.0

add action=redirect chain=dstnat disabled=no dst-port=80 protocol=tcp to-ports=8080

add action=masquerade chain=srcnat disabled=no src-address=192.168.0.0/24

/ip route

add disabled=no distance=1 dst-address=0.0.0.0/0 gateway=192.168.67.1 scope=30 target-scope=10

/ip proxy

set always-from-cache=no cache-administrator=webmaster cache-hit-dscp=4 cache-on-disk=no enabled=yes max-ca

    none max-client-connections=600 max-fresh-time=3d max-server-connections=600 parent-proxy=0.0.0.0 \

    parent-proxy-port=0 port=8080 serialize-connections=no src-address=0.0.0.0

Desabilitando a regra nat de redirect, latência 40. Habilitando a regra, latência 260.

Proxy sem nenhuma regra.

RB 450G Router OS 5.11

Já testado nas versões 4.17 e 5.6

E agora???

Muito obrigado desde já!

[Guilherme Ramires]

Olá todos,

Tiago dá uma olhada como fica a CPU quando o nat é ativado. Fiz um teste de bancada com uma RB e ficou normal.

Pode ser que seja o tráfego ai que é maior. Mas olha isso ai e fala se sobe demais.

Abraços,

Guilherme Ramires
Mikrotik Training Partner
Mikrotik Consultant
Network Engineer

[Tiago Amorim]

Guilherme, em ambiente de testes, praticamente sem tráfego algum, a latência sobe demais.

Eu fiz apenas uma configuração básica pra testar.

Coloquei um endereço ip em uma interface wan

Um endereço ip em uma lan

adicionei uma rota default pro gateway da porta wan

criei um masquerade pra porta lan

ativei o web proxy na porta 8080

criei um nat redirecionando 80 pra 8080 e só. Mais NADA.

É um roteador novo, uma rb 450, testada nas versões 4.17, 5.6 e 5.11

Me exporta tuas configs e me deixa testar aqui. Não é possível eu estar fazendo algo tão errado a este ponto... caraca...

Resetei a RB pra cada teste. resultado sempre o mesmo.

Ativa o NAT, sobe a latência.

Testei as mesmas configurações numa rb 1200 que temos de backup e foi a mesma coisa.

O processamento não sobe. Fica sempre no mínimo.

O Tráfego é pouco.

Obrigado!

[]s

[Lucas a]

Tenta:

/queue tree

add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=0 \

max-limit=0 name="CACHE-FULL - Download" packet-mark=pacotes_squid-down \

parent=global-in priority=1 queue=default

add burst-limit=0 burst-threshold=0 burst-time=0s disabled=no limit-at=0 \

max-limit=5M name="CACHE-FULL - Upload" packet-mark=pacotes_squid-up \

parent=global-out priority=1 queue=default

/ip firewall mangle

add action=mark-connection chain=output comment="Cache Full" content=\

"X-Cache: HIT" disabled=no new-connection-mark=conn_squid-up passthrough=\

yes protocol=tcp src-port=3128

add action=mark-packet chain=output comment="" connection-mark=conn_squid-up \

disabled=no new-packet-mark=pacotes_squid-up passthrough=yes

add action=mark-connection chain=prerouting comment="" disabled=no \

new-connection-mark=conn_squid-up passthrough=yes protocol=tcp src-port=\

3128

add action=mark-packet chain=prerouting comment="" connection-mark=\

conn_squid-down disabled=no new-packet-mark=pacotes_squid-down \

passthrough=yes

/ip firewall filter 

add action=drop chain=input comment="boqueia proxy externo" disabled=no \

dst-port=3128 in-interface=Link protocol=tcp

add action=accept chain=input comment="aceitar conexoes do proxy" disabled=no \

dst-port=3128 protocol=tcp

/ip firewall nat

add action=redirect chain=dstnat comment="Web-Proxy + Cache Full" disabled=no \

dst-port=80 protocol=tcp to-ports=3128

/ip proxy

set always-from-cache=yes cache-administrator="Deivid Moik\E1\E0 ( Suporte T\

\E9cnico e Consultoria em Rede e Mikrotik ) Msn dei...@radiostronda.com" \

cache-hit-dscp=4 cache-on-disk=yes enabled=yes max-cache-size=20000KiB \

max-client-connections=200 max-fresh-time=4w2d max-server-connections=200 \

parent-proxy=0.0.0.0 parent-proxy-port=0 port=3128 serialize-connections=\

yes src-address=0.0.0.0