Problemas com Squid em paralelo com MK (Alguem pode me dar uma força??)

[Alan09]

Boa Tarde Pessoal do under,
A dias venho tentando solucionar um problema em minha rede que já está me deixando de cabelos em pé!
Tenho um servidor MK versão 3.x fazendo todo o controle da minha rede e estou a dias tentando colocar um Squid em paralelo com o MK fazendo o cache full da minha rede.
Fiz o passo a passo conforme um tutorial que achei aqui no under e confirmei as informações diversas vezes para ver se tinha feito algo errado mais está exatamente igual.
Estou postando em anexo imagens do meu mk e meu squid.conf para quem tiver mais experiencia no assunto me ajudar pois ainda não consegui uma solução para o meu problema.
Caso esteja faltando alguma informação me informe que coloco aqui.
Desde já agradeço a atenção de todos aqui do forum.

*************************************************************
***Squid.Conf***

#Inicio do script
#Squid.conf gerado por XXXXX
#Contato XXXXXXXXXX
#
#Script gerado para configuração simples com mikrotik em paralelo com
# regras de segurança, iptables, etc. executadas no mikrotik.

http_port 5128
visible_hostname webproxy

acl all src
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl SSL_ports port 443 563
acl Safe_ports port 80
acl Safe_ports port 21
acl Safe_ports port 443 563
acl Safe_ports port 70 #protocolo gopher antigão
acl Safe_ports port 210 #whais
acl Safe_ports port 1024-65535 #todas as outras portas
acl Safe_ports port 280 #http-mgmt
acl Safe_ports port 488 #gss-http
acl Safe_ports port 591 #filemaker
acl Safe_ports port 777 #multi http
acl Safe_ports port 901 #acesso Swat
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_PORTS

#permissão de acesso ao proxy, troque 0.0.0.0/0 pela sua
#classe de rede ou classes separadas por espaços.
acl redelocal src 192.168.10.1
http_access allow localhost
http_access allow redelocal

#bloquear todos outros acessos.
http_access deny all

#memoria reservada para o cache, coloque um valor de preferencia 40%
# do total da sua maquina, e não mais.
cache_mem 800 MB

#máximo tamanho dos arquivo cache na memoria
maximum_object_size_in_memory 128 KB

#máximo tamanho dos arquivo cache no hd
maximum_object_size 50 MB
minimum_object_size 0 KB

#regra que começa a esvaziar / substituir arquivos no cache em 90%
cache_swap_low 85
cache_swap_high 90

#indicação de localização da pasta de arquivos cache e em sequência valor
#total em MB de espaço no hd a ser usado pelo cache, numero de pastas, e
#numero de subpastas do cache.
cache_dir ufs /var/spool/squid3 1331200 256 512

#intervalos de tempos que o proxy verificara os arquivos dos site acessado
#conferem com o do cache, o valor 4560 significa 04 dias
refresh_pattern ^ftp: 15 20% 4560
refresh_pattern ^gopher: 15 0% 4560
refresh_pattern . 15 20% 4560

*************************************************************************************************************

Att,
Alan M. da Silva

[mktguaruja]

Amigo a marcação de cache full seria:

>> Mangle <<
0 ;;; Squid - Cache Full
chain=prerouting action=mark-connection new-connection-mark=proxy-hits
passthrough=yes dscp=12

1 chain=prerouting action=mark-packet new-packet-mark=proxy-squid
passthrough=no connection-mark=proxy-hits

>> Queue tree <<

0 name="SquidCache-Down" parent=global-out packet-mark=proxy-squid
limit-at=2M queue=cache priority=8 max-limit=3M burst-limit=0
burst-threshold=0 burst-time=0s

1 name="SquidCache-Up" parent=global-in packet-mark=proxy-squid limit-at=2M
queue=cache priority=8 max-limit=3M burst-limit=0 burst-threshold=0
burst-time=0s

Em relação ao squid.conf vo esta dando uma analisada, e sobre o redirect você pode fazer da seguinte maneira:

1 ;;; >> Proxy Debian <<
chain=dstnat action=dst-nat to-addresses=10.10.1.2 to-ports=5128
protocol=tcp src-address=11.11.2.0/24 dst-address=!10.10.1.2
dst-port=80

Espero ter ajudado, e desculpa não ter te dado atenção no msn, pois to na maior correria aqui. t+

[Alan09]

Muito obrigado pela atenção,
Vou fazer os testes e posto aqui !
Abraço!

[lrmurad]

>> Queue tree <<

0 name="SquidCache-Down" parent=global-out packet-mark=proxy-squid
limit-at=2M queue=cache priority=8 max-limit=3M burst-limit=0
burst-threshold=0 burst-time=0s

1 name="SquidCache-Up" parent=global-in packet-mark=proxy-squid limit-at=2M
queue=cache priority=8 max-limit=3M burst-limit=0 burst-threshold=0
burst-time=0s

Amigo, to com um probleminha no meu queue, não aparece tráfego.
Na regra do mangle aparece, mas no queue tree naum

/queue tree
name="squid" parent=global-out packet-mark=proxy-squid limit-at=0
queue=cache priority=8 max-limit=0 burst-limit=0 burst-threshold=0
burst-time=0s

/queue type
name="cache" kind=pcq pcq-rate=4800000 pcq-limit=50
pcq-classifier=dst-address pcq-total-limit=2000

Será que tem alguma coisa errada nas regras que postei acima?

[mktguaruja]

Amigo você não declarou a velocidade do cachefull, na queue tree. Tenta adicionar as velocidade no max-limit e limit-at. Nas regras que postei da uma analisada nas velocidades.

Amigo, to com um probleminha no meu queue, não aparece tráfego.
Na regra do mangle aparece, mas no queue tree naum

/queue tree
name="squid" parent=global-out packet-mark=proxy-squid limit-at=0
queue=cache priority=8 max-limit=0 burst-limit=0 burst-threshold=0
burst-time=0s

/queue type
name="cache" kind=pcq pcq-rate=4800000 pcq-limit=50
pcq-classifier=dst-address pcq-total-limit=2000

Será que tem alguma coisa errada nas regras que postei acima?

[lrmurad]

Alterei a regra do mangle aí sim passou a funcionar a queue tree. estava como postrouting, alterei para prerouting.

Mas agora to achando estranho o seguinte. To fazendo teste pra ver se consigo baixar na velocidade limitada pelo full, mas não to conseguindo.

numa máquina baixei esse link: http://downloads.sourceforge.net/pro...se_mirror=ufpr

em outra maquina baixei o mesmo link, porem baixou na velocidade contratada. Será que pode ser coisa errada na marcação feita pelo squid? pq mais estranho é no mikrotik eu vejo uns picos de velocidade, como no anexo.

meu zph no squid.conf
zph_mode tos
zph_local 0x30
zph_parent 0
zph_option 136

/ip firewall mangle
;;; Cache Full
chain=prerouting action=mark-connection new-connection-mark=proxy-hits passthrough=yes dscp=12

1 chain=prerouting action=mark-packet new-packet-mark=proxy-squid passthrough=no
connection-mark=proxy-hits

/queue tree
name="SquidCache_Down" parent=global-out packet-mark=proxy-squid limit-at=0 queue=cache priority=8
max-limit=4M burst-limit=0 burst-threshold=0 burst-time=0s

name="SquidCache_Up" parent=global-in packet-mark=proxy-squid limit-at=0 queue=default priority=8
max-limit=4M burst-limit=0 burst-threshold=0 burst-time=0s

/queue type
name="cache" kind=pcq pcq-rate=4800000 pcq-limit=50 pcq-classifier=dst-address pcq-total-limit=2000

/ip proxy
/ip proxy> print
enabled: yes
src-address: 0.0.0.0
port: 3128
parent-proxy: 192.168.10.2
parent-proxy-port: 5128
cache-administrator: "webmaster"
max-cache-size: none
cache-on-disk: no
max-client-connections: 1000
max-server-connections: 1000
max-fresh-time: 3d
serialize-connections: no
always-from-cache: no
cache-hit-dscp: 4
cache-drive: primary-master

[mktguaruja]

Amigo, posta as suas regras do mangle e do queue tree para a gente da uma olhada.

[mktguaruja]

Amigo em relação ao zph, seria assim:

# Marca Penalty HIT
zph_mode tos
zph_local 0x30
zph_option 136
zph_parent 0

[stevens144]

Ainda nao vejo vantagem em cache-full...

[lrmurad]

meu zph no squid.conf
zph_mode tos
zph_local 0x30
zph_parent 0
zph_option 136

/ip firewall mangle
;;; Cache Full
chain=prerouting action=mark-connection new-connection-mark=proxy-hits passthrough=yes dscp=12

1 chain=prerouting action=mark-packet new-packet-mark=proxy-squid passthrough=no
connection-mark=proxy-hits

/queue tree
name="SquidCache_Down" parent=global-out packet-mark=proxy-squid limit-at=0 queue=cache priority=8
max-limit=4M burst-limit=0 burst-threshold=0 burst-time=0s

name="SquidCache_Up" parent=global-in packet-mark=proxy-squid limit-at=0 queue=default priority=8
max-limit=4M burst-limit=0 burst-threshold=0 burst-time=0s

/queue type
name="cache" kind=pcq pcq-rate=4800000 pcq-limit=50 pcq-classifier=dst-address pcq-total-limit=2000

/ip proxy
/ip proxy> print
enabled: yes
src-address: 0.0.0.0
port: 3128
parent-proxy: 192.168.10.2
parent-proxy-port: 5128
cache-administrator: "webmaster"
max-cache-size: none
cache-on-disk: no
max-client-connections: 1000
max-server-connections: 1000
max-fresh-time: 3d
serialize-connections: no
always-from-cache: no
cache-hit-dscp: 4
cache-drive: primary-master

[mktguaruja]

Amigo você esta fazendo por parent proxy ? O que você pode esta fazendo é redirecionar somente pelo NAT pois assim que eu uso aqui, segue a regra abaixo:

1 ;;; >> Proxy Debian <<
chain=dstnat action=dst-nat to-addresses=10.10.1.2 to-ports=5128
protocol=tcp src-address=11.11.2.0/24 dst-address=!10.10.1.2
dst-port=80

Lembrando, desative o proxy do mk, que você esta usando. O 10.10.1.2 é o servidor proxy, e 11.11.2.0/24 é a classe dos clientes.

PS: Essa regra é para autenticação pppoe, se for hotspot coloque pre-hotspot no chain ao invez de dstnat.

[lrmurad]

tentei colocar essa regra no meu nat mas não funcionou. Vou postar minhas regras de nat, pq tb posso ter errado o lugar de por a regra.
Outra coisa, aqui não uso nem pppoe nem hotspot, apenas amarro IPxMac, com ip fixo.

/ip firewal nat
chain=srcnat action=masquerade src-address=192.168.100.0/24
chain=srcnat action=masquerade src-address=192.168.200.0/24
;;; Redirecionar para o Proxy
chain=dstnat action=redirect to-ports=3128 protocol=tcp src-address=192.168.100.0/24
dst-address=!ip válido in-interface=RedeLocal dst-port=80
;;; Redirecionar para o Proxy
chain=dstnat action=redirect to-ports=3128 protocol=tcp src-address=192.168.200.0/24
dst-address=!ip válido in-interface=RedeLocal dst-port=80
chain=srcnat action=masquerade src-address=192.168.10.0/30

[mktguaruja]

Amigo esse ip valido é do servidor proxy correto ??

Regra:

chain=dstnat action=dst-nat to-addresses=10.10.1.2 to-ports=5128
protocol=tcp src-address=11.11.2.0/24 dst-address=!10.10.1.2
dst-port=80

Explicando:
to-address, é o ip do servidor para onde o trafego vai ser redirecionado,
src-address é a classe dos seus clientes,
dst-address é o ip do seu servidor proxy,
to ports, é a porta do seu squid.conf.

qualquer duvida posta ai. t+

[lrmurad]

o ip válido que referi nas regras do nat é do servidor mikrotik. o proxy é paralelo.

[mktguaruja]

Então amigo quando você colocar o adsl, ou adsl roteado você seta o ip na interface address.

Ali na nat, o ip é do servidor proxy, so se você trabalhar com uma gama de ip valido grande, pois eu acho que não tem necessidade de colocar ip valido no proxy.

t+

o ip válido que referi nas regras do nat é do servidor mikrotik. o proxy é paralelo.

[boneco]

ola mk o que voce me fala sobre o tander 4 qual cache é mais vantajoso no momento possuo 1 dedicado de 2mb e 2 dsl de 3mb ja faço cahe pelo mikrotik e estou montando uma maquina so para cache para ver se dou mais rapides a minha rede por que o cache no mk conssome memoria e quando vai abaixando uns 620mib de memoria começa a ficar uma carroça e tenho que rebotar todo os dias pela manhã possuo 200 clientes que ficam 80 a 100 simultaneo o que voce me endicaria obrigado

[mktguaruja]

Amigo primeiramente você tem que da uma checada no seu loadbalance pois você menciono que usa link dedicado e adsl. O link dedicado tem 100% de garantia da sua banda contratada ja o adsl somente 10%. Então você tem que verificar se o motivo da lentidão não é seus adsl chegando com conexão muito baixa.

O Thundercache é muito bom traz economia de link, e velocidade aos cliente e possivel configuração de cache full. Você pode conversa com Rodrigo Minelli ou Osmano sobre a versão 3.1.

Relação ao hardware para montar o servidor paralelo ao seu mk, com thundercache não economize dinheiro pois economizando agora você pode ter dor de cabeça futura. Compre um servidor com 4 a 6gb de memoria, 2 a 3 Hd de 500gb e um de 160gb para o sistena, e os outros são para os plugins do thundercache, mais detalhes procura o pessoal que faz a instalação do thundercache3.1 que eles vão te auxiliar melhor.

Você menciou que usa o proxy no próprio mk, tem uma solução postada pelo amigo AlexandreCorrea sobre proxy no mk, eu particulamente nunca consegui fazer rodar certinho, pois o paralelo com a ajuda aqui do pessoal do forum, e faz anos que não mechou nele.

ola mk o que voce me fala sobre o tander 4 qual cache é mais vantajoso no momento possuo 1 dedicado de 2mb e 2 dsl de 3mb ja faço cahe pelo mikrotik e estou montando uma maquina so para cache para ver se dou mais rapides a minha rede por que o cache no mk conssome memoria e quando vai abaixando uns 620mib de memoria começa a ficar uma carroça e tenho que rebotar todo os dias pela manhã possuo 200 clientes que ficam 80 a 100 simultaneo o que voce me endicaria obrigado