Furo no cache full ou limitações na regra "content"?

[marciorct]

Estou tendo problemas com o cache full, na verdade limitei a velocidade a 2M na queue tree. É o seguinte:

O cache funciona, o que está no cache baixa na velocidade estipulada e a "MAIORIA" do que não está no cache obedece a velocidade do cliente. O que acontece é que alguns arquivos que não estão no cache baixam na velocidade de 1M, saturando o link que é de 1M. Exemplo utillizando os dois vídeos postados aqui no tópico:
O primeiro não está no cache e o segundo está no cache.
O segundo baixa na velocidade de 2M do cache , não interferindo no consumo do link, mas no caso de baixar o primeiro, que não está no cache, o download é feito em 1M, consumindo todo o link que disponho. Notei também que algumas vezes o algumas páginas do Orkut fica com esse problema e o Photobucket também

Abaixo estão as regras que utilizo: servidor com versão MK 2.9.27 para testes


/ ip firewall filter
add chain=input in-interface=ether2 protocol=tcp dst-port=3129 action=drop \
comment="Bloqueio externo do proxy " disabled=no
add chain=input protocol=tcp dst-port=3129 action=accept comment="ACEITAR \
CONEXOES PROXY" disabled=no


/ ip firewall nat
add chain=srcnat out-interface=pppoe-out1 src-address=0.0.0.0 dst-address=0.0.0.0 action=masquerade comment="" disabled=no
add chain=dstnat content=youtube action=accept comment="YOUTUBE" disabled=no
add chain=dstnat dst-address=200.221.0.0/16 action=accept comment="RADIO UOL" disabled=no
add chain=dstnat dst-address=200.154.0.0/16 action=accept comment="RADIO TERRA" disabled=no
add chain=dstnat dst-address=200.201.174.0/24 action=accept comment="CONECTIVIDADE SOCIAL - CAIXA ECON MICA" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4658-4659 action=dst-nat to-addresses=192.168.200.254 \
to-ports=4658-4659 comment="ID Alta Loja" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4660-4661 action=dst-nat to-addresses=192.168.200.253 \
to-ports=4660-4661 comment="ID Casa" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4662-4672 action=dst-nat to-addresses=192.168.200.17 \
to-ports=4662-4672 comment="007 ID" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4673-4674 action=dst-nat to-addresses=192.168.200.39 \
to-ports=4660-4675 comment="029 ID" disabled=no
add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 action=redirect to-ports=3129 comment="Proxy" disabled=yes
add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 hotspot=auth action=redirect to-ports=3129 \
comment="REDIRECIONAR PROXY" disabled=no



/ ip firewall mangle
add chain=forward out-interface=pppoe-out1 protocol=tcp tcp-flags=syn action=change-mss new-mss=1300 comment="MSN" \
disabled=no
add chain=forward protocol=icmp action=change-ttl new-ttl=set:30 comment="bloqueia traceroute" disabled=no
add chain=postrouting out-interface=ether1 action=change-ttl new-ttl=set:1 comment="Bloqueia compartilhamento de cliente" \
disabled=no
add chain=output protocol=tcp src-port=3129 content="X-Cache: HIT" action=mark-connection \
new-connection-mark=conn_squid-up passthrough=yes comment="CACHE FULL" disabled=no
add chain=output connection-mark=conn_squid-up action=mark-packet new-packet-mark=pacotes_squid-up passthrough=yes \
comment="" disabled=no
add chain=prerouting protocol=tcp dst-port=3129 action=mark-connection new-connection-mark=conn_squid-down passthrough=yes \
comment="" disabled=no
add chain=prerouting connection-mark=conn_squid-down action=mark-packet new-packet-mark=pacotes_squid-down passthrough=yes \
comment="" disabled=no
add chain=prerouting protocol=udp action=mark-connection new-connection-mark=udp_teste passthrough=yes comment="MARCA O DE \
UDP" disabled=no
add chain=prerouting connection-mark=udp_teste action=mark-packet new-packet-mark=udp passthrough=yes comment="" \
disabled=no
add chain=prerouting p2p=all-p2p action=mark-connection new-connection-mark=p2p_conn passthrough=yes comment="P2P" \
disabled=no
add chain=prerouting connection-mark=p2p_conn action=mark-packet new-packet-mark=p2p passthrough=yes comment="P2P" \
disabled=no
add chain=prerouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
disabled=no
add chain=postrouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
disabled=no
add chain=prerouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" disabled=no
add chain=postrouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" \
disabled=no
add chain=prerouting dst-address-list=youtube action=mark-connection new-connection-mark=youtube-conexao passthrough=yes \
comment="controle do youtube" disabled=yes
add chain=prerouting connection-mark=youtube-conexao action=mark-packet new-packet-mark=youtube-pacotes passthrough=yes \
comment="" disabled=yes


/ queue tree
add name="p2p_control_in" parent=global-in packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="p2p_control_out" parent=global-out packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="UDP" parent=global-in packet-mark=udp limit-at=0 queue=default priority=8 max-limit=100000 burst-limit=0 \
burst-threshold=0 burst-time=0s disabled=no
add name="IPs" parent=global-total packet-mark=youtube-pacotes limit-at=0 queue=default priority=8 max-limit=100000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=yes
add name="Downloads" parent=global-total packet-mark=youtube limit-at=0 queue=default priority=8 max-limit=200000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="CACHE-down" parent=global-in packet-mark=pacotes_squid-down limit-at=0 queue=default priority=8 max-limit=0 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="CACHE-up" parent=global-out packet-mark=pacotes_squid-up limit-at=0 queue=default priority=8 max-limit=2000000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no

Agradeço se puderem me ajudar, pois já tentei resolver o problema e cheguei a conclusão que pode ser um efeito colateral da regra "content"

[eduardoemariane]

Fiz tudo mas o queue do squid soh o up funciono o down fico zerado

[marciorct]

Aqui também não marca praticamente nada. Há alguma coisa errada na regra, mas não consegui achar.

[marciorct]

Ninguém detectou este problema???

[Raniel]

Já tentaram controlar o cache miss?

/ip firewall mangle
add chain=prerouting action=mark-connection new-connection-mark=conn-miss passthrough=yes in-interface=wan content=X-Cache: MISS

add chain=prerouting action=mark-packet new-packet-mark=miss passthrough=no connection-mark=conn-miss

[marciorct]

Ainda assim está passando

[marciorct]

Mais alguma sugestão?????

[frilton]

marciorct amigo voce ja acho o problema do script ????

[marciorct]

Nada ainda, continuo com o mesmo problema

[catvbrasil]

Estou tendo problemas com o cache full, na verdade limitei a velocidade a 2M na queue tree. É o seguinte:

O cache funciona, o que está no cache baixa na velocidade estipulada e a "MAIORIA" do que não está no cache obedece a velocidade do cliente. O que acontece é que alguns arquivos que não estão no cache baixam na velocidade de 1M, saturando o link que é de 1M. Exemplo utillizando os dois vídeos postados aqui no tópico:
O primeiro não está no cache e o segundo está no cache.
O segundo baixa na velocidade de 2M do cache , não interferindo no consumo do link, mas no caso de baixar o primeiro, que não está no cache, o download é feito em 1M, consumindo todo o link que disponho. Notei também que algumas vezes o algumas páginas do Orkut fica com esse problema e o Photobucket também

Abaixo estão as regras que utilizo: servidor com versão MK 2.9.27 para testes


/ ip firewall filter
add chain=input in-interface=ether2 protocol=tcp dst-port=3129 action=drop \
comment="Bloqueio externo do proxy " disabled=no
add chain=input protocol=tcp dst-port=3129 action=accept comment="ACEITAR \
CONEXOES PROXY" disabled=no


/ ip firewall nat
add chain=srcnat out-interface=pppoe-out1 src-address=0.0.0.0 dst-address=0.0.0.0 action=masquerade comment="" disabled=no
add chain=dstnat content=youtube action=accept comment="YOUTUBE" disabled=no
add chain=dstnat dst-address=200.221.0.0/16 action=accept comment="RADIO UOL" disabled=no
add chain=dstnat dst-address=200.154.0.0/16 action=accept comment="RADIO TERRA" disabled=no
add chain=dstnat dst-address=200.201.174.0/24 action=accept comment="CONECTIVIDADE SOCIAL - CAIXA ECON MICA" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4658-4659 action=dst-nat to-addresses=192.168.200.254 \
to-ports=4658-4659 comment="ID Alta Loja" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4660-4661 action=dst-nat to-addresses=192.168.200.253 \
to-ports=4660-4661 comment="ID Casa" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4662-4672 action=dst-nat to-addresses=192.168.200.17 \
to-ports=4662-4672 comment="007 ID" disabled=no
add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4673-4674 action=dst-nat to-addresses=192.168.200.39 \
to-ports=4660-4675 comment="029 ID" disabled=no
add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 action=redirect to-ports=3129 comment="Proxy" disabled=yes
add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 hotspot=auth action=redirect to-ports=3129 \
comment="REDIRECIONAR PROXY" disabled=no



/ ip firewall mangle
add chain=forward out-interface=pppoe-out1 protocol=tcp tcp-flags=syn action=change-mss new-mss=1300 comment="MSN" \
disabled=no
add chain=forward protocol=icmp action=change-ttl new-ttl=set:30 comment="bloqueia traceroute" disabled=no
add chain=postrouting out-interface=ether1 action=change-ttl new-ttl=set:1 comment="Bloqueia compartilhamento de cliente" \
disabled=no
add chain=output protocol=tcp src-port=3129 content="X-Cache: HIT" action=mark-connection \
new-connection-mark=conn_squid-up passthrough=yes comment="CACHE FULL" disabled=no
add chain=output connection-mark=conn_squid-up action=mark-packet new-packet-mark=pacotes_squid-up passthrough=yes \
comment="" disabled=no
add chain=prerouting protocol=tcp dst-port=3129 action=mark-connection new-connection-mark=conn_squid-down passthrough=yes \
comment="" disabled=no
add chain=prerouting connection-mark=conn_squid-down action=mark-packet new-packet-mark=pacotes_squid-down passthrough=yes \
comment="" disabled=no
add chain=prerouting protocol=udp action=mark-connection new-connection-mark=udp_teste passthrough=yes comment="MARCA O DE \
UDP" disabled=no
add chain=prerouting connection-mark=udp_teste action=mark-packet new-packet-mark=udp passthrough=yes comment="" \
disabled=no
add chain=prerouting p2p=all-p2p action=mark-connection new-connection-mark=p2p_conn passthrough=yes comment="P2P" \
disabled=no
add chain=prerouting connection-mark=p2p_conn action=mark-packet new-packet-mark=p2p passthrough=yes comment="P2P" \
disabled=no
add chain=prerouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
disabled=no
add chain=postrouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
disabled=no
add chain=prerouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" disabled=no
add chain=postrouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" \
disabled=no
add chain=prerouting dst-address-list=youtube action=mark-connection new-connection-mark=youtube-conexao passthrough=yes \
comment="controle do youtube" disabled=yes
add chain=prerouting connection-mark=youtube-conexao action=mark-packet new-packet-mark=youtube-pacotes passthrough=yes \
comment="" disabled=yes


/ queue tree
add name="p2p_control_in" parent=global-in packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="p2p_control_out" parent=global-out packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="UDP" parent=global-in packet-mark=udp limit-at=0 queue=default priority=8 max-limit=100000 burst-limit=0 \
burst-threshold=0 burst-time=0s disabled=no
add name="IPs" parent=global-total packet-mark=youtube-pacotes limit-at=0 queue=default priority=8 max-limit=100000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=yes
add name="Downloads" parent=global-total packet-mark=youtube limit-at=0 queue=default priority=8 max-limit=200000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="CACHE-down" parent=global-in packet-mark=pacotes_squid-down limit-at=0 queue=default priority=8 max-limit=0 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
add name="CACHE-up" parent=global-out packet-mark=pacotes_squid-up limit-at=0 queue=default priority=8 max-limit=2000000 \
burst-limit=0 burst-threshold=0 burst-time=0s disabled=no

Agradeço se puderem me ajudar, pois já tentei resolver o problema e cheguei a conclusão que pode ser um efeito colateral da regra "content"

Cache full nesta versão? Esqueça!!

1 - Compra uma versão, custa 45 dolares
2 - Atualiza para a 3.13, pois nela o cache-full funciona 100%

Lembrando que o problema maior é que nesta versão até funcionará, mas você irá perder o controle de banda dos clientes.

[frilton]

amigo eu ja funciono Cache full nesta versão e roda 100% mais fiquei curioso porque este script do amigo nao roda tao bem???????

[frilton]

um duvida vc usa o hotspot?????

[NetoGO23]

Opa...

Pegando carona no topico do colega, eu uso a versão 3.20 com hotspot e estou com o mesmo problema, as vezes os clientes baixam usando o maximo do cache, ai olho no consumo do link tá topado, depois volto no queue e está praticamente zerado.

Obrigado.

[marciorct]

Uso hotspot sim, o problema continua, hehehehe

[frilton]

EU CONSEGUI COLOCA PARA FUNCIONAR SEM O HOTPORT!!!!!

[cddteam]

ai esta o cache full do 2.9.27 ...vlw


/ ip firewall mangle
add chain=output protocol=tcp src-port=8080 content="X-Cache: HIT" action=mark-connection new-connection-mark=squid-connection-HIT passthrough=yes \ comment="Cache-squid" disabled=no
add chain=output connection-mark=squid-connection-HIT action=mark-packet new-packet-mark=squid-packet-HIT passthrough=no comment="" disabled=no
add chain=output action=return connection-mark=squid-connection-HIT comment="" disabled=no
add chain=prerouting in-interface=Saida src-address=192.168.2.0/24 action=mark-packet new-packet-mark=test-up passthrough=no comment="UP TRAFFIC" \ disabled=no
add chain=forward src-address=192.168.2.0/24 action=mark-connection new-connection-mark=test-conn passthrough=yes comment="CONN-MARK" disabled=no
add chain=forward in-interface=Entrada connection-mark=test-conn action=mark-packet new-packet-mark=test-down passthrough=no comment="DOWN-DIRECT CONNECTION" disabled=no
add chain=output out-interface=Saida dst-address=192.168.2.0/24 action=mark-packet new-packet-mark=test-down passthrough=no comment="DOWN-VIA PROXY" disabled=no
/ queue tree
add name="Cache-full" parent=global-out packet-mark=squid-packet-HIT \ limit-at=2048000 queue=default priority=8 max-limit=2048000 burst-limit=0 \ burst-threshold=0 burst-time=0s disabled=no
add name="upstream" parent=global-in packet-mark=test-up limit-at=2048000 \ queue=default priority=8 max-limit=2048000 burst-limit=0 burst-threshold=0 \ burst-time=0s disabled=no


fui !

bjunda

[ddllss]

EU CONSEGUI COLOCA PARA FUNCIONAR SEM O HOTPORT!!!!!

Amigo, observa se você tem essa regra em "nat", se você não tiver essa regra não vai funcionar com hotspot.
Lembrando de trocar onde esta: bridge1, pela sua interface correta (se não estiver em bridge, e ports se não for 3128 a do seu proxy).

/ip firewall nat
add chain=pre-hotspot in-interface=bridge1 protocol=tcp dst-port=80 \
hotspot=auth action=redirect to-ports=3128 comment="REDIRECIONAMENTO DE \
PROXY HOTSPOT" disabled=no

[ddllss]

Já tentaram controlar o cache miss?

/ip firewall mangle
add chain=prerouting action=mark-connection new-connection-mark=conn-miss passthrough=yes in-interface=wan content=X-Cache: MISS

add chain=prerouting action=mark-packet new-packet-mark=miss passthrough=no connection-mark=conn-miss

Olá Raniel,
Dei uma pesquisada nesse "cache MISS" e encontrei 2 definições para ele:

1 - Uma situação alternativa, que ocorre quando a cache é consultada e não contém um dado com a etiqueta desejada, é conhecida como cache miss (erro do cache).

2- A CPU cache is a cache used by the central processing unit of a computer to reduce the average time to access memory. ...

Tambem dei uma olhada aqui no forum, tem essa sitação "cache miss", mas não explicando o que seria isso.
Eu não uso essa regra no meu mk, seria alguma dessas 2 definições que achei?

Abraços,

[felipim]

Aqui não estou usando esta regra.

[wnxtelecom]

Caro CATV.

Tem como limitar o cache-full por usuários, ips ou ranges?
Por exemplo o cliente 1 que tem 128 kbps de banda mas somente podera acessar o cache-full com 512 kbps, o cliente 2 tem 512 kbps e somente podera acessar o cache-full com 1 mega.
Tem como fazer este controle?
Desde já agradeço.