Página 1 de 2 12 ÚltimoÚltimo
+ Responder ao Tópico



  1. #1

    Padrão Furo no cache full ou limitações na regra "content"?

    Estou tendo problemas com o cache full, na verdade limitei a velocidade a 2M na queue tree. É o seguinte:

    O cache funciona, o que está no cache baixa na velocidade estipulada e a "MAIORIA" do que não está no cache obedece a velocidade do cliente. O que acontece é que alguns arquivos que não estão no cache baixam na velocidade de 1M, saturando o link que é de 1M. Exemplo utillizando os dois vídeos postados aqui no tópico:
    O primeiro não está no cache e o segundo está no cache.
    O segundo baixa na velocidade de 2M do cache , não interferindo no consumo do link, mas no caso de baixar o primeiro, que não está no cache, o download é feito em 1M, consumindo todo o link que disponho. Notei também que algumas vezes o algumas páginas do Orkut fica com esse problema e o Photobucket também

    Abaixo estão as regras que utilizo: servidor com versão MK 2.9.27 para testes


    / ip firewall filter
    add chain=input in-interface=ether2 protocol=tcp dst-port=3129 action=drop \
    comment="Bloqueio externo do proxy " disabled=no
    add chain=input protocol=tcp dst-port=3129 action=accept comment="ACEITAR \
    CONEXOES PROXY" disabled=no


    / ip firewall nat
    add chain=srcnat out-interface=pppoe-out1 src-address=0.0.0.0 dst-address=0.0.0.0 action=masquerade comment="" disabled=no
    add chain=dstnat content=youtube action=accept comment="YOUTUBE" disabled=no
    add chain=dstnat dst-address=200.221.0.0/16 action=accept comment="RADIO UOL" disabled=no
    add chain=dstnat dst-address=200.154.0.0/16 action=accept comment="RADIO TERRA" disabled=no
    add chain=dstnat dst-address=200.201.174.0/24 action=accept comment="CONECTIVIDADE SOCIAL - CAIXA ECON MICA" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4658-4659 action=dst-nat to-addresses=192.168.200.254 \
    to-ports=4658-4659 comment="ID Alta Loja" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4660-4661 action=dst-nat to-addresses=192.168.200.253 \
    to-ports=4660-4661 comment="ID Casa" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4662-4672 action=dst-nat to-addresses=192.168.200.17 \
    to-ports=4662-4672 comment="007 ID" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4673-4674 action=dst-nat to-addresses=192.168.200.39 \
    to-ports=4660-4675 comment="029 ID" disabled=no
    add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 action=redirect to-ports=3129 comment="Proxy" disabled=yes
    add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 hotspot=auth action=redirect to-ports=3129 \
    comment="REDIRECIONAR PROXY" disabled=no



    / ip firewall mangle
    add chain=forward out-interface=pppoe-out1 protocol=tcp tcp-flags=syn action=change-mss new-mss=1300 comment="MSN" \
    disabled=no
    add chain=forward protocol=icmp action=change-ttl new-ttl=set:30 comment="bloqueia traceroute" disabled=no
    add chain=postrouting out-interface=ether1 action=change-ttl new-ttl=set:1 comment="Bloqueia compartilhamento de cliente" \
    disabled=no
    add chain=output protocol=tcp src-port=3129 content="X-Cache: HIT" action=mark-connection \
    new-connection-mark=conn_squid-up passthrough=yes comment="CACHE FULL" disabled=no
    add chain=output connection-mark=conn_squid-up action=mark-packet new-packet-mark=pacotes_squid-up passthrough=yes \
    comment="" disabled=no
    add chain=prerouting protocol=tcp dst-port=3129 action=mark-connection new-connection-mark=conn_squid-down passthrough=yes \
    comment="" disabled=no
    add chain=prerouting connection-mark=conn_squid-down action=mark-packet new-packet-mark=pacotes_squid-down passthrough=yes \
    comment="" disabled=no
    add chain=prerouting protocol=udp action=mark-connection new-connection-mark=udp_teste passthrough=yes comment="MARCA O DE \
    UDP" disabled=no
    add chain=prerouting connection-mark=udp_teste action=mark-packet new-packet-mark=udp passthrough=yes comment="" \
    disabled=no
    add chain=prerouting p2p=all-p2p action=mark-connection new-connection-mark=p2p_conn passthrough=yes comment="P2P" \
    disabled=no
    add chain=prerouting connection-mark=p2p_conn action=mark-packet new-packet-mark=p2p passthrough=yes comment="P2P" \
    disabled=no
    add chain=prerouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
    disabled=no
    add chain=postrouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
    disabled=no
    add chain=prerouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" disabled=no
    add chain=postrouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" \
    disabled=no
    add chain=prerouting dst-address-list=youtube action=mark-connection new-connection-mark=youtube-conexao passthrough=yes \
    comment="controle do youtube" disabled=yes
    add chain=prerouting connection-mark=youtube-conexao action=mark-packet new-packet-mark=youtube-pacotes passthrough=yes \
    comment="" disabled=yes


    / queue tree
    add name="p2p_control_in" parent=global-in packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="p2p_control_out" parent=global-out packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="UDP" parent=global-in packet-mark=udp limit-at=0 queue=default priority=8 max-limit=100000 burst-limit=0 \
    burst-threshold=0 burst-time=0s disabled=no
    add name="IPs" parent=global-total packet-mark=youtube-pacotes limit-at=0 queue=default priority=8 max-limit=100000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=yes
    add name="Downloads" parent=global-total packet-mark=youtube limit-at=0 queue=default priority=8 max-limit=200000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="CACHE-down" parent=global-in packet-mark=pacotes_squid-down limit-at=0 queue=default priority=8 max-limit=0 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="CACHE-up" parent=global-out packet-mark=pacotes_squid-up limit-at=0 queue=default priority=8 max-limit=2000000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no

    Agradeço se puderem me ajudar, pois já tentei resolver o problema e cheguei a conclusão que pode ser um efeito colateral da regra "content"

  2. #2

    Padrão

    Fiz tudo mas o queue do squid soh o up funciono o down fico zerado

  3. #3

    Padrão

    Aqui também não marca praticamente nada. Há alguma coisa errada na regra, mas não consegui achar.

  4. #4

  5. #5

    Padrão

    Já tentaram controlar o cache miss?

    /ip firewall mangle
    add chain=prerouting action=mark-connection new-connection-mark=conn-miss passthrough=yes in-interface=wan content=X-Cache: MISS

    add chain=prerouting action=mark-packet new-packet-mark=miss passthrough=no connection-mark=conn-miss

  6. #6

  7. #7

  8. #8

    Red face

    marciorct amigo voce ja acho o problema do script ????

  9. #9

    Padrão

    Nada ainda, continuo com o mesmo problema

  10. #10

    Padrão

    Citação Postado originalmente por marciorct Ver Post
    Estou tendo problemas com o cache full, na verdade limitei a velocidade a 2M na queue tree. É o seguinte:

    O cache funciona, o que está no cache baixa na velocidade estipulada e a "MAIORIA" do que não está no cache obedece a velocidade do cliente. O que acontece é que alguns arquivos que não estão no cache baixam na velocidade de 1M, saturando o link que é de 1M. Exemplo utillizando os dois vídeos postados aqui no tópico:
    O primeiro não está no cache e o segundo está no cache.
    O segundo baixa na velocidade de 2M do cache , não interferindo no consumo do link, mas no caso de baixar o primeiro, que não está no cache, o download é feito em 1M, consumindo todo o link que disponho. Notei também que algumas vezes o algumas páginas do Orkut fica com esse problema e o Photobucket também

    Abaixo estão as regras que utilizo: servidor com versão MK 2.9.27 para testes


    / ip firewall filter
    add chain=input in-interface=ether2 protocol=tcp dst-port=3129 action=drop \
    comment="Bloqueio externo do proxy " disabled=no
    add chain=input protocol=tcp dst-port=3129 action=accept comment="ACEITAR \
    CONEXOES PROXY" disabled=no


    / ip firewall nat
    add chain=srcnat out-interface=pppoe-out1 src-address=0.0.0.0 dst-address=0.0.0.0 action=masquerade comment="" disabled=no
    add chain=dstnat content=youtube action=accept comment="YOUTUBE" disabled=no
    add chain=dstnat dst-address=200.221.0.0/16 action=accept comment="RADIO UOL" disabled=no
    add chain=dstnat dst-address=200.154.0.0/16 action=accept comment="RADIO TERRA" disabled=no
    add chain=dstnat dst-address=200.201.174.0/24 action=accept comment="CONECTIVIDADE SOCIAL - CAIXA ECON MICA" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4658-4659 action=dst-nat to-addresses=192.168.200.254 \
    to-ports=4658-4659 comment="ID Alta Loja" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4660-4661 action=dst-nat to-addresses=192.168.200.253 \
    to-ports=4660-4661 comment="ID Casa" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4662-4672 action=dst-nat to-addresses=192.168.200.17 \
    to-ports=4662-4672 comment="007 ID" disabled=no
    add chain=dstnat in-interface=pppoe-out1 protocol=tcp dst-port=4673-4674 action=dst-nat to-addresses=192.168.200.39 \
    to-ports=4660-4675 comment="029 ID" disabled=no
    add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 action=redirect to-ports=3129 comment="Proxy" disabled=yes
    add chain=dstnat in-interface=ether1 protocol=tcp dst-port=80 hotspot=auth action=redirect to-ports=3129 \
    comment="REDIRECIONAR PROXY" disabled=no



    / ip firewall mangle
    add chain=forward out-interface=pppoe-out1 protocol=tcp tcp-flags=syn action=change-mss new-mss=1300 comment="MSN" \
    disabled=no
    add chain=forward protocol=icmp action=change-ttl new-ttl=set:30 comment="bloqueia traceroute" disabled=no
    add chain=postrouting out-interface=ether1 action=change-ttl new-ttl=set:1 comment="Bloqueia compartilhamento de cliente" \
    disabled=no
    add chain=output protocol=tcp src-port=3129 content="X-Cache: HIT" action=mark-connection \
    new-connection-mark=conn_squid-up passthrough=yes comment="CACHE FULL" disabled=no
    add chain=output connection-mark=conn_squid-up action=mark-packet new-packet-mark=pacotes_squid-up passthrough=yes \
    comment="" disabled=no
    add chain=prerouting protocol=tcp dst-port=3129 action=mark-connection new-connection-mark=conn_squid-down passthrough=yes \
    comment="" disabled=no
    add chain=prerouting connection-mark=conn_squid-down action=mark-packet new-packet-mark=pacotes_squid-down passthrough=yes \
    comment="" disabled=no
    add chain=prerouting protocol=udp action=mark-connection new-connection-mark=udp_teste passthrough=yes comment="MARCA O DE \
    UDP" disabled=no
    add chain=prerouting connection-mark=udp_teste action=mark-packet new-packet-mark=udp passthrough=yes comment="" \
    disabled=no
    add chain=prerouting p2p=all-p2p action=mark-connection new-connection-mark=p2p_conn passthrough=yes comment="P2P" \
    disabled=no
    add chain=prerouting connection-mark=p2p_conn action=mark-packet new-packet-mark=p2p passthrough=yes comment="P2P" \
    disabled=no
    add chain=prerouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
    disabled=no
    add chain=postrouting content=youtube action=mark-connection new-connection-mark=YTB passthrough=yes comment="YOUTUBE" \
    disabled=no
    add chain=prerouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" disabled=no
    add chain=postrouting connection-mark=YTB action=mark-packet new-packet-mark=youtube passthrough=yes comment="" \
    disabled=no
    add chain=prerouting dst-address-list=youtube action=mark-connection new-connection-mark=youtube-conexao passthrough=yes \
    comment="controle do youtube" disabled=yes
    add chain=prerouting connection-mark=youtube-conexao action=mark-packet new-packet-mark=youtube-pacotes passthrough=yes \
    comment="" disabled=yes


    / queue tree
    add name="p2p_control_in" parent=global-in packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="p2p_control_out" parent=global-out packet-mark=p2p limit-at=0 queue=default priority=8 max-limit=300000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="UDP" parent=global-in packet-mark=udp limit-at=0 queue=default priority=8 max-limit=100000 burst-limit=0 \
    burst-threshold=0 burst-time=0s disabled=no
    add name="IPs" parent=global-total packet-mark=youtube-pacotes limit-at=0 queue=default priority=8 max-limit=100000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=yes
    add name="Downloads" parent=global-total packet-mark=youtube limit-at=0 queue=default priority=8 max-limit=200000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="CACHE-down" parent=global-in packet-mark=pacotes_squid-down limit-at=0 queue=default priority=8 max-limit=0 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no
    add name="CACHE-up" parent=global-out packet-mark=pacotes_squid-up limit-at=0 queue=default priority=8 max-limit=2000000 \
    burst-limit=0 burst-threshold=0 burst-time=0s disabled=no

    Agradeço se puderem me ajudar, pois já tentei resolver o problema e cheguei a conclusão que pode ser um efeito colateral da regra "content"
    Cache full nesta versão? Esqueça!!

    1 - Compra uma versão, custa 45 dolares
    2 - Atualiza para a 3.13, pois nela o cache-full funciona 100%

    Lembrando que o problema maior é que nesta versão até funcionará, mas você irá perder o controle de banda dos clientes.

  11. #11

    Exclamation

    amigo eu ja funciono Cache full nesta versão e roda 100% mais fiquei curioso porque este script do amigo nao roda tao bem???????

  12. #12

  13. #13

    Talking

    Opa...

    Pegando carona no topico do colega, eu uso a versão 3.20 com hotspot e estou com o mesmo problema, as vezes os clientes baixam usando o maximo do cache, ai olho no consumo do link tá topado, depois volto no queue e está praticamente zerado.

    Obrigado.
    Última edição por NetoGO23; 20-03-2009 às 22:32.

  14. #14

    Padrão

    Uso hotspot sim, o problema continua, hehehehe

  15. #15

    Thumbs up

    EU CONSEGUI COLOCA PARA FUNCIONAR SEM O HOTPORT!!!!!

  16. #16

    Padrão

    ai esta o cache full do 2.9.27 ...vlw


    / ip firewall mangle
    add chain=output protocol=tcp src-port=8080 content="X-Cache: HIT" action=mark-connection new-connection-mark=squid-connection-HIT passthrough=yes \ comment="Cache-squid" disabled=no
    add chain=output connection-mark=squid-connection-HIT action=mark-packet new-packet-mark=squid-packet-HIT passthrough=no comment="" disabled=no
    add chain=output action=return connection-mark=squid-connection-HIT comment="" disabled=no
    add chain=prerouting in-interface=Saida src-address=192.168.2.0/24 action=mark-packet new-packet-mark=test-up passthrough=no comment="UP TRAFFIC" \ disabled=no
    add chain=forward src-address=192.168.2.0/24 action=mark-connection new-connection-mark=test-conn passthrough=yes comment="CONN-MARK" disabled=no
    add chain=forward in-interface=Entrada connection-mark=test-conn action=mark-packet new-packet-mark=test-down passthrough=no comment="DOWN-DIRECT CONNECTION" disabled=no
    add chain=output out-interface=Saida dst-address=192.168.2.0/24 action=mark-packet new-packet-mark=test-down passthrough=no comment="DOWN-VIA PROXY" disabled=no
    / queue tree
    add name="Cache-full" parent=global-out packet-mark=squid-packet-HIT \ limit-at=2048000 queue=default priority=8 max-limit=2048000 burst-limit=0 \ burst-threshold=0 burst-time=0s disabled=no
    add name="upstream" parent=global-in packet-mark=test-up limit-at=2048000 \ queue=default priority=8 max-limit=2048000 burst-limit=0 burst-threshold=0 \ burst-time=0s disabled=no


    fui !

    bjunda


  17. #17
    Mikrotiando..
    Ingresso
    Sep 2007
    Localização
    São Paulo
    Posts
    326
    Posts de Blog
    2

    Padrão

    Citação Postado originalmente por frilton Ver Post
    EU CONSEGUI COLOCA PARA FUNCIONAR SEM O HOTPORT!!!!!
    Amigo, observa se você tem essa regra em "nat", se você não tiver essa regra não vai funcionar com hotspot.
    Lembrando de trocar onde esta: bridge1, pela sua interface correta (se não estiver em bridge, e ports se não for 3128 a do seu proxy).

    /ip firewall nat
    add chain=pre-hotspot in-interface=bridge1 protocol=tcp dst-port=80 \
    hotspot=auth action=redirect to-ports=3128 comment="REDIRECIONAMENTO DE \
    PROXY HOTSPOT" disabled=no
    Última edição por ddllss; 10-04-2009 às 20:15.

  18. #18
    Mikrotiando..
    Ingresso
    Sep 2007
    Localização
    São Paulo
    Posts
    326
    Posts de Blog
    2

    Padrão

    Citação Postado originalmente por Raniel Ver Post
    Já tentaram controlar o cache miss?

    /ip firewall mangle
    add chain=prerouting action=mark-connection new-connection-mark=conn-miss passthrough=yes in-interface=wan content=X-Cache: MISS

    add chain=prerouting action=mark-packet new-packet-mark=miss passthrough=no connection-mark=conn-miss
    Olá Raniel,
    Dei uma pesquisada nesse "cache MISS" e encontrei 2 definições para ele:

    1 - Uma situação alternativa, que ocorre quando a cache é consultada e não contém um dado com a etiqueta desejada, é conhecida como cache miss (erro do cache).

    2- A CPU cache is a cache used by the central processing unit of a computer to reduce the average time to access memory. ...

    Tambem dei uma olhada aqui no forum, tem essa sitação "cache miss", mas não explicando o que seria isso.
    Eu não uso essa regra no meu mk, seria alguma dessas 2 definições que achei?

    Abraços,

  19. #19

    Padrão

    Aqui não estou usando esta regra.

  20. #20

    Padrão

    Caro CATV.

    Tem como limitar o cache-full por usuários, ips ou ranges?
    Por exemplo o cliente 1 que tem 128 kbps de banda mas somente podera acessar o cache-full com 512 kbps, o cliente 2 tem 512 kbps e somente podera acessar o cache-full com 1 mega.
    Tem como fazer este controle?
    Desde já agradeço.