Resolvendo o problema do CACHE-FULL - CATVBRASIL

[maumcq]

Antes deixo claro que meu teclado enloqueceu e nao ta acentuando nada. rsrsrs

Estas regras estao acima de todas
/ ip firewall mangle
add chain=output protocol=tcp src-port=3128 action=mark-connection new-connection-mark=proxyfull passthrough=yes \
comment="PROXY FULL" disabled=no
add chain=output connection-mark=proxyfull action=mark-packet new-packet-mark=proxyfull passthrough=yes comment="" \
disabled=no
add chain=output connection-mark=proxyfull action=return comment="" disabled=no


/ queue simple
add name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none packet-marks=proxyfull direction=both priority=3 \
queue=pcq-upload/pcq-download limit-at=0/0 max-limit=0/0 total-queue=default-small disabled=no


o pcq nao sei se ta marcado corretamente
add name="pcq-download" kind=pcq pcq-rate=0 pcq-limit=50 pcq-classifier=dst-address,dst-port pcq-total-limit=2000
add name="pcq-upload" kind=pcq pcq-rate=0 pcq-limit=50 pcq-classifier=src-address,src-port pcq-total-limit=2000

Quero parabenizar pois o cache a full funciona beleza, mas desde o poste de Thiago ja funcionava, o grande problema e que nao controlava a ether de internet, contudo mesmo adicionando o - return - continua sem controle a internet.

Deixo claro que no mangle estao todas as tres regras funcionando e as mesmas contabilizam igualmente ok bytes trafegados.

No queues simple quando ativo o proxyfull acima das outras regras percebo que o trafego do proxy atinge realmente + de 2M a depender do que estao baixando, porem a internet continua sem controle deixando assim a navegaçao as vezes lenta sendo que o link trabalha no limite o tempo todo, em testes apenas com meu ip e com toda a rede tendo poucos clientes, se estivessem muitos o telefone começava a todar reclamando de lentidao.



Minha estrutura e a seguinte nesse servidor

link adsl 1Mb, so da no maximo 900k

Atualmente uso hotspot + proxy transparente + em arp list mac x ip + hotspot x mac x ip + dns + firwall

no momento dos teste coloquei meu ip fixo no queues e acredito q a taxa que mostra la de up e down seja proviniente do winbox.

Nao quero deixar o cache a full exatamente mas com um controle de 2M para nao prejudicar a rede com sobrecar de transferencia nos aps, sei que e so alterar em target download.

outra coisa e quando funcionar 100% como fazer para a regra do cachefull ficar no topo ja que uso hotspot.

VAMOS COLOCAR A NET NO CONTROLE AI PARA E DEIXA O CACHE A DISPOSIÇAO.VLW

VEJA AS FOTOS E ANALIZE
1-proxy sem controle de internet apenas meu ip
2-arquivo do cache down a full apenas meu ip
3-arquivo do cache down a full toda rede mas sem controle da internet
acompanha minhas configs no firewall

[Gosulator]

Testei o proxy full, e funcionou. o problema é que tá liberando velocidade de download ilimitada pra internet também, não apenas pro webcache. Na foto marquei a velocidade com que eu estavabaixando um arquivo da internet, e a velocidade designada pra mim no queue. devia baixar da internet a 256kbps, mas baixava à velocidade total do meu link. Foto em anexo com o ocorrido.

Regras:


ip firewall mangle

0 ;;; PROXY FULL
chain=output protocol=tcp src-port=3128 action=mark-connection new-connection-mark=proxyfull passthrough=yes

1 chain=output connection-mark=proxyfull action=mark-packet new-packet-mark=proxyfull passthrough=yes

2 chain=output connection-mark=proxyfull action=return

3 X ;;; MARCA O DE PACOTES P2P
chain=prerouting action=mark-connection new-connection-mark=p2p_conn passthrough=yes

4 X chain=prerouting connection-mark=p2p_conn action=mark-packet new-packet-mark=p2p passthrough=yes

5 ;;; MSN
chain=forward out-interface=Link protocol=tcp dst-port=!1863 tcp-flags=syn action=change-mss new-mss=1492

6 chain=forward out-interface=Link protocol=tcp dst-port=!5190 tcp-flags=syn action=change-mss new-mss=1492

7 ;;; Filtro Tracert
chain=forward protocol=icmp action=change-ttl new-ttl=set:30
--------------

queue simple

0 name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none packet-marks=proxyfull direction=both priority=3
queue=default/default limit-at=0/0 max-limit=0/0 total-queue=default-small

1 name="00- eu" target-addresses=200.168.100.1/32 dst-address=0.0.0.0/0 interface=all parent=none direction=both
priority=8 queue=default-small/default-small limit-at=0/0 max-limit=64000/256000 total-queue=default-small

[maumcq]

complemento...

como configuraçao de hotspot to iniciando agora podem haver regras no firewall que nao tenho implementado e fico a feliz se alguem poder ajudar, um amigo me mandou a tela de login, fiz umas modificacoes e vou posta-la aqui, quem desejar pode pedir.

[Gosulator]

mais uma pergunta sobre o básico do webproxy;

tenho 12 clientes conectados no momento, mas o status do webproxy diz que tenho 23 clientes pendurados cache. Cada cliente real meu, pode contar como mais de um cliente pro webproxy? Como se cada request do cliente real contasse como um cliente pro webproxy? Se não for isso, estou tendo acesso externo ao meu webproxy....

Aqui está a regra que coibe acesso externo ao webproxy:

ip firewall filter

0 ;;; BLOQUEIO EXTERNO DO WEB-PROXY
chain=input in-interface=Link protocol=tcp dst-port=3128 action=drop

a contagem de bytes e packets dessa regra tá zerada. o bytes e o packets.

Maumqc, tenta apertar ALT+SHIFT no seu teclado pra ver se voltam a funcionar os acentos. Você pode ter mudado o idioma padrão pra inglês sem querer.

[netleandromt]

As regras do mangle devem estar no topo, certo? Aqui estao no topo!
As regras do queue devem estar no topo tambem? Se sim, como faco para por no topo, porque sempre que eu adiciono uma ela vai pro final.

Ainda nao está marcando nada no queue! Alguem teve sucesso usando a versao 2.9.6?

[catvbrasil]

As regras do mangle devem estar no topo, certo? Aqui estao no topo!
As regras do queue devem estar no topo tambem? Se sim, como faco para por no topo, porque sempre que eu adiciono uma ela vai pro final.

Ainda nao está marcando nada no queue! Alguem teve sucesso usando a versao 2.9.6?

A questão do hotspot é configuração, script e regras... por isso ela não fixa.

[catvbrasil]

mais uma pergunta sobre o básico do webproxy;

tenho 12 clientes conectados no momento, mas o status do webproxy diz que tenho 23 clientes pendurados cache. Cada cliente real meu, pode contar como mais de um cliente pro webproxy? Como se cada request do cliente real contasse como um cliente pro webproxy? Se não for isso, estou tendo acesso externo ao meu webproxy....

Aqui está a regra que coibe acesso externo ao webproxy:

ip firewall filter

0 ;;; BLOQUEIO EXTERNO DO WEB-PROXY
chain=input in-interface=Link protocol=tcp dst-port=3128 action=drop

a contagem de bytes e packets dessa regra tá zerada. o bytes e o packets.

Maumqc, tenta apertar ALT+SHIFT no seu teclado pra ver se voltam a funcionar os acentos. Você pode ter mudado o idioma padrão pra inglês sem querer.

A regra está correta e se não está contando melhor ainda!!! A questão do web-proxy lá não mostra o número de hosts, mas sim requisições. Uma única máquina pode estar solicitando vários arquivos de uma só vez e o web-proxy considerará que cada solcitação é um cliente.

[catvbrasil]

Notei algo interessante analisando o cache, e vou deixar as perguntas pra vocês;

Tinha feito o dl de um arquivo de 15mb, quando a regra de cache estava funcionando apenas para o meu ip. Limpei o cache do meu pc e refiz o download, e o download foi feito direto do cache do mkt. quando desativei o cache exclusivo pro meu ip, e ativei o cache para todas as interfaces de saída, fui fazer o download de novo e surpresa, ele não estava baixando do cache. Esperei o download terminar, limpei todo o cache do meu pc, e mandei refazer o download. Baixou do cache.

Quero saber porquê isso aconteceu. E principalmente, se o cache é exclusivo para quem puxou aqueles dados da internet. Exemplo: o cliente 192.168.0.1 navegou em página www.lerolero.com Coming Soon!, e o mkt adicionou toda aquela página no webproxy. Quando o cliente acessar o www.lerolero.com Coming Soon! de novo, ele vai puxar os dados do webcache, com excessão do que tiver mudado do último acesso para o acesso em questão. OK. Mas se o cliente 192.168.0.2 coincidentemente acessa essa mesma página, www.lerolero.com Coming Soon! , ele vai carregar a página do webcache ou da internet? Se ele carregar da internet vai diminuir um bocado a eficiência que poderia ter o webcache.

Outra dúvida. No log do webcache, tem as expressões TCP_MISS e TCP_HIT. O que querem dizer? TCP_MISS = não achou a página no cache e TCP_HIT = achou? Tem alguma sigla para quando ele adiciona uma página para o webcache? Tipo TCP_ADD ?

Quando o webcache fica cheio, o que acontece? Para de salvar novas páginas, deleta a página mais antiga salva para salvar a mais nova ou deleta algum dado randomico para salvar a informação nova?

Como eu faço pra checar o quanto já foi BAIXADO do cache? Para ter uma idéia de quanto de banda do link eu economizei usando webcache. Um monitor de tráfego ao vivo também seria interessante, pra ver o volume de dados sendo baixados do webcache em determinado momento.

abraços!

Sim!! Todos os arquivos baixados idependentes de quem baixou ficará disponível para quem o solicitar, seja a sua própria máquina ou outra qualqur dentro da sua rede. As páginas são deletadas ou substituídas automaticamente pelo web-proxy ou manualmente (quando mandamos limpar o cache). Lá no manual passo-a-passo tem uns scripts que disponibilizei para tornar este processo automatizado. Para saber imediatamente quanto foi baixado do cache você pode checar as estatísticas diretamente na regra do queue ou na regra do mangle. Lá mostra o quanto já foi baixado pelos clientes e consequentemente quanto foi economizado no link.

[catvbrasil]

Antes deixo claro que meu teclado enloqueceu e nao ta acentuando nada. rsrsrs

Estas regras estao acima de todas
/ ip firewall mangle
add chain=output protocol=tcp src-port=3128 action=mark-connection new-connection-mark=proxyfull passthrough=yes \
comment="PROXY FULL" disabled=no
add chain=output connection-mark=proxyfull action=mark-packet new-packet-mark=proxyfull passthrough=yes comment="" \
disabled=no
add chain=output connection-mark=proxyfull action=return comment="" disabled=no


/ queue simple
add name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none packet-marks=proxyfull direction=both priority=3 \
queue=pcq-upload/pcq-download limit-at=0/0 max-limit=0/0 total-queue=default-small disabled=no


o pcq nao sei se ta marcado corretamente
add name="pcq-download" kind=pcq pcq-rate=0 pcq-limit=50 pcq-classifier=dst-address,dst-port pcq-total-limit=2000
add name="pcq-upload" kind=pcq pcq-rate=0 pcq-limit=50 pcq-classifier=src-address,src-port pcq-total-limit=2000

Quero parabenizar pois o cache a full funciona beleza, mas desde o poste de Thiago ja funcionava, o grande problema e que nao controlava a ether de internet, contudo mesmo adicionando o - return - continua sem controle a internet.

Deixo claro que no mangle estao todas as tres regras funcionando e as mesmas contabilizam igualmente ok bytes trafegados.

No queues simple quando ativo o proxyfull acima das outras regras percebo que o trafego do proxy atinge realmente + de 2M a depender do que estao baixando, porem a internet continua sem controle deixando assim a navegaçao as vezes lenta sendo que o link trabalha no limite o tempo todo, em testes apenas com meu ip e com toda a rede tendo poucos clientes, se estivessem muitos o telefone começava a todar reclamando de lentidao.



Minha estrutura e a seguinte nesse servidor

link adsl 1Mb, so da no maximo 900k

Atualmente uso hotspot + proxy transparente + em arp list mac x ip + hotspot x mac x ip + dns + firwall

no momento dos teste coloquei meu ip fixo no queues e acredito q a taxa que mostra la de up e down seja proviniente do winbox.

Nao quero deixar o cache a full exatamente mas com um controle de 2M para nao prejudicar a rede com sobrecar de transferencia nos aps, sei que e so alterar em target download.

outra coisa e quando funcionar 100% como fazer para a regra do cachefull ficar no topo ja que uso hotspot.

VAMOS COLOCAR A NET NO CONTROLE AI PARA E DEIXA O CACHE A DISPOSIÇAO.VLW

VEJA AS FOTOS E ANALIZE
1-proxy sem controle de internet apenas meu ip
2-arquivo do cache down a full apenas meu ip
3-arquivo do cache down a full toda rede mas sem controle da internet
acompanha minhas configs no firewall

Vou lembrar que para o bom funcionamento da regra e do próprio Mikrotik é necessário regras complementares de firewall e uma boa QoS. Revejam suas regras!!!

[catvbrasil]

Testei o proxy full, e funcionou. o problema é que tá liberando velocidade de download ilimitada pra internet também, não apenas pro webcache. Na foto marquei a velocidade com que eu estavabaixando um arquivo da internet, e a velocidade designada pra mim no queue. devia baixar da internet a 256kbps, mas baixava à velocidade total do meu link. Foto em anexo com o ocorrido.

Regras:


ip firewall mangle

0 ;;; PROXY FULL
chain=output protocol=tcp src-port=3128 action=mark-connection new-connection-mark=proxyfull passthrough=yes

1 chain=output connection-mark=proxyfull action=mark-packet new-packet-mark=proxyfull passthrough=yes

2 chain=output connection-mark=proxyfull action=return

3 X ;;; MARCA O DE PACOTES P2P
chain=prerouting action=mark-connection new-connection-mark=p2p_conn passthrough=yes

4 X chain=prerouting connection-mark=p2p_conn action=mark-packet new-packet-mark=p2p passthrough=yes

5 ;;; MSN
chain=forward out-interface=Link protocol=tcp dst-port=!1863 tcp-flags=syn action=change-mss new-mss=1492

6 chain=forward out-interface=Link protocol=tcp dst-port=!5190 tcp-flags=syn action=change-mss new-mss=1492

7 ;;; Filtro Tracert
chain=forward protocol=icmp action=change-ttl new-ttl=set:30
--------------

queue simple

0 name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none packet-marks=proxyfull direction=both priority=3
queue=default/default limit-at=0/0 max-limit=0/0 total-queue=default-small

1 name="00- eu" target-addresses=200.168.100.1/32 dst-address=0.0.0.0/0 interface=all parent=none direction=both
priority=8 queue=default-small/default-small limit-at=0/0 max-limit=64000/256000 total-queue=default-small

Vou lembrar que para o bom funcionamento da regra e do próprio Mikrotik é necessário regras complementares de firewall e uma boa QoS. Revejam suas regras!!!

[KaLNet]

funciona 100%
show
valeu catv

[edielsonps]

regra para fixar sempre em sima a regra no queues simples usando hotspot

:foreach I in=[/queue simple find name="proxyfull"] do={/queue simple move $I [/queue simple find dynamic=yes]}

com esse regra vc deixa sempre seu script de queues encima das outras
ai é so coloca o agendamento pra ele execultar exemplo a cada 10min..

A questão do hotspot é configuração, script e regras... por isso ela não fixa.

[Magal]

David (catv), desde que vc instalou o MIKROTIK (6 meses) aqui no provedor, cada vez ficou melhor com as suas inovações como a do cache-full.
valeu mais uma vez.

[andersonscinfo]

Gosulator e maumcq, eu como vcs estou tendo este mesmo problema.....ja conceguiram alguma luz???, eu ainda não concegui....to revendo umas regras do nat e tbm do simple queue, mas ainda não concegui nada....

[valmirzuge]

add chain=output connection-mark=proxyfull action=return comment="" \

..é =proxyfull ou =!proxyfull ???

[kraddv]

vlw pela dica edielsonps aqui funcinou perfeito, ja tinha perguntado issu aqui antes mas n tinha recebido resposta!

[edielsonps]

vlw pela dica edielsonps aqui funcinou perfeito, ja tinha perguntado issu aqui antes mas n tinha recebido resposta!

precisando estavamos aki

[wagnercandioto]

aki funcionou 100%, alterei apenas o lance da porta do proxy para 3128 que é a porta que eu uso, e a regra do queue que não marcava, mais foi só subir para o topo das regras que resolvel, nada como uma boa pesquisa. Grande tópico, parabéns...

[catvbrasil]

aki funcionou 100%, alterei apenas o lance da porta do proxy para 3128 que é a porta que eu uso, e a regra do queue que não marcava, mais foi só subir para o topo das regras que resolvel, nada como uma boa pesquisa. Grande tópico, parabéns...

Qualquer coisa estamos ae, meu bom...

[Ramde]

Antes de tudo, valeu CATVBRASIL

Aqui, o que tudo indica que funcionou legal, a minha dúvida é quanto ao controle de banda, as vezes os clientes estão gastando bem acima do estipulado pelo controle de banda, mas são picos rápidos, esses picos são o acesso ao web-proxy?
Quando acesso esse site que verificam a velocidade da banda, eles acusam uso maximo da banda, o que antes não acontecia, isso é normal?