Valeu mais uma vez CATV, aqui deu tudo certo.
Versão Imprimível
Valeu mais uma vez CATV, aqui deu tudo certo.
Amigo, acho que tem algo errado com suas regras. Poste-as para a gente analizar... Valeu!!Citação:
Postado originalmente por Gosulator
enabled: yes
src-address: 0.0.0.0
port: 3128
hostname: "proxy"
transparent-proxy: yes
parent-proxy: 0.0.0.0:0
cache-administrator: "webmaster"
max-object-size: 60000KiB
cache-drive: system
max-cache-size: unlimited
max-ram-cache-size: unlimited
status: running
reserved-for-cache: 3514368KiB
reserved-for-ram-cache: 326656KiB
Postei apenas as configs do proxy, mas acho que apenas isso não resolve, de outro modo acho que eu teria visto o erro logo de cara. O que mais de informação você precisa?
Valeu a força, abraço
Não seriam estas regras (estão corretas!!), são as regras de redirecionamento do web-proxy do NAT.Citação:
Postado originalmente por Gosulator
depois que deixei minha resposta, fui dar uma geral procurando por coisas relacionadas ao proxy, e achei as regras de redirect relativas ao proxy, em ip>firewall>nat. E realmente tinha algo muito tosco lá. Só tinha uma regra (tenho 2 interfaces p/ clientes), e ela tinha no "src. adress" o ip do meu pppoe (ip que o mkt dá pra o meu pc quando eu me conecto). Com ctz era isso. Outra pessoa deve ter configurado isso, me passou despercebido :(. Bem, desativei essa regra, e criei 2 parecidas, uma para cada interface:
3 ;;; REDIRECIONAMENTO WEB-PROXY INTERFACE _ETHER_
chain=dstnat in-interface=ETH1 protocol=tcp dst-port=80 action=redirect to-ports=3128
4 ;;; REDIRECIONAMENTO WEB-PROXY INTERFACE _WLAN_
chain=dstnat in-interface=WLAN1 protocol=tcp dst-port=80 action=redirect to-ports=3128
como faço agora, para checar se está tudo funcionando?
edit: parece que ainda não está funcionando. Fiz um dl, limpei o cache do meu desktop (não o cache do webcache) e fiz de novo, e ele puxou de novo da internet, e não do proxy (ví pela velocidade de transmissão das interfaces. O link com a net estava a todo o vapor durante o dl.
Preciso dar um restart no mkt, ou desativar e reativar o proxy pra a coisa funcionar? Lembrando que quando tava setado pra funfar o cache apenas para o meu ip, estava funcionando para mim, apareciam os logs de requerimento de dados ao cache pelo meu ip. Agora não mais.
Vou também testar em vez de apontar a interface, apontar o range de ips que meus clientes utilizam. Pois se quando estava apontado o meu it no src. adress, funcionava, provavelmente vá funcionar pros clientes se eu colocar o range. Só espero que o mkt aceite o range, e não apenas um ip, senão vou ter que criar uma regra pra cada usuário :S
Grato pela atenção!
Amigo, primeiro passo é você ajustar corretamente esta regra. Apaga uma e muda a in-interface para !seu link de saida. Desta forma você estará corrigindo o problema. Não esquece do "!".Citação:
Postado originalmente por Gosulator
funcionou com a exclamação!!!!! Bendita exclamação!
Valeu David!
Essa exclamação significa o que exatamente? Todos os ips dentro daquela interface?
Quanto ao que você disse
Você diz para eu apagar uma das duas regras? Mas eu tenho duas interfaces de saída para clientes, creio que eu tenho que ter as duas regras, uma para cada. Né não?Citação:
Apaga uma e muda a in-interface para !seu link de saida. Desta forma você estará corrigindo o problema. Não esquece do "!".
Valeu pela ajuda, abraçao!
edit: parece que faz sentido mesmo deixar apenas uma regra, mesmo tendo duas interfaces. A regra estava ativada apenas para a interface A, mas clientes conectados à interface B estavam usando o cache. Vou checar
Quando você coloca o "!" junto da sua interface de saída, você fala:Citação:
Postado originalmente por Gosulator
MIKROTIK, inclua todas as minhas interfaces, MENOS a interface de saída. Faça isso que dará certo.
Ótimo! Grato pela dica!
Notei algo interessante analisando o cache, e vou deixar as perguntas pra vocês;
Tinha feito o dl de um arquivo de 15mb, quando a regra de cache estava funcionando apenas para o meu ip. Limpei o cache do meu pc e refiz o download, e o download foi feito direto do cache do mkt. quando desativei o cache exclusivo pro meu ip, e ativei o cache para todas as interfaces de saída, fui fazer o download de novo e surpresa, ele não estava baixando do cache. Esperei o download terminar, limpei todo o cache do meu pc, e mandei refazer o download. Baixou do cache.
Quero saber porquê isso aconteceu. E principalmente, se o cache é exclusivo para quem puxou aqueles dados da internet. Exemplo: o cliente 192.168.0.1 navegou em página www.lerolero.com Coming Soon!, e o mkt adicionou toda aquela página no webproxy. Quando o cliente acessar o www.lerolero.com Coming Soon! de novo, ele vai puxar os dados do webcache, com excessão do que tiver mudado do último acesso para o acesso em questão. OK. Mas se o cliente 192.168.0.2 coincidentemente acessa essa mesma página, www.lerolero.com Coming Soon! , ele vai carregar a página do webcache ou da internet? Se ele carregar da internet vai diminuir um bocado a eficiência que poderia ter o webcache.
Outra dúvida. No log do webcache, tem as expressões TCP_MISS e TCP_HIT. O que querem dizer? TCP_MISS = não achou a página no cache e TCP_HIT = achou? Tem alguma sigla para quando ele adiciona uma página para o webcache? Tipo TCP_ADD ?
Quando o webcache fica cheio, o que acontece? Para de salvar novas páginas, deleta a página mais antiga salva para salvar a mais nova ou deleta algum dado randomico para salvar a informação nova?
Como eu faço pra checar o quanto já foi BAIXADO do cache? Para ter uma idéia de quanto de banda do link eu economizei usando webcache. Um monitor de tráfego ao vivo também seria interessante, pra ver o volume de dados sendo baixados do webcache em determinado momento.
abraços!
Antes deixo claro que meu teclado enloqueceu e nao ta acentuando nada. rsrsrs
Estas regras estao acima de todas
/ ip firewall mangle
add chain=output protocol=tcp src-port=3128 action=mark-connection new-connection-mark=proxyfull passthrough=yes \
comment="PROXY FULL" disabled=no
add chain=output connection-mark=proxyfull action=mark-packet new-packet-mark=proxyfull passthrough=yes comment="" \
disabled=no
add chain=output connection-mark=proxyfull action=return comment="" disabled=no
/ queue simple
add name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none packet-marks=proxyfull direction=both priority=3 \
queue=pcq-upload/pcq-download limit-at=0/0 max-limit=0/0 total-queue=default-small disabled=no
o pcq nao sei se ta marcado corretamente
add name="pcq-download" kind=pcq pcq-rate=0 pcq-limit=50 pcq-classifier=dst-address,dst-port pcq-total-limit=2000
add name="pcq-upload" kind=pcq pcq-rate=0 pcq-limit=50 pcq-classifier=src-address,src-port pcq-total-limit=2000
Quero parabenizar pois o cache a full funciona beleza, mas desde o poste de Thiago ja funcionava, o grande problema e que nao controlava a ether de internet, contudo mesmo adicionando o - return - continua sem controle a internet.
Deixo claro que no mangle estao todas as tres regras funcionando e as mesmas contabilizam igualmente ok bytes trafegados.
No queues simple quando ativo o proxyfull acima das outras regras percebo que o trafego do proxy atinge realmente + de 2M a depender do que estao baixando, porem a internet continua sem controle deixando assim a navegaçao as vezes lenta sendo que o link trabalha no limite o tempo todo, em testes apenas com meu ip e com toda a rede tendo poucos clientes, se estivessem muitos o telefone começava a todar reclamando de lentidao.
Minha estrutura e a seguinte nesse servidor
link adsl 1Mb, so da no maximo 900k
Atualmente uso hotspot + proxy transparente + em arp list mac x ip + hotspot x mac x ip + dns + firwall
no momento dos teste coloquei meu ip fixo no queues e acredito q a taxa que mostra la de up e down seja proviniente do winbox.
Nao quero deixar o cache a full exatamente mas com um controle de 2M para nao prejudicar a rede com sobrecar de transferencia nos aps, sei que e so alterar em target download.
outra coisa e quando funcionar 100% como fazer para a regra do cachefull ficar no topo ja que uso hotspot.:)
VAMOS COLOCAR A NET NO CONTROLE AI PARA E DEIXA O CACHE A DISPOSIÇAO.VLW
VEJA AS FOTOS E ANALIZE
1-proxy sem controle de internet apenas meu ip
2-arquivo do cache down a full apenas meu ip
3-arquivo do cache down a full toda rede mas sem controle da internet
acompanha minhas configs no firewall
Testei o proxy full, e funcionou. o problema é que tá liberando velocidade de download ilimitada pra internet também, não apenas pro webcache. Na foto marquei a velocidade com que eu estavabaixando um arquivo da internet, e a velocidade designada pra mim no queue. devia baixar da internet a 256kbps, mas baixava à velocidade total do meu link. Foto em anexo com o ocorrido.
Regras:
ip firewall mangle
0 ;;; PROXY FULL
chain=output protocol=tcp src-port=3128 action=mark-connection new-connection-mark=proxyfull passthrough=yes
1 chain=output connection-mark=proxyfull action=mark-packet new-packet-mark=proxyfull passthrough=yes
2 chain=output connection-mark=proxyfull action=return
3 X ;;; MARCA O DE PACOTES P2P
chain=prerouting action=mark-connection new-connection-mark=p2p_conn passthrough=yes
4 X chain=prerouting connection-mark=p2p_conn action=mark-packet new-packet-mark=p2p passthrough=yes
5 ;;; MSN
chain=forward out-interface=Link protocol=tcp dst-port=!1863 tcp-flags=syn action=change-mss new-mss=1492
6 chain=forward out-interface=Link protocol=tcp dst-port=!5190 tcp-flags=syn action=change-mss new-mss=1492
7 ;;; Filtro Tracert
chain=forward protocol=icmp action=change-ttl new-ttl=set:30
--------------
queue simple
0 name="proxyfull" dst-address=0.0.0.0/0 interface=all parent=none packet-marks=proxyfull direction=both priority=3
queue=default/default limit-at=0/0 max-limit=0/0 total-queue=default-small
1 name="00- eu" target-addresses=200.168.100.1/32 dst-address=0.0.0.0/0 interface=all parent=none direction=both
priority=8 queue=default-small/default-small limit-at=0/0 max-limit=64000/256000 total-queue=default-small
complemento...
como configuraçao de hotspot to iniciando agora podem haver regras no firewall que nao tenho implementado e fico a feliz se alguem poder ajudar, um amigo me mandou a tela de login, fiz umas modificacoes e vou posta-la aqui, quem desejar pode pedir.
mais uma pergunta sobre o básico do webproxy;
tenho 12 clientes conectados no momento, mas o status do webproxy diz que tenho 23 clientes pendurados cache. Cada cliente real meu, pode contar como mais de um cliente pro webproxy? Como se cada request do cliente real contasse como um cliente pro webproxy? Se não for isso, estou tendo acesso externo ao meu webproxy....
Aqui está a regra que coibe acesso externo ao webproxy:
ip firewall filter
0 ;;; BLOQUEIO EXTERNO DO WEB-PROXY
chain=input in-interface=Link protocol=tcp dst-port=3128 action=drop
a contagem de bytes e packets dessa regra tá zerada. o bytes e o packets.
Maumqc, tenta apertar ALT+SHIFT no seu teclado pra ver se voltam a funcionar os acentos. Você pode ter mudado o idioma padrão pra inglês sem querer.
As regras do mangle devem estar no topo, certo? Aqui estao no topo!
As regras do queue devem estar no topo tambem? Se sim, como faco para por no topo, porque sempre que eu adiciono uma ela vai pro final.
Ainda nao está marcando nada no queue! Alguem teve sucesso usando a versao 2.9.6?
A questão do hotspot é configuração, script e regras... por isso ela não fixa.Citação:
Postado originalmente por netleandromt
A regra está correta e se não está contando melhor ainda!!! A questão do web-proxy lá não mostra o número de hosts, mas sim requisições. Uma única máquina pode estar solicitando vários arquivos de uma só vez e o web-proxy considerará que cada solcitação é um cliente.Citação:
Postado originalmente por Gosulator
Sim!! Todos os arquivos baixados idependentes de quem baixou ficará disponível para quem o solicitar, seja a sua própria máquina ou outra qualqur dentro da sua rede. As páginas são deletadas ou substituídas automaticamente pelo web-proxy ou manualmente (quando mandamos limpar o cache). Lá no manual passo-a-passo tem uns scripts que disponibilizei para tornar este processo automatizado. Para saber imediatamente quanto foi baixado do cache você pode checar as estatísticas diretamente na regra do queue ou na regra do mangle. Lá mostra o quanto já foi baixado pelos clientes e consequentemente quanto foi economizado no link.Citação:
Postado originalmente por Gosulator
Vou lembrar que para o bom funcionamento da regra e do próprio Mikrotik é necessário regras complementares de firewall e uma boa QoS. Revejam suas regras!!!Citação:
Postado originalmente por maumcq
Vou lembrar que para o bom funcionamento da regra e do próprio Mikrotik é necessário regras complementares de firewall e uma boa QoS. Revejam suas regras!!!Citação:
Postado originalmente por Gosulator
funciona 100%
show
valeu catv
regra para fixar sempre em sima a regra no queues simples usando hotspot
:foreach I in=[/queue simple find name="proxyfull"] do={/queue simple move $I [/queue simple find dynamic=yes]}
com esse regra vc deixa sempre seu script de queues encima das outras
ai é so coloca o agendamento pra ele execultar exemplo a cada 10min..
Citação:
Postado originalmente por catvbrasil
David (catv), desde que vc instalou o MIKROTIK (6 meses) aqui no provedor, cada vez ficou melhor com as suas inovações como a do cache-full.
valeu mais uma vez.
Gosulator e maumcq, eu como vcs estou tendo este mesmo problema.....ja conceguiram alguma luz???, eu ainda não concegui....to revendo umas regras do nat e tbm do simple queue, mas ainda não concegui nada....
add chain=output connection-mark=proxyfull action=return comment="" \
..é =proxyfull ou =!proxyfull ???
vlw pela dica edielsonps aqui funcinou perfeito, ja tinha perguntado issu aqui antes mas n tinha recebido resposta!
Citação:
Postado originalmente por kraddv
precisando estavamos aki
aki funcionou 100%, alterei apenas o lance da porta do proxy para 3128 que é a porta que eu uso, e a regra do queue que não marcava, mais foi só subir para o topo das regras que resolvel, nada como uma boa pesquisa. Grande tópico, parabéns...
Qualquer coisa estamos ae, meu bom...Citação:
Postado originalmente por wagnercandioto
Antes de tudo, valeu CATVBRASIL
Aqui, o que tudo indica que funcionou legal, a minha dúvida é quanto ao controle de banda, as vezes os clientes estão gastando bem acima do estipulado pelo controle de banda, mas são picos rápidos, esses picos são o acesso ao web-proxy?
Quando acesso esse site que verificam a velocidade da banda, eles acusam uso maximo da banda, o que antes não acontecia, isso é normal?
Opa. É normal sim e o lance do velocímetro pode ser porque a página e o teste estão em cache.Citação:
Postado originalmente por Ramde
Parabéns, CATV pelo tópico!Citação:
Postado originalmente por edielsonps
O troço funciona mesmo!
edielsonps, não tô entendendo bem essa regra, eu coloco ela do jeito que está aí no scheduler, é isso?
Abs.
bom, eu tava deichando para postar assim que eu tivesse uma certeza sobre o que estoou falando, e agora chequei a ela,
Funcionou em parte, porem como muitos outros ja falaram por aqui a placa da internet continua sem controle de banda,
como saber?
cadastrei um cliente com 128k, baichei um arquivo que ja eestava em cacha em cerca de 200KB por segundo, nossa ótimo, sendo que meu link é de 1 MB, porem baichei mais uns 15 arquivos com uma media de 2 MB de tamanho, e eles sempre vieram na velocidade do meu link, eu baixando a 90 KB por ai, inclusive no grafico da placa de rede é o melhor jeito para se acompanhar isso.
agora uma solução pra isso? ainda nao sei
Cmo já falei, volto a repetir... Vcs precisam de uma qos e de um excelente firewall para o bom funcionamento do sistema... isso com ou sem cache full...Citação:
Postado originalmente por jhonnyp
Sobre QOS certo creio q e sobre a marção de pacotes e definir prioridades certo?Citação:
Postado originalmente por catvbrasil
Ate ai tudo bem. E sobre o firewall??? entendo que ele tem q estar bem configurado.. senão vai causar varias dores de cabeça. não entendi o q exatamente no firewall tem q estar configurado para essa regra filtrar tudo blz.
OK?
cara, aqui nao tem jeito, mesmo o que nao esta em cache vem rapido, ou seja no cliente com 128k, ta dando cerca de 800 ou 900 kbps, estourando meu link direto.Citação:
Postado originalmente por catvbrasil
quando realmente esta em cache nao tem importancia, o prob,, é com coisas que nao estao no cache,
lembrando que eu nunca cheguei a colocar a regra do tiago matias, ou seja coloquei direto a sua,
no manglge, as tres regras estao contando e o contador delas sobem juntos, ou seja mesmo valor nas tres.
na queu simles, esta no topo e marcando normalmente,
o que nao estou intendendo é que a logica é, como tudo passa pro cliente atraves da porta 3128, como o mk sabe o que esta no proxy ou não.
de uma luz aqui, acho que tem mais gente que nao esta conseguindo.
Citação:
Postado originalmente por catvbrasil
certo CATV, parabens pela regra, porem nao vejo onde o resto do firewal tem a ver, e o mesmo para o QOS, sendo assim, NAo ta fucionando aqui,
e teve mais gente que tbem nao conseguiu,
entao o que falta para nós? pq será que estoura o limite, afinal nao tem logica isso, se as regras estao em ordem certa, mesmo que tivesse algo errado depois, elas deveriam funcionar não é?
Estou com problemas por aqui tb, é o seguinte:
com somente um usuario controlado no hotspot a 128k , quando ativo o cache full ou somente o web proxy , no pppoe fica dando picos de 1Mb de download.
Recebo o link do modem e passo para uma pl de rede no MK(ether2) onde faço pppoe e através de outra pl de rede repasso a clientes(ether1) através de um rádio
olá jhonnyp fazz sentido mesmooO eu aqui tambemmm nao consegui tudo certinho as regras contam perfeitamente as tres simultaneamente mesmaCitação:
Postado originalmente por jhonnyp
quantidade de pacotes a queue conta tambem normal maissss continua passando
link full e nao cachee full
se alguem puder explicarrrr como que a marcaçãoooo vai saber o que eh HIT e o que é MISS no proxy
daiii eu vo começar a acreditar que pode funcionar...
porem no mik 3 isso ja funciona mais com essa analise de HIT e MISS que nessa versão nao existe
abraços e beijoss pra todos fofinhos que postam aqui ^^
isso mesmo, ai que ta o problema, o mk saber o que é hit e o que é miss,
ouvi dizer que estudando o fluxo do mk de como ele trata as informações é possivel fazer isso, porem nunca ouvi alguem dizer que realmente funcionou.
Após ler alguns post e fazer alguns testes aki, percebi realmente que o proxy atua 100%, porém o controle de banda parece não atuar nos ips cadastrados no queoes simple.
Ola CATV.. amigo parabéns pela sua iniciativa e pela sua competencia..Citação:
Postado originalmente por catvbrasil
Olha só eu adaptei as regras de mangle e coloquei comforme a minha rede tmbém no queue, marca td direitinho mas parece q todo download vai direto pra a queue do proxyfull (rezumindo cliente faz down sem limite). pra ter certeza eu limpei todo o cache e fiz um down ai ele foi direto pra a queue do proxy full...
obrigado e mais uma vez parabéns...
Ueslei carvalho
viu catv tem muitos nao conseguindo isso, da um ajudiha para nós nisso,
sei que nao foi facil pra vc fazer isso, porem ajude-nos que isso é de uma grande utilidade
se mais alguem que testou poste se o controle funcionou total, inclusive atuando na placa do link, pq como esta parecendo varias pessoas estao se deparando no mesmo problema, dai o que parece ser uma coisa boa acaba ficando ruim,(nao digo que sua regra é ruim, digo do jeito que ta o meu sem controle na internet dai fica ruim pra mim)
afinal do jeito que ficou o meu, seria a mesma coisa que desabilitar o controle de banda dos usuarios, ou tbem deichar eles em unlimited, pois ta indo quase tudo pra queue cache full
flw
Parabéns ao CATV
Mas realmente, existe um furo ae no controle de banda.
Dê um conferida ae, e realize mais teste com mais minusciosidade .... vc vai ver.
Estou experimentando umas regras .... funcionando certim, posto aqui...
Valeu .
É verdade, o CACHE FULL realmente funciona, porém o "LINK FULL" tb...
Ontem eu havia implementado as regras do amigo CATV e vi que realmente estava com CACHE FULL, decidi então, fazer um download(ftp://ftp.slackware-brasil.com.br/sl...nstall-dvd.iso) pra ter certeza que era somente o CACHE FULL, e era.
Porém, hoje pela manhã fui surpreendido por dezenas de ligações de pessoas reclamando da falta de velocidade, fui constatar e vi que era um usuário fazendo downloads de filmes pelo friendlyfiles... =(
Resumo: Meu teste foi equivocado, pois usei a porta 21 que não passa pelo proxy, e portanto estava dentro do controle de banda, enquanto os arquivos que chegavam pelo http, ou seja, pelo proxy, estavam livre de limitações por parte do controle de banda. Enfim, o CACHE FULL funciona de verdade, porém, à ele está atrelado o "LINK FULL".
CATV parabéns pela iniciativa, mas se vc tiver interesse, posso te dar acesso ao meu MK pra comprovar a falha do "LINK FULL".
CATV, não desista, sinto que estamos chegando perto da solução!
Abs.
ola a todos,,
implementei as regras aqui no meu mk,
esta rodando blz, contando os pacotes,,
fiz uns testess,,
baixaei um jogo q estava em cache,,,
minha velocidade em 100k e baixou na velocidade da rede,,
mais,,
quando vou baxar algo q nao esta em cache, ocorre a msm coisa,,
velocidade do link,,
ao amigo catv, pode ajudar ??
vlw
iae, catv, oq axas??
Pessoal, não sei se estou ficando maluco ou cego, mas meu Mikrotik e dos meus clientes, estão TODOS funcionando 100%. Já ressaltei aqui que é obrigatório se construir uma QoS e também um firewall decente (que chegaram até a perguntar o que isso tinha a ver). Aqui faço o serviço profissionalmente e é obrigatório ficar 100%. Mais uma vez, revejam suas regras que com certeza irá funcionar beleza.
CATV... não se chatei nem se sente precionado, vc é um dos maiore colaboradores do forum e muita gente depende de soluções sua pra fazer um MK funciona inclusive eu sou um deles. por isso vou te pedir mais uma forçinha ai, como seria um firewall descente como você fala?? pode posta pra gente o que falta no nosso firewall???? pois eu ttestei aqui e fiquei como muitos com um link full e isso pra mim e locura por que eu uso satelitte com limite de trafego.Citação:
Postado originalmente por catvbrasil
Valeu aimgão.
E parabéns mais uma vez.
Galera a regra do catv ta otimaa
quem acha q o controle de banda nao funciona e so presta atencao aki nao deu nenhum problema nao
tipo
quando coloco 128k pra min
eu baixo o arquivo a 22k
mais depois depender do tamanho do arquivo
ele vai baixando
o proxy full funciona 100%
valeu catv