Duvida iniciante- Squid limitando Cache (cahce full) ZPH

[danieluramg]

Boas galera, to com um probleminha aqui, montei um servidor Linux com o Kurumin somente para limitar a banda da internet que distribuo, não intendo bem de Linux to aprendendo agora na marra!
Esta com Squid fazendo cache, controle de banda col delay pools, servidor DHCP e proxy transparente, todos os IPs são limitados a +- 600k, apenas 5 sem limite, que uso IP fixo em minhas maquinas, todos os gerados pelo DHCP são limitados, ate ai tudo funciona bem, porem o Squid está limitando a banda dos usuarios ate para acessar arquivos que já estão em Cahce, por ex, um usuario acaba de fazer atualização do AVG, e outro usuario tambem limitado vai fazer a mesma atualização, o Squid fica "empacando" o down sendo que não é necessario baixa-la novamente, sendo que já está armazenado em cahce, se faço da minha maquina com o IP fixo que está liberado o acesso é imediato.
Resumindo, preciso que o controle de banda seja feito apenas para downloads feitos, se já estão armazenados em cache não precisa ter limite!
Até criei umas ACLs pra não ter limite de navegação, so que parece que não esta funcionando o acesso a sites tambem está limitado..

PS.: Pesquisando bastante antes de postar aqui achei uma possivel solução, meu problema mencinado vi que é o que chamam de "Cache full" que a solução é o ZPH, ahcei até um tutorial de como instalar esse ZPH no Squid 2.5 Stable 7, so que o meu squid é 2.6 Stables, será que funciona??
E outro problema é que meu Squid já está instalado e rodando bem, e neste tutorial ele implanta o Pach na instalação do Squid!
Gostaria de uma solução o mais prático possível!

Qualquer ajuda é bem vinda, desculpem pela pergunta meio idiota, pra maioria aqui isso é mel na chupeta!

[darklinux3]

Boas galera, to com um probleminha aqui, montei um servidor Linux com o Kurumin somente para limitar a banda da internet que distribuo, não intendo bem de Linux to aprendendo agora na marra!
Esta com Squid fazendo cache, controle de banda col delay pools, servidor DHCP e proxy transparente, todos os IPs são limitados a +- 600k, apenas 5 sem limite, que uso IP fixo em minhas maquinas, todos os gerados pelo DHCP são limitados, ate ai tudo funciona bem, porem o Squid está limitando a banda dos usuarios ate para acessar arquivos que já estão em Cahce, por ex, um usuario acaba de fazer atualização do AVG, e outro usuario tambem limitado vai fazer a mesma atualização, o Squid fica "empacando" o down sendo que não é necessario baixa-la novamente, sendo que já está armazenado em cahce, se faço da minha maquina com o IP fixo que está liberado o acesso é imediato.
Resumindo, preciso que o controle de banda seja feito apenas para downloads feitos, se já estão armazenados em cache não precisa ter limite!
Até criei umas ACLs pra não ter limite de navegação, so que parece que não esta funcionando o acesso a sites tambem está limitado..

PS.: Pesquisando bastante antes de postar aqui achei uma possivel solução, meu problema mencinado vi que é o que chamam de "Cache full" que a solução é o ZPH, ahcei até um tutorial de como instalar esse ZPH no Squid 2.5 Stable 7, so que o meu squid é 2.6 Stables, será que funciona??
E outro problema é que meu Squid já está instalado e rodando bem, e neste tutorial ele implanta o Pach na instalação do Squid!
Gostaria de uma solução o mais prático possível!

Qualquer ajuda é bem vinda, desculpem pela pergunta meio idiota, pra maioria aqui isso é mel na chupeta!

Não funciona, é necessario aplicar o patch ZPH correto para sua versao do squid, aqui utilizo cache full com ZPH e com a marcacao por conteudo normal "X-Cache: HIT" funciona perfeito.

Abs!

[osmano807]

Usa o squid 2.7 ou o 3.0 (3.1)

[danieluramg]

Usa o squid 2.7 ou o 3.0 (3.1)

Sim mas e levando em consideração que minha maquina já esta com tudo instalado e rodando redondinho qual uma solução simples e funcional? se eu baixar um aversão mais atualizada e aplicar a path zph e instalar no meu Squid ele continuaria trabalhando ou eu teria que fazer tudo do zero? valew!

[darklinux3]

Sim mas e levando em consideração que minha maquina já esta com tudo instalado e rodando redondinho qual uma solução simples e funcional? se eu baixar um aversão mais atualizada e aplicar a path zph e instalar no meu Squid ele continuaria trabalhando ou eu teria que fazer tudo do zero? valew!

amigo se você analisar mais a fundo verá que nenhum squid em qualquer das versoes criadas até hoje possui o patch do ZPH, no entando você deve baixar as fontes, aplicar o patch e recompilar o pacote, para só entao funcionar

Esses dias instalei aqui, existem 3 patchs, versao 2.5stable7, 2.6stable5, 2.7stable5
Voce terá que usar um squid em uma dessas versoes.

Caso contrario nao irá funcionar o ZPH. No entando você pode fazer apenas a marcacao X-Cache:HIT pois essa nao necessita do patch do ZPH no squid, o cache full ira fucionar normalmente, acontece que o ZPH complementa a regra do X-Cache:HIT para um cache full com mais HITS, consequentemente maior economia.

Espero ter ajudado
Abs!

[danieluramg]

Esta acho que é a melhor solução para meu caso, minha rede é uma rede pequena com umas 3 maquinas minhas que tem acesso liberado e +- outros 15 micros, que tem a banda limitada, uso o Squid apenas para fazer cache de paginas, atualizaçoes etc. Você ahca que ess regra do X-Cache:HIT resolve meu probl de forma simples e funcional?
E pode me ajudar como faço pra implementar esse sistema? apenas adiciono essa lina "X-Cache:HIT" no meu squid.conf?
Desculpe tanta ignorãncia, é que estou aprendendo tudo isso agora mesmo, so pesquisando e lendo bastante na internet, acho que to ate me virando bem!

Grato!!

amigo se você analisar mais a fundo verá que nenhum squid em qualquer das versoes criadas até hoje possui o patch do ZPH, no entando você deve baixar as fontes, aplicar o patch e recompilar o pacote, para só entao funcionar

Esses dias instalei aqui, existem 3 patchs, versao 2.5stable7, 2.6stable5, 2.7stable5
Voce terá que usar um squid em uma dessas versoes.

Caso contrario nao irá funcionar o ZPH. No entando você pode fazer apenas a marcacao X-Cache:HIT pois essa nao necessita do patch do ZPH no squid, o cache full ira fucionar normalmente, acontece que o ZPH complementa a regra do X-Cache:HIT para um cache full com mais HITS, consequentemente maior economia.

Espero ter ajudado
Abs!

[darklinux3]

Proxy paralelo transparente

instale o squid no debian coloque um squid.conf, existem varios por aí. Verifique se nas configuracoes do seu squid se existe uma acl para liberar acesso para a sua rede de clientes.
Verifique se o proxy esta rodando com squid -z:

proxy running....bla bla bla

Em seguida ligue o servidor debian em uma interface ethernet com o mikrotik específica para ele.

Compartilhe a net pro debian:

# ;;; MASQUERADE PROXY
chain=srcnat action=masquerade src-address=172.25.2.0/30

Redirecione para o proxy "tudo" com destino a porta 80:

# ;;; PROXY PARENT TRANSPARENTE
chain=dstnat action=dst-nat to-addresses=172.25.2.2 to-ports=5128
protocol=tcp dst-address-list=!liberaproxy in-interface=rede1
dst-port=80

obs: aqui criei em "liberaproxy" uma lista de endereços que nao quero que entrem no proxy.

Na aba mangle:

# chain=forward action=mark-connection new-connection-mark=forward-HIT
passthrough=yes content=X-Cache: HIT

# chain=forward action=mark-packet new-packet-mark=cache-HIT passthrough=no
connection-mark=forward-HIT

Depois em queues tree limitando a 2MB:

# name="Cache" parent=global-out packet-mark=cache-HIT limit-at=0
queue=default priority=8 max-limit=2000000 burst-limit=0
burst-threshold=0 burst-time=0s



Vá até www.superdownloads.com.br, baixe o emule espere terminar, limpe o cache do navegador ou vá até outra maquina da rede e baixe o mesmo arquivo.

Pronto!

[danieluramg]

Isso tudo é so pra por pra funcionar cache full com X-Cache: HIT ?!? parece ser mais dificil do que aplicar o patch ZPH preciso ate ter uma outra maquinao com Mikrotik so pra isso?

Proxy paralelo transparente

instale o squid no debian coloque um squid.conf, existem varios por aí. Verifique se nas configuracoes do seu squid se existe uma acl para liberar acesso para a sua rede de clientes.
Verifique se o proxy esta rodando com squid -z:

proxy running....bla bla bla

Em seguida ligue o servidor debian em uma interface ethernet com o mikrotik específica para ele.

Compartilhe a net pro debian:

# ;;; MASQUERADE PROXY
chain=srcnat action=masquerade src-address=172.25.2.0/30

Redirecione para o proxy "tudo" com destino a porta 80:

# ;;; PROXY PARENT TRANSPARENTE
chain=dstnat action=dst-nat to-addresses=172.25.2.2 to-ports=5128
protocol=tcp dst-address-list=!liberaproxy in-interface=rede1
dst-port=80

obs: aqui criei em "liberaproxy" uma lista de endereços que nao quero que entrem no proxy.

Na aba mangle:

# chain=forward action=mark-connection new-connection-mark=forward-HIT
passthrough=yes content=X-Cache: HIT

# chain=forward action=mark-packet new-packet-mark=cache-HIT passthrough=no
connection-mark=forward-HIT

Depois em queues tree limitando a 2MB:

# name="Cache" parent=global-out packet-mark=cache-HIT limit-at=0
queue=default priority=8 max-limit=2000000 burst-limit=0
burst-threshold=0 burst-time=0s



Vá até www.superdownloads.com.br, baixe o emule espere terminar, limpe o cache do navegador ou vá até outra maquina da rede e baixe o mesmo arquivo.

Pronto!

[darklinux3]

Isso tudo é so pra por pra funcionar cache full com X-Cache: HIT ?!? parece ser mais dificil do que aplicar o patch ZPH preciso ate ter uma outra maquinao com Mikrotik so pra isso?

Essa é a melhora maneira de se usar o mikrotik e proxy juntos, mikrotik nao é bom para proxy, debian é o melhor SO na minha opiniao, casando os dois fica tudo tranquilo.

Esta receita está de mao beijada, e serve para fazer o cache em outra maquina separada e liberar full o que estiver em cache, você até pode estar achando dificil mas com essa regra vc vai economizar cerca de 30% do link.

É possivel colocar no cache dentro do proprio mikrotik economizando hard como vc quer, no entanto ja testei e o mesmo trava e o serviço precisa ser restartado para voltar a ativa. Mas tem varios tutoriais de proxy ai rodando na mesma maquina, aqui uso essa solução por que nao tenho problemas com meus clientes.



Abs!

[danieluramg]

Mas eu so tenho um servidor cache com Debian (Kurumin pra falar a verdade não tenho nenhuma maquina Mikrotik...
Está entre o modem e a minha rede apenas esse Squid, que a unica finalidade seria fazer o controle de banda (downloads apenas, navegação não é necessário) e armazenar tudo em cache pra acelerar um pouco.
Vou explicar minha estrutura de rede aqui:
Tenho um link de 10Mbit, que baixa a mais de 1Mbyte/S facilmente, e essa internet é distribuida em 15 apartamentos, se eu não limitar a banda e alguem começar um download a internet praticamente para pra todos.
O servidor que estou uzando pra isso é um Athlon XP 1600+ com 512Mb de ram e HD de 20Gb, apenas para esta tarefa está de bom tamanho né?
Encontrei mais este outro tutorial (Linux: Instalando Squid 2.6 + patch ZPH no Debian Etch [Dica])explicando como se aplica a patch ZPH no Debian, porém meu receio é de dar algum pau e meu servidor para de funfa e ter que reinstalar tudo denovo, pois ele esta trabalhando redondo, tirando que não passa a cache a full.
E até ai explica bem a instalação em sí, mas e depois? o que tenho que fazer, o squid já irá identificar sosinho o que está em cache, não preciso fazer modificação nenhuma em meu squid.conf?

Por isso estava achando que esse X-Cache: HIT serial melhor no meu caso!

Valew pela paciência!

Essa é a melhora maneira de se usar o mikrotik e proxy juntos, mikrotik nao é bom para proxy, debian é o melhor SO na minha opiniao, casando os dois fica tudo tranquilo.

Esta receita está de mao beijada, e serve para fazer o cache em outra maquina separada e liberar full o que estiver em cache, você até pode estar achando dificil mas com essa regra vc vai economizar cerca de 30% do link.

É possivel colocar no cache dentro do proprio mikrotik economizando hard como vc quer, no entanto ja testei e o mesmo trava e o serviço precisa ser restartado para voltar a ativa. Mas tem varios tutoriais de proxy ai rodando na mesma maquina, aqui uso essa solução por que nao tenho problemas com meus clientes.



Abs!

[danieluramg]

Fiz tudo como no tutorial
Linux: Instalando Squid 2.6 + patch ZPH no Debian Etch [Dica]
so que apos criar os arquivos DEBestavam com nomes:
squid_2.6.5-6etch4_i386.deb
squid-cgi_2.6.5-6etch4_i386.deb
squidclient_2.6.5-6etch4_i386.deb
squid-common_2.6.5-6etch4_all.deb
e não:
squid_2.6.5-6_i386.deb
squid-cgi_2.6.5-6_i386.deb
squidclient_2.6.5-6_i386.deb
squid-common_2.6.5-6_all.deb
como no tutorial.

ai mandei bala mesmo assim, todos os passo deram certo, so um erro que deu falando do Apache e tal, dai instalei ele via apt-get ai tudo correu perfeitamente.
so que agora me squid nem cache ta fazendo mais!
Quando digito no prompt squid -v mostra a versão 2.6STABLE5
(que já era a versão original que o Kurumin instala)

tentei desinstalar, reinstalar e nada! O serviço está rodando, pois se eu paro ele a internet para nas estações, o controle de banda das delay pools continua, porém não faz mais cache de nada!

Que diabos pode ter acontecido, sera por esta diferença na versão (Etch4) ??

[darklinux3]

Os pacotes estao corretos é isso mesmo.
O que te faz pensar que nao está fazendo cache? se seu proxy é transparente e quando desativa o serviço a navegacao pára. Passou pelo proxy tá fazendo o cache! ou sua configuracao nao esta de acordo
Verifique a linha do "access log" no squid.conf coloque /var/log/squid/access.log, depois restarte o squid monitore o acesso ao cache com tail -f /var/log/squid/access.log e veja os HIT e MISS do cache estao ocorrendo.

Cada acesso deve aparecer uma linha no cache. Também verifique o diretorio onde está o cache se foram criados os arquivos realmente.

Abs!

[bjaraujo]

Dá um squid -z aí.
Eu recomendo fortemente que faça um backup de suas configurações e siga a instalação minima do Debian Lenny e instale os pacotes necessários, o squid (2.7) dele já tem suporte a zph (olha lá no site); você também poderia adicionar a o repositório do Lenny ao seu Kurumin e tentar instalar somente o squid, acho arriscado vc pode bagunçar o apt.

[danieluramg]

Os pacotes estao corretos é isso mesmo.
O que te faz pensar que nao está fazendo cache? se seu proxy é transparente e quando desativa o serviço a navegacao pára. Passou pelo proxy tá fazendo o cache! ou sua configuracao nao esta de acordo
Verifique a linha do "access log" no squid.conf coloque /var/log/squid/access.log, depois restarte o squid monitore o acesso ao cache com tail -f /var/log/squid/access.log e veja os HIT e MISS do cache estao ocorrendo.

Cada acesso deve aparecer uma linha no cache. Também verifique o diretorio onde está o cache se foram criados os arquivos realmente.

Abs!

cara meu squid comessou a se comportar de forma estranha depois disso.
daí removi tudo, apaguei as pastas, etc e reinstalei o squid que eu compilei com a patch, ai sim tava so o ouro, funciono 100% cache full e tal
dai tava criando uma acl pra clientes inadimplentes pra acesasr uma pagina de erro, ai o squid parou de funcionar!
ai nem deus nem o diabo arrumou mais! Esstranho eu reiniciava a maquina o serviço não iniciava sosinho, quando tentava iniciar ele nao iniciava, na log vi varios erros de acesso nao permitido a pasta de cache, log etc.
dai dava as permissoes necessarias e conseguia iniciar o serviço manualmente, depois de reiniciar a maquina tudo voltava a dar problema, dai te tanto fuçar fu3uhu fou tudo!
isso voi na quinta, ai perdi a paciencia e deixei pra la, hj volto a briga, vou tentar atualizar para o lenny como sugeriu o amigo de baixo.
mas axei muito estranho, ele estava rodando redondinho, dai so tava tentando criar uma ACL, errei a digitação e tal, ai o squid bixou!
bom valew mais tarde posto os resultados aqui!
abç.......

[danieluramg]

Dá um squid -z aí.
Eu recomendo fortemente que faça um backup de suas configurações e siga a instalação minima do Debian Lenny e instale os pacotes necessários, o squid (2.7) dele já tem suporte a zph (olha lá no site); você também poderia adicionar a o repositório do Lenny ao seu Kurumin e tentar instalar somente o squid, acho arriscado vc pode bagunçar o apt.

é to na agua ja mesmo, parou foi tudo de funcionar aqui, vou tentar sua sugestao
estou seguindo GDH Press: Blog » Atualizando o Kurumin 7 para o Lenny
o squid desse repositorio é o 2.7 ja com ZPH incluido?
e os scripts do Kurumin pra editar, reiniciar o squid etc, vc sabe se vao funcionar normalmente, não tem diferença não ne?
e o mesmo arquivo squid.conf do meu squid 2.6 posso usar no novo, nao muda nada não?
bom de qqr forma ja ta rodando aki apt-get dist-upgrade, vamo ve no qq da...

valew abç!

[danieluramg]

Uff felizmente consegui fazer o troço rodar!
Fiz a alteração dos repositorios do kurumin para o Lenny, antes disto dei um apt-get distro-upgrade, como aconselhado no tutorial
depois troquei os repositorios, dai dei um apt-get update, dai instalei o squid, e veio o 2.7 pelo visto com o ZPH ja embutido mesmo.
so não fiz o apt-get distro-upgrade depois de editar o repositorio pois ele ia atualizar tudo, e não precisaria queria apenas o basico pra rodar o squid, firewall, ssh etc.
Bom parece estar funcionando como o esperado, so vou agora tentar por o CBQ pra funcionar, não estou gostando de como trabalha as delay pools, ele fica dando umas "pausas" no download, alem de nao controlar o upload.
Decidi usar o CBQ mesmo ao invez do HTB pois ja vem com script de configuração no Kurumin, e eu ainda to engatinhando entao vou nessa mesmo, apesar de q todos dizem que o HTB é mais facil de trabalhar, so que por enquanto vou pelo mascigado ate pegar uma noção melhor.

o que não parece estar funcionando é o cache de DNS, no resolv.conf puis
nameserver 127.0.0.1
nameserver 208.67.222.222
nameserver 208.67.220.220

e o servidor DHCP gera os DNSs pros 192.168.2.254,208.67.222.222,208.67.220.220
so que, se eu seto manualmente o DNS no cliente apenas o IP do gateway não navega.
é so isso mesmo que devo fazer pra fazer cache dns?

galera brigadão pelas dicas, se não fosse a ajuda de vcs eu tava no osso!

[danieluramg]

Bom já desisti do CBQ tambem, rsrsrsr....
é que o script do Kurumin não funcionou direito e deu uns pau entao vou deixar quieto so com Delay Pools, por enquanto ta funcionando tranquilo

outra coisa, to tentando criar uma ACL para usuarios inadimplentes, dai coloco o IP do cara na lista, e ao tentar acessar a internet ele sempre ira cair na pagina de erro.
So que o bloqueio ate funciona, o usuario não consegue acessar a internet, fica dando apenas a pagina nao pode ser exibida, so que não aparece minha pagina de erro. Vejam se estou certo nas regras:

# INADIMPLENTES
acl naopagou src "/etc/squid/naopagou"
deny_info SUSPENSO naopagou
http_access deny naopagou

daí no arquivo "naopagou" coloco os IPs que terão a internet bloqueada, e todo site que tentarem acessar queria que caisse no arquivo SUSPENSO que esta na pasta das paginas de erro

certo? porque não funciona?

[bjaraujo]

Instala do bind e o resolvconf. No resolv.conf deixa só a primeira linha. Da um restart no serviço network, faz uns testes com ping e poe em produção.

[danieluramg]

Instala do bind e o resolvconf. No resolv.conf deixa só a primeira linha. Da um restart no serviço network, faz uns testes com ping e poe em produção.

bom o bind ja ta instalado, instalei o resolvconf e fiz o que vc disse
so que não tem resposta de ping

q será?

[bjaraujo]

Bom já desisti do CBQ tambem, rsrsrsr....
é que o script do Kurumin não funcionou direito e deu uns pau entao vou deixar quieto so com Delay Pools, por enquanto ta funcionando tranquilo

outra coisa, to tentando criar uma ACL para usuarios inadimplentes, dai coloco o IP do cara na lista, e ao tentar acessar a internet ele sempre ira cair na pagina de erro.
So que o bloqueio ate funciona, o usuario não consegue acessar a internet, fica dando apenas a pagina nao pode ser exibida, so que não aparece minha pagina de erro. Vejam se estou certo nas regras:

# INADIMPLENTES
acl naopagou src "/etc/squid/naopagou"
deny_info SUSPENSO naopagou
http_access deny naopagou

daí no arquivo "naopagou" coloco os IPs que terão a internet bloqueada, e todo site que tentarem acessar queria que caisse no arquivo SUSPENSO que esta na pasta das paginas de erro

certo? porque não funciona?

Creio que está correto. Você reiniciou seu squid?

squid -k reconfigure

No lugar desse arquivo com ips coloque os ips separados por espaço e ponha a máscara de rede tb. Ex.: 192.168.254.6/255.255.255.0 vc pode usar 192.168.254.6/24