Duvida iniciante- Squid limitando Cache (cahce full) ZPH

Versão Imprimível

05-04-2009, 19:27
danieluramg

Duvida iniciante- Squid limitando Cache (cache full) ZPH

:withstupid:
Boas galera, to com um probleminha aqui, montei um servidor Linux com o Kurumin somente para limitar a banda da internet que distribuo, não intendo bem de Linux to aprendendo agora na marra!
Esta com Squid fazendo cache, controle de banda col delay pools, servidor DHCP e proxy transparente, todos os IPs são limitados a +- 600k, apenas 5 sem limite, que uso IP fixo em minhas maquinas, todos os gerados pelo DHCP são limitados, ate ai tudo funciona bem, porem o Squid está limitando a banda dos usuarios ate para acessar arquivos que já estão em Cahce, por ex, um usuario acaba de fazer atualização do AVG, e outro usuario tambem limitado vai fazer a mesma atualização, o Squid fica "empacando" o down sendo que não é necessario baixa-la novamente, sendo que já está armazenado em cahce, se faço da minha maquina com o IP fixo que está liberado o acesso é imediato.
Resumindo, preciso que o controle de banda seja feito apenas para downloads feitos, se já estão armazenados em cache não precisa ter limite!
Até criei umas ACLs pra não ter limite de navegação, so que parece que não esta funcionando o acesso a sites tambem está limitado..

PS.: Pesquisando bastante antes de postar aqui achei uma possivel solução, meu problema mencinado vi que é o que chamam de "Cache full" que a solução é o ZPH, ahcei até um tutorial de como instalar esse ZPH no Squid 2.5 Stable 7, so que o meu squid é 2.6 Stables, será que funciona??
E outro problema é que meu Squid já está instalado e rodando bem, e neste tutorial ele implanta o Pach na instalação do Squid!
Gostaria de uma solução o mais prático possível!:itsme:

Qualquer ajuda é bem vinda, desculpem pela pergunta meio idiota, pra maioria aqui isso é mel na chupeta! :y:
05-04-2009, 19:52
darklinux3

Citação:

Postado originalmente por danieluramg

:withstupid:
Boas galera, to com um probleminha aqui, montei um servidor Linux com o Kurumin somente para limitar a banda da internet que distribuo, não intendo bem de Linux to aprendendo agora na marra!
Esta com Squid fazendo cache, controle de banda col delay pools, servidor DHCP e proxy transparente, todos os IPs são limitados a +- 600k, apenas 5 sem limite, que uso IP fixo em minhas maquinas, todos os gerados pelo DHCP são limitados, ate ai tudo funciona bem, porem o Squid está limitando a banda dos usuarios ate para acessar arquivos que já estão em Cahce, por ex, um usuario acaba de fazer atualização do AVG, e outro usuario tambem limitado vai fazer a mesma atualização, o Squid fica "empacando" o down sendo que não é necessario baixa-la novamente, sendo que já está armazenado em cahce, se faço da minha maquina com o IP fixo que está liberado o acesso é imediato.
Resumindo, preciso que o controle de banda seja feito apenas para downloads feitos, se já estão armazenados em cache não precisa ter limite!
Até criei umas ACLs pra não ter limite de navegação, so que parece que não esta funcionando o acesso a sites tambem está limitado..

PS.: Pesquisando bastante antes de postar aqui achei uma possivel solução, meu problema mencinado vi que é o que chamam de "Cache full" que a solução é o ZPH, ahcei até um tutorial de como instalar esse ZPH no Squid 2.5 Stable 7, so que o meu squid é 2.6 Stables, será que funciona??
E outro problema é que meu Squid já está instalado e rodando bem, e neste tutorial ele implanta o Pach na instalação do Squid!
Gostaria de uma solução o mais prático possível!:itsme:

Qualquer ajuda é bem vinda, desculpem pela pergunta meio idiota, pra maioria aqui isso é mel na chupeta! :y:

Não funciona, é necessario aplicar o patch ZPH correto para sua versao do squid, aqui utilizo cache full com ZPH e com a marcacao por conteudo normal "X-Cache: HIT" funciona perfeito.

Abs!
05-04-2009, 20:29
osmano807

Usa o squid 2.7 ou o 3.0 (3.1)
06-04-2009, 09:16
danieluramg

Citação:

Postado originalmente por osmano807

Usa o squid 2.7 ou o 3.0 (3.1)

Sim mas e levando em consideração que minha maquina já esta com tudo instalado e rodando redondinho qual uma solução simples e funcional? se eu baixar um aversão mais atualizada e aplicar a path zph e instalar no meu Squid ele continuaria trabalhando ou eu teria que fazer tudo do zero? valew!
06-04-2009, 09:24
darklinux3

Citação:

Postado originalmente por danieluramg

Sim mas e levando em consideração que minha maquina já esta com tudo instalado e rodando redondinho qual uma solução simples e funcional? se eu baixar um aversão mais atualizada e aplicar a path zph e instalar no meu Squid ele continuaria trabalhando ou eu teria que fazer tudo do zero? valew!

amigo se você analisar mais a fundo verá que nenhum squid em qualquer das versoes criadas até hoje possui o patch do ZPH, no entando você deve baixar as fontes, aplicar o patch e recompilar o pacote, para só entao funcionar

Esses dias instalei aqui, existem 3 patchs, versao 2.5stable7, 2.6stable5, 2.7stable5
Voce terá que usar um squid em uma dessas versoes.

Caso contrario nao irá funcionar o ZPH. No entando você pode fazer apenas a marcacao X-Cache:HIT pois essa nao necessita do patch do ZPH no squid, o cache full ira fucionar normalmente, acontece que o ZPH complementa a regra do X-Cache:HIT para um cache full com mais HITS, consequentemente maior economia.

Espero ter ajudado
Abs!
06-04-2009, 10:06
danieluramg

Esta acho que é a melhor solução para meu caso, minha rede é uma rede pequena com umas 3 maquinas minhas que tem acesso liberado e +- outros 15 micros, que tem a banda limitada, uso o Squid apenas para fazer cache de paginas, atualizaçoes etc. Você ahca que ess regra do X-Cache:HIT resolve meu probl de forma simples e funcional?
E pode me ajudar como faço pra implementar esse sistema? apenas adiciono essa lina "X-Cache:HIT" no meu squid.conf?
Desculpe tanta ignorãncia, é que estou aprendendo tudo isso agora mesmo, so pesquisando e lendo bastante na internet, acho que to ate me virando bem!

Grato!!
:dancing2:

Citação:

Postado originalmente por darklinux3

amigo se você analisar mais a fundo verá que nenhum squid em qualquer das versoes criadas até hoje possui o patch do ZPH, no entando você deve baixar as fontes, aplicar o patch e recompilar o pacote, para só entao funcionar

Esses dias instalei aqui, existem 3 patchs, versao 2.5stable7, 2.6stable5, 2.7stable5
Voce terá que usar um squid em uma dessas versoes.

Caso contrario nao irá funcionar o ZPH. No entando você pode fazer apenas a marcacao X-Cache:HIT pois essa nao necessita do patch do ZPH no squid, o cache full ira fucionar normalmente, acontece que o ZPH complementa a regra do X-Cache:HIT para um cache full com mais HITS, consequentemente maior economia.

Espero ter ajudado
Abs!
06-04-2009, 10:21
darklinux3

Proxy paralelo transparente

instale o squid no debian coloque um squid.conf, existem varios por aí. Verifique se nas configuracoes do seu squid se existe uma acl para liberar acesso para a sua rede de clientes.
Verifique se o proxy esta rodando com squid -z:

proxy running....bla bla bla

Em seguida ligue o servidor debian em uma interface ethernet com o mikrotik específica para ele.

Compartilhe a net pro debian:

# ;;; MASQUERADE PROXY
chain=srcnat action=masquerade src-address=172.25.2.0/30

Redirecione para o proxy "tudo" com destino a porta 80:

# ;;; PROXY PARENT TRANSPARENTE
chain=dstnat action=dst-nat to-addresses=172.25.2.2 to-ports=5128
protocol=tcp dst-address-list=!liberaproxy in-interface=rede1
dst-port=80

obs: aqui criei em "liberaproxy" uma lista de endereços que nao quero que entrem no proxy.

Na aba mangle:

# chain=forward action=mark-connection new-connection-mark=forward-HIT
passthrough=yes content=X-Cache: HIT

# chain=forward action=mark-packet new-packet-mark=cache-HIT passthrough=no
connection-mark=forward-HIT

Depois em queues tree limitando a 2MB:

# name="Cache" parent=global-out packet-mark=cache-HIT limit-at=0
queue=default priority=8 max-limit=2000000 burst-limit=0
burst-threshold=0 burst-time=0s

:party:

Vá até www.superdownloads.com.br, baixe o emule espere terminar, limpe o cache do navegador ou vá até outra maquina da rede e baixe o mesmo arquivo.

Pronto!
07-04-2009, 11:08
danieluramg

Isso tudo é so pra por pra funcionar cache full com X-Cache: HIT ?!? parece ser mais dificil do que aplicar o patch ZPH preciso ate ter uma outra maquinao com Mikrotik so pra isso?

Citação:

Postado originalmente por darklinux3

Proxy paralelo transparente

instale o squid no debian coloque um squid.conf, existem varios por aí. Verifique se nas configuracoes do seu squid se existe uma acl para liberar acesso para a sua rede de clientes.
Verifique se o proxy esta rodando com squid -z:

proxy running....bla bla bla

Em seguida ligue o servidor debian em uma interface ethernet com o mikrotik específica para ele.

Compartilhe a net pro debian:

# ;;; MASQUERADE PROXY
chain=srcnat action=masquerade src-address=172.25.2.0/30

Redirecione para o proxy "tudo" com destino a porta 80:

# ;;; PROXY PARENT TRANSPARENTE
chain=dstnat action=dst-nat to-addresses=172.25.2.2 to-ports=5128
protocol=tcp dst-address-list=!liberaproxy in-interface=rede1
dst-port=80

obs: aqui criei em "liberaproxy" uma lista de endereços que nao quero que entrem no proxy.

Na aba mangle:

# chain=forward action=mark-connection new-connection-mark=forward-HIT
passthrough=yes content=X-Cache: HIT

# chain=forward action=mark-packet new-packet-mark=cache-HIT passthrough=no
connection-mark=forward-HIT

Depois em queues tree limitando a 2MB:

# name="Cache" parent=global-out packet-mark=cache-HIT limit-at=0
queue=default priority=8 max-limit=2000000 burst-limit=0
burst-threshold=0 burst-time=0s

:party:

Vá até www.superdownloads.com.br, baixe o emule espere terminar, limpe o cache do navegador ou vá até outra maquina da rede e baixe o mesmo arquivo.

Pronto!
07-04-2009, 19:36
darklinux3

Citação:

Postado originalmente por danieluramg

Isso tudo é so pra por pra funcionar cache full com X-Cache: HIT ?!? parece ser mais dificil do que aplicar o patch ZPH preciso ate ter uma outra maquinao com Mikrotik so pra isso?

Essa é a melhora maneira de se usar o mikrotik e proxy juntos, mikrotik nao é bom para proxy, debian é o melhor SO na minha opiniao, casando os dois fica tudo tranquilo.

Esta receita está de mao beijada, e serve para fazer o cache em outra maquina separada e liberar full o que estiver em cache, você até pode estar achando dificil mas com essa regra vc vai economizar cerca de 30% do link.

É possivel colocar no cache dentro do proprio mikrotik economizando hard como vc quer, no entanto ja testei e o mesmo trava e o serviço precisa ser restartado para voltar a ativa. Mas tem varios tutoriais de proxy ai rodando na mesma maquina, aqui uso essa solução por que nao tenho problemas com meus clientes.

:party:

Abs!
07-04-2009, 19:50
danieluramg

Mas eu so tenho um servidor cache com Debian (Kurumin pra falar a verdade ;) não tenho nenhuma maquina Mikrotik...
Está entre o modem e a minha rede apenas esse Squid, que a unica finalidade seria fazer o controle de banda (downloads apenas, navegação não é necessário) e armazenar tudo em cache pra acelerar um pouco.:goodnight:
Vou explicar minha estrutura de rede aqui:
Tenho um link de 10Mbit, que baixa a mais de 1Mbyte/S facilmente, e essa internet é distribuida em 15 apartamentos, se eu não limitar a banda e alguem começar um download a internet praticamente para pra todos.
O servidor que estou uzando pra isso é um Athlon XP 1600+ com 512Mb de ram e HD de 20Gb, apenas para esta tarefa está de bom tamanho né?
Encontrei mais este outro tutorial (Linux: Instalando Squid 2.6 + patch ZPH no Debian Etch [Dica])explicando como se aplica a patch ZPH no Debian, porém meu receio é de dar algum pau e meu servidor para de funfa e ter que reinstalar tudo denovo, pois ele esta trabalhando redondo, tirando que não passa a cache a full.
E até ai explica bem a instalação em sí, mas e depois? o que tenho que fazer, o squid já irá identificar sosinho o que está em cache, não preciso fazer modificação nenhuma em meu squid.conf?:joyman:

Por isso estava achando que esse X-Cache: HIT serial melhor no meu caso!

Valew pela paciência!:dancing2:

Citação:

Postado originalmente por darklinux3

Essa é a melhora maneira de se usar o mikrotik e proxy juntos, mikrotik nao é bom para proxy, debian é o melhor SO na minha opiniao, casando os dois fica tudo tranquilo.

Esta receita está de mao beijada, e serve para fazer o cache em outra maquina separada e liberar full o que estiver em cache, você até pode estar achando dificil mas com essa regra vc vai economizar cerca de 30% do link.

É possivel colocar no cache dentro do proprio mikrotik economizando hard como vc quer, no entanto ja testei e o mesmo trava e o serviço precisa ser restartado para voltar a ativa. Mas tem varios tutoriais de proxy ai rodando na mesma maquina, aqui uso essa solução por que nao tenho problemas com meus clientes.

:party:

Abs!
09-04-2009, 13:11
danieluramg

to ca%$do mesmo...

Fiz tudo como no tutorial
Linux: Instalando Squid 2.6 + patch ZPH no Debian Etch [Dica]
so que apos criar os arquivos DEBestavam com nomes:
squid_2.6.5-6etch4_i386.deb
squid-cgi_2.6.5-6etch4_i386.deb
squidclient_2.6.5-6etch4_i386.deb
squid-common_2.6.5-6etch4_all.deb
e não:
squid_2.6.5-6_i386.deb
squid-cgi_2.6.5-6_i386.deb
squidclient_2.6.5-6_i386.deb
squid-common_2.6.5-6_all.deb
como no tutorial.

ai mandei bala mesmo assim, todos os passo deram certo, so um erro que deu falando do Apache e tal, dai instalei ele via apt-get ai tudo correu perfeitamente.
so que agora me squid nem cache ta fazendo mais!
Quando digito no prompt squid -v mostra a versão 2.6STABLE5
(que já era a versão original que o Kurumin instala)

tentei desinstalar, reinstalar e nada! O serviço está rodando, pois se eu paro ele a internet para nas estações, o controle de banda das delay pools continua, porém não faz mais cache de nada!

Que diabos pode ter acontecido, sera por esta diferença na versão (Etch4) ??
:goodnight:
09-04-2009, 23:08
darklinux3

Os pacotes estao corretos é isso mesmo.
O que te faz pensar que nao está fazendo cache? se seu proxy é transparente e quando desativa o serviço a navegacao pára. Passou pelo proxy tá fazendo o cache! ou sua configuracao nao esta de acordo
Verifique a linha do "access log" no squid.conf coloque /var/log/squid/access.log, depois restarte o squid monitore o acesso ao cache com tail -f /var/log/squid/access.log e veja os HIT e MISS do cache estao ocorrendo.

Cada acesso deve aparecer uma linha no cache. Também verifique o diretorio onde está o cache se foram criados os arquivos realmente.

Abs!
09-04-2009, 23:40
bjaraujo

Dá um squid -z aí.
Eu recomendo fortemente que faça um backup de suas configurações e siga a instalação minima do Debian Lenny e instale os pacotes necessários, o squid (2.7) dele já tem suporte a zph (olha lá no site); você também poderia adicionar a o repositório do Lenny ao seu Kurumin e tentar instalar somente o squid, acho arriscado vc pode bagunçar o apt.
11-04-2009, 10:12
danieluramg

Citação:

Postado originalmente por darklinux3

Os pacotes estao corretos é isso mesmo.
O que te faz pensar que nao está fazendo cache? se seu proxy é transparente e quando desativa o serviço a navegacao pára. Passou pelo proxy tá fazendo o cache! ou sua configuracao nao esta de acordo
Verifique a linha do "access log" no squid.conf coloque /var/log/squid/access.log, depois restarte o squid monitore o acesso ao cache com tail -f /var/log/squid/access.log e veja os HIT e MISS do cache estao ocorrendo.

Cada acesso deve aparecer uma linha no cache. Também verifique o diretorio onde está o cache se foram criados os arquivos realmente.

Abs!

cara meu squid comessou a se comportar de forma estranha depois disso.
daí removi tudo, apaguei as pastas, etc e reinstalei o squid que eu compilei com a patch, ai sim tava so o ouro, funciono 100% cache full e tal
dai tava criando uma acl pra clientes inadimplentes pra acesasr uma pagina de erro, ai o squid parou de funcionar!
ai nem deus nem o diabo arrumou mais! Esstranho eu reiniciava a maquina o serviço não iniciava sosinho, quando tentava iniciar ele nao iniciava, na log vi varios erros de acesso nao permitido a pasta de cache, log etc.
dai dava as permissoes necessarias e conseguia iniciar o serviço manualmente, depois de reiniciar a maquina tudo voltava a dar problema, dai te tanto fuçar fu3uhu fou tudo!
isso voi na quinta, ai perdi a paciencia e deixei pra la, hj volto a briga, vou tentar atualizar para o lenny como sugeriu o amigo de baixo.
mas axei muito estranho, ele estava rodando redondinho, dai so tava tentando criar uma ACL, errei a digitação e tal, ai o squid bixou!
bom valew mais tarde posto os resultados aqui!
abç.......
11-04-2009, 10:16
danieluramg

Citação:

Postado originalmente por bjaraujo

Dá um squid -z aí.
Eu recomendo fortemente que faça um backup de suas configurações e siga a instalação minima do Debian Lenny e instale os pacotes necessários, o squid (2.7) dele já tem suporte a zph (olha lá no site); você também poderia adicionar a o repositório do Lenny ao seu Kurumin e tentar instalar somente o squid, acho arriscado vc pode bagunçar o apt.

é to na agua ja mesmo, parou foi tudo de funcionar aqui, vou tentar sua sugestao
estou seguindo GDH Press: Blog » Atualizando o Kurumin 7 para o Lenny
o squid desse repositorio é o 2.7 ja com ZPH incluido?
e os scripts do Kurumin pra editar, reiniciar o squid etc, vc sabe se vao funcionar normalmente, não tem diferença não ne?
e o mesmo arquivo squid.conf do meu squid 2.6 posso usar no novo, nao muda nada não?
bom de qqr forma ja ta rodando aki apt-get dist-upgrade, vamo ve no qq da...

valew abç!
11-04-2009, 12:34
danieluramg

Boas noticias!

Uff felizmente consegui fazer o troço rodar!
Fiz a alteração dos repositorios do kurumin para o Lenny, antes disto dei um apt-get distro-upgrade, como aconselhado no tutorial
depois troquei os repositorios, dai dei um apt-get update, dai instalei o squid, e veio o 2.7 pelo visto com o ZPH ja embutido mesmo.
so não fiz o apt-get distro-upgrade depois de editar o repositorio pois ele ia atualizar tudo, e não precisaria queria apenas o basico pra rodar o squid, firewall, ssh etc.
Bom parece estar funcionando como o esperado, so vou agora tentar por o CBQ pra funcionar, não estou gostando de como trabalha as delay pools, ele fica dando umas "pausas" no download, alem de nao controlar o upload.
Decidi usar o CBQ mesmo ao invez do HTB pois ja vem com script de configuração no Kurumin, e eu ainda to engatinhando entao vou nessa mesmo, apesar de q todos dizem que o HTB é mais facil de trabalhar, so que por enquanto vou pelo mascigado ate pegar uma noção melhor.

o que não parece estar funcionando é o cache de DNS, no resolv.conf puis
nameserver 127.0.0.1
nameserver 208.67.222.222
nameserver 208.67.220.220

e o servidor DHCP gera os DNSs pros 192.168.2.254,208.67.222.222,208.67.220.220
so que, se eu seto manualmente o DNS no cliente apenas o IP do gateway não navega.
é so isso mesmo que devo fazer pra fazer cache dns?

galera brigadão pelas dicas, se não fosse a ajuda de vcs eu tava no osso!
11-04-2009, 12:58
danieluramg

ACL com pagina personalizada

Bom já desisti do CBQ tambem, rsrsrsr....
é que o script do Kurumin não funcionou direito e deu uns pau entao vou deixar quieto so com Delay Pools, por enquanto ta funcionando tranquilo

outra coisa, to tentando criar uma ACL para usuarios inadimplentes, dai coloco o IP do cara na lista, e ao tentar acessar a internet ele sempre ira cair na pagina de erro.
So que o bloqueio ate funciona, o usuario não consegue acessar a internet, fica dando apenas a pagina nao pode ser exibida, so que não aparece minha pagina de erro. Vejam se estou certo nas regras:

# INADIMPLENTES
acl naopagou src "/etc/squid/naopagou"
deny_info SUSPENSO naopagou
http_access deny naopagou

daí no arquivo "naopagou" coloco os IPs que terão a internet bloqueada, e todo site que tentarem acessar queria que caisse no arquivo SUSPENSO que esta na pasta das paginas de erro

certo? porque não funciona?
11-04-2009, 12:59
bjaraujo

Instala do bind e o resolvconf. No resolv.conf deixa só a primeira linha. Da um restart no serviço network, faz uns testes com ping e poe em produção.
11-04-2009, 13:10
danieluramg

Citação:

Postado originalmente por bjaraujo

Instala do bind e o resolvconf. No resolv.conf deixa só a primeira linha. Da um restart no serviço network, faz uns testes com ping e poe em produção.

bom o bind ja ta instalado, instalei o resolvconf e fiz o que vc disse
so que não tem resposta de ping
:s:
q será?
11-04-2009, 13:11
bjaraujo
Citação:

Postado originalmente por danieluramg

Bom já desisti do CBQ tambem, rsrsrsr....
é que o script do Kurumin não funcionou direito e deu uns pau entao vou deixar quieto so com Delay Pools, por enquanto ta funcionando tranquilo

outra coisa, to tentando criar uma ACL para usuarios inadimplentes, dai coloco o IP do cara na lista, e ao tentar acessar a internet ele sempre ira cair na pagina de erro.
So que o bloqueio ate funciona, o usuario não consegue acessar a internet, fica dando apenas a pagina nao pode ser exibida, so que não aparece minha pagina de erro. Vejam se estou certo nas regras:

# INADIMPLENTES
acl naopagou src "/etc/squid/naopagou"
deny_info SUSPENSO naopagou
http_access deny naopagou

daí no arquivo "naopagou" coloco os IPs que terão a internet bloqueada, e todo site que tentarem acessar queria que caisse no arquivo SUSPENSO que esta na pasta das paginas de erro

certo? porque não funciona?

Creio que está correto. Você reiniciou seu squid?
Código :

squid -k reconfigure
No lugar desse arquivo com ips coloque os ips separados por espaço e ponha a máscara de rede tb. Ex.: 192.168.254.6/255.255.255.0 vc pode usar 192.168.254.6/24
11-04-2009, 13:14
danieluramg
Citação:
Postado originalmente por bjaraujo

Creio que está correto. Você reiniciou seu squid?

Código :

squid -k reconfigure

No lugar desse arquivo com ips coloque os ips separados por espaço e ponha a máscara de rede tb. Ex.: 192.168.254.6/255.255.255.0 vc pode usar 192.168.254.6/24
Reiniciei, dai o bloqueio funciona, so a pagina de erro que não...
11-04-2009, 13:16
bjaraujo

Citação:

Postado originalmente por danieluramg

bom o bind ja ta instalado, instalei o resolvconf e fiz o que vc disse
so que não tem resposta de ping
:s:
q será?

Dá uma olhada da dica do colega.
Dicas para proteger seu servidor DNS (BIND) - Parte 01 | Under-Linux.Org
11-04-2009, 13:21
danieluramg

Citação:

Postado originalmente por bjaraujo

Dá uma olhada da dica do colega.
Dicas para proteger seu servidor DNS (BIND) - Parte 01 | Under-Linux.Org

estranhamente não existe o named.conf no meu sistema, o proprio bind ou o resolvconf cria esse arquivo??
11-04-2009, 13:30
darklinux3

Os arquivos de configuracao são criados na instalacao.

cd /etc/bind

named-checkconf

Se retornar erro você está com problemas.
11-04-2009, 14:28
danieluramg

depois que mudei a fonte do apt-get para o Lenny e fiz atualização meu servidor ficou um lixo
pra conectar por SSH é 5 min so pra pedir a senha
o NX server da ate time out de tanto que espera...
as paginas demoram uns 10 seg so pra comessar a carregar.
agora depois de tantar instalar o resolvconf danou tudo, nem navega mais!
vou formatar tudo aqui ta bixado demais .........
bom depois posto aki qual foi o resultado!

valew gente.........
13-04-2009, 09:35
danieluramg

E volto a estaca zero....

Bom galera o FDS se foi e voltei pro meu passa-tempo (dor-de-cabeça).......

bom estão no sabado depois de minha ultima postagem formatei a maquina e reinstalei o Kurumin 7 comessando tuudo denovo.
dai fiz tudo pra compartilhar a internet norlamente la nos scripts do Kurumin, dai instalei o Squid tambem por lá, dai tudo OK perfeito, (como estava antes, sem cache full)
ai instalei por cima o Squid que já imbuti o ZPH (dpkg -i squid*) da pasta onde deixei a instalação (os 4 DEBs) dai ele deu o erro que sempre da pedindo o Apache, dai instalei o Apache com apt-get dai voltei ao (dpkg -i squid*)ai deu que foi tudo instalado.
so que continua sem funcionar o cache full... eu baixo um arquivo em uma maquina que etá sem limite, dai baixo em outra maquina que esta com controle de banda e continua limitando a velocidade do arquivo que já esta em cache
a instalação como fiz por cima não funciona?
bom tinha funcionado quando segui a dica do braraujo para atualizar para o Lenny ai instalou o Squid 2.7 porém ficou orrivel o desempenho do micro depois disso, dai tentei instalar apenas o Squid 2.7 mudando os repositorios do apt-get, so que na hora que mando instalar o Squid ele diz que tem que substituir uma porrada de outros, dai acho q ia votar a ficar uma merda então não fiz.

o que fazer??
13-04-2009, 16:03
danieluramg

2 Anexo(s)

Citação:

Postado originalmente por darklinux3

Os pacotes estao corretos é isso mesmo.
O que te faz pensar que nao está fazendo cache? se seu proxy é transparente e quando desativa o serviço a navegacao pára. Passou pelo proxy tá fazendo o cache! ou sua configuracao nao esta de acordo
Verifique a linha do "access log" no squid.conf coloque /var/log/squid/access.log, depois restarte o squid monitore o acesso ao cache com tail -f /var/log/squid/access.log e veja os HIT e MISS do cache estao ocorrendo.

Cada acesso deve aparecer uma linha no cache. Também verifique o diretorio onde está o cache se foram criados os arquivos realmente.

Abs!

Darklinux3 cara o negocio ta foda aqui...
novamente não está fazendo cache! certeza que não, ja fiz todos os testes possiveis
e fazendo o que vc falou vela o erro que da em meu log
2009/04/13 15:38:41| ACL name 'all' not defined!
FATAL: Bungled access.log line 238: http_access deny all
Squid Cache (Version 2.6.STABLE5): Terminated abnormally.

e o estranho é que existe a ACL all, e mesmo que eu comente a linha http_access deny all e comente a http_access allow all ele continua dando o MESMO erro...
bom então o controle das delay pools esta funcionando, entao o squid esta funcionando, porem não faz cache, ja tentei desinstalar e reinstalar.
anexei meu access.log e o squid.conf completo se vc puder dar uma olhada pra ver se acha o erro!
https://under-linux.org/forums/images/attach/txt.gif access.txt (33.1 KB)

https://under-linux.org/forums/images/attach/txt.gif squid.conf.txt (4.5 KB)

valew
13-04-2009, 18:21
bjaraujo

Citação:

Postado originalmente por danieluramg

Darklinux3 cara o negocio ta foda aqui...
novamente não está fazendo cache! certeza que não, ja fiz todos os testes possiveis
e fazendo o que vc falou vela o erro que da em meu log
2009/04/13 15:38:41| ACL name 'all' not defined!
FATAL: Bungled access.log line 238: http_access deny all
Squid Cache (Version 2.6.STABLE5): Terminated abnormally.

e o estranho é que existe a ACL all, e mesmo que eu comente a linha http_access deny all e comente a http_access allow all ele continua dando o MESMO erro...
bom então o controle das delay pools esta funcionando, entao o squid esta funcionando, porem não faz cache, ja tentei desinstalar e reinstalar.
anexei meu access.log e o squid.conf completo se vc puder dar uma olhada pra ver se acha o erro!
https://under-linux.org/forums/images/attach/txt.gif access.txt (33.1 KB)

https://under-linux.org/forums/images/attach/txt.gif squid.conf.txt (4.5 KB)

valew

Você editou o arquivo antes de enviar? Se não o fez procure por outro squid.conf nesse server e trabalhe nele. O log aponta erro na linha 238 mas seu arquivo só tem 145 linhas.

Cada NONE do teu access.log diz que o navegador ou baixou no cache ou não baixou nada (bloqueado).
13-04-2009, 21:54
danieluramg

Citação:

Postado originalmente por bjaraujo

Você editou o arquivo antes de enviar? Se não o fez procure por outro squid.conf nesse server e trabalhe nele. O log aponta erro na linha 238 mas seu arquivo só tem 145 linhas.

Cada NONE do teu access.log diz que o navegador ou baixou no cache ou não baixou nada (bloqueado).

como assim antes de enviar? esse squid.conf é o que está na pasta "/etc/squid/"
é o LOG agora que vi que faltou pedaço, é que estava conectado por SSH e não copiou o texto todo.

Eu ja tentei reinstalar o Squid,e mesmo com o squid.conf que o proprio kurumin ja instala pre-configurado ele da o mesmo erro quando "squid -f /var/log/squid/access.log"
ai ele demora um pouco e da o mesmo erro
2009/04/13 15:38:41| ACL name 'all' not defined!
FATAL: Bungled access.log line x: http_access deny all
Squid Cache (Version 2.6.STABLE5): Terminated abnormally.
modando apenas o numero da linha

o mais estranho é qua a linha http_access deny all esta comentada!
14-04-2009, 10:45
danieluramg

mais um dia que se passa.....
bom hoje resolvi tentar novamente instalar o Squid do Lenny, então fiz tudo na seguinte ordem:
- apt-get update
dai editei a sources.list do apt e editei os repositorios para os do Lenny.
- apt-get update
- apt-get upgrade -y
ai atualizou uma porrada de pacotes.
dai instalei o Squid (atualizou mais um monte)
ai iniciou o serviço, e tal
dei um squid -v e realmente, esta agora com a versão 2.7 Stable3
novamente esta fazendo o controle de banda, editei o squid.conf conforme minhas configurações, etc.
e novamente fiz um download em uma estação, limpei a cache do navegador, apaguei o arquivo baixado e baixei o mesmo arquivo novamente, que foi novamente baixado do servidor (o squid não fez cache)

ai dei um squid -f /var/log/access.log
que estranhamente, mas já me acostumei deu o mesmo erro
2009/04/14 10:24:06| ACL name 'all' not defined!
FATAL: Bungled (null) line 180: http_access deny all
Squid Cache (Version 2.7.STABLE3): Terminated abnormally.

terminando com o processo. apontando para a linha 180
bom agora sim vem o que achei muito estranho mesmo, abri o access.log, cache.log e store.log e limpei todos, e novamente acessei um pouco via proxy, e depois voltei a rodar o comando squif -f /var/log/squid/access.log, que novamente deu o MESMO erro apontando para a MESMA linha 180, sendo que o arquivo não tem nem esse tanto de linhas!

cara tem alguma parte do meu squid que ta bixada/travada, não sei mais o que fazer...

aguardo uma luz de uma alma bendita, acredito que so um power user no squid pra desvendar esse mistério.........
14-04-2009, 11:06
bjaraujo
Derrube seu squid, como root:
Código :

killall -s9 squid
Teste o arquivo de configuração:
Código :

squid -f /etc/squid/squid.conf -f check
Rode teu squid com o seguinte comando, como root:
Código :

squid -f /etc/squid/squid.conf -d2
Qualquer coisa me manda um mp com teu msn.
14-04-2009, 11:24
danieluramg
Citação:
Postado originalmente por bjaraujo

Derrube seu squid, como root:

Código :

killall -s9 squid

Teste o arquivo de configuração:

Código :

squid -f /etc/squid/squid.conf -f check

Rode teu squid com o seguinte comando, como root:

Código :

squid -f /etc/squid/squid.conf -d2

Qualquer coisa me manda um mp com teu msn.
Fiz tudo deu isso:

root@squidserver:/etc/squid# killall -s9 squid
root@squidserver:/etc/squid# squid -f /etc/squid/squid.conf -f check
FATAL: Unable to open configuration file: check: (2) No such file or directory
Squid Cache (Version 2.7.STABLE3): Terminated abnormally.
CPU Usage: 0.008 seconds = 0.004 user + 0.004 sys
Maximum Resident Size: 0 KB
Page faults with physical i/o: 0
Abortado
root@squidserver:/etc/squid# squid -f /etc/squid/squid.conf -d2
root@squidserver:/etc/squid# 2009/04/14 11:22:19| Starting Squid Cache version 2.7.STABLE3 for i386-debian-linux-gnu...
2009/04/14 11:22:19| Process ID 8011
2009/04/14 11:22:19| With 1024 file descriptors available
2009/04/14 11:22:19| Using epoll for the IO loop
2009/04/14 11:22:19| Performing DNS Tests...
2009/04/14 11:22:19| Successful DNS name lookup tests...
2009/04/14 11:22:19| DNS Socket created at 0.0.0.0, port 1167, FD 6
2009/04/14 11:22:19| Adding nameserver 208.67.222.222 from /etc/resolv.conf
2009/04/14 11:22:19| Adding nameserver 208.67.220.220 from /etc/resolv.conf
2009/04/14 11:22:19| User-Agent logging is disabled.
2009/04/14 11:22:19| Referer logging is disabled.
2009/04/14 11:22:19| logfileOpen: opening log /var/log/squid/access.log
2009/04/14 11:22:19| Unlinkd pipe opened on FD 11
2009/04/14 11:22:19| Swap maxSize 15360000 KB, estimated 1181538 objects
2009/04/14 11:22:19| Target number of buckets: 59076
2009/04/14 11:22:19| Using 65536 Store buckets
2009/04/14 11:22:19| Max Mem size: 262144 KB
2009/04/14 11:22:19| Max Swap size: 15360000 KB
2009/04/14 11:22:19| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2009/04/14 11:22:19| logfileOpen: opening log /var/log/squid/store.log
2009/04/14 11:22:19| Rebuilding storage in /var/spool/squid (DIRTY)
2009/04/14 11:22:19| Using Least Load store dir selection
2009/04/14 11:22:19| Current Directory is /etc/squid
2009/04/14 11:22:19| Loaded Icons.
2009/04/14 11:22:19| Accepting proxy HTTP connections at 0.0.0.0, port 3128, FD 13.
2009/04/14 11:22:19| Accepting ICP messages at 0.0.0.0, port 3130, FD 14.
2009/04/14 11:22:19| HTCP Disabled.
2009/04/14 11:22:19| WCCP Disabled.
2009/04/14 11:22:19| Ready to serve requests.
2009/04/14 11:22:19| Store rebuilding is 19.4% complete
2009/04/14 11:22:20| Done reading /var/spool/squid swaplog (21118 entries)
2009/04/14 11:22:20| Finished rebuilding storage from disk.
2009/04/14 11:22:20| 20910 Entries scanned
2009/04/14 11:22:20| 0 Invalid entries.
2009/04/14 11:22:20| 0 With invalid flags.
2009/04/14 11:22:20| 20910 Objects loaded.
2009/04/14 11:22:20| 0 Objects expired.
2009/04/14 11:22:20| 204 Objects cancelled.
2009/04/14 11:22:20| 0 Duplicate URLs purged.
2009/04/14 11:22:20| 0 Swapfile clashes avoided.
2009/04/14 11:22:20| Took 0.8 seconds (27124.6 objects/sec).
2009/04/14 11:22:20| Beginning Validation Procedure
2009/04/14 11:22:20| Completed Validation Procedure
2009/04/14 11:22:20| Validated 20706 Entries
2009/04/14 11:22:20| store_swap_size = 435740k
2009/04/14 11:22:20| storeLateRelease: released 0 objects
19-04-2009, 23:23
darklinux3

Olá amigo seu arquivo de configuracao esta com problemas, quando vc instalou o squid ele ja deveria estar rodando normalmente e fazendo cache das paginas a acl all ja viria inclusa. Aqui eu uso debian apenas o sistema basico e instalo apenas os pacotes do bind9, squid e squid-common(2.6).
Eu ainda nao utilizei esse squid 2.7 pode ser que existe alguma diferença de configuracao uma vez passei por isso quando utilizava a versao 2.5 e lançaram a 2.6.
Em eu conf. tem muitas acl de bloqueios, uma dica: rode primeiro o básico default que vem com a sua distro vá refinando seu serviço para adapta-lo as suas necessidades.

Faz o teste e posta o resultado!
Abs!
20-04-2009, 09:59
danieluramg

1 Anexo(s)

Citação:

Postado originalmente por darklinux3

Olá amigo seu arquivo de configuracao esta com problemas, quando vc instalou o squid ele ja deveria estar rodando normalmente e fazendo cache das paginas a acl all ja viria inclusa. Aqui eu uso debian apenas o sistema basico e instalo apenas os pacotes do bind9, squid e squid-common(2.6).
Eu ainda nao utilizei esse squid 2.7 pode ser que existe alguma diferença de configuracao uma vez passei por isso quando utilizava a versao 2.5 e lançaram a 2.6.
Em eu conf. tem muitas acl de bloqueios, uma dica: rode primeiro o básico default que vem com a sua distro vá refinando seu serviço para adapta-lo as suas necessidades.

Faz o teste e posta o resultado!
Abs!

Opa blz brother
cara o bjaraujo me ajudou aqui, fizemos varias tentativas que ele foi me passando pelo MSN, dai tava dando varios erros estranhos e tal, ai ate rodou, dai entrou em meu server por SSH e conseguiu fazer rodar blzinha .
so que como da vez anterior que mudei os repositorios para os do Lenny a estabilidade da internet ficou horrivel, demora pra responder ao requisitar uma pagina, ate o SSH fica lento, dai revotei e formatei denovo!
dai fiz tudo direitinho: 1º intalei o kurumin, fiz as atualizações do apt-get, instalei o compartilhamento, firewall, depois o Squid pelos scripts, dai me sertifiquei de que estava rodando mesmo, reiniciei a maquina e tava redondinho novamente.
dai parei o Squid, instalei o Apache (que sempre q vou atualizar para o meu Squid com ZPH ele reclama, entao ja instalei antes) dai sim instalei o Squid com ZPH que compilei, ai sim ficou perfect!
ta fazendo o controle de banda, cache full, etc.
bom mas ainda estou com ideia de instalar o HTB ou CBQ, pois nao estou gostando da maneira que as delay pools funcionam, e tambem não consigo fazer a pagina de erros personalizada para nao pagantes funcionar, se puder veja meu squid.conf
dai la no fim esta as regras que criei, no arquivo "naopagou" coloco o IP dos inadimplentes
e o arquivo "SUSPENSO" esta na pasta de erros, que tambem informei no squid.conf
quando adiciono o IP do usuario a lista o squid bloqueia o acesso, porem não é exibida a pagina de erros escolhida, da "a pagina nao pode ser exibida" tradicional....
Seguei squid.conf em anexo!
valew.......
07-07-2009, 08:38
fullproxy

Ola a todos, sou daqueles iniciantes..
atualizei meu squid para o 3, segui um squid.conf aqui do forum mesmo, deu erro na hora de executar, pois seguindo informacoes do forum o squid tava rodando na outra versao quando atulizei ou executei a nova conf, em fim... como n'ao tenho conhecimento muito em linux, exclui as pastas squid e squid3, tanto na pasta /etc com /var /log...

Como posso sair destas confusoes e comecar novamente, instalando o squid3, remover essas sujeiras para uma nova reinstalacao do squid3

obrigado....
07-07-2009, 09:13
Não Registrado

Citação:

Postado originalmente por fullproxy

Ola a todos, sou daqueles iniciantes..
atualizei meu squid para o 3, segui um squid.conf aqui do forum mesmo, deu erro na hora de executar, pois seguindo informacoes do forum o squid tava rodando na outra versao quando atulizei ou executei a nova conf, em fim... como n'ao tenho conhecimento muito em linux, exclui as pastas squid e squid3, tanto na pasta /etc com /var /log...

Como posso sair destas confusoes e comecar novamente, instalando o squid3, remover essas sujeiras para uma nova reinstalacao do squid3

obrigado....

BrazilFW Firewall and Router está é a solução.

Todos horários são GMT -3. Hora atual: 23:46.