Versão Imprimível
Pessoal estou pensando em aumentar os caches dos meus squids, no momento estão em 300mb cada, gostaria de saber qual os valores que vcs usam para que eu possa ter uma ideia, lembrando que meus hds variam entre 20 e 30gb, aguardo respostas e até mais.
o ideal é vc se basear pela quantidade de clientes que utilizam o cache.. e qual é o nivel de trafego de internet para esses clientes..
um valor interessante de se usar é entre 1-3 GB para uma media de 2-4GB de trafego por dia de internet.. e contendo em torno de 40-60 clientes de rede.
Eu recomendaria uma monitoracao de trafego da sua rede antes de vc definir valores... ou se vc tiver relatorios de MRTG.. coisas assim.. monitoracao SNMP dos links de internet qeu vc usa.. para ter um percentual de ganho e otimizacao do trafego que passa no link.
Olá danilo, o valor que é trafegado por dia eu não sei ao certo, mas sempre passa da casa dos gigas com certeza, o numero de cliente está por volta dos 200 clientes e todos eles passam pelos proxys, pois uso o esquema de proxy transparente, esses clientes tem velocidades variadas, mas a maioria esmagadora funciona em 64k, você acha que quantos gb de cache ficaria bom nesse caso, lembrando que eu tenho 4 caches, 3 em servidores secundarios e 1 no meu servidor primario, ou seja tudo passa por esse servidor primario, aguardo repostas, até mais.
bom .. eu tenho um ambiente parecido aqui... em uma escola que dou consultoria..
porem.. nao uso parent proxy la..
o valor de trafego diario para 250 clientes de rede.. é em torno de 4 GB por dia.. so de HTTP... tenho um link de 1.5 Mb e tenho um cache de 5 GB.
esse squid que eu uso esta sendo monitorado via MRTG.. e meu percentual é de cerca de 75% dos HITS http sao pegos do cache.
meu percentual para sobrescrever objetos no cache esta em 80/95% do tamanho do cache..,
Opa Danilo_Montagna,
Me interessei pela sua resposta! Tenho um ambiente com varias sub-redes e mais ou menos 450 clientes, tenho uma partição /cache com 5GB dedicado ao CACHE, mas meu cache_dir no squid.conf deixei pra usar no maximo 4GB:
cache_dir ufs /cache/squid 4000 16 256
Bom, até ai beleza, mas, to interessado em configurar o MRTG pra faze relátorios de tráfego parecido com o seu, você poderia me ajudar? Estou rodando Conectiva 10... Talvez uma dica de versão ideal de MRTG e mrtg.conf próprio pra isso iria me ajudar...
Obrigado, :)
Danilo.
Como vc consegue levantar esta estatística de seu squid ????
é so habilitar o recurso de monitoracao via SNMP do squid.. e usar o mrtg para extrair os dados..
Ótimo...
Obrigado...
Ok danilo, já deu pra tirar uma ideia... minha ultima duvida... é quanto aos logs do squid, no meu eu deixo um script que toda semana faz backup dos logs e zera logs e cache, ai o squid fica sempre zeradinho, como vc trata seus logs? Digo isso por que uma vez eu zerei apenas os logs do meu squid pq ele tinha parado pois os logs estavam grandes demais, dai quando rodei novamente o squid o store.log voltou a ficar do mesmo tamanho que estava antes e com isso em 10min o squid parou nomente, ai eu pergunto é normal isso?? Se eu zerei os logs não era pra começar do zero de novo não e ir aos poucos?? ele lê todo o cache e regrava no log?? Por isso que agora eu zero os logs e o cache. Aguardo respostas, té mais.
nao existe necessidade de ficar tendo esse tipo de tratamento "braçal" com os logs do squid..
vc provavelmente nao tem habilitado o logrotate no squid.. e por isso seu store.log nao para de crescer.. ou ainda.. vc habilitou todos os logs possiveis de DEBUG do squid... e essas info estao fazendo os logs crescerem rapidamente...
o squid nao suporta um log maior que 2GB, se passar desse tamanho o processo é morto automaticamente..
O meu script faz a manutenção semanalmente dos logs, pois fica mais organizado os logs num arquivo só(1 access.log, 1 cache.log e 1 store.log), eu só não queria ter que ficar apagando o cache, pois quando inicio o squid novamente com o mesmo cache o store.log já volta a ficar do mesmo tamanho instantaneamente e em pouco tempo ele para... eu nunca usei o logrotate, fica muito fragmentado os logs??
nao existe necessidade de ficar zerando o cache do squid a toda hora,,, fazendo isso.. vc so da mais trabalho ao mesmo e utiliza seu link a toa com objetos que ja estavem em cache..
o logrotate fragmenta os arquivos a cada vez que o mesmo esta configurado para rodar... em media.. ele compacta o log atual e cria um novo.. e o arquivo fica em torno de 2-5M no maximo..
logrotate+gzip rox aLOT :D
Seguinte minha partição /var tem 9gb, então tentei colocar o diretorio de cache do squid para 2gb, até ai tudo bem... o squid iniciou e começou a servir normalmente, só que olhando o access.log vi que estavam tendo muitos SWAPFAIL_MISS, com arquivos bestas, tipo GIF, JPG, mas continuava navegando normal, dai baixei o tamango para 1gb e agora tá normal sem dá o SWAPFAIL, agora dá TCP_HIT E TCP_MISS, o que vcs acham que pode ser isso? aguardo respostas e agradeço a ajuda de todos.
Ahhh.. sim esqueci de dizer... configurei o log_rotate do proprio squid, pois não consegui com o pacote logrotate, mas tudo bem... pelo ao menso com o logrotate do proprio squid eu num vou mais precisar ficar zerando os caches :D , limitei no maximo em três arquivos de log e ele começa a apagar os antigos.
TCP_HIT E TCP_MISS sao situacoes normais de acesso..
TCP_HIT = o objeto requisitado foi encontrado no cache.
TCP_MISS = o objeto nao estava em cache.
Exatamente danilo, só que quando eu coloquei o cache com 2gb em muitos arquivos ele estava dando TCP_SWALFAIL_MISS, mas agora com 1gb está ok, vc tem alguma ideia do pq desse SWAPFAIL?? Obrigado pela paciencia.
TCP_SWAPFAIL_MISS = O objeto estava no cache.. mais nao pode ser acessado.
Isso geralmente acontece quando vc nao faz o tratamento correto ao cache.. geralmente acontece quando vc diminui o tamanho do cache.. sem falar isso ou referenciar isso ao squid.. forcando o mesmo e dar RELEASE em todos esses objetos em FAIL.
Estranho, pois eu zerei o cache alterei o squid.conf e depois recriei o cache com as novas configurações, mas tudo bem depois eu tento aumentar mais um pouco, agora está rodando com 1gb perfeitamente, já alterei o tamanho de todos os servidores secundarios pra 1gb tambem e coloquei o rotate em todas as maquina tambem, muito obrigado, vc esclareceu muitas duvidas, até mais.