Squid - configuração para melhorar desempenho

[USERID]

Tenho um servidor dedicado com squid + lusca + thunder

O consumo da minha memoria sempre fica em torno de 4 Gb - 8 Gb, no meu cache.log ta cheio de "storeClientReadHeader: no URL!", fiz varias buscas e não to achando as configurações corretas para que o meu servidor aproveite melhor o hardware, e tambem não cheguei a uma conclusão precisa referente as mensagens no log.

Peço ajuda ao pessoal.

squid.conf:
cache_dir aufs /var/spool/squid 50000 16 256
cache_mem 9216 MB

Hardware:
16 gb memoria
1Tb HD
Proc I5

[Squire]

Olá, já passei por esses problemas, te digo que quanto ao grande consumo de memória é normal para o squid, excerto quando ele começa a consumir a memória swap ai sim complica. Mas fora essa mensagem no log, a rede está lenta ou travando? posta seu squid.conf pra agente analisar. =)

Abraço!

[UlissesCampos]

Squire, le melhor o post do colega, ele ta reclamando que ta baixo o consumo e nao alto!!!!!

Userid, pela sua configuracao ele nao vai usar mais que 8gb de ram, eu nao vou abrir um squid.conf agora que to em casa, mais em outro lugar do arquivo tem falando que ele so pode usar 90% da memoria e so procurar, se vc quer aumentar o uso de memoria aumenta ai a memoria que ele pode usar, outra info importante e saberr se ele ta compilado pra x64 bit's

[paulojrandrade]

Bom dia, caro amigo, o tio Goggle, ira te ajudar amplamente, existe muito material, e cada caso é um caso. Dá uma pesquisa procurando por "tunning Squid"... algo assim vc verá vários sites, posts, tutoriais...esse é um exemplo Techfree

Aqui no Under mesmo houve muita discussão sobre uma boa conf do squid, os mais experientes sempre falaram q nao existe um squid.conf e uma compilação igual a outra. Pois muda muito, modo dos clientes navegarem, acesso deles, hardware utilizado etc etc.

Boa sorte e boa leitura

[Não Registrado(s)]

Squire, como o UlissesCampos disse, estou reclamando por causa do pouco consumo de memoria, mas bem observado o meu squid.conf esta setando apenas 8 gb vou aumentar esse valor, e ver o que da.

Squire referente ao travamento, não acontece, o que ocorre é um aumento no tempo de abertura das paginas, não muito mas da pra perceber a diferença, e nesses momentos tenho observado um aumento no %wa e no load average (atraves do top) o %wa chegando a uns 50 e o load average de 4 - 5.

UlissessCampos, a respeito do x64 eu estou usando o Debian x32.

paulojrandrade, bem lembrado das literaturas referente a "tunning squid", ja li varias, mas na pratica não obtive muito proveito, dai cai no tema que vc disse "q nao existe um squid.conf e uma compilação igual a outra" "cada caso é um caso", mas valeu o link, vou analisar o texto.

Volto a postar os resultados, e aguardo mais idéias.
Valew

[USERID]

Squire, como disse o UlissesCampos, eu estou querendo fazer o uso completo do hardware, e estou achando baixo o consumo, vou aumentar o cache_mem como UlissesCampos comentous, pra ver se resolve.
Referente a travando não ocorre, o que ocorre é uma pequena lentidão na navegação, nos horários de pico, os quais monitoro pelo top e verifico uma aumento no %wa ( chegando a 50,60 ) e no load average ( de 4 a 5 ).

UlissesCampos, em relação ao x64 estou usando o Ubuntu x32.

paulojrandrade, bem lembrado da literatura sobre "tunning Squid", li varias mas consegui pouco retorno na pratica, mas vou verificar o seu link e fazer mais testes.

Utilizo:

memory_replacement_policy heap GFSF
cache_replacement_policy heap LFUDA
half_closed_clients off
pipeline_prefetch on
cache_store_log none
cache_access_log none

Vou fazer modificações e postarei os resultados.
Aguardo mais algumas ideas, e fico na dúvida ainda referente a msg no cache.log "storeClientReadHeader: no URL!"

[Squire]

OK, perdo-me... =p

[alexandrecorrea]

abaixa o cache_mem pra 1024 que melhora

[USERID]

alexandrecorrea, já mudei e estou monitorando, qdo mudei estava com um uso de 5,5 gb, mas será que 1020 mb (1gb) não é muito pouco ?
E referente a msg no cache.log ( "storeClientReadHeader: no URL!") vc me da alguma ideia ?

Valew

[alexandrecorrea]

o cache_mem eh a memoria de "transito" que o proxy vai utilizar.. se voce alocar muita memoria, vai faltar para o restante..

1024mb é suficiente !!

com relação as mensagens de storeclient readheader sao mensagens de algum cliente que tenta acessar algum serviço pela porta 80 que nao é HTTP !!

é normal acontecer caso clientes usem clientes torrent, p2p em geral que utilizam portas randomicas e alguns usuarios para burlar algum filtro, usam a porta 80 para usar o programa.. e quando o SEU cliente tenta baixar algo deste cara que ta usando a porta 80.. o proxy intercepta .. mas como o protocolo nao eh http.. da estes erros..

ignore-os !

[lucianosds]

Se você está usando ã plataforma em 32 bits ao invés da 64 não irá utilizar os 8 GB de RAM, pois é limitação da plataforma operar em 4GB máximo. Eu recomendo a utilização de x86_64 e como o outro amigo comentou baixar o cache_mem. Eu utilizaria um valor entre 512MB e 1024MB. Pode aumentar o cache_dir para um valor entre 100000 e 200000, dependendo do tamanho do HD, e ajuste o valor do maximum_object_size_in_memory para um valor de 128 KB. Eu já tentei trabalhar com o valor próximo da média dos objetos mas o squid acabava esbarrando no problemas dos file descriptors, e quando alcançava 65536 a performace ia lá em baixo. Aumentei o valor e melhorou bastante a performance.
Verifica se o valor do file descriptors indicado no arquivo /var/defaults/squid , pode configurar bem acima do valor padrão de 1024. Eu trab com o valor de 65536.
Pode colocar uma regrinha no script de inicialização do squid também, colocando depois dos comentários a linha "ulimit -HSn 65536".

[USERID]

alexandrecorrea, obrigado pela explicação sobre o cache_men, abaixei para 1024 mas mesmo assim chega em no maximo 6gb de uso e começa a baixar, será que é por causa do 50000 do cache_dir ?

E com relação as msg storeclient readheader, fico preocupado se o proxy não esta atrapalhando o uso dos programas que vc descreveu, monitorei em menos de dois dias foram 177.778 msg, achei muito, e essas msg começaram a poucos dias antes não tinha.

lucianosds, eu usei plataforma x32 com o bigmem e reconheceu blz os 16 gb.
Estou sim pensando em aumentar o cache_dir para uns 100000 MB (uso hd de 1Tb, dividindo com o thunder), mas estou com duvida referente aos subdiretorios, cache_dir aufs /var/spool/squid 50000 64 256, deixo 64 256 ou será melhorar mudar ?

Meu maximum_object_size_in_memory esta com 1024 KB.

Valew, estou ajustando conforme as dicas e monitorando.
continuarei postando os resultados e aguardando mais ideias

[Squire]

abaixei para 1024 mas mesmo assim chega em no maximo 6gb de uso e começa a baixar, será que é por causa do 50000 do cache_dir ?

Assiti uma palestra uma vez sobre squid e falaram justamente isso, o cache_mem deve ser ajustado para o tamanho do cache_dir, tenho o calculo no pc em casa e em video vou postar depois.

[alexandrecorrea]

o cache_mem nao limita a quantidade de memoria total do squid.. o squid vai consumir a quantidade de memoria que ele precisar...

quando maior for o cache_dir maior sera o consumo de memoria ram ...

[USERID]

E ai pessoal, com relação ao aumento do cache_dir para 100000 MB, o que vocês me aconselham, altero os parametros cache_dir aufs /var/spool/squid 100000 64 256 ou deixo como esta ?
Li em vários lugares que afeta o desempenho do cache .

Alterei o
maximum_object_size_in_memory 1024 KB
cache_men 1024 KB
Mas a memoria continua indo ate 6 gb e depois começa a descer.

Continuo na luta, valeu pessoal pela força...

[emanueltonis]

E ai pessoal, com relação ao aumento do cache_dir para 100000 MB, o que vocês me aconselham, altero os parametros cache_dir aufs /var/spool/squid 100000 64 256 ou deixo como esta ?
Li em vários lugares que afeta o desempenho do cache .

Alterei o
maximum_object_size_in_memory 1024 KB
cache_men 1024 KB
Mas a memoria continua indo ate 6 gb e depois começa a descer.

Continuo na luta, valeu pessoal pela força...

Fala meu amigo, desculpe eu responder assim após tanto tempo do post.
Mas estive procurando melhorar ainda mais desempenho do meu lusca/squid e deixar mais filé o processo todo,
e acabei chegando a esse post.
Bem, faz 5 anos que trabalho com o squid e tenho montado servidores de proxy por causa de nosso provedor.
Voltando ao assunto em questão...
O cache_mem .. sete a quantidade de memoria que você precisa, lógico que não tudo que vc possui
em seu micro, porque existem outros processos que o sistema poderá realizar e precisará de memoria.
Caso não tenha memoria sobrando, vai gerar lentidao... então use 70% +- da quantidade de memória
total que possui seu servidor, e colocando no cache_mem.. vai com fé e mude.
O squid, usa muita memoria, de acordo com o trafego e a quantidade de requisições, o squid ocupa tudo, se tiver
20 gb, ele vai usar tudo com o passar das horas ou dias.
Sem medo, mude isso!
Pra melhorar mais o seu desempenho, adicione mais hd's, coloque uns 4 hds de 500gb.
e nas configurações do squid.conf adicione esses hd pra fazer parte da alocação do cache.
ex.:
cache1
cache2
cache3
cache4
As buscas serão mais rapidas e vai ter um fluxo mais leve dos aquivos em cache.
Pra fazer essa config de mais hd, tem vários exemplos por ai.
1 hd de um tb é grande de mais, e vai existir um delay nas pesquisas. Pequeno delay, mas que faz a diferença.
Use o lusca, bem configurado, o sistema de cache fica bem filé.
Não usamos cache para youtube ou videos, ou até mesmo atualizações de anti-virus ou da microsoft update.
Depois que adotamos o uso do proxy sem thunder, incommum ou outros sistemas de cache dinamicos,
nosso desempenho melhorou consideravelmente, a internet flui e a resposta é mais rapida.

Nada contra o pessoal que usa cache dinamicos, ja usamos, mas para nossa realidade não vingou.
Optar por uma solução funcional e que não afete o desempenho geral é necessário.


Abraços, e espero que tenha ja conseguido acertar suas configurações com o passar de tanto tempo.

[int21]

Consideremos o seguinte exemplo:

- 100Gb de espaço no cache_dirs
cache_dir ufs /var/spool/squid/ 100000 16 256
- 10Mb por cada giga dos 100Gb do cache_dirs em sistemas 32bits, em
64bits 16Mb por cada giga.
- 256Mb de cache_mem
- 20Mb adicional sugerido para o cálculo.

Conta:
para sistemas 32bits
100 * 10 = 1000Mb + 256M + 20M = 1276Mb onde você deverá ter de ram pelo
menos o dobro desse valor, ou seja, você teria que ter na máquina 2552Mb.
cache_mem = 1276 MB

para sistemas 64bits
100 * 16 = 1600Mb + 256M + 20M = 1876Mb onde você deverá ter de ram pelo
menos o dobro desse valor, ou seja, você teria que ter na máquina 3752Mb
cache_mem = 1876 MB

e tem uma cacetada de acertos a fazer no tunning.

Cache é algo que se não for bem afinado, acaba atrapalhando ao invés de dar ajuda.

skype: Celsold
tel 71 9957-3698 (vivo)