squid - cache_dir construção ideal

[lucianogf]

fala galera, como estão as coisas??

pessoal, me surgiu uma dúvida aqui, qual seria o cache_dir ideal?

temos a seguinte configuração:
cache_dir ufs /var/spool/squid/cache 100 16 256

onde 100 é o tamanho do cache em MB
16 é a quantidade de diretórios pais
256 é a quantidade de diretórios em cada diretório pai

agora vem a dúvida, qual seria o dimencionamento ideal para um bom desempenho???

tamanho x diretórios_pais x diretórios_filhos

e nas configurações do tipo

cache_dir ufs /var/spool/squid/cache01 100 16 256
cache_dir ufs /var/spool/squid/cache02 100 16 256
cache_dir ufs /var/spool/squid/cache03 100 16 256
cache_dir ufs /var/spool/squid/cache04 100 16 256

qual seria a configuração ideal?

acho q me fiz entender

valeu
[]'s

[alexandrecorrea]

varios cache_dir para 1 unico hd.. nao tem diferença...

o que vc pode fazer eh aumentar os diretorios

32 256 por ex...

[lucianogf]

aumentando o numero de diretórios irá melhorar o desempenho?

se eu tiver um cache de 10GB, qual configuração terá o melhor desempenho?
16 256
ou
32 256

ou será ainda outra?

[alexandrecorrea]

eu uso 32 512

primeiro diretorio.. 32

e dentro de cada diretorio vai ter 512 diretorios (2 hd scsi de 72gb 15k rpm)

cache de 10gb..

16 256 acho que eh suficiente...

vou procurar onde fiz a conta..

[lucianogf]

cara...

penso em maximizar o máximo o desempenho do servidor, por isso gostaria de saber qual seria a construção ideal...

e otra coisa, como são arquivos pequenos, qual seria o melhor tamanho do bloco? 4k, 8k, 16k, 32k ??

sempre usei o padrão q é 8 se nao me engano, mas as aplicações nem sempre usam o padrão..

oq vc usa aí?

[alexandrecorrea]

use reiserfs ou xfs ... no sistema de arquivos...

para sistemas scsi.. no cache_dir use aufs ... precisa de um cuidado com os aio_theads ... verifique em horario de pico se da mensagens de erro (queue) .. ai precisa ou elevar o numero de theads ou diminuir.. (nao entendi isso..)

na memoria conserve objetos MENORES (GDSF).. e no hd.. os maiores (lFUDA)

[lucianogf]

use reiserfs ou xfs ... no sistema de arquivos...

para sistemas scsi.. no cache_dir use aufs ... precisa de um cuidado com os aio_theads ... verifique em horario de pico se da mensagens de erro (queue) .. ai precisa ou elevar o numero de theads ou diminuir.. (nao entendi isso..)

na memoria conserve objetos MENORES (GDSF).. e no hd.. os maiores (lFUDA)

nao entendeu???

oxente... como vc me passa uma coisa q vc tbm nao entende??? hehehehehe

[alexandrecorrea]

no meu caso.. alterei de 16 pra 18.. resolveu . mas lendo documentos.. falam pra abaixar ... que resolve tambem..

agora... o que eh certo ? como funciona ?.. ainda nao tive tempo de ler..

[lucianogf]

hehehehe

por isso q estou atrás das respostas...

meu inglês ainda é deficiente, e os manuais bons não são em português...

[lucianogf]

cara...

fiz as seguintes configurações no squid

cache_mem 750 MB

cache_swap_low 90
cache_swap_high 95

maximum_object_size 10240 KB
minimum_object_size 0 KB

maximum_object_size_in_memory 256 KB

cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF

cache_dir diskd /var/spool/squid/cache/ 8192 32 256 Q1=64 Q2=72

do que eu sempre configuro a única diferença é com relação ao cache_replacement_policy e memory_replacement_policy, sempre deixava como padrão, mas como estou procurando otimizar o desempenho segui suas dicas...

ahh... e aumentei o tamanho dos objetos em memoria e cache

vamu ve no q dá...

valeu

[alexandrecorrea]

maximum_object_size_in_memory 64 KB

deixa assim.. ele coloca mais objetos.. MENORES... evitando consultar o hd por arquivos menores

[lucianogf]

é q eu não sei a média de tamanho dos arquivos de internet...

coloquei 256 por causo de arquivos como fotos, q são um pouco maiores

o negócio mesmo era ter uns 8GB de ram, aí sim dava pra ter uma memória boa pro squid.. hehehe

[netosdr]

A configuração do squid diz muito sobre a performace do cache.

Considere também:

- Utilizar um hd somente para cache ou/e
- Utilizar um hd SCSI ou SATA (depende do seu orçamento)
- Tenha muita memória RAM ( o squid consome muita memória para rodar bem e ter um bom aproveitamento)
- Utilize reiserfs como sistema de arquivos
- Utilize um filtro de conteúdo externo, não use o squid para tal fim.

Sobre a diretiva cache_dir vc encontra toda a informação em:
http://wiki.squid-cache.org/SquidFaq

Um abraço!

[lucianogf]

o camarada..

agradeço as dicas

mas já tinha elas em mente, a dúvida mesmo era com relação a quantidade de diretórios e a politica de "replacement"

atualmente uso um HD para tudo, mas uma partição separada para o /var

1GB de memória no servidor, e deixo 700MB para o squid

cache_dir diskd /var/spool/squid/cache/ 8192 32 256 Q1=64 Q2=72
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
maximum_object_size 10240 KB
minimum_object_size 1 KB
maximum_object_size_in_memory 64 KB

valeu

[alexandrecorrea]

minimum_object_size 0 KB

[lucianogf]

minimum_object_size 0 KB

então...

ele estava como 0, coloquei como 1 para evitar objetos muitos pequenos no HD

acredito q com isso reduzirei bastante o acesso a disco por causo de arquivos menores q 1K

[netosdr]

Aproveitando a deixa, essa política de replacement vale tanto para ufs quanto para diskd?

[lucianogf]

sim...

serve tanto pra ufs qto pra diskd

[alexandrecorrea]

minimum_object_size

essa diretiva indica o tamanho minimo q ele vai guardar no cache (seja na memoria ou hd)..

como 60% dos objetos de navegação estao entre 0 e 1k ... economiza mta banda (picos)...

[lucianogf]

cara...

acho q esta opção controla apenas o que é gravado no HD, pois para controle de memória existe a diretiva específica para ela, apesar de não existir uma que indique um tamanho minimo de objeto, mas o tamanho máximo existe..

acredito que não exista uma diretiva que controle o tamano minimo pois tanto faz pra memória um objeto de 1K ou de 10K, não afetará fisicamente ela..