squid - cache_dir construção ideal

[alexandrecorrea]

Tag Name minimum_object_size (bytes)

Usage minimum_object_size (bytes)

Description
Objects smaller than this size will NOT be saved on disk. The value is specified in kilobytes, and the default is 0 KB, which means there is no minimum. See maximum_object_size for more information.

[lucianogf]

cara...

me diga o que vc entendeu por isso, pois o q está escrito é q objetos com valores menores que o especificado não serão gravados no disco..

então não está controlando o que será gravado na memória... (correto?)

[alexandrecorrea]

objetos menores que especificado na diretiva simplesmente nao serao gravados nem na memoria, nem no hd... fazendo acesso direto ao mesmo (usando a internet)..

[lucianogf]

cara...

nao me convenceu não... ainda mais que vc me mandou uma coisa que está escrito e dando mais força no q eu disse

Objects smaller than this size will NOT be saved on disk.

(tradução do meu vocabulário)

Objetos menores que este valor NÃO serão salvos no disco.

[alexandrecorrea]

eh soh olhar no log !!

vc acessa o arquivo 2 vezes... e

TCP_DIRECT !!! em todos !

[lucianogf]

cara...

eu fiz essa configuração ontem eu acho, e percebi uma melhora grande no desempenho do proxy, monitoro as interfaces de rede com o mrtg e a que é ligada aos clientes teve pico muito maior que a ligada na internet

eu não vi essa questão dos logs ainda, mas é bem estranho isso, vc há de convir, justamente pela descrição da opção, nela está explícita que é com relação a gravação em disco..

e tbm tem outra questão, arquivos menores que 1kb geram muito (mas muito) acesso a disco, assim provoca um gargalo no HD

ainda mais que os blocos são de 4K, então cada arquivo desse menor que 4K causa um desperdício grande de espaço tbm... tudo bem que é um espaço quase sem consideração, mas...

[alexandrecorrea]

tento como base.. 60 hits..

40 vieram do cache.. 20 da internet !!

para politica de memoria.. utilizo gdsf (mantendo objetos pequenos populares na memoria)

e no hd.. lfuda... (populares grandes no hd)...

[alexandrecorrea]

meu squid soh nao ta com mais performance porque estou com problema de memoria...

na consigo comprar memoria pro meu servidor lah na dell !! ai a bosta ta usando quase 2gb swap .. + 2gb de ram..

preciso de +2gb de ram no minimo...

meu squid ta atendendo media de 50 req/s

[lucianogf]

cara...

vou fazer um teste na prática aqui...

vou criar alguns arquivos, com tamanhos variados, em um servidor http e acessá-los por aqui e analisar os logs..

farei isso nas duas situações, com o valor 1K e com 0K, daqui a poco posto os resultados...

[alexandrecorrea]

okey !!

minha maquina squid aqui ta assim:

3 hds scsi 15k 73gb
(3 cache_dir 1 para cada hd)
ext3 (vou mudar para reiserfs 4 em breve)..
e vou mudar de aufs para coss !!! (to olhando se ta blzinha e talz)

[alexandrecorrea]

usa o rrdtool pra gerar grafico.. o mrtg demora 5 minutos.. o rrd da pra atualizar de 1 em 1 minuto.. (existe patch para mrtg fazer isso)

[lucianogf]

usa o rrdtool pra gerar grafico.. o mrtg demora 5 minutos.. o rrd da pra atualizar de 1 em 1 minuto.. (existe patch para mrtg fazer isso)

sobre o rrdtool eu já li sobre ele, mas nao implementei ainda, mas já pensei em fazer...

cara..

parece que vc realmente está com a razão, mas pela descrição da opção eu estava certo.

fiz os seguintes testes:

criei dois arquivos menor_1k.txt e maior_1k.txt

acessei-os com a opção setada em 1K
o arquivo maior_1k.txt gera log somente no primeiro acesso ou quando aperta F5 para atualizar
o arquivo menor_1k.txt gera log em todos os acessos

opção para 0K:
o arquivo maior_1k.txt continua da mesma forma, log no primeiro acesso ou quando aperta F5
agora o arquivo menor_1k.txt gera log somente no primeiro acesso ou qdo aperta F5

desta forma vi que vc realmente estava com a razão, mas é como disse, a descrição da opção está errada...

agora veio uma duvida, o access.log só gera log de arquivos que são baixados da net? os que estão no cache não é gerado log??

[alexandrecorrea]

o access.log registra todo acesso (cache, memoria, direto)

quando vem do HD .. vem como TCP_MISS_HIT (algo assim)

quando vem da memoria .. TCP_MEM_HIT

e quando vem da internet (sem cache) TCP_DIRECT (algo assim)

o meu squid da mto MEM_HIT e MISS_HIT principalmente nos sites mais visitados

uol, orkut, fotolog, etc etc.. isso tem quase que triplicado meu link !!!

se nao fossem os P2P ... meu link estaria sobrando mtooooo mais..

[lucianogf]

cara...

descobri aqui pq não esta aparecendo nos logs, neste micro que fiz os testes estou usando o squid 2.6, e ele tem algumas mudanças com relação ao 2.5, mas acessei um outro servidor com squid 2.5 e pude ver os logs q vc disse... :/

de qualquer forma vou alterar o valor da opção para 0K e analizar os gráficos...

se vc manjar bem de gráficos vou precisar da sua ajuda, pois não estou conseguindo gerar outro arquivo squid.cfg com o cfgmaker.. mas isso fica pra outro tópico...

[alexandrecorrea]

aqui eu uso o snmpwalk direto... pego os valores. passo para o rrdtool (usando uma ferramenta que o Patrick Brandao/myauth inventou).. ai gero os graficos ...

[lucianogf]

cara...

fiz uma contagem no access.log atual e obtive os seguintes dados:

TCP_MISS - 114.117 ocorrencias
TCP_IMS_HIT - 81.781 ocorrencias
TCP_REFRESH_HIT - 19.879 ocorrencias
TCP_REFRESH_MISS - 1.940 ocorrencias
TCP_MEM_HIT - 10.985 ocorrencias
TCP_CLIENT_REFRESH_MISS - 245 ocorrencias
TCP_DENIED - 87 ocorrencias
TCP_HIT - 47.355 ocorrencias
TCP_NEGATIVE_HIT - 1.005 ocorrencias
TCP_SWAPFAIL_MISS - 2 ocorrencias

veremos o q muda depois desta alteração...

[lucianogf]

percebi que aqui não tenho o TCP_DIRECT

esse squid aqui tá com uma média de 16 req/sec

[alexandrecorrea]

TCP_MISS = TCP_DIRECT



eu nao gravo o access.log

to tentando fazer com q o squid nao ggrave em um arquivo.. mas crie um dispositivo virtual onde eu faça

tail -f /dev/squid

ele me mostre o log corrente...

[lucianogf]

TCP_MISS = TCP_DIRECT

já procurei na net os significados destes termos do log do squid mas não encontrei...

TCP_MISS - o que vem direto da net
TCP_MEM_HIT - o que está a memória
no caso o que stá gravado no HD seria o TCP_IMS_HIT ??

[lucianogf]

vi agora... será o TCP_HIT ?