devorador squid carregando todo o seu cache pra dentro da memoria !!!

[arium]

galera o seguinte eu já fiz 500 tentativas e recorro agora a vossa experiência, tavelz seja um pepino nativo do squid mais é o seguinte tenho um p4 2.8 sata2 200gb 1gb de ram, que roda o squid. pois bem os parametros que são relevantes a essa questão é
a memoria max. que coloquei para o squid

cache_mem 90 MB (tava usando inicialmente 400mb olha onde cheguei no depespero dos testes)

cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF

cache_dir diskd /etc/squid/cache/cache1 50096 16 256 Q1=64 Q2=72
(ja tentei no desespero até com ufs)


meu panorama é o seguinte acesso dessa proxy é feito por umas 180.. 200 maquinas,
o squid consome TODA A MEMORIA DO MEU COMPUTADOR ATÉ O ULTIMO MEGA (fidaputá hehe) não importa o que eu faça ele vai pegando conforme vai achendo o cache... ou seja meu cache vai ateh 700mb até da pau...

o que eu acho mais engraçado e que se eu desabilitar o squid o consumo de memoria fica no extremo ainda.. (***com o squid desligado***) ae eu vo lah e do o comando rm -rf dir /etc/squid/cache/cache1 meu servidor fica com 800mb de memoria livre instantanemente!!! que raio eh isso?!?!! alguem tem uma explicação lógica pra essa sacanagem do squid???? hehehehe

[alexandrecorrea]

exatamente.

o cache_mem NAO limita a memoria que o squid vai consumir, ele limita apenas quanto de espaço na ram o squid pode USAR para armazer os objetos "HOT"...

para resolver isso.. voce tem 3 opções

primeira (recomendada)
colocar no minimo 2gb de ram no minimo !!!

segunda:
o squid, usando heap, consome cerca de 12mb de ram por cada GB de cache.. para diminuir o consumo da ram.. vc pode diminuir o tamanho do cache_dir !!!

terceira:
nao usar a politica heap, usar a lru ... (nao recomendo)

[alexandrecorrea]

esqueci de um detalhe:

o squid consome +-12 a 20 mb de ram para cada GB de cache em plataforma 64Bits e
+-10 a 15 mb de ram para cada GB de cache em plataforma 32Bits

essa "notação" é +- isso ai.. depende muito do seu "ambiente".. :P

[arium]

mais alexandre.. estou usando o heap ali como viu.. mais meu cache chega no max aos 700mb e consome toda minha memoria como se fosse 1/1 entende? 1mb na cache por 1 na memoria sera que errei algo? nem de perto da os 15mb de ram pra cada gb da memoria

[alexandrecorrea]

vc tem 50gb no cache_dir !!

abaixa pra 10gb e faça um teste

[arium]

amigo mudando um poquino de assunto conhece algum outro web cache? serah que o squid nao tem nenhum concorrente? nem que seja pago porem rode em linux? conhece algum?

[alexandrecorrea]

pra que ? squid eh o melhor que existe.. melhor e mais usado...

cache consome memoria mesmo.. qualquer cache...

[netosdr]

Considerando:

12 MB por giga de cache * 50 GB de cache = 600 MB
90 MB cache_mem de objetos quentes na memória
256 MB ou mais memória para rodar os processos do sistema operacional.

Tem razão de consumir toda a memória que vc tem.

Solução: aumente a memória RAM ou diminua o cache_dir.

Um abraço!

[alexandrecorrea]

lembrando que o cache_mem nao limita o quanto o squid vai consumir !!!

veja quanto de SWAP seu sistema esta consumindo em media.. essa media eh +- o tanto de memoria que vc vai precisar a mais !!

[arium]

o engraçado alexandre é que ele detona a memoria mais nao faz swap... soh que o sistema fica lendo pra caralho e começa a da pau!

[arium]

é não deu pé almentei a memoria pra 1.512MB
e ainda tá comendo praticamente 1 por 1 de memoria 1 mb de memoria em disco pra 1mb de memoria na pasta de cache

Olha só

wireless:/etc/squid/cache# du -h cache1/
1,1G cache1/


wireless:/etc/squid/cache# free -om
total used free shared buffers cached
Mem: 1486 1456 30 0 66 1066
Swap: 2863 0 2863


alguem tem um cache grande ai que tem algum relato do caso? o meu tá com 10gb mais já tá em 1GB de uso arrecem e tá batendo biela :-/

[alexandrecorrea]

faz o seguinte... tem um detalhe q eu esqueci de citar...

gnumalloc !! squid trabalha melhor se vc utilizar essa lib.. soh baixar e instalar.. que o squid quando vc compilar.. ele reconhece.. e utiliza !!

[arium]

certo! vo instalar e posto aqui os results! ehehe valeu brother

[arium]

aaa só que nesse caso não rola apt-get install né? tenho que instalar com o source do squid? ou você diz quando eu instalar o gnumalloc o squid já reconhece de cara?

[arium]

tipo eu to usando debian sarge na minha máquina, roda o squid e um servidor pppoe + radius, a utilização dessa biblioteca não vai danificar o sistema não é? porque não está assinada pela debian.

[alexandrecorrea]

vc pega a lib no site do gnu !! instala ela...

ai quando for compilar o squid... ele ja reconhece que vc tem a gnumalloc.. e usa ela !!

[arium]

certo mais tipo ela é uma lib stard certo? outros aplicativos nao vao usar ela amenos que tenham suporte e ela nao vai sobrepor nada eh isso?

[arium]

meu medo e ferrar tudo

[wireless@/var/tmp]cat README

This is the standalone distribution of GNU malloc.
GNU malloc is part of the GNU C Library, but is also distributed separately.

If you find bugs in GNU malloc, send reports to [email protected].

GNU malloc is free software. See the file COPYING.LIB for copying conditions.

The makefile builds libmalloc.a and gmalloc.o. If you are using GNU malloc
to replace your system's existing malloc package, it is important to make
sure you get all GNU functions, not some of the GNU functions and some from
the system library. gmalloc.o has all the functions in one file, so using
that will make sure you don't accidentally mix the two malloc packages.

[alexandrecorrea]

eu instalei aqui.. nao substituiu nada.. nem atrapalhou nada nos servidores proxy

[arium]

meu guro alexandre.. kra eu recompilei o squid tava com o 2.5 agora tá com o 2.6 eu vi que na hora da compilaçao deu tudo certo mais agora nao tah funcionando o diskd
olha oque acontece quando do um squid -z

wireless:/usr/local/squid/sbin# ./squid -z
FATAL: Bungled squid.conf line 42: cache_dir diskd /etc/squid/cache/cache1 10096 16 256 Q1=64 Q2=72
Squid Cache (Version 2.6.STABLE3): Terminated abnormally.


============
Locate diskd
=============
wireless:/usr/local/squid/sbin# locate diskd
/etc/squid/squid-2.6.STABLE3/src/fs/diskd
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps/diskd.Po
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps/store_dir_diskd.Po
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/.deps/store_io_diskd.Po
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/diskd.c
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/store_dir_diskd.c
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/store_diskd.h
/etc/squid/squid-2.6.STABLE3/src/fs/diskd/store_io_diskd.c
/usr/bin/diskd
/usr/share/man/man1/diskd.1.gz

============================

meus parametros no squid
============================

cache_dir diskd /etc/squid/cache/cache1 10096 16 256 Q1=64 Q2=72


#binario do diskd
#diskd_program /usr/lib/squid/diskd (não tem mais era do squid velho)
diskd_program /usr/bin/diskd