devorador squid carregando todo o seu cache pra dentro da memoria !!!

bemm... isso aqui vai acabar virando um manual da saga dos problemas do squid e oque pode acontecer de ruim com ele hahahaha bem o ultimo problema foi resolvido.
faltou duas coisas

primeiramente esqueci de compilar o squid com suporte ao diskd, foi facilmente resolvido com:

./configure --prefix=/usr/local/squid --enable-storeio=diskd
make
make install

depois no parametro diskd_program:
diskd_program /usr/local/squid/libexec/diskd-daemon

BELEUZA CREUZA:

só que agora o novo episódio da novela, segue abaixo:


wireless:/usr/local/squid/sbin# ./squid -z
FATAL: ERROR: Unknown policy heap

Squid Cache (Version 2.6.STABLE3): Terminated abnormally.
CPU Usage: 0.000 seconds = 0.000 user + 0.000 sys
Maximum Resident Size: 0 KB
Page faults with physical i/o: 0
total space in arena: 60 KB
Total free: 31 KB 52%
Abortado



minhas politicas
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF


e agora jesus maria josé quem poderar nos defender? hehe

tentei recompilar e instalar com o comando
./configure --prefix=/usr/local/squid --enable-storeio=diskd --enable-replace-policy=heap

não tive sucesso!

bemmmmmmm fim da primeira parte da novela conf funcionando hehehe
faltou o segundo parametro do heap que era o --enable-removal-policies=heap ;)
ae como uso smnp (mrtg) fica assim a coisa toda:

./configure --prefix=/usr/local/squid --enable-storeio=diskd --enable-replace-policy=heap
--enable-removal-policies=heap --enable-smnp

;)

loco !

hehe eh foda

tá executando "bunitinho" mais olha o que tah rolando aqui com TODAS as requisiçoes

==================================
STORE.LOG
==================================
1158263246.332 RELEASE -1 FFFFFFFF 9CD2180AC8C77B74C9843F5FAEA2AEFF 400 1158263246 0 1158263246 text/html 1441/1441 GET error:invalid-request
1158263248.395 RELEASE -1 FFFFFFFF 6F7F5CA5C2B54364078A1AE88D25AFB5 400 1158263248 0 1158263248 text/html 1938/1938 GET error:invalid-request
1158263249.169 RELEASE -1 FFFFFFFF C96627CE456F532C49C6217C94843358 400 1158263249 0 1158263249 text/html 3266/3266 POST error:invalid-request

==================================
CACHE.LOG
==================================

1158263245.491 4 200.248.131.8 TCP_DENIED/400 1939 GET error:invalid-request - NONE/- text/html
1158263245.615 2 200.248.131.45 TCP_DENIED/400 1931 GET error:invalid-request - NONE/- text/html
1158263246.049 8 200.248.131.8 TCP_DENIED/400 1938 GET error:invalid-request - NONE/- text/html
1158263246.061 4 200.248.131.8 TCP_DENIED/400 1567 GET error:invalid-request - NONE/- text/html
1158263246.134 3 200.248.131.8 TCP_DENIED/400 1930 GET error:invalid-request - NONE/- text/html
1158263246.332 2 200.248.131.44 TCP_DENIED/400 1441 GET error:invalid-request - NONE/- text/html
1158263248.395 8 200.248.131.8 TCP_DENIED/400 1938 GET error:invalid-request - NONE/- text/html
1158263249.169 10 200.248.131.8 TCP_DENIED/400 3266 POST error:invalid-request - NONE/- text/html
1158263266.598 7 200.248.131.8 TCP_DENIED/400 2941 GET error:invalid-request - NONE/- text/html



meus parametros são:


http_port 3128 transparent
always_direct allow all
(squid é 2.6)

e a minha regra de iptables é

iptables -t nat -A PREROUTING -i eth1 -p tcp --dport 80 -j REDIRECT --to-port 3128



:| nao é facil!

alguma ideia?

sabe que.. usando o "transparent" vc precisa aplicar um patch no seu iptables e no kernel ?

tipo nao tah mais dando o erro que tava mexi no meu squid.conf... mais tah abrindo todos os sites tipo under-linux.org:3128 invez do squid manda pro cliente na porta 80 :-/ ou seja nao trafega!!! não sabia do patch do iptables e do kernel é necessario mesmo? tipo tem outra maneira sem o patch de fazer o proxy transparente? já que as antigas regras do squid 2.5 nao valem mais .. ou seja as regras:
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on

ahco que vc precisa mudar o transparent lah.. por outro item..

no changelog do 2.5 para o 2.6 tem explicando o que foi alterado..

unicos itens que tem sao o vport vhost e o transparent
nao tentei deixar sem o parametro transparent .. mais tambem acho q nao iria funcionar sozinho

Ae Alexandre

todos os problemas resolvidos compilei alguns trem a mais, no meu debian sarg pelomenos não precisei compilar nada no kernel nem no iptables. só nos parametros de compilação do squid que eu mexi que ficou assim

./configure --prefix=/usr/local/squid --enable-storeio=diskd --enable-replace-policy=heap
--enable-removal-policies=heap --enable-linux-netfilter --enable-linux-proxy --enable-snmp

falto o linux-netfilter e o proxy ;)


bem gnumalloc ready com squid-2.6STABLE3 vamos confirmar sua dica agora e torcer muito pra que de certo hehehe 3 dia pra configura um squid dhsaiuhdauihd deus do ceu!!

Abraçao mano velho e obrigado!

quando comecei rodar o squid tava com 518mb usado

wireless:/home/arium# free -om
total used free shared buffers cached
Mem: 1486 1464 22 0 66 984
Swap: 2863 0 2863
wireless:/home/arium# cd /etc/squid/cache
wireless:/etc/squid/cache# du -sh cache1/
673M cache1/
wireless:/etc/squid/cache#
:cry:

ps auwx | grep -i squid

ai tem o que ele ta consumindo...

mas squid.. consome memoria.. mta mesmo...

arium@wireless:~$ free -om
total used free shared buffers cached
Mem: 1486 1453 33 0 31 1247
Swap: 2863 0 2863

wireless:/etc/squid/cache# ls
cache1
wireless:/etc/squid/cache# rm -rf cache1
wireless:/etc/squid/cache# free -om
total used free shared buffers cached
Mem: 1486 433 1053 0 65 290
Swap: 2863 0 2863


tava com 1GB de tamanho do cache já!!!! e isso! deus do ceu!

mas tipo.. veja que o sistema esta "tranquilo" .. pq nao esta usando SWAP !!!

o preocupante eh quando começa a usar swap...

o squid perde mta performance quando usa swap.. ;/

oque nao compreendo é esse sistema de carregar tudo pra memoria!
o pior é que ele tá fudendo minha maquina.. se for desse jeito vo te que deixa essa maquina soh pra squid mais nada! o que não queria

a ideia eh ter 1 servidor apenas para squid... como diz no manual... memoria eh uma coisa que o squid gosta heheheh !!

meu servidor aqui.. ta dano out of memory diretoooo.. comprei mais memorias pra ele... mas a dell demora entregar...

hehehe é foda! squid me quebra as perna hehehehe

voce pode reduzir um pouco esse consumo abaixando o cache_mem ... ele vai usar menos memoria pra deixar os objetos QUENTES .. mas isso vai aumentar muito o acesso ao disco.. vc perdera performance..

o bom mesmo..eh montar uma maquina... com as configurações

5 hd scsi 36gb (5 cache_dir de 30gb)

e uns 8gb de ram !!

auhua.. talvez com um cache assim.. vc pode ateh desligar seu link que ninguem percebe (hauahuah) ...


meu proxy aqui atende media de 60% com o CACHE ... olha a imagem...

isso tem me economizado mto link !!!