squid 99% da CPU ?

boa noite galera under. estou tendo um problema aqui com meu squid, seguinte..

segurava 50 maquinas com MK+proxy-cache tranquilo, numa maquina sempron64 + 512mb ddr400, hd 40gb
decidi mudar o proxy pra linux, arrumei outra maquina para hotspot, firewall, etc, e o proxy dexei no velho server sempron
instalei o debian 4r3, ssh, apache2. squid, sarg, e desativei muitas besteiras, nao instalei o modo grafico n.
pois bem, setei o server para trabalhar com o MK, e no mk, marcação para cache-full.

o debian, esta como cliente do mk, e setado em ip-proxy, o ip e porta do deb/squid
porem, dps de 2 dias ligado, esta com 800mb de cache..
setei no squid.conf

http_port 192.168.2.6:3128 transparent
visible_hostname debian
cache_mem 128 MB
cache_dir ufs /var/spool/squid 28000 16 256
cache_mgr nety.com
maximum_object_size 16384 KB
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
access_log /var/log/squid/access.log squid
hosts_file /etc/hosts
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow all
http_reply_access allow all
icp_access allow all
cache_effective_group proxy
coredump_dir /var/spool/squid

no comando TOP, o uso da cpu do squid, esta em 95% 97% 99%
alguem de vcs pode me ajudar com essa bronca?
percebi q ate no acesso remoto na rede local, sem passar por nenhum radio, acessando por cabo msm, o ssh esta lendo..
quando reinicio valta ao normal

ajudas serao bem vindas!
vlww a todos, abraços

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2136 proxy 25 0 171m 169m 1548 R 99.7 34.2 782:10.07 squid

cache_mem 8 MB
cache_swap_low 90
cache_swap_high 95
maximum_object_size 20 MB
minimum_object_size 0 KB
maximum_object_size_in_memory 16 KB

aqui tenho meu HOST com 1GB memo 100% em uso de memo mais SWAP,
130GB de Cache com 80 GB em uso

130 users por dia

seu HD deve tar direto paginando

Citação:

Postado originalmente por Pirigoso

cache_mem 8 MB
cache_swap_low 90
cache_swap_high 95
maximum_object_size 20 MB
minimum_object_size 0 KB
maximum_object_size_in_memory 16 KB

aqui tenho meu HOST com 1GB memo 100% em uso de memo mais SWAP,
130GB de Cache com 80 GB em uso

130 users por dia

seu HD deve tar direto paginando

vlw pela ajuda amigo, vou fazer os testes aqui, com essa conf,
nao saco muito de squid n, migrei a um tempinho, usava no mk msm,
como assim,, meu hd deve tar direto paginando?
ele tem q ta paginando?
se poder me diz como funciona isso dai,,
vlww

iostat -x

qq retorna.. tenho proxies com 600.. 700 acessos simultaneamente... umas 200 a 300 requisições por segundo... usa 15% de cpu.. e 3gb de ram.. obj hit da 60 a 80 % .. e byte hit de 30 a 50%

Bom, pela experiência que tenho com SQUID (8 anos) é até normal ele utilizar essa carga de processamento com muitos clientes (digo pelo menos uns 100 simultâneos).
Aqui tenho duas máquinas Dell com 2 processadores Xeon MP 3.6 cada uma e 2GB de RAM com 4 discos SCSI de 10Krpm em 2 raids diferentes. Utilizo dois caches para utilizar corretamente os dois canais da controladora...
Estou utilizando Red Hat AS4

As máquinas estão balanceando o tráfego

Tenho simultâneamente algo em torno de 2500 conexões, e o processamento tá sempre no máximo.

Quando o tráfego cai para algo em torno de 100 usuários simultâneos, aí o processamento cai para mais ou menos 50%. Essa diferença entre o seu sistema e o meu se dá pela velocidade do processador que você utiliza em relação ao meu.

Então sempre ví isso acontecer, tanto em debian quanto em red hat. A carga está sempre alta em cima dos processadores.

Uma coisa que eu ajustaria, é o parâmetro
cache_mem 64 MB (devido a sua quantidade de memória que é pouca. Esse parâmetro diz qual o cache em memória RAM que o squid fará com objetos em trânsito, então 64MB julgo que estaria ótimo)

O seu cache em disco está marcado para 28Gigas. É isso mesmo que você quer?

pode corrigir ai entao seu squid fredy,

1.200 sessoes abertas (1200 acessos/clientes) ... processamento fica por volta dos 10%

2 dual-opteron ... freebsd 6.3

se co 100 users fica 50% .. teu cache ta errado

mas.... voltando ao assunto do topico..

o colega ai deve estar com problema de i/o no hd.. fazendo o squid trabalhar mais

Citação:

Postado originalmente por alexandrecorrea

pode corrigir ai entao seu squid fredy,

1.200 sessoes abertas (1200 acessos/clientes) ... processamento fica por volta dos 10%

2 dual-opteron ... freebsd 6.3

se co 100 users fica 50% .. teu cache ta errado

mas.... voltando ao assunto do topico..

o colega ai deve estar com problema de i/o no hd.. fazendo o squid trabalhar mais

Não é assim não, Alexandre... O FreeBSD pode até trabalhar de forma diferente do Linux... aí já não sei.

Mas a respeito do processamento, é super normal isso acontecer. Não só em minhas máquinas, mas na de muitos governos e empresas grandes, a qual tenho contato com os analistas.

Minha instalação está toda homologada, inclusive pelo pessoal da RedHat USA, que foi uma obrigação na hora de instalar o Datacenter.

Quanto aos usuários, Tenho 8.000 máquinas, mas claro que todas não acessam a internet simultaneamente. E quanto a questão de requisições que você levantou, uma mesma máquina pode (e abre) abrir várias requisições simultâneamente. Então se eu tenho 2500 requisições simultâneas, não quer dizer que eu tenha 2500 clientes navegando.

Agora você imagina o squid passando essas 2500 requisições pela ACL a cada segundo... não acha que os 10% de processamento que você falou que ele iria utilizar é pouco?

Não entendi direito o que você queria dizer com a frase: " se co 100 users fica 50% .. teu cache ta errado"

O que tem a ver meu cache com o load do processador?

A respeito dos processadores, tanto sua máquina quanto a minha, não ganham muita vantagem por ter 2 processadores e/ou vários núcleos, já que o squid é monothread. Já entrei em contato a um tempo atrás com o pessoal de desenvolvimento do SQUID e disseram que a versão 3 sairia com suporte a multithread, mas ainda não fiz os testes...

Quanto ao assunto do tópico, pode ser um problema no HD sim... ele pode também não estar utilizando o DMA, que pode ser checado através do comando hdparm.

Abraços
Fredy