Squid 100% de CPU

Olá, fiz algumas buscas pelo forum porem não encontrei alguma coisa que resolve-se o problema que estou. Sendo assim, veja se vocês conseguem me ajudar.
Tenho um servidor dedicado para o squid (Intel(R)Xeon(R)CPU [email protected] / 8Gb de ram / 80Gb de disco) nele tenho a versão 2.7.STABLE9 do squid rodando. Nesse servidor estou com ele a todo momento rodando com 90% - 100% de CPU (no top o processo que consome é o squid).
Procurando em alguns forums fiz algumas alterações em cache_mem, maximum_object_size e no cache_dir porem não tive alteração com relação ao consumo de CPU.

Será que alguem tem alguma dica do que pode me ajudar?

Segue o squid.conf:

cache_mem 2000 MBmaximum_object_size 25000 KB
maximum_object_size_in_memory 512 KB
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA

# Uncomment and adjust the following to add a disk cache directory.
cache_dir diskd /var/spool/squid/cache01 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache02 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache03 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache04 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache05 2000 64 256 Q1=72 Q2=64
#cache_dir diskd /var/spool/squid/cache06 2000 64 256 Q1=72 Q2=64
#cache_dir diskd /var/spool/squid/cache07 2000 64 256 Q1=72 Q2=64
#cache_dir diskd /var/spool/squid/cache08 2000 64 256 Q1=72 Q2=64

Re: Squid 100% de CPU

so tem um disco de 80 gb rodando o operacional e o cache ,voce não separou o que tinha que ser guardado em cache em outros hds maiores ,pode ser isto que esta ocasionando alto consumo de cpu.

Re: Squid 100% de CPU

Citação:

Postado originalmente por Zanetta

Olá, fiz algumas buscas pelo forum porem não encontrei alguma coisa que resolve-se o problema que estou. Sendo assim, veja se vocês conseguem me ajudar.
Tenho um servidor dedicado para o squid (Intel(R)Xeon(R)CPU [email protected] / 8Gb de ram / 80Gb de disco) nele tenho a versão 2.7.STABLE9 do squid rodando. Nesse servidor estou com ele a todo momento rodando com 90% - 100% de CPU (no top o processo que consome é o squid).
Procurando em alguns forums fiz algumas alterações em cache_mem, maximum_object_size e no cache_dir porem não tive alteração com relação ao consumo de CPU.

Será que alguem tem alguma dica do que pode me ajudar?

Segue o squid.conf:

cache_mem 2000 MBmaximum_object_size 25000 KB
maximum_object_size_in_memory 512 KB
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA

# Uncomment and adjust the following to add a disk cache directory.
cache_dir diskd /var/spool/squid/cache01 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache02 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache03 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache04 2000 64 256 Q1=72 Q2=64
cache_dir diskd /var/spool/squid/cache05 2000 64 256 Q1=72 Q2=64
#cache_dir diskd /var/spool/squid/cache06 2000 64 256 Q1=72 Q2=64
#cache_dir diskd /var/spool/squid/cache07 2000 64 256 Q1=72 Q2=64
#cache_dir diskd /var/spool/squid/cache08 2000 64 256 Q1=72 Q2=64

squid ja era vem pro thunder

Re: Squid 100% de CPU

Citação:

Postado originalmente por naldo864

so tem um disco de 80 gb rodando o operacional e o cache ,voce não separou o que tinha que ser guardado em cache em outros hds maiores ,pode ser isto que esta ocasionando alto consumo de cpu.

Bom dia,

São 2 discos, 1 de 20 Gb com o sistema e 1 de 60Gb com o cache e logs de acesso.

Re: Squid 100% de CPU

Quero te ajudar mas primeiro preciso que responda as perguntas.

Qual o SO?
Quantos usuários?
O SO é de 32 ou 64bits?
Quais outros serviços que rodam na maquina?
Saída de free -m?
Saída do comando squidclient -p 3128 mgr:info?

Algumas considerações:

Diskd só é melhor que aufs em freebsd, Se você só tem um disco para cache, está fazendo errado criando vários cache_dir para o mesmo disco, o certo é um cache_dir por disco se seu SO for de 64bits e a maquina for exclusiva para o squid pode aumentar seu cache_mem para 6GB sem problemas, também diminua o tamanho do maximum_object_size_in_memory para 64KB, com isso você deixa os arquivos menores na memoria, e os arquivos maiores que vão ter maior concorrência do spin no disco. Se o comando squidclient não for encontrado instale o pacote squidclient. Eu atendo quase 4000 clientes com uma maquina com Intel(R) Xeon(R) CPU E5620 @ 2.40GHz - 4 Cores + Hyperthreadind e não passo de 30% de CPU no horário pico.

ps: Outra coisa importante que esqueci, o log do squid você deve deixar junto com o disco do sistema, e pode ativar a opção de buffered logs para diminuir o overhead da escrita do log no disco. mas depois que você me responder as perguntas agente ajusta melhor.

Att,

Anderson Araújo

Re: Squid 100% de CPU

Citação:

Postado originalmente por snkbrz

Quero te ajudar mas primeiro preciso que responda as perguntas.

Qual o SO?
Quantos usuários?
O SO é de 32 ou 64bits?
Quais outros serviços que rodam na maquina?
Saída de free -m?
Saída do comando squidclient -p 3128 mgr:info?

Algumas considerações:

Diskd só é melhor que aufs em freebsd, Se você só tem um disco para cache, está fazendo errado criando vários cache_dir para o mesmo disco, o certo é um cache_dir por disco se seu SO for de 64bits e a maquina for exclusiva para o squid pode aumentar seu cache_mem para 6GB sem problemas, também diminua o tamanho do maximum_object_size_in_memory para 64KB, com isso você deixa os arquivos menores na memoria, e os arquivos maiores que vão ter maior concorrência do spin no disco. Se o comando squidclient não for encontrado instale o pacote squidclient. Eu atendo quase 4000 clientes com uma maquina com Intel(R) Xeon(R) CPU E5620 @ 2.40GHz - 4 Cores + Hyperthreadind e não passo de 30% de CPU no horário pico.

ps: Outra coisa importante que esqueci, o log do squid você deve deixar junto com o disco do sistema, e pode ativar a opção de buffered logs para diminuir o overhead da escrita do log no disco. mas depois que você me responder as perguntas agente ajusta melhor.

Att,

Anderson Araújo

Anderson,

Obrigado pelas dicas, vou aplicar aqui para ver se sinto alguma diferença.

Segue considerações:

Qual o SO? CentOS
Quantos usuários? 2000 Usuários
O SO é de 32 ou 64bits? 32 bits
Quais outros serviços que rodam na maquina? Nenhum, dedicada para o squid.
Saída de free -m?

total used free shared buffers cached
Mem: 8114 7203 910 0 448 3691
-/+ buffers/cache: 3062 5051
Swap: 0 0 0

Saída do comando squidclient -p 3128 mgr:info?

HTTP/1.0 200 OK
Server: squid/2.7.STABLE9
Date: Mon, 05 Nov 2012 14:42:10 GMT
Content-Type: text/plain
Expires: Mon, 05 Nov 2012 14:42:10 GMT
X-Cache: MISS from CORPRXISPB02
X-Cache-Lookup: MISS from CORPRXISPB02:3128
Via: 1.0 CORPRXISPB02:3128 (squid/2.7.STABLE9)
Connection: close

Squid Object Cache: Version 2.7.STABLE9
Start Time: Mon, 05 Nov 2012 04:01:54 GMT
Current Time: Mon, 05 Nov 2012 14:42:10 GMT
Connection information for squid:
Number of clients accessing cache: 1490
Number of HTTP requests received: 3798176
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 5932.2
Average ICP messages per minute since start: 0.0
Select loop called: 30497728 times, 1.260 ms avg
Cache information for squid:
Request Hit Ratios: 5min: 19.1%, 60min: 16.2%
Byte Hit Ratios: 5min: 19.4%, 60min: 17.8%
Request Memory Hit Ratios: 5min: 42.1%, 60min: 41.0%
Request Disk Hit Ratios: 5min: 6.4%, 60min: 4.7%
Storage Swap size: 6426784 KB
Storage Mem size: 2048052 KB
Mean Object Size: 18.67 KB
Requests given to unlinkd: 0
Median Service Times (seconds) 5 min 60 min:
HTTP Requests (All): 2.25116 0.85130
Cache Misses: 3.46762 1.62803
Cache Hits: 1.54242 0.68577
Near Hits: 2.37608 1.00114
Not-Modified Replies: 0.61549 0.25890
DNS Lookups: 0.39726 0.19488
ICP Queries: 0.00000 0.00000
Resource usage for squid:
UP Time: 38416.166 seconds
CPU Time: 17151.241 seconds
CPU Usage: 44.65%
CPU Usage, 5 minute avg: 99.93%
CPU Usage, 60 minute avg: 99.89%
Process Data Segment Size via sbrk(): 4293521676 KB
Maximum Resident Size: -1723312 KB
Page faults with physical i/o: 0
Memory usage for squid via mallinfo():
Total space in arena: -1445488 KB
Ordinary blocks: -1446959 KB 81526 blks
Small blocks: 0 KB 0 blks
Holding blocks: 5812 KB 3 blks
Free Small blocks: 0 KB
Free Ordinary blocks: 1470 KB
Total in use: -1441147 KB 100%
Total free: 1470 KB 0%
Total size: -1439676 KB
Memory accounted for:
Total accounted: 2335755 KB
memPoolAlloc calls: 402245140
memPoolFree calls: 395257992
File descriptor usage for squid:
Maximum number of file descriptors: 16384
Largest file desc currently in use: 6804
Number of file desc currently in use: 6661
Files queued for open: 0
Available number of file descriptors: 9723
Reserved number of file descriptors: 100
Store Disk files open: 48
IO loop method: epoll
Internal Data Structures:
376036 StoreEntries
235952 StoreEntries with MemObjects
235270 Hot Object Cache Items
344261 on-disk objects

Re: Squid 100% de CPU

Vou analisar melhor antes de responder, mas não mude seu cache_mem para 6GB pois em 32bits, ele vai ficar dando reload no squid quando o processo alocado ao squid chegar a pouco mais de 2.5GB senão me engano.