+ Responder ao Tópico



  1. #1

    Padrão Squid 100% de CPU

    Olá, fiz algumas buscas pelo forum porem não encontrei alguma coisa que resolve-se o problema que estou. Sendo assim, veja se vocês conseguem me ajudar.
    Tenho um servidor dedicado para o squid (Intel(R)Xeon(R)CPU [email protected] / 8Gb de ram / 80Gb de disco) nele tenho a versão 2.7.STABLE9 do squid rodando. Nesse servidor estou com ele a todo momento rodando com 90% - 100% de CPU (no top o processo que consome é o squid).
    Procurando em alguns forums fiz algumas alterações em cache_mem, maximum_object_size e no cache_dir porem não tive alteração com relação ao consumo de CPU.

    Será que alguem tem alguma dica do que pode me ajudar?

    Segue o squid.conf:


    cache_mem 2000 MBmaximum_object_size 25000 KB
    maximum_object_size_in_memory 512 KB
    memory_replacement_policy heap GDSF
    cache_replacement_policy heap LFUDA


    # Uncomment and adjust the following to add a disk cache directory.
    cache_dir diskd /var/spool/squid/cache01 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache02 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache03 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache04 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache05 2000 64 256 Q1=72 Q2=64
    #cache_dir diskd /var/spool/squid/cache06 2000 64 256 Q1=72 Q2=64
    #cache_dir diskd /var/spool/squid/cache07 2000 64 256 Q1=72 Q2=64
    #cache_dir diskd /var/spool/squid/cache08 2000 64 256 Q1=72 Q2=64

  2. #2
    tecnico chefe Avatar de naldo864
    Ingresso
    May 2010
    Localização
    Carapicuíba, Brazil, Brazil
    Posts
    3.131
    Posts de Blog
    1

    Padrão Re: Squid 100% de CPU

    so tem um disco de 80 gb rodando o operacional e o cache ,voce não separou o que tinha que ser guardado em cache em outros hds maiores ,pode ser isto que esta ocasionando alto consumo de cpu.

  3. #3

    Padrão Re: Squid 100% de CPU

    Citação Postado originalmente por Zanetta Ver Post
    Olá, fiz algumas buscas pelo forum porem não encontrei alguma coisa que resolve-se o problema que estou. Sendo assim, veja se vocês conseguem me ajudar.
    Tenho um servidor dedicado para o squid (Intel(R)Xeon(R)CPU [email protected] / 8Gb de ram / 80Gb de disco) nele tenho a versão 2.7.STABLE9 do squid rodando. Nesse servidor estou com ele a todo momento rodando com 90% - 100% de CPU (no top o processo que consome é o squid).
    Procurando em alguns forums fiz algumas alterações em cache_mem, maximum_object_size e no cache_dir porem não tive alteração com relação ao consumo de CPU.

    Será que alguem tem alguma dica do que pode me ajudar?

    Segue o squid.conf:


    cache_mem 2000 MBmaximum_object_size 25000 KB
    maximum_object_size_in_memory 512 KB
    memory_replacement_policy heap GDSF
    cache_replacement_policy heap LFUDA


    # Uncomment and adjust the following to add a disk cache directory.
    cache_dir diskd /var/spool/squid/cache01 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache02 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache03 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache04 2000 64 256 Q1=72 Q2=64
    cache_dir diskd /var/spool/squid/cache05 2000 64 256 Q1=72 Q2=64
    #cache_dir diskd /var/spool/squid/cache06 2000 64 256 Q1=72 Q2=64
    #cache_dir diskd /var/spool/squid/cache07 2000 64 256 Q1=72 Q2=64
    #cache_dir diskd /var/spool/squid/cache08 2000 64 256 Q1=72 Q2=64
    squid ja era vem pro thunder

  4. #4

    Padrão Re: Squid 100% de CPU

    Citação Postado originalmente por naldo864 Ver Post
    so tem um disco de 80 gb rodando o operacional e o cache ,voce não separou o que tinha que ser guardado em cache em outros hds maiores ,pode ser isto que esta ocasionando alto consumo de cpu.
    Bom dia,

    São 2 discos, 1 de 20 Gb com o sistema e 1 de 60Gb com o cache e logs de acesso.

  5. #5

    Padrão Re: Squid 100% de CPU

    Quero te ajudar mas primeiro preciso que responda as perguntas.

    Qual o SO?
    Quantos usuários?
    O SO é de 32 ou 64bits?
    Quais outros serviços que rodam na maquina?
    Saída de free -m?
    Saída do comando squidclient -p 3128 mgr:info?

    Algumas considerações:

    Diskd só é melhor que aufs em freebsd, Se você só tem um disco para cache, está fazendo errado criando vários cache_dir para o mesmo disco, o certo é um cache_dir por disco se seu SO for de 64bits e a maquina for exclusiva para o squid pode aumentar seu cache_mem para 6GB sem problemas, também diminua o tamanho do maximum_object_size_in_memory para 64KB, com isso você deixa os arquivos menores na memoria, e os arquivos maiores que vão ter maior concorrência do spin no disco. Se o comando squidclient não for encontrado instale o pacote squidclient. Eu atendo quase 4000 clientes com uma maquina com Intel(R) Xeon(R) CPU E5620 @ 2.40GHz - 4 Cores + Hyperthreadind e não passo de 30% de CPU no horário pico.

    ps: Outra coisa importante que esqueci, o log do squid você deve deixar junto com o disco do sistema, e pode ativar a opção de buffered logs para diminuir o overhead da escrita do log no disco. mas depois que você me responder as perguntas agente ajusta melhor.


    Att,

    Anderson Araújo

  6. #6

    Padrão Re: Squid 100% de CPU

    Citação Postado originalmente por snkbrz Ver Post
    Quero te ajudar mas primeiro preciso que responda as perguntas.

    Qual o SO?
    Quantos usuários?
    O SO é de 32 ou 64bits?
    Quais outros serviços que rodam na maquina?
    Saída de free -m?
    Saída do comando squidclient -p 3128 mgr:info?

    Algumas considerações:

    Diskd só é melhor que aufs em freebsd, Se você só tem um disco para cache, está fazendo errado criando vários cache_dir para o mesmo disco, o certo é um cache_dir por disco se seu SO for de 64bits e a maquina for exclusiva para o squid pode aumentar seu cache_mem para 6GB sem problemas, também diminua o tamanho do maximum_object_size_in_memory para 64KB, com isso você deixa os arquivos menores na memoria, e os arquivos maiores que vão ter maior concorrência do spin no disco. Se o comando squidclient não for encontrado instale o pacote squidclient. Eu atendo quase 4000 clientes com uma maquina com Intel(R) Xeon(R) CPU E5620 @ 2.40GHz - 4 Cores + Hyperthreadind e não passo de 30% de CPU no horário pico.

    ps: Outra coisa importante que esqueci, o log do squid você deve deixar junto com o disco do sistema, e pode ativar a opção de buffered logs para diminuir o overhead da escrita do log no disco. mas depois que você me responder as perguntas agente ajusta melhor.


    Att,

    Anderson Araújo
    Anderson,

    Obrigado pelas dicas, vou aplicar aqui para ver se sinto alguma diferença.

    Segue considerações:

    Qual o SO? CentOS
    Quantos usuários? 2000 Usuários
    O SO é de 32 ou 64bits? 32 bits
    Quais outros serviços que rodam na maquina? Nenhum, dedicada para o squid.
    Saída de free -m?

    total used free shared buffers cached
    Mem: 8114 7203 910 0 448 3691
    -/+ buffers/cache: 3062 5051
    Swap: 0 0 0



    Saída do comando squidclient -p 3128 mgr:info?


    HTTP/1.0 200 OK
    Server: squid/2.7.STABLE9
    Date: Mon, 05 Nov 2012 14:42:10 GMT
    Content-Type: text/plain
    Expires: Mon, 05 Nov 2012 14:42:10 GMT
    X-Cache: MISS from CORPRXISPB02
    X-Cache-Lookup: MISS from CORPRXISPB02:3128
    Via: 1.0 CORPRXISPB02:3128 (squid/2.7.STABLE9)
    Connection: close


    Squid Object Cache: Version 2.7.STABLE9
    Start Time: Mon, 05 Nov 2012 04:01:54 GMT
    Current Time: Mon, 05 Nov 2012 14:42:10 GMT
    Connection information for squid:
    Number of clients accessing cache: 1490
    Number of HTTP requests received: 3798176
    Number of ICP messages received: 0
    Number of ICP messages sent: 0
    Number of queued ICP replies: 0
    Request failure ratio: 0.00
    Average HTTP requests per minute since start: 5932.2
    Average ICP messages per minute since start: 0.0
    Select loop called: 30497728 times, 1.260 ms avg
    Cache information for squid:
    Request Hit Ratios: 5min: 19.1%, 60min: 16.2%
    Byte Hit Ratios: 5min: 19.4%, 60min: 17.8%
    Request Memory Hit Ratios: 5min: 42.1%, 60min: 41.0%
    Request Disk Hit Ratios: 5min: 6.4%, 60min: 4.7%
    Storage Swap size: 6426784 KB
    Storage Mem size: 2048052 KB
    Mean Object Size: 18.67 KB
    Requests given to unlinkd: 0
    Median Service Times (seconds) 5 min 60 min:
    HTTP Requests (All): 2.25116 0.85130
    Cache Misses: 3.46762 1.62803
    Cache Hits: 1.54242 0.68577
    Near Hits: 2.37608 1.00114
    Not-Modified Replies: 0.61549 0.25890
    DNS Lookups: 0.39726 0.19488
    ICP Queries: 0.00000 0.00000
    Resource usage for squid:
    UP Time: 38416.166 seconds
    CPU Time: 17151.241 seconds
    CPU Usage: 44.65%
    CPU Usage, 5 minute avg: 99.93%
    CPU Usage, 60 minute avg: 99.89%
    Process Data Segment Size via sbrk(): 4293521676 KB
    Maximum Resident Size: -1723312 KB
    Page faults with physical i/o: 0
    Memory usage for squid via mallinfo():
    Total space in arena: -1445488 KB
    Ordinary blocks: -1446959 KB 81526 blks
    Small blocks: 0 KB 0 blks
    Holding blocks: 5812 KB 3 blks
    Free Small blocks: 0 KB
    Free Ordinary blocks: 1470 KB
    Total in use: -1441147 KB 100%
    Total free: 1470 KB 0%
    Total size: -1439676 KB
    Memory accounted for:
    Total accounted: 2335755 KB
    memPoolAlloc calls: 402245140
    memPoolFree calls: 395257992
    File descriptor usage for squid:
    Maximum number of file descriptors: 16384
    Largest file desc currently in use: 6804
    Number of file desc currently in use: 6661
    Files queued for open: 0
    Available number of file descriptors: 9723
    Reserved number of file descriptors: 100
    Store Disk files open: 48
    IO loop method: epoll
    Internal Data Structures:
    376036 StoreEntries
    235952 StoreEntries with MemObjects
    235270 Hot Object Cache Items
    344261 on-disk objects



  7. #7

    Padrão Re: Squid 100% de CPU

    Vou analisar melhor antes de responder, mas não mude seu cache_mem para 6GB pois em 32bits, ele vai ficar dando reload no squid quando o processo alocado ao squid chegar a pouco mais de 2.5GB senão me engano.