+ Responder ao Tópico



  1. #1

    Padrão squid 99% da CPU ?

    boa noite galera under. estou tendo um problema aqui com meu squid, seguinte..

    segurava 50 maquinas com MK+proxy-cache tranquilo, numa maquina sempron64 + 512mb ddr400, hd 40gb
    decidi mudar o proxy pra linux, arrumei outra maquina para hotspot, firewall, etc, e o proxy dexei no velho server sempron
    instalei o debian 4r3, ssh, apache2. squid, sarg, e desativei muitas besteiras, nao instalei o modo grafico n.
    pois bem, setei o server para trabalhar com o MK, e no mk, marcação para cache-full.

    o debian, esta como cliente do mk, e setado em ip-proxy, o ip e porta do deb/squid
    porem, dps de 2 dias ligado, esta com 800mb de cache..
    setei no squid.conf


    http_port 192.168.2.6:3128 transparent
    visible_hostname debian
    cache_mem 128 MB
    cache_dir ufs /var/spool/squid 28000 16 256
    cache_mgr nety.com
    maximum_object_size 16384 KB
    hierarchy_stoplist cgi-bin ?
    acl QUERY urlpath_regex cgi-bin \?
    cache deny QUERY
    acl apache rep_header Server ^Apache
    broken_vary_encoding allow apache
    access_log /var/log/squid/access.log squid
    hosts_file /etc/hosts
    refresh_pattern ^ftp: 1440 20% 10080
    refresh_pattern ^gopher: 1440 0% 1440
    refresh_pattern . 0 20% 4320
    acl all src 0.0.0.0/0.0.0.0
    acl manager proto cache_object
    acl localhost src 127.0.0.1/255.255.255.255
    acl to_localhost dst 127.0.0.0/8
    acl SSL_ports port 443 # https
    acl SSL_ports port 563 # snews
    acl SSL_ports port 873 # rsync
    acl Safe_ports port 80 # http
    acl Safe_ports port 21 # ftp
    acl Safe_ports port 443 # https
    acl Safe_ports port 70 # gopher
    acl Safe_ports port 210 # wais
    acl Safe_ports port 1025-65535 # unregistered ports
    acl Safe_ports port 280 # http-mgmt
    acl Safe_ports port 488 # gss-http
    acl Safe_ports port 591 # filemaker
    acl Safe_ports port 777 # multiling http
    acl Safe_ports port 631 # cups
    acl Safe_ports port 873 # rsync
    acl Safe_ports port 901 # SWAT
    acl purge method PURGE
    acl CONNECT method CONNECT
    http_access allow manager localhost
    http_access deny manager
    http_access allow purge localhost
    http_access deny purge
    http_access deny !Safe_ports
    http_access deny CONNECT !SSL_ports
    http_access allow localhost
    http_access allow all
    http_reply_access allow all
    icp_access allow all
    cache_effective_group proxy
    coredump_dir /var/spool/squid

    no comando TOP, o uso da cpu do squid, esta em 95% 97% 99%
    alguem de vcs pode me ajudar com essa bronca?
    percebi q ate no acesso remoto na rede local, sem passar por nenhum radio, acessando por cabo msm, o ssh esta lendo..
    quando reinicio valta ao normal

    ajudas serao bem vindas!
    vlww a todos, abraços

  2. #2

    Padrão

    PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
    2136 proxy 25 0 171m 169m 1548 R 99.7 34.2 782:10.07 squid

  3. #3

    Padrão

    cache_mem 8 MB
    cache_swap_low 90
    cache_swap_high 95
    maximum_object_size 20 MB
    minimum_object_size 0 KB
    maximum_object_size_in_memory 16 KB



    aqui tenho meu HOST com 1GB memo 100% em uso de memo mais SWAP,
    130GB de Cache com 80 GB em uso


    130 users por dia


    seu HD deve tar direto paginando

  4. #4

    Padrão

    Citação Postado originalmente por Pirigoso Ver Post
    cache_mem 8 MB
    cache_swap_low 90
    cache_swap_high 95
    maximum_object_size 20 MB
    minimum_object_size 0 KB
    maximum_object_size_in_memory 16 KB



    aqui tenho meu HOST com 1GB memo 100% em uso de memo mais SWAP,
    130GB de Cache com 80 GB em uso


    130 users por dia


    seu HD deve tar direto paginando
    vlw pela ajuda amigo, vou fazer os testes aqui, com essa conf,
    nao saco muito de squid n, migrei a um tempinho, usava no mk msm,
    como assim,, meu hd deve tar direto paginando?
    ele tem q ta paginando?
    se poder me diz como funciona isso dai,,
    vlww

  5. #5

    Padrão

    iostat -x

    qq retorna.. tenho proxies com 600.. 700 acessos simultaneamente... umas 200 a 300 requisições por segundo... usa 15% de cpu.. e 3gb de ram.. obj hit da 60 a 80 % .. e byte hit de 30 a 50%

  6. #6

    Padrão

    Bom, pela experiência que tenho com SQUID (8 anos) é até normal ele utilizar essa carga de processamento com muitos clientes (digo pelo menos uns 100 simultâneos).
    Aqui tenho duas máquinas Dell com 2 processadores Xeon MP 3.6 cada uma e 2GB de RAM com 4 discos SCSI de 10Krpm em 2 raids diferentes. Utilizo dois caches para utilizar corretamente os dois canais da controladora...
    Estou utilizando Red Hat AS4

    As máquinas estão balanceando o tráfego

    Tenho simultâneamente algo em torno de 2500 conexões, e o processamento tá sempre no máximo.

    Quando o tráfego cai para algo em torno de 100 usuários simultâneos, aí o processamento cai para mais ou menos 50%. Essa diferença entre o seu sistema e o meu se dá pela velocidade do processador que você utiliza em relação ao meu.

    Então sempre ví isso acontecer, tanto em debian quanto em red hat. A carga está sempre alta em cima dos processadores.

    Uma coisa que eu ajustaria, é o parâmetro
    cache_mem 64 MB (devido a sua quantidade de memória que é pouca. Esse parâmetro diz qual o cache em memória RAM que o squid fará com objetos em trânsito, então 64MB julgo que estaria ótimo)

    O seu cache em disco está marcado para 28Gigas. É isso mesmo que você quer?

  7. #7

    Padrão

    pode corrigir ai entao seu squid fredy,

    1.200 sessoes abertas (1200 acessos/clientes) ... processamento fica por volta dos 10%

    2 dual-opteron ... freebsd 6.3

    se co 100 users fica 50% .. teu cache ta errado

    mas.... voltando ao assunto do topico..

    o colega ai deve estar com problema de i/o no hd.. fazendo o squid trabalhar mais

  8. #8

    Padrão

    Citação Postado originalmente por alexandrecorrea Ver Post
    pode corrigir ai entao seu squid fredy,

    1.200 sessoes abertas (1200 acessos/clientes) ... processamento fica por volta dos 10%

    2 dual-opteron ... freebsd 6.3

    se co 100 users fica 50% .. teu cache ta errado

    mas.... voltando ao assunto do topico..

    o colega ai deve estar com problema de i/o no hd.. fazendo o squid trabalhar mais
    Não é assim não, Alexandre... O FreeBSD pode até trabalhar de forma diferente do Linux... aí já não sei.

    Mas a respeito do processamento, é super normal isso acontecer. Não só em minhas máquinas, mas na de muitos governos e empresas grandes, a qual tenho contato com os analistas.

    Minha instalação está toda homologada, inclusive pelo pessoal da RedHat USA, que foi uma obrigação na hora de instalar o Datacenter.

    Quanto aos usuários, Tenho 8.000 máquinas, mas claro que todas não acessam a internet simultaneamente. E quanto a questão de requisições que você levantou, uma mesma máquina pode (e abre) abrir várias requisições simultâneamente. Então se eu tenho 2500 requisições simultâneas, não quer dizer que eu tenha 2500 clientes navegando.

    Agora você imagina o squid passando essas 2500 requisições pela ACL a cada segundo... não acha que os 10% de processamento que você falou que ele iria utilizar é pouco?

    Não entendi direito o que você queria dizer com a frase: " se co 100 users fica 50% .. teu cache ta errado"

    O que tem a ver meu cache com o load do processador?

    A respeito dos processadores, tanto sua máquina quanto a minha, não ganham muita vantagem por ter 2 processadores e/ou vários núcleos, já que o squid é monothread. Já entrei em contato a um tempo atrás com o pessoal de desenvolvimento do SQUID e disseram que a versão 3 sairia com suporte a multithread, mas ainda não fiz os testes...



    Quanto ao assunto do tópico, pode ser um problema no HD sim... ele pode também não estar utilizando o DMA, que pode ser checado através do comando hdparm.

    Abraços
    Fredy
    Última edição por fredy10; 16-07-2008 às 17:31.