+ Responder ao Tópico



  1. #1

    Padrão Squid fica lento quando trafego passa de 20Mb

    Boa Noite, a todos quero desde ja desejar um grande 2011 a todos, e pra começar bem, estou testando o squid pra rodar em paralelo com mk 3.30, de começo roda bem, mas quando atinge o trafego entre 15mb a 20mb fica lento
    e toda a navegação fica comprometida, agora vai a conf do meu server pra nao falarem que é hard fraco, DEBIAN AMD64, QUAD 2 CORE 8G RAM HD 1 TERA BARRACUDA, queria saber se existe um limite pro Squid, e caso tenha onde aumento, pois quando ativo o cache do mk normaliza e fica bom, e como 100% falam que o squid é melhor, devo esta errando em algum lugar, com isso venho mostrar meu problema.

    Ps. Abraços Sergio ta devendo a torta de limao, quando vir a SP avisa pra pagar manda um abraço no Maia.

    Sds

  2. #2

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    O mk usa hardware igual? Faça um benchmark das placas de rede, leitura e escrita no disco.
    Poste a conf do teu squid; verifique se alguma regra no mk não está restringindo o tráfego do squid; explico:

    Recentemente implantei pcq para os cliente pppoe por Quere Tree quando controlo só download fica perfeito da tentativa de controlar o upload a navegação fica super lenta. Suspeito que seja por usar squid paralelo, restrinjo em global-out e o filtro seleciona a interface de saída. Pode ser erro no filtro ainda estou analisando.

    Recomendo usar o lusca.
    Última edição por bjaraujo; 13-01-2011 às 01:44.

  3. #3

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    cara como disse o amigo bjaraujo acredito tbm que seja imcompatibilidade em algum hardware...
    quantos mega de cache o debian jah armazenou?, porque se ele ainda estiver cacheandom as paginas vai ter lentidão se vc nao limitou o download dele no seu link de entrada...
    outra coisa bem importante jah conversei com alguns amigos que fizeram e jah arrumei muito squid com pau em computadores 64 bits nao aconselho usar da muito pau...
    o que aconselho e usar uma versão do ubuntu server 10 x86 da mesnos pau..

    msn:[email protected]

  4. #4

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Citação Postado originalmente por flavioleonel Ver Post
    cara como disse o amigo bjaraujo acredito tbm que seja imcompatibilidade em algum hardware...
    quantos mega de cache o debian jah armazenou?, porque se ele ainda estiver cacheandom as paginas vai ter lentidão se vc nao limitou o download dele no seu link de entrada...
    outra coisa bem importante jah conversei com alguns amigos que fizeram e jah arrumei muito squid com pau em computadores 64 bits nao aconselho usar da muito pau...
    o que aconselho e usar uma versão do ubuntu server 10 x86 da mesnos pau..

    msn:[email protected]
    Mas ai os 8Gb dele seriam inutil...
    Última edição por Stronks; 13-01-2011 às 09:11.

  5. #5
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.980
    Posts de Blog
    5

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Citação Postado originalmente por flavioleonel Ver Post
    cara como disse o amigo bjaraujo acredito tbm que seja imcompatibilidade em algum hardware...
    quantos mega de cache o debian jah armazenou?, porque se ele ainda estiver cacheandom as paginas vai ter lentidão se vc nao limitou o download dele no seu link de entrada...
    outra coisa bem importante jah conversei com alguns amigos que fizeram e jah arrumei muito squid com pau em computadores 64 bits nao aconselho usar da muito pau...
    o que aconselho e usar uma versão do ubuntu server 10 x86 da mesnos pau..

    msn:[email protected]
    Eu não ia comentar nada, tava só de passagem, mas QUANTA besteira!
    Cache gastando mais que os clientes, tsc...
    Cache com problema em 64 bits, tsc...
    Ubuntu Server 10 x86, tsc..........

    Voltando ao tópico:
    Qual o tamanho do cache_dir? Qual o tamanho do cache_mem?
    Se for 1TiB de cache, aí está o problema, está lotando a memória.
    Tem que calcular o cache_dir de acordo com a memória disponível (tirando o sistema, o cache_mem e um pouco para o squid em si).
    Se não me engano, cada 1GiB de cache_dir gasta 10MiB de RAM.
    Última edição por osmano807; 13-01-2011 às 11:16.

  6. #6
    Moderador Avatar de minelli
    Ingresso
    Aug 2006
    Localização
    Pres. Venceslau - SP | Pres. Prudente - SP
    Posts
    1.412
    Posts de Blog
    10

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Hehehe e o povo em geral não todos sabem disso?
    Bom imagino que ele deva saber por ser:
    Código :
    Pedro Silva 
    Mcse Microsoft 
    Linux Certifield 101 102
    Mikrotik Curioso

    Mas voltando ainda tem mais coisas que ele pode levar em consideração que cause isso, agora cabe a ele os testes principalmente no linux.

  7. #7

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Se ele instalar o x86 com kernel bigmem ira reconhecer os 8gb?

    Citação Postado originalmente por Stronks Ver Post
    Mas ai os 8Gb dele seriam inutil...

  8. #8
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.980
    Posts de Blog
    5

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Citação Postado originalmente por mktguaruja Ver Post
    Se ele instalar o x86 com kernel bigmem ira reconhecer os 8gb?
    Sim, mas cada processo poderá utilizar no máximo 4GiB.

  9. #9
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.980
    Posts de Blog
    5

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Citação Postado originalmente por minelli Ver Post
    Hehehe e o povo em geral não todos sabem disso?
    Bom imagino que ele deva saber por ser:
    Código :
    Pedro Silva 
    Mcse Microsoft 
    Linux Certifield 101 102
    Mikrotik Curioso

    Mas voltando ainda tem mais coisas que ele pode levar em consideração que cause isso, agora cabe a ele os testes principalmente no linux.
    Faz sentido, me ausento...
    Não posso dar opnião, não sou certificado.

  10. #10
    Moderador Avatar de minelli
    Ingresso
    Aug 2006
    Localização
    Pres. Venceslau - SP | Pres. Prudente - SP
    Posts
    1.412
    Posts de Blog
    10

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Citação Postado originalmente por osmano807 Ver Post
    Sim, mas cada processo poderá utilizar no máximo 4GiB.
    Concordo com você mas o povo usa mesmo sem saber como na verdade se comportam as coisas.
    Apenas usam rssss...

  11. #11

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    boa noite.
    bom. trata-se de transmição wireless temos que analisar quantos mb o link entre as torres passa, pois se tivermos 10 clientes com 128k e pasando full pelo chache, esses 10 clientes estarão usnado toda a banda disponivel do seu link do enlace. vai causar lentidão e você pensar que é o proxy.

  12. #12

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    A Area da Medicina Hoje é bem grande, onde abrange muitas partes do corpo, porem é dificil achar quem é certificado em tudo, pois se não seria o perfeito, com isso ele se especializa em um seguimento, mesmo sendo profissional nao podera ajudar a todos, porem estudou para ser o melhor em uma parte do corpo, bem assim é na informatica, existe algum profissional 100% em todas as divisões hoje?

    Mas Vamos la

    O Hardware MB é Intel, com placa gigabit ja mudei ja testei, a versão x86, ja compilei o kernel com o bigmem que reconhece os 8g de ram, vou postar o squid conf, porem tenho trafego de internet entre 20 a 30mb depois das 18:00, nao sei se a rb 493 com 9 ethers nao esta aguentando o trafego, mas mesmo assim aos que utilizam o forum como aprendizagem pois cada caso é um caso, vamos com minha duvida, ajudar aqueles que um dia vao ter 30mb de uso de internet e 2000 clientes .

    Segue abaixo squid.conf e agradeço a todos.. ja teste com muita memora e pouca, ja teste com 40g de cache e 100g, ja testei com zph e sem...
    ps. desativo o proxy voa a internet, e nao me falta banda, nao sei se tem alguma coisa haver, mais ao comando mii-tool da erro na placa de rede seguinte SIOCGMIIREG on eth0 failed in/out error
    Código :
    #----------------------------------------------------------------------
    #=========================== Squid Conf =============================#
    #=================== Para uso com ThunderCache 3.1===================#
    # Opcoes do SQUID
    #----------------------------------------------------------------------
    http_port 3128 transparent
    visible_hostname powercache
    icp_port 0
    #----------------------------------------------------------------------
    # Nega cache a conteudos dinamicos
    #----------------------------------------------------------------------
    acl QUERY urlpath_regex cgi-bin \?
    cache deny QUERY
    #----------------------------------------------------------------------
    error_directory /usr/share/squid/errors/Portuguese/
    #----------------------------------------------------------------------
    # Servidor DNS e Politica de Troca
    #----------------------------------------------------------------------
    dns_nameservers 208.67.222.222 8.8.8.8 
    dns_retransmit_interval 5 seconds
    dns_timeout 2 minutes
    #----------------------------------------------------------------------
    acl all src 0.0.0.0/0.0.0.0
    acl manager proto cache_object
    acl localhost src 127.0.0.1/32
    acl to_localhost dst 127.0.0.0/8
    acl con_clients dst 192.168.0.0/24 10.0.0.0/8 
    acl purge method PURGE
    acl CONNECT method CONNECT
    acl Safe_ports port 80 # http
    acl Safe_ports port 21 # ftp
    #acl Safe_ports port 443 # https
    acl Safe_ports port 70 # gopher
    acl Safe_ports port 210 # wais
    acl Safe_ports port 1025-65535 # unregistered ports
    acl Safe_ports port 280 # http-mgmt
    acl Safe_ports port 488 # gss-http
    acl Safe_ports port 591 # filemaker
    acl Safe_ports port 777 # multiling http
    acl Safe_ports port 631 # cups
    acl Safe_ports port 873 # rsync
    acl Safe_ports port 901 # SWAT
    acl Safe_ports port 1863 # MSN
    #acl SSL_ports port 443 # https
    acl SSL_ports port 563 # snews
    acl SSL_ports port 873 # rsync
    #----------------------------------------------------------------------
    http_access deny !Safe_ports
    http_access deny CONNECT !SSL_ports
    http_access allow manager localhost con_clients
    http_access deny manager all
    #----------------------------------------------------------------------
    icp_access allow purge localhost con_clients
    icp_access deny purge all
    #----------------------------------------------------------------------
    # Tamanho dos arquivos em cache
    # memoria reservada para o cache, 30% por cento de 3072MB
    #----------------------------------------------------------------------
    cache_mem 128 MB
    #----------------------------------------------------------------------
    # Maximo tamanho dos arquivo cache na memoria
    #----------------------------------------------------------------------
    maximum_object_size_in_memory 32 KB
    #----------------------------------------------------------------------
    # Maximo tamanho dos arquivo cache no hd
    #----------------------------------------------------------------------
    maximum_object_size 30 MB
    minimum_object_size 0 KB
    #----------------------------------------------------------------------
    # Regra que comeca a esvaziar / substituir arquivos no cache em 95%
    #----------------------------------------------------------------------
    cache_swap_low 90
    cache_swap_high 95
    fqdncache_size 1024
    max_filedescriptors 1024
    #----------------------------------------------------------------------
    cache_dir diskd /var/spool/squid/cache 40000 16 256
     
    refresh_pattern -i \.jpg$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.gif$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.png$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.jpeg$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.bmp$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.tif$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.tiff$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.swf$ 0 50% 21600 reload-into-ims
    refresh_pattern -i \.html$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.htm$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.shtml$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.shtm$ 0 20% 1440 reload-into-ims
    refresh_pattern -i \.nub$ 2880 80% 21600 reload-into-ims
    refresh_pattern ^ftp: 15 20% 10080
    refresh_pattern ^gopher: 15 0% 2280
    refresh_pattern . 15 20% 8640
    refresh_pattern -i exe$ 0 50% 999999
    refresh_pattern -i zip$ 0 50% 999999
    acl asx url_regex -i \.asx$
    cache deny asx
    acl asf url_regex -i \.asf$
    cache deny asf
     
    acl vbs url_regex -i .*\.VBS$
    http_access deny vbs
    acl scr url_regex -i .*\.SCR$
    http_access deny scr
    acl cmd url_regex -i .*\.CMD$
    http_access deny cmd
    acl pif url_regex -i .*\.PIF$
    http_access deny pif
    cache_effective_user proxy
    ftp_user [EMAIL="[email protected]"][email protected][/EMAIL]
    #access_log /var/log/squid/access.log
    #access_log /var/log/squid/error.log
     
    cache_store_log none
    refresh_pattern ^ftp: 1440 20% 10080
    refresh_pattern ^gopher: 1440 0% 1440
    refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
    #refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
    refresh_pattern . 0 20% 4320
    memory_replacement_policy heap GDSF
    #----------------------------------------------------------------------
    acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
    upgrade_http0.9 deny shoutcast
    #----------------------------------------------------------------------
    acl apache rep_header Server ^Apache
    broken_vary_encoding allow apache
    #----------------------------------------------------------------------
    extension_methods REPORT MERGE MKACTIVITY CHECKOUT
    hosts_file /etc/hosts
    #----------------------------------------------------------------------
    coredump_dir /var/spool/squid
    # Nega cache do youtube e outros mais acessados
    #----------------------------------------------------------------------
    acl youtubecache dstdomain .4shared.com flashvideo.globo.com .youtube.com .avast.com .avg.com .windowsupdate.com .grisoft.com .avgate.net .googlevideo.com .gl$
    cache deny youtubecache
    #----------------------------------------------------------------------
    server_persistent_connections off 
    #----------------------------------------------------------------------
    # Marca Penalty HIT
    #----------------------------------------------------------------------
    #zph_mode tos
    #zph_local 0x30
    Última edição por osmano807; 15-01-2011 às 11:08.

  13. #13
    Moderador Avatar de minelli
    Ingresso
    Aug 2006
    Localização
    Pres. Venceslau - SP | Pres. Prudente - SP
    Posts
    1.412
    Posts de Blog
    10

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Bom creio que o squid.conf pode ser melhorado e muito recomendo você ler o manual do squid pelo menos dos itens que estão no seu squid.conf para poder corrigi-lo.

  14. #14

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    É lentidão de tráfego ou demora para iniciar a conexão (latência)? Já tentou enviar e baixar um arquivo grande para o servidor por ssl ou samba?

    Teste essa conf.

    Código :
    http_port 3128 transparent
    visible_hostname powercache
    error_directory /usr/share/squid/errors/Portuguese/
    dns_nameservers 208.67.222.222 8.8.8.8
    acl all src 0.0.0.0/0.0.0.0
    acl manager proto cache_object
    acl localhost src 127.0.0.1/32
    acl to_localhost dst 127.0.0.0/8
    acl con_clients dst 192.168.0.0/24 10.0.0.0/8
    acl purge method PURGE
    acl CONNECT method CONNECT
    acl Safe_ports port 21
    http_access deny !Safe_ports
    http_access deny CONNECT !SSL_ports
    http_access allow manager localhost con_clients
    http_access deny manager all
    cache_mem 512 MB
    maximum_object_size_in_memory 128 KB
    maximum_object_size 30 MB
    minimum_object_size 32 KB
    cache_swap_low 90
    cache_swap_high 95
    cache_dir diskd /var/spool/squid/cache 40960 8 32
    access_log none
    cache_store_log none
    refresh_pattern ^ftp:		1440	20%	10080
    refresh_pattern ^gopher:	1440	0%	1440
    refresh_pattern .		0	20%	4320
    cache_effective_user proxy
    cache_replacement_policy heap LFUDA
    memory_replacement_policy heap GDSF
    broken_vary_encoding allow apache
    coredump_dir /var/spool/squid
    server_persistent_connections off
    zph_mode tos
    zph_local 0x30

    Se der algum erro faça uma pequena correção apenas para levantar o squid.
    No horário da anomalia execute
    Código :
    uptime
    e veja a carga e
    Código :
    iotop
    e veja como está o uso do HD.
    Use lusca.

    Outra coisa use o bind para cache de DNS nesse mesmo PC e faça o squid e seus clientes consultar ele.

  15. #15

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    vou testar aqui, porem tive que ajustar umas coisas no safe ports ta com dois nomes de acl, e na linha 32 ta dando um erro comentei ela, esse lusca nunca vi falar o que o compoe, a te agradeço o tempo e empenho

  16. #16

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    Citação Postado originalmente por powernetscm Ver Post
    vou testar aqui, porem tive que ajustar umas coisas no safe ports ta com dois nomes de acl, e na linha 32 ta dando um erro comentei ela, esse lusca nunca vi falar o que o compoe, a te agradeço o tempo e empenho
    É um fork no squid2 mantido por Luciano (do fórum) com muitas melhorias e alguns recursos ausentes no oficial.
    Lusca Web/Proxy Cache

  17. #17

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    existe algum procedimento pra instalar e ele roda no debian? e o principal roda em 64 ou somente em 32bits
    Última edição por powernetscm; 15-01-2011 às 18:17.

  18. #18

    Padrão Re: Squid fica lento quando trafego passa de 20Mb

    alguem tem o topico para integrar o lusca ao mk, e tambem as regras pro cache full

  19. #19