Squid fica lento quando trafego passa de 20Mb

Boa Noite, a todos quero desde ja desejar um grande 2011 a todos, e pra começar bem, estou testando o squid pra rodar em paralelo com mk 3.30, de começo roda bem, mas quando atinge o trafego entre 15mb a 20mb fica lento
e toda a navegação fica comprometida, agora vai a conf do meu server pra nao falarem que é hard fraco, DEBIAN AMD64, QUAD 2 CORE 8G RAM HD 1 TERA BARRACUDA, queria saber se existe um limite pro Squid, e caso tenha onde aumento, pois quando ativo o cache do mk normaliza e fica bom, e como 100% falam que o squid é melhor, devo esta errando em algum lugar, com isso venho mostrar meu problema.

Ps. Abraços Sergio ta devendo a torta de limao, quando vir a SP avisa pra pagar manda um abraço no Maia.

Sds

O mk usa hardware igual? Faça um benchmark das placas de rede, leitura e escrita no disco.
Poste a conf do teu squid; verifique se alguma regra no mk não está restringindo o tráfego do squid; explico:

Recentemente implantei pcq para os cliente pppoe por Quere Tree quando controlo só download fica perfeito da tentativa de controlar o upload a navegação fica super lenta. Suspeito que seja por usar squid paralelo, restrinjo em global-out e o filtro seleciona a interface de saída. Pode ser erro no filtro ainda estou analisando.

Recomendo usar o lusca.

cara como disse o amigo bjaraujo acredito tbm que seja imcompatibilidade em algum hardware...
quantos mega de cache o debian jah armazenou?, porque se ele ainda estiver cacheandom as paginas vai ter lentidão se vc nao limitou o download dele no seu link de entrada...
outra coisa bem importante jah conversei com alguns amigos que fizeram e jah arrumei muito squid com pau em computadores 64 bits nao aconselho usar da muito pau...
o que aconselho e usar uma versão do ubuntu server 10 x86 da mesnos pau..

msn:[email protected]

Citação:

---

Postado originalmente por flavioleonel

cara como disse o amigo bjaraujo acredito tbm que seja imcompatibilidade em algum hardware...
quantos mega de cache o debian jah armazenou?, porque se ele ainda estiver cacheandom as paginas vai ter lentidão se vc nao limitou o download dele no seu link de entrada...
outra coisa bem importante jah conversei com alguns amigos que fizeram e jah arrumei muito squid com pau em computadores 64 bits nao aconselho usar da muito pau...
o que aconselho e usar uma versão do ubuntu server 10 x86 da mesnos pau..

msn:[email protected]

---

Mas ai os 8Gb dele seriam inutil...

Citação:

---

Postado originalmente por flavioleonel

cara como disse o amigo bjaraujo acredito tbm que seja imcompatibilidade em algum hardware...
quantos mega de cache o debian jah armazenou?, porque se ele ainda estiver cacheandom as paginas vai ter lentidão se vc nao limitou o download dele no seu link de entrada...
outra coisa bem importante jah conversei com alguns amigos que fizeram e jah arrumei muito squid com pau em computadores 64 bits nao aconselho usar da muito pau...
o que aconselho e usar uma versão do ubuntu server 10 x86 da mesnos pau..

msn:[email protected]

---

Eu não ia comentar nada, tava só de passagem, mas QUANTA besteira!
Cache gastando mais que os clientes, tsc...
Cache com problema em 64 bits, tsc...
Ubuntu Server 10 x86, tsc..........

Voltando ao tópico:
Qual o tamanho do cache_dir? Qual o tamanho do cache_mem?
Se for 1TiB de cache, aí está o problema, está lotando a memória.
Tem que calcular o cache_dir de acordo com a memória disponível (tirando o sistema, o cache_mem e um pouco para o squid em si).
Se não me engano, cada 1GiB de cache_dir gasta 10MiB de RAM.

Hehehe e o povo em geral não todos sabem disso?
Bom imagino que ele deva saber por ser:

Código :

---

Pedro Silva 
Mcse Microsoft 
Linux Certifield 101 102
Mikrotik Curioso

---

Mas voltando ainda tem mais coisas que ele pode levar em consideração que cause isso, agora cabe a ele os testes principalmente no linux.

Se ele instalar o x86 com kernel bigmem ira reconhecer os 8gb?

Citação:

---

Postado originalmente por Stronks

Mas ai os 8Gb dele seriam inutil...

---

Citação:

---

Postado originalmente por mktguaruja

Se ele instalar o x86 com kernel bigmem ira reconhecer os 8gb?

---

Sim, mas cada processo poderá utilizar no máximo 4GiB.

Citação:

---

Postado originalmente por minelli

Hehehe e o povo em geral não todos sabem disso?
Bom imagino que ele deva saber por ser:

Código :

---

Pedro Silva 
Mcse Microsoft 
Linux Certifield 101 102
Mikrotik Curioso

---

Mas voltando ainda tem mais coisas que ele pode levar em consideração que cause isso, agora cabe a ele os testes principalmente no linux.

---

Faz sentido, me ausento...
Não posso dar opnião, não sou certificado.

Citação:

---

Postado originalmente por osmano807

Sim, mas cada processo poderá utilizar no máximo 4GiB.

---

Concordo com você mas o povo usa mesmo sem saber como na verdade se comportam as coisas.
Apenas usam rssss...

boa noite.
bom. trata-se de transmição wireless temos que analisar quantos mb o link entre as torres passa, pois se tivermos 10 clientes com 128k e pasando full pelo chache, esses 10 clientes estarão usnado toda a banda disponivel do seu link do enlace. vai causar lentidão e você pensar que é o proxy.

A Area da Medicina Hoje é bem grande, onde abrange muitas partes do corpo, porem é dificil achar quem é certificado em tudo, pois se não seria o perfeito, com isso ele se especializa em um seguimento, mesmo sendo profissional nao podera ajudar a todos, porem estudou para ser o melhor em uma parte do corpo, bem assim é na informatica, existe algum profissional 100% em todas as divisões hoje?

Mas Vamos la

O Hardware MB é Intel, com placa gigabit ja mudei ja testei, a versão x86, ja compilei o kernel com o bigmem que reconhece os 8g de ram, vou postar o squid conf, porem tenho trafego de internet entre 20 a 30mb depois das 18:00, nao sei se a rb 493 com 9 ethers nao esta aguentando o trafego, mas mesmo assim aos que utilizam o forum como aprendizagem pois cada caso é um caso, vamos com minha duvida, ajudar aqueles que um dia vao ter 30mb de uso de internet e 2000 clientes .

Segue abaixo squid.conf e agradeço a todos.. ja teste com muita memora e pouca, ja teste com 40g de cache e 100g, ja testei com zph e sem...
ps. desativo o proxy voa a internet, e nao me falta banda, nao sei se tem alguma coisa haver, mais ao comando mii-tool da erro na placa de rede seguinte SIOCGMIIREG on eth0 failed in/out error

Código :

---

#----------------------------------------------------------------------
#=========================== Squid Conf =============================#
#=================== Para uso com ThunderCache 3.1===================#
# Opcoes do SQUID
#----------------------------------------------------------------------
http_port 3128 transparent
visible_hostname powercache
icp_port 0
#----------------------------------------------------------------------
# Nega cache a conteudos dinamicos
#----------------------------------------------------------------------
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
#----------------------------------------------------------------------
error_directory /usr/share/squid/errors/Portuguese/
#----------------------------------------------------------------------
# Servidor DNS e Politica de Troca
#----------------------------------------------------------------------
dns_nameservers 208.67.222.222 8.8.8.8 
dns_retransmit_interval 5 seconds
dns_timeout 2 minutes
#----------------------------------------------------------------------
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl con_clients dst 192.168.0.0/24 10.0.0.0/8 
acl purge method PURGE
acl CONNECT method CONNECT
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
#acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 631 # cups
acl Safe_ports port 873 # rsync
acl Safe_ports port 901 # SWAT
acl Safe_ports port 1863 # MSN
#acl SSL_ports port 443 # https
acl SSL_ports port 563 # snews
acl SSL_ports port 873 # rsync
#----------------------------------------------------------------------
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow manager localhost con_clients
http_access deny manager all
#----------------------------------------------------------------------
icp_access allow purge localhost con_clients
icp_access deny purge all
#----------------------------------------------------------------------
# Tamanho dos arquivos em cache
# memoria reservada para o cache, 30% por cento de 3072MB
#----------------------------------------------------------------------
cache_mem 128 MB
#----------------------------------------------------------------------
# Maximo tamanho dos arquivo cache na memoria
#----------------------------------------------------------------------
maximum_object_size_in_memory 32 KB
#----------------------------------------------------------------------
# Maximo tamanho dos arquivo cache no hd
#----------------------------------------------------------------------
maximum_object_size 30 MB
minimum_object_size 0 KB
#----------------------------------------------------------------------
# Regra que comeca a esvaziar / substituir arquivos no cache em 95%
#----------------------------------------------------------------------
cache_swap_low 90
cache_swap_high 95
fqdncache_size 1024
max_filedescriptors 1024
#----------------------------------------------------------------------
cache_dir diskd /var/spool/squid/cache 40000 16 256
 
refresh_pattern -i \.jpg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.gif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.png$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.jpeg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.bmp$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tiff$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.swf$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.html$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.htm$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.shtml$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.shtm$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.nub$ 2880 80% 21600 reload-into-ims
refresh_pattern ^ftp: 15 20% 10080
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 8640
refresh_pattern -i exe$ 0 50% 999999
refresh_pattern -i zip$ 0 50% 999999
acl asx url_regex -i \.asx$
cache deny asx
acl asf url_regex -i \.asf$
cache deny asf
 
acl vbs url_regex -i .*\.VBS$
http_access deny vbs
acl scr url_regex -i .*\.SCR$
http_access deny scr
acl cmd url_regex -i .*\.CMD$
http_access deny cmd
acl pif url_regex -i .*\.PIF$
http_access deny pif
cache_effective_user proxy
ftp_user [EMAIL="[email protected]"][email protected][/EMAIL]
#access_log /var/log/squid/access.log
#access_log /var/log/squid/error.log
 
cache_store_log none
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Package(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
memory_replacement_policy heap GDSF
#----------------------------------------------------------------------
acl shoutcast rep_header X-HTTP09-First-Line ^ICY\s[0-9]
upgrade_http0.9 deny shoutcast
#----------------------------------------------------------------------
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
#----------------------------------------------------------------------
extension_methods REPORT MERGE MKACTIVITY CHECKOUT
hosts_file /etc/hosts
#----------------------------------------------------------------------
coredump_dir /var/spool/squid
# Nega cache do youtube e outros mais acessados
#----------------------------------------------------------------------
acl youtubecache dstdomain .4shared.com flashvideo.globo.com .youtube.com .avast.com .avg.com .windowsupdate.com .grisoft.com .avgate.net .googlevideo.com .gl$
cache deny youtubecache
#----------------------------------------------------------------------
server_persistent_connections off 
#----------------------------------------------------------------------
# Marca Penalty HIT
#----------------------------------------------------------------------
#zph_mode tos
#zph_local 0x30

---

Bom creio que o squid.conf pode ser melhorado e muito recomendo você ler o manual do squid pelo menos dos itens que estão no seu squid.conf para poder corrigi-lo.

É lentidão de tráfego ou demora para iniciar a conexão (latência)? Já tentou enviar e baixar um arquivo grande para o servidor por ssl ou samba?

Teste essa conf.

Código :

---

http_port 3128 transparent
visible_hostname powercache
error_directory /usr/share/squid/errors/Portuguese/
dns_nameservers 208.67.222.222 8.8.8.8
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl con_clients dst 192.168.0.0/24 10.0.0.0/8
acl purge method PURGE
acl CONNECT method CONNECT
acl Safe_ports port 21
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow manager localhost con_clients
http_access deny manager all
cache_mem 512 MB
maximum_object_size_in_memory 128 KB
maximum_object_size 30 MB
minimum_object_size 32 KB
cache_swap_low 90
cache_swap_high 95
cache_dir diskd /var/spool/squid/cache 40960 8 32
access_log none
cache_store_log none
refresh_pattern ^ftp:		1440	20%	10080
refresh_pattern ^gopher:	1440	0%	1440
refresh_pattern .		0	20%	4320
cache_effective_user proxy
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
broken_vary_encoding allow apache
coredump_dir /var/spool/squid
server_persistent_connections off
zph_mode tos
zph_local 0x30

---

Se der algum erro faça uma pequena correção apenas para levantar o squid.
No horário da anomalia execute

Código :

---

uptime

---

e veja a carga e

Código :

---

iotop

---

e veja como está o uso do HD.
Use lusca.

Outra coisa use o bind para cache de DNS nesse mesmo PC e faça o squid e seus clientes consultar ele.

vou testar aqui, porem tive que ajustar umas coisas no safe ports ta com dois nomes de acl, e na linha 32 ta dando um erro comentei ela, esse lusca nunca vi falar o que o compoe, a te agradeço o tempo e empenho

Citação:

---

Postado originalmente por powernetscm

vou testar aqui, porem tive que ajustar umas coisas no safe ports ta com dois nomes de acl, e na linha 32 ta dando um erro comentei ela, esse lusca nunca vi falar o que o compoe, a te agradeço o tempo e empenho

---

É um fork no squid2 mantido por Luciano (do fórum) com muitas melhorias e alguns recursos ausentes no oficial.
Lusca Web/Proxy Cache

existe algum procedimento pra instalar e ele roda no debian? e o principal roda em 64 ou somente em 32bits

alguem tem o topico para integrar o lusca ao mk, e tambem as regras pro cache full

Ai cara, tem esse tutorial legal aqui:

Baixar Lusca Cache Passo a Passo, com Thundercache - Download Programas Completos e Assistir Filmes Grátis Dublado, Legendado e Lançamentos, Downloads de Jogos, Músicas Mp3 Grátis, Baixe CDs e DVDs