Squid gerando latência alta na rede

[lfernandosg]

Pessoal,

tenho um debian leny com duas placas 10/100Mpbs intel ela tem IP: 200.x.x.x.x na placa eth1 e 10.0.1.254 na placa eth0 que é o gw da rede interna...as máquinas que pingam no ip 10.0.1.254 tem resposta de latência muita alta chegando a 600ms e quando paro o squid pinga a 1ms então estou notando que o problema está no squid...já desativei o cache full mas continua do mesmo jeito...o que posso fazer para melhorar? estou com o squid 2.7 e configuração abaixo:

#NOME DO SERVIDOR#####################################################
visible_hostname DebianLinux
######################################################################
#IP+PORTA USADA ####################################################
http_port 10.0.1.254:3128
######################################################################
icp_port 0
######################################################################
#CACHE USADO-METADE DA RAM)###########################################
cache_mem  256 MB
######################################################################
#Cache Swap###########################################################
cache_swap_low  80
cache_swap_high 90
######################################################################
#OBJECT_SIZE##########################################################
maximum_object_size 200 MB
minimum_object_size 0 KB
#tamanho m�ximo dos objetos alocados na mem�ria.
maximum_object_size_in_memory 256 KB
######################################################################
#DIRETORIOS DO CACHE MULTIPLOS########################################
cache_dir aufs /var/cachesquid1  5000 16 256
cache_dir aufs /var/cachesquid2 5000 16 256
cache_dir aufs /var/cachesquid3 5000 16 256
#cache_dir aufs /var/cachesquid4 2900 128 512
#cache_dir aufs /var/cachesquid5 2900 128 512
# Resolve um problema com conex�es persistentes que ocorre com certos servidores,
# e que provoca delays em nosso cache.
detect_broken_pconn on
 
# Provoca um ganho de performance ao usar conex�es Pipeline (requisi��es em
# paralelo)
pipeline_prefetch on
 
 
#DNS squid cache
dns_nameservers 10.0.1.254
#dns_nameservers 127.0.1.1
 
#####################################################################
#LOGS################################################################
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log none
#####################################################################
#REGRA AUTENTICACAO
auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/passwd
auth_param basic children 3
authenticate_ttl 10 minutes
authenticate_ip_ttl 0
####################################################################
request_body_max_size 0 MB
####################################################################
#ACL's########################################################
#SITES QUE N�O PRECISAM DE AUTENTICACAO COM SENHA
acl NO_AUTH url_regex -i '/etc/squid/no_auth_url'
http_access allow NO_AUTH
#################################################
#SITES BLOQUEADOS PARA QUALQUER USUARIO
#acl BLOCK url_regex -i  '/etc/squid/bloqueados'
#http_access deny BLOCK
#################################################
#MSN S� PARA USUARIOS DESSA ACL##################
acl bloqueiamsn url_regex -i "/etc/squid/bloqueiamsn"
acl g_liberado proxy_auth amandacarlos  alisson roze neide ademario wpsc  luiz.roma marinalva natasha fernando rmartins vicente inspetor   diego handerson
http_access deny bloqueiamsn !g_liberado
#################################################
##### BLOQUEIO DE DOWNLOAD DAS EXTENSOES ABAIXO##
acl EXTENSOES url_regex -i  \.arj  \.mp3 \.bat \.pif \.scr \.src  \.wma \.avi \.wmv \.pps \.ppt \.rar
http_access deny EXTENSOES
#################################################
#REGRAS GERAIS###################################
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
 
acl SSL_ports port 443 4243 563
acl Safe_ports port 80 21 443 563 70 210 1025-65535
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
 
 
#CACHE FULL
#refresh_pattern (/cgi-bin/|\?) 0 0% 0
#refresh_pattern . 0 20% 4
 
#adicionado para testes
#refresh_pattern ^ftp: 15 20% 2280
#refresh_pattern ^gopher: 15 0% 2280
#refresh_pattern . 15 20% 2280
 
 
#-----------------------------------------------
#OPÃOES DE REDIRECIONAMENTO THUNDERCACHE
url_rewrite_children 10
acl store_rewrite_list dstdomain -i "/etc/squid/thunder.lst"
url_rewrite_access allow store_rewrite_list
url_rewrite_access deny all
url_rewrite_program /etc/squid/loader.php
##nega cache local, para nãoo haver duplicação
acl localcache dstdomain 10.0.1.254
cache deny localcache
#-----------------------------------------------
 
 
#FTP
ftp_passive on
ftp_sanitycheck on
 
 
 
#Estas 'refresh_pattern' fazem com que o squid mantenha o maximo
#possivel um objeto em cache, aumentando o cache HIT e byte HIT
 
refresh_pattern -i \.jpg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.gif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.png$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.jpeg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.bmp$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tiff$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.swf$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.exe$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.php$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.html$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.htm$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.shtml$ 0 20% 1440 reload-into-ims
#ZPH cache FULL
zph_local 0x60
zph_mode tos
zph_option 136
zph_parent 0
zph_sibling 0
 
 
#SITES QUE N�O ENTRAM NO CACHE###################
acl NO_CACHE url_regex -i '/etc/squid/no_cache_url'
no_cache deny NO_CACHE
#################################################
#AUTENTICA��ES POR USUARIO#######################
 
#Amanda
acl u_amandacarlos proxy_auth amandacarlos
etc.....(todos usuarios)
 
 
####################################################################
#LIBERAR AUTENTICACAO################################################
  acl autenticados proxy_auth REQUIRED
  http_access allow autenticados
#####################################################################
miss_access allow all
cache_mgr root
memory_pools on
#####################################################################
#BLOQUEIA TUDO#######################################################
 http_access deny all
####################################################################

e ai o que posso fazer pois por causa dessa latência alta minha telefonia voip não está funcionando e como ver qual máquina da rede está mandando muita requisição para o squid??

OBS.: o servidor é um P4 2.66 + 1GB de memoria dd400 + 160GB sata rodando iptables, squid(thundercache e cache full + proxy autenticado) + qoS htb+tc +sarg + dns

[mktguaruja]

Amigo eu não manjo muito mais o hd é pequeno para squid.. e thundercache e tem pouca memoria, com o squid.conf a galera que tem mais conhecimento vai te da uma ajuda.

[lfernandosg]

amigo mas estou usando 20% do Hd...minha rede não é tão grande assim...tenho 40 máquinas requisitando.memória estou com 60% em uso.

[mktguaruja]

Amigo a unica coisa que acheu estranho, pois eu não tenho experiencia eu vi aqui no meu que você coloco diferente eu sinceramente eu não sei a diferença. Vo postar como o meu tá;

#porta usada
http_port 3128 transparent

Desculpe se falei besteira, pois não manjo muito, se quiser eu posto meu squid.conf para você da uma olhada. t+

[lfernandosg]

alterei como vc pediu mas continua do mesmo jeito...latência alta...vou tirar o DNS dele e deixar só o DNS da embratel no /etc/resolv.conf

posto aqui depois e o transparent é para quem usa squid transparente como o nome já diz o meu é autenticado.

[lfernandosg]

mesmo colocando as configurações de DNS continuo com latência alta...reinicio o squid ele passa um dia bom no outro começa a dar os picos e isso está atrapalhando o voip...desativei o thundercache e continua com os picos.

[osmano807]

Seguinte... HTTP(S) != ICMP
Não há como o squid aumentar o ping. O que pode estar acontecendo, é tua rede ter cache full, e ela estourar a banda, atrasando os pacotes seguintes, ou de menos prioridade.

Vamos lá ao squid.conf:
Cache múltiplo não faz sentido se não for em hd separado, se for no mesmo hd, pode colocar só 1... isso era um mito que funcionava melhor.

pipeline_prefetch não presta, servidor não suporta, cliente não suporta, nunca vi funcionar direito. Mas segundo o RFC, pode ser usado...

request_body_max_size 0 MB: Bem, o padrão já é isso...

Safe Ports: canso de falar que isso não é necessário, mas o povo não ouve

E me faz o favor de usar pelo menos o thunder 3, 2.x não é mais suportado

[lfernandosg]

mas como o cache full está estourando a banda se não tenho nenhum conflito e/ou tráfego estourado na placa de rede???até porque o meu cache full é de 2mb.O thundercache não tem cache full só cache normal pois nunca consegui para colocar somente o cache full do thunder no linux.

estou testando o thundercache 3 mas o 2.1 está funcioando perfeitamente...mas vou migrar quando testar em uma máquina de bancada.

[timidboy]

Já tive problemas parecido e resolvi facilmente com o seguinte pensamento: já cogitou trocar a placa de rede?
Isso desde o começo existiu ou começou depois de um tempo?
acho que pra rodar todos esses serviços ai, você precisa de um servidor muito melhor, e de preferencia com sistema 64bits

[lfernandosg]

esses problemas começou do nada...tenho outros servidores linux na empresa muito mais parrudo mas porque vou trocar o serviço se ele não está sendo usado completamente? HD com 20% de uso, processador dificilmente chega aos 100%, memória com 60%, porque trocar o servidor?

As placas de rede são intel com 2mb de cache.

[timidboy]

troca a eth da rede local, e teste.

[lfernandosg]

para evitar ser outro problema como estou montando outro servidor pdc com:

samba,htb,lusca cache,thundercache,iptables,bind e etc...fiz na seguinte máquina:

dell power edge 840
xeon 2.1 1066mhz 4mb l2
4gb ddr2
2x500gb raid 1 sata 2
2xplaca de rede broadcom 1000mbps pci express

e coloquei para rodar no lugar do atual só como servidor de internet sem usar o samba e a mesma coisa...depois de 2 dias começam a pingar alto nela entao não é a placa de rede.

tem algum comando que eu posso dar na placa para verificar o que está requisitando tanto da placa interna?

quinta coloquei o servidor antigo de volta e agora testando como não praticamente ninguem usando ai pinga 1ms direto...então quando os usuários estão conectados deve ter algo requsitando da placa que pode ser o thundercache, htb ou squid....mas não é para gerar essa latência alta...dessa forma sai melhor usar um dns externo do que o bind(local) pois o ping as vezes sai melhor.

[pitboyrn]

vc deveria ter dado atenção a resposta do osmano, esse garoto foi quem deu o pulo do gato do thandercache, o cara sabe demais e agora já estão aos poucos soltando as configurações do 3.1, valeu garoto.

[izaufernandes]

Se você está usando o thunder e pelo que entendi ele fica bom depois aumenta a latencia. Pode ser problema de memória, o thunder vai consumindo a memória gradativamente, no script do squid vc só controla a memória dele. Lá no fórum do thunder tem um script de limpeza de memória, faz um teste pra ver se resolve.

[lfernandosg]

pitboyrn quem disse que não escutei? na maquina nova estou com thunder 3.1 e na maquina atual com thunder 3...nas duas fiz as configurações que ele falou e o problema continua e deixei meu cache full somente com 512kpbs.

izaufernandes vc fala memória ram? antes de desligar o servidor dell ele estava com 3GB livres então problema de memória não é.

[bjaraujo]

Por acaso você conecta as duas placas num switch ou router; ou tem rede sem fio na eth0 e na eth1?

[lfernandosg]

as duas placas entram em switch intel e 3com todos gigabit gerenciavel.

[bjaraujo]

Em switches diferecentes então? Se você usa rede sem fio, confere se alguém involuntariamente não criou um loop.
Em teste provoque (ou tente já que os switches são gerenciáveis) um loop enquando um PC pinga indefinidamente e observe o comportamento. Tente gerar também na rede sem fio, se houver.
Comfere também no servidor os logs do sistema. E por último use a ferramente bmon para monitorar o tráfego da placa e com o ifconfig seja não ocorrem muito erros ou drops.
Até breve.

[lfernandosg]

loop não tem se não a rede iria parar na hora.Estão em switchs diferentes mas já coloquei em um só e nada.
na verdade quando paro o squid a latência melhora 100%.

[bacas]

o log nao mostra nada?
pacere idiotice mas vc ja deu o comando
squid -k parse
para ver se ele retorna algum erro?
será que as pastas de cache nao estao lotadas?
ja tentou zerar o cahe?
nao conheço esse cache full, vou ate estudar para ver.
nao sei se ajuda mas
Linux: Squid 2.6 + HTB-tools com cache full [Artigo]