Squid - Download interrompido

Olá

Estou com um problema sem conseguir resolver. Já pesquisei de tudo na net e não achei a solução para meu caso.

Tenho um firewall rodando com IPTABLES que direciona todo o tráfego da porta 80 para o Squid. O tráfego na internet funciona bem (mesmo apresentando muitas mensagens de TCP_MISS/200, 302 ou 304 no access.log). O problema acontece quando um download de arquivo é iniciado: sempre interrompe antes de terminar de baixar o arquivo. Geralmente fica em 30 ou 40% do tamanho original.

Sem o Squid o download vai até o final (usando apenas o mascaramento de IP).

A distribuição que tenho usado é o Mandriva 2007 com Squid 2.6.

Vou postar aqui a regra do IPTABLES e o arquivo do Squid para verificação.

IPTABLES (mascaramento e redirecionamento da porta 80)
/sbin/iptables -t nat -A POSTROUTING -s 192.168.254.0/24 -o eth3 -j MASQUERADE
/sbin/iptables -t nat -A PREROUTING -i eth2 -p tcp --dport 80 -j DNAT --to 192.168.254.254:3128
/sbin/iptables -t nat -A PREROUTING -i eth2 -p tcp --dport 80 -j REDIRECT --to-port 3128

SQUID.CONF
http_port 192.168.254.254:3128 transparent
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
cache_swap_low 90
cache_swap_high 95
maximum_object_size 4096 KB
ipcache_size 1024
ipcache_low 90
ipcache_high 95
fqdncache_size 1024
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
cache_dir diskd /var/spool/squid 100 64 256 Q1=64 Q2=72
access_log /var/log/squid/access.log squid
dns_nameservers 200.250.77.85 200.250.77.87
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
half_closed_clients off
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl src_livre src 192.168.254.84
acl empresa src 192.168.254.0/24
acl restrito1 url_regex "/etc/squid/restrito1"
acl restrito2 url_regex "/etc/squid/restrito2"
acl dst_livre url_regex "/etc/squid/dst_livre"
acl download urlpath_regex "/etc/squid/download"
acl semcache urlpath_regex "/etc/squid/semcache" \?
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow src_livre !restrito1 !restrito2
http_access allow empresa dst_livre !restrito1 !restrito2 !download
no_cache deny semcache
http_access deny all
http_reply_access allow all
icp_access allow all
delay_pools 0
coredump_dir /var/spool/squid


É isto... Se alguém souber do caminho das pedras, posta aí...

Valeu..

Eurico Junior

tenta colocar essa linha mano velho:

quick_abort_min -1 KB

depois posta o resultado que nos vamo vendo!

amigo!

da uma olhada nos seus logs comigo aqui foi problema de alocação dinamica xmalloc e xcalloc ae o squid reiniciava!


/var/log/messages:

Jul 7 19:32:12 dragonfly (squid): xcalloc: Unable to allocate 1 blocks of 135168 bytes!
Jul 7 20:05:11 dragonfly (squid): xcalloc: Unable to allocate 1 blocks of 135168 bytes!

cache.log:

FATAL: xcalloc: Unable to allocate 1 blocks of 135168 bytes!

Squid Cache (Version 3.0.STABLE1): Terminated abnormally.
CPU Usage: 87.959 seconds = 49.203 user + 38.756 sys
Maximum Resident Size: 519168 KB

ae os downloads que estavam sendo feitos seria cancelados claro né!


[]'s

Olá...

Valeu pelos posts.

Anderson: este erro que acontece não trava o Squid. Apenas cancela o download, a navegação continua normalmente e os logs continuam a serem gerados no access.log. Percebi apenas que existe uma grande quantidade de linhas com TCP_MISS/200. Esta linha aparece para o arquivo que está sendo feito download quando inicia e logo após a interrupção aparece novamente.

Arium: vou fazer um teste do 'quick_abort_min' e posto o resultado assim que puder alterar no server.

T+

Eurico Junior

opa.

como eu disse acima, cancela os downloads!

Olá Anderson

Vou dar uma verificada nos logs do message e dou um retorno...


Eurico Junior

funcionou o comandinho que passei a vc maninho? abraço!

Olá Arium:

acrescentei o valor de quick_abort_min, porém sem resultado. Os downloads continuam a serem interrompidos sem nenhum aviso e em momentos aleatórios (pode ser com 20 ou 30% da transferência ou mais até).

Anderson: nos momentos em que os downloads são interrompidos não é feita a reinicialização do squid, ele fica com o mesmo número de processo antes e depois do download e no log do messages não apresenta nada referente à erro do proxy.

Estou pesquisando mais alguma coisa e se tiverem outra idéia do que pode ser feito, posta aí...


Eurico Junior

Mais uma informação...

Fiz alguns testes de tamanhos de arquvos que são baixados e geralmente os erros acontecem com arquivos maiores que 20Mb.

Executei o download de vários arquivos abaixo deste tamanho e passaram. No entanto arquivos maiores geralmente são cancelados. As fontes de download são diversas e descarto a possibilidade de problemas no servidor de origem, até mesmo porque se desligar o squid e deixar apenas no mascaramento do iptables o download é finalizado corretamente.


Eurico Junior

1-tenta mudar
half_closed_clients on

depois se nao der

tira o proxy transparente e tenta com ipdireto ve se buffa


depois cola a saida desses três comandos aqui
#uptime
#free -om
#df -h

amigo verifica suas regras ai o que cv tem e uma regra no squid que cancelas downloas maiores que um determinado valor tipo maior q 20 megas no seu caso pode procurar que eu isso eu tinha uma regra parecida aki mais ja apaguei boa sorte

Olá Trunks

As regras estão na primeira página. Não tem nada que faça o download parar em determinado tamanho de arquivo, até mesmo porque o tamanho onde o download é interrompido é aleatório.

Valeu assim esmo...


Eurico Junior

amigo vc faz cache ai correto estou supondo que seu download seja interronpido pelo tamnaho do arquivo esteja maior do que o cache pode ser isso

Olá Trunks

Até cheguei a considerar isto, mas para ter a certeza que não era, fiz uma limpa em toda a pasta do cache e reiniciei o squid para ele criar o cache novamente e, com apenas a minha máquina ligada refiz o teste de download com arquivos de vários tamanhos. Geralmente o erro acontece com arquivos maiores que 20Mb. Mas o cache está praticamente vazio nestes testes...

Pesquisei muito rapidamente mas não me aprofundei nisto, tem como usar o squid 2.6 sem ele ser usado como cache (apenas como proxy)?

Eurico Junior

http_port 3128
visible_hostname
# Configurao do cache
cache_mem 128 MB
maximum_object_size_in_memory 64 KB
maximum_object_size 512 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid 2048 16 256
# Localizao do log de acessos do Squid
cache_access_log /var/log/squid/access.log
refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl safe_ports port 81 # http
acl SSL_ports port 2096 # http
acl safe_ports port 20 # http
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
# Libera acessos na hora do almoo
acl ALMOO url_regex "/etc/squid/almoo"
acl LIVRE time MTWHF 12:00-13:30
http_access allow ALMOO LIVRE
# Filtros por palavras e por dominios
# acl proibidos dstdom_regex "/etc/squid/proibidos"
# http_access deny proibidos
# acl bloqueados dstdomain
# http_access deny bloqueados
# Autenticao dos usurios
auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/squid_passwd
acl autenticados proxy_auth REQUIRED
http_access allow autenticados
# Libera para a rede local
acl redelocal src 10.10.10.0/24
http_access allow localhost
http_access allow redelocal
# Bloqueia acessos externos
http_access deny all

minha conf ta ai aki ta funcionando perfeitamente so modifica ela para o seu uso ou compara com a sua e ve o q tem quem sabe ai cv descobre o erro

Obrigado...

Vou fazer um teste e comparar com a configuração que tenho aqui. Depois eu posto o resultado.


Eurico Junior

Bem, vou deixar a solução deste problema aqui..

Apenas atualizei o Mandriva que usava (era versão 2007) para a 2008 Springs, copiei o squid.conf do servidor anterior para o novo servidor e pronto. Funcionou direitinho.

A atualização arrumou este problema e outro que tinha no fechamento de VPN através do iptables. Dois problema com uma única atualização.

Na realidade não sei de o que acontecia na versão anterior, mas quando tiver um tempo vou fazer uns testes para saber se não era algum bug...

Obrigado pela ajuda...

Eurico Junior

é importante esse feedback

obrigado por completar o post.

abraços