Squid - Download interrompido

[euricojunior]

Olá

Estou com um problema sem conseguir resolver. Já pesquisei de tudo na net e não achei a solução para meu caso.

Tenho um firewall rodando com IPTABLES que direciona todo o tráfego da porta 80 para o Squid. O tráfego na internet funciona bem (mesmo apresentando muitas mensagens de TCP_MISS/200, 302 ou 304 no access.log). O problema acontece quando um download de arquivo é iniciado: sempre interrompe antes de terminar de baixar o arquivo. Geralmente fica em 30 ou 40% do tamanho original.

Sem o Squid o download vai até o final (usando apenas o mascaramento de IP).

A distribuição que tenho usado é o Mandriva 2007 com Squid 2.6.

Vou postar aqui a regra do IPTABLES e o arquivo do Squid para verificação.

IPTABLES (mascaramento e redirecionamento da porta 80)
/sbin/iptables -t nat -A POSTROUTING -s 192.168.254.0/24 -o eth3 -j MASQUERADE
/sbin/iptables -t nat -A PREROUTING -i eth2 -p tcp --dport 80 -j DNAT --to 192.168.254.254:3128
/sbin/iptables -t nat -A PREROUTING -i eth2 -p tcp --dport 80 -j REDIRECT --to-port 3128

SQUID.CONF
http_port 192.168.254.254:3128 transparent
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
cache_swap_low 90
cache_swap_high 95
maximum_object_size 4096 KB
ipcache_size 1024
ipcache_low 90
ipcache_high 95
fqdncache_size 1024
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
cache_dir diskd /var/spool/squid 100 64 256 Q1=64 Q2=72
access_log /var/log/squid/access.log squid
dns_nameservers 200.250.77.85 200.250.77.87
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
half_closed_clients off
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl src_livre src 192.168.254.84
acl empresa src 192.168.254.0/24
acl restrito1 url_regex "/etc/squid/restrito1"
acl restrito2 url_regex "/etc/squid/restrito2"
acl dst_livre url_regex "/etc/squid/dst_livre"
acl download urlpath_regex "/etc/squid/download"
acl semcache urlpath_regex "/etc/squid/semcache" \?
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow src_livre !restrito1 !restrito2
http_access allow empresa dst_livre !restrito1 !restrito2 !download
no_cache deny semcache
http_access deny all
http_reply_access allow all
icp_access allow all
delay_pools 0
coredump_dir /var/spool/squid


É isto... Se alguém souber do caminho das pedras, posta aí...

Valeu..

Eurico Junior

[arium]

tenta colocar essa linha mano velho:

quick_abort_min -1 KB

depois posta o resultado que nos vamo vendo!

[andersoneduardo]

amigo!

da uma olhada nos seus logs comigo aqui foi problema de alocação dinamica xmalloc e xcalloc ae o squid reiniciava!


/var/log/messages:

Jul 7 19:32:12 dragonfly (squid): xcalloc: Unable to allocate 1 blocks of 135168 bytes!
Jul 7 20:05:11 dragonfly (squid): xcalloc: Unable to allocate 1 blocks of 135168 bytes!

cache.log:

FATAL: xcalloc: Unable to allocate 1 blocks of 135168 bytes!

Squid Cache (Version 3.0.STABLE1): Terminated abnormally.
CPU Usage: 87.959 seconds = 49.203 user + 38.756 sys
Maximum Resident Size: 519168 KB

ae os downloads que estavam sendo feitos seria cancelados claro né!


[]'s

[euricojunior]

Olá...

Valeu pelos posts.

Anderson: este erro que acontece não trava o Squid. Apenas cancela o download, a navegação continua normalmente e os logs continuam a serem gerados no access.log. Percebi apenas que existe uma grande quantidade de linhas com TCP_MISS/200. Esta linha aparece para o arquivo que está sendo feito download quando inicia e logo após a interrupção aparece novamente.

Arium: vou fazer um teste do 'quick_abort_min' e posto o resultado assim que puder alterar no server.

T+

Eurico Junior

[andersoneduardo]

opa.

como eu disse acima, cancela os downloads!

[euricojunior]

Olá Anderson

Vou dar uma verificada nos logs do message e dou um retorno...


Eurico Junior

[arium]

funcionou o comandinho que passei a vc maninho? abraço!

[euricojunior]

Olá Arium:

acrescentei o valor de quick_abort_min, porém sem resultado. Os downloads continuam a serem interrompidos sem nenhum aviso e em momentos aleatórios (pode ser com 20 ou 30% da transferência ou mais até).

Anderson: nos momentos em que os downloads são interrompidos não é feita a reinicialização do squid, ele fica com o mesmo número de processo antes e depois do download e no log do messages não apresenta nada referente à erro do proxy.

Estou pesquisando mais alguma coisa e se tiverem outra idéia do que pode ser feito, posta aí...


Eurico Junior

[euricojunior]

Mais uma informação...

Fiz alguns testes de tamanhos de arquvos que são baixados e geralmente os erros acontecem com arquivos maiores que 20Mb.

Executei o download de vários arquivos abaixo deste tamanho e passaram. No entanto arquivos maiores geralmente são cancelados. As fontes de download são diversas e descarto a possibilidade de problemas no servidor de origem, até mesmo porque se desligar o squid e deixar apenas no mascaramento do iptables o download é finalizado corretamente.


Eurico Junior

[arium]

1-tenta mudar
half_closed_clients on

depois se nao der

tira o proxy transparente e tenta com ipdireto ve se buffa


depois cola a saida desses três comandos aqui
#uptime
#free -om
#df -h

[Trunks]

amigo verifica suas regras ai o que cv tem e uma regra no squid que cancelas downloas maiores que um determinado valor tipo maior q 20 megas no seu caso pode procurar que eu isso eu tinha uma regra parecida aki mais ja apaguei boa sorte

[euricojunior]

Olá Trunks

As regras estão na primeira página. Não tem nada que faça o download parar em determinado tamanho de arquivo, até mesmo porque o tamanho onde o download é interrompido é aleatório.

Valeu assim esmo...


Eurico Junior

[Trunks]

amigo vc faz cache ai correto estou supondo que seu download seja interronpido pelo tamnaho do arquivo esteja maior do que o cache pode ser isso

[euricojunior]

Olá Trunks

Até cheguei a considerar isto, mas para ter a certeza que não era, fiz uma limpa em toda a pasta do cache e reiniciei o squid para ele criar o cache novamente e, com apenas a minha máquina ligada refiz o teste de download com arquivos de vários tamanhos. Geralmente o erro acontece com arquivos maiores que 20Mb. Mas o cache está praticamente vazio nestes testes...

Pesquisei muito rapidamente mas não me aprofundei nisto, tem como usar o squid 2.6 sem ele ser usado como cache (apenas como proxy)?

Eurico Junior

[Trunks]

http_port 3128
visible_hostname
# Configurao do cache
cache_mem 128 MB
maximum_object_size_in_memory 64 KB
maximum_object_size 512 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid 2048 16 256
# Localizao do log de acessos do Squid
cache_access_log /var/log/squid/access.log
refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl safe_ports port 81 # http
acl SSL_ports port 2096 # http
acl safe_ports port 20 # http
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # SWAT
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
# Libera acessos na hora do almoo
acl ALMOO url_regex "/etc/squid/almoo"
acl LIVRE time MTWHF 12:00-13:30
http_access allow ALMOO LIVRE
# Filtros por palavras e por dominios
# acl proibidos dstdom_regex "/etc/squid/proibidos"
# http_access deny proibidos
# acl bloqueados dstdomain
# http_access deny bloqueados
# Autenticao dos usurios
auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/squid_passwd
acl autenticados proxy_auth REQUIRED
http_access allow autenticados
# Libera para a rede local
acl redelocal src 10.10.10.0/24
http_access allow localhost
http_access allow redelocal
# Bloqueia acessos externos
http_access deny all

minha conf ta ai aki ta funcionando perfeitamente so modifica ela para o seu uso ou compara com a sua e ve o q tem quem sabe ai cv descobre o erro

[euricojunior]

Obrigado...

Vou fazer um teste e comparar com a configuração que tenho aqui. Depois eu posto o resultado.


Eurico Junior

[euricojunior]

Bem, vou deixar a solução deste problema aqui..

Apenas atualizei o Mandriva que usava (era versão 2007) para a 2008 Springs, copiei o squid.conf do servidor anterior para o novo servidor e pronto. Funcionou direitinho.

A atualização arrumou este problema e outro que tinha no fechamento de VPN através do iptables. Dois problema com uma única atualização.

Na realidade não sei de o que acontecia na versão anterior, mas quando tiver um tempo vou fazer uns testes para saber se não era algum bug...

Obrigado pela ajuda...

Eurico Junior

[arium]

é importante esse feedback

obrigado por completar o post.

abraços