squid - configurações de url_rewrite

[arium]

achei a lógica da coisa...

downloadfree.avg.com pode as vezes ser redirecionado para akamai.avg.com

e guru.avg.com para update.avg.com

entao fica assim acoisa:

        if ($url =~ /^http:\/\/akamai.avg.com/) {
                $url =~ s/akamai/downloadfree/;
                print $fh "saida: $url\n";
                print "$url\n";
        }
        if ($url =~ /^http:\/\/update.avg.com/) {
                $url =~ s/update/guru/;
                print $fh "saida: $url\n";
                print "$url\n";
}

só o seguinte:

1216124488.249 9960 127.0.0.1 TCP_MISS/200 7393 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DIRECT/193.86.3.38 text/plain
1216124488.251 9986 189.10.203.25 TCP_MISS/200 7487 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DEFAULT_PARENT/127.0.0.1 text/plain
1216124512.361 23924 127.0.0.1 TCP_MISS/200 2734 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DIRECT/193.86.3.38 application/octet-stream
1216124512.363 23927 189.10.203.25 TCP_MISS/200 2828 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216124514.484 725 127.0.0.1 TCP_MISS/302 638 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DIRECT/193.86.3.38 text/html
1216124514.485 728 189.10.203.25 TCP_MISS/302 732 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124515.432 409 189.10.203.25 TCP_OFFLINE_HIT/200 116777 GET http://downloadfree.avg.com/update/u7avi1338u13271q.bin - NONE/- application/octet-stream
1216124519.332 3729 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DIRECT/193.86.3.38 text/html
1216124519.333 3733 189.10.203.25 TCP_MISS/302 734 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124520.682 1329 189.10.203.25 TCP_OFFLINE_HIT/200 309102 GET http://downloadfree.avg.com/update/u...553u15321v.bin - NONE/- application/octet-stream
216124642.836 121718 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sb_25d249c.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124642.938 35 189.10.203.25 TCP_OFFLINE_HIT/200 9461 GET http://downloadfree.avg.com/update/x8xplsb_25d249c.bin - NONE/- application/octet-stream

1216124643.725 737 127.0.0.1 TCP_MISS/302 636 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DIRECT/193.86.3.38 text/html
1216124643.726 740 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124643.770 10 189.10.203.25 TCP_OFFLINE_HIT/200 1060 GET http://downloadfree.avg.com/update/x8xplsc_33d329c.bin - NONE/- application/octet-stream

to achando o nivel de miss muito alto tento em vista que é exatamente o mesmo arquivo que já baxei e em alguns momentos ele inclusive dah hit...

outra pergunta quando da TCP MISS / 302 (Redirecionamento) ele não consome banda né? só manda pra outro host!?

optei por fazer isso

retirar estas linhas:

refresh_pattern avast.com/.*\.(def|vpu|vpaa|stamp|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-privete
refresh_pattern avg.com/.*\.(bin|ctf|exe|dll|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-private


e adicionar essas(vou fazer controle por tipo de arquivo não por tipo + dominio):

#Antivirus
#AVG
refresh_pattern -i \.bin$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.ctf$ 0 20% 4320 override-lastmod reload-into-ims override-expire
#AVAST
refresh_pattern -i \.def$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.vpu$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.vpaa$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.stamp$ 0 20% 4320 override-lastmod reload-into-ims override-expire


retirei a cache deny padrao do squid (QUERY) agora não tenho mais cache deny
ae não preciso tbm coloca cache allow facilita a vida os controles irei fazer por arquivo

aconselho a usarem:
balance_on_multiple_ip off

isso retira o loadbalance de um unico fqdn-dns
se por exemplo existe mamilo.Teta.com onde tem os ips que responde por ele:
1.2.3.4
1.2.3.5
1.2.3.6

ele vai pega sempre o primeiro e só em caso de falha vai para o segundo

facilitando o cache!

[arium]

será que tenho como controlar o ip em vermelho? hehe

1216125128.653 722 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15431u.bin - DIRECT/193.86.3.38 text/html

[arium]

para o avira -> antivir

        #AVIRA
        if ($url =~ /^http:\/\/dl[1-9]\.avgate\.net.*/) {
               $url =~ s/dl[0-9]/dl7/;
               print $fh "saida: $url\n";
               print "$url\n";
         }

1216126411.659 40 189.10.203.13 TCP_OFFLINE_HIT/200 498 GET http://dl7.avgate.net/upd/idx/master.idx - NONE/- text/plain
1216126412.358 126 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain
1216126427.242 21 189.10.203.13 TCP_OFFLINE_HIT/200 838 GET http://dl7.avgate.net/upd/idx/classic-nt-en.idx - NONE/- text/plain
1216126428.184 2 189.10.203.13 TCP_OFFLINE_HIT/200 1203 GET http://dl7.avgate.net/upd/idx/vdf.info.gz - NONE/- application/x-gzip
1216126428.361 21 189.10.203.13 TCP_OFFLINE_HIT/200 901 GET http://dl7.avgate.net/upd/idx/specvir-nt.info.gz - NONE/- application/x-gzip
1216126430.683 8 189.10.203.13 TCP_OFFLINE_HIT/200 1971 GET http://dl7.avgate.net/upd/idx/ave2.info.gz - NONE/- application/x-gzip
1216126430.906 7 189.10.203.13 TCP_OFFLINE_HIT/200 880 GET http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz - NONE/- application/x-gzip
1216126432.581 1206 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain


entrada: http://dl2.avgate.net/upd/idx/vdf.info.gz
saida: http://dl7.avgate.net/upd/idx/vdf.info.gz
entrada: http://dl2.avgate.net/upd/idx/specvir-nt.info.gz
saida: http://dl7.avgate.net/upd/idx/specvir-nt.info.gz
entrada: http://dl2.avgate.net/upd/idx/ave2.info.gz
saida: http://dl7.avgate.net/upd/idx/ave2.info.gz
entrada: http://dl2.avgate.net/upd/idx/info-w...-nt-en.info.gz
saida: http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz
entrada: http://dl2.avgate.net/idx/message.idx
saida: http://dl7.avgate.net/idx/message.idx

[galahad]

Muito boa as informações sobre o refresh_pattern e o load balance. Mas já comprovou quanto ao balanceamento dos ips de destino? Segundo o protocolo do DNS, quando você especifica mais de um IP para o mesmo host ele faz round robin, ou seja, cada vez que você consulta o servidor responsável por aquele domínio te passa um IP diferente e, até onde eu sei, isso não tem como ser controlado no cliente a não ser que ele faça cache da consulta de DNS o que pode acabar sendo muito ruim.

Quanto ao controle do IP em vermelho, acho que não tem como controlar... aquilo é só o Squid te informando qual foi o endereço que ele acessou para pegar o arquivo.

[lucianogf]

pessoal,

quando forem postar códigos usem [ code] [ /code] (sem espaços)

assim fica melhor a formatação e leitura.

aliás, tanto para os códigos, como já está sendo usado, quanto para as saídas do squid.

[arium]

Postado Originalmente por galahad

Muito boa as informações sobre o refresh_pattern e o load balance. Mas já comprovou quanto ao balanceamento dos ips de destino? Segundo o protocolo do DNS, quando você especifica mais de um IP para o mesmo host ele faz round robin, ou seja, cada vez que você consulta o servidor responsável por aquele domínio te passa um IP diferente e, até onde eu sei, isso não tem como ser controlado no cliente a não ser que ele faça cache da consulta de DNS o que pode acabar sendo muito ruim.

Quanto ao controle do IP em vermelho, acho que não tem como controlar... aquilo é só o Squid te informando qual foi o endereço que ele acessou para pegar o arquivo.

ele pega o primeiro ip que responder...
dai entao trata aquele como o "pai das criança" caso ele falhar busca outro.
melhora bastante para o cache uma vez que vc vai ter um padrão.
pelomenos é o que eu acho! posso estar enganado.
mais estou usando até agora com sucesso.

[arium]

quanto ao windows update oque está na memoria ele cacheia mais só não guarda no hd...
antes ele usava tcp_miss /206 que é comum em arquivos fracionados...
podem me passar mais informaçoes sobre o parametro method HEAD?

nos temos que saber como gravar a Meta-informação desse comando também!

16157219.274    258 189.10.203.32 TCP_MISS/200 472 HEAD http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157221.798    246 127.0.0.1 TCP_MISS/200 378 HEAD http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
1216157221.799    251 189.10.203.32 TCP_MISS/200 472 HEAD http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157226.209    763 127.0.0.1 TCP_MISS/200 18214 GET http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
1216157226.210    766 189.10.203.32 TCP_MISS/200 18308 GET http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157235.146    252 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
1216157235.147    257 189.10.203.32 TCP_MISS/200 473 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157259.749     10 189.10.203.32 TCP_MEM_HIT/200 480 HEAD http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0807152119 - NONE/- application/octet-stream
1216157289.772      2 189.10.203.20 TCP_MEM_HIT/200 486 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - NONE/- application/octet-stream
1216157290.041    178 127.0.0.1 TCP_MISS/200 379 HEAD http://www.update.microsoft.com/v7/windowsupdate/selfupdate/wuident.cab?0807152120 - DIRECT/65.55.192.61 application/octet-stream
1216157290.042    182 189.10.203.20 TCP_MISS/200 478 HEAD http://www.update.microsoft.com/v7/windowsupdate/selfupdate/wuident.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157290.391    245 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Vista/wsus3setup.cab?0807152120 - DIRECT/64.86.107.32 application/octet-stream
1216157290.392    252 189.10.203.20 TCP_MISS/200 478 HEAD http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Vista/wsus3setup.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157295.688    245 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - DIRECT/64.86.107.32 application/octet-stream
1216157295.688    252 189.10.203.20 TCP_MISS/200 478 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157309.822      2 189.10.203.20 TCP_MEM_HIT/200 486 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - NONE/- application/octet-stream

[arium]

acho que com o windows update vamos ter de fazer o seguinte


mete o apache.... fazer o download e manda redirecionar pro nosso apache!

pq a jaba do squid nao tah fazendo cache de todos os metadata!


ae roda um

if widowsupdate.com

laço
compara cab remoto com cab local
se ok! redireciona e faz download local
senao faz remoto.


é possivel ?

[lucianogf]

o negócio seria ver como funciona o "windows update service server", ver como é o funcionamento dele e quem sabe fazer um parecido no linux, e que seja transparente ao usuário.

[arium]

da forma a qual coloquei seria transparente.... só que como nao manjo perl se nosso amigo frederico puder colaborar está feito