squid - configurações de url_rewrite

**arium** · 15-07-2008, 09:28

achei a lógica da coisa...

downloadfree.avg.com pode as vezes ser redirecionado para akamai.avg.com

e guru.avg.com para update.avg.com

entao fica assim acoisa:

Código :

        if ($url =~ /^http:\/\/akamai.avg.com/) {
                $url =~ s/akamai/downloadfree/;
                print $fh "saida: $url\n";
                print "$url\n";
        }
        if ($url =~ /^http:\/\/update.avg.com/) {
                $url =~ s/update/guru/;
                print $fh "saida: $url\n";
                print "$url\n";
}

só o seguinte:

1216124488.249 9960 127.0.0.1 TCP_MISS/200 7393 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DIRECT/193.86.3.38 text/plain
1216124488.251 9986 189.10.203.25 TCP_MISS/200 7487 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DEFAULT_PARENT/127.0.0.1 text/plain
1216124512.361 23924 127.0.0.1 TCP_MISS/200 2734 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DIRECT/193.86.3.38 application/octet-stream
1216124512.363 23927 189.10.203.25 TCP_MISS/200 2828 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216124514.484 725 127.0.0.1 TCP_MISS/302 638 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DIRECT/193.86.3.38 text/html
1216124514.485 728 189.10.203.25 TCP_MISS/302 732 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124515.432 409 189.10.203.25 TCP_OFFLINE_HIT/200 116777 GET http://downloadfree.avg.com/update/u7avi1338u13271q.bin - NONE/- application/octet-stream
1216124519.332 3729 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DIRECT/193.86.3.38 text/html
1216124519.333 3733 189.10.203.25 TCP_MISS/302 734 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124520.682 1329 189.10.203.25 TCP_OFFLINE_HIT/200 309102 GET http://downloadfree.avg.com/update/u...553u15321v.bin - NONE/- application/octet-stream
216124642.836 121718 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sb_25d249c.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124642.938 35 189.10.203.25 TCP_OFFLINE_HIT/200 9461 GET http://downloadfree.avg.com/update/x8xplsb_25d249c.bin - NONE/- application/octet-stream

1216124643.725 737 127.0.0.1 TCP_MISS/302 636 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DIRECT/193.86.3.38 text/html
1216124643.726 740 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124643.770 10 189.10.203.25 TCP_OFFLINE_HIT/200 1060 GET http://downloadfree.avg.com/update/x8xplsc_33d329c.bin - NONE/- application/octet-stream

to achando o nivel de miss muito alto tento em vista que é exatamente o mesmo arquivo que já baxei e em alguns momentos ele inclusive dah hit...

outra pergunta quando da TCP MISS / 302 (Redirecionamento) ele não consome banda né? só manda pra outro host!?

optei por fazer isso

retirar estas linhas:

refresh_pattern avast.com/.*\.(def|vpu|vpaa|stamp|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-privete
refresh_pattern avg.com/.*\.(bin|ctf|exe|dll|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-private

e adicionar essas(vou fazer controle por tipo de arquivo não por tipo + dominio):

#Antivirus
#AVG
refresh_pattern -i \.bin$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.ctf$ 0 20% 4320 override-lastmod reload-into-ims override-expire
#AVAST
refresh_pattern -i \.def$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.vpu$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.vpaa$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.stamp$ 0 20% 4320 override-lastmod reload-into-ims override-expire

retirei a cache deny padrao do squid (QUERY) agora não tenho mais cache deny
ae não preciso tbm coloca cache allow facilita a vida os controles irei fazer por arquivo

aconselho a usarem:
balance_on_multiple_ip off

isso retira o loadbalance de um unico fqdn-dns
se por exemplo existe mamilo.Teta.com onde tem os ips que responde por ele:
1.2.3.4
1.2.3.5
1.2.3.6

ele vai pega sempre o primeiro e só em caso de falha vai para o segundo

facilitando o cache!

**arium** · 15-07-2008, 09:30

será que tenho como controlar o ip em vermelho? hehe

1216125128.653 722 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15431u.bin - DIRECT/193.86.3.38 text/html

**arium** · 15-07-2008, 09:40

para o avira -> antivir

Código :

        #AVIRA
        if ($url =~ /^http:\/\/dl[1-9]\.avgate\.net.*/) {
               $url =~ s/dl[0-9]/dl7/;
               print $fh "saida: $url\n";
               print "$url\n";
         }

1216126411.659 40 189.10.203.13 TCP_OFFLINE_HIT/200 498 GET http://dl7.avgate.net/upd/idx/master.idx - NONE/- text/plain
1216126412.358 126 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain
1216126427.242 21 189.10.203.13 TCP_OFFLINE_HIT/200 838 GET http://dl7.avgate.net/upd/idx/classic-nt-en.idx - NONE/- text/plain
1216126428.184 2 189.10.203.13 TCP_OFFLINE_HIT/200 1203 GET http://dl7.avgate.net/upd/idx/vdf.info.gz - NONE/- application/x-gzip
1216126428.361 21 189.10.203.13 TCP_OFFLINE_HIT/200 901 GET http://dl7.avgate.net/upd/idx/specvir-nt.info.gz - NONE/- application/x-gzip
1216126430.683 8 189.10.203.13 TCP_OFFLINE_HIT/200 1971 GET http://dl7.avgate.net/upd/idx/ave2.info.gz - NONE/- application/x-gzip
1216126430.906 7 189.10.203.13 TCP_OFFLINE_HIT/200 880 GET http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz - NONE/- application/x-gzip
1216126432.581 1206 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain

entrada: http://dl2.avgate.net/upd/idx/vdf.info.gz
saida: http://dl7.avgate.net/upd/idx/vdf.info.gz
entrada: http://dl2.avgate.net/upd/idx/specvir-nt.info.gz
saida: http://dl7.avgate.net/upd/idx/specvir-nt.info.gz
entrada: http://dl2.avgate.net/upd/idx/ave2.info.gz
saida: http://dl7.avgate.net/upd/idx/ave2.info.gz
entrada: http://dl2.avgate.net/upd/idx/info-w...-nt-en.info.gz
saida: http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz
entrada: http://dl2.avgate.net/idx/message.idx
saida: http://dl7.avgate.net/idx/message.idx

**galahad** · 15-07-2008, 11:10

Muito boa as informações sobre o refresh_pattern e o load balance. Mas já comprovou quanto ao balanceamento dos ips de destino? Segundo o protocolo do DNS, quando você especifica mais de um IP para o mesmo host ele faz round robin, ou seja, cada vez que você consulta o servidor responsável por aquele domínio te passa um IP diferente e, até onde eu sei, isso não tem como ser controlado no cliente a não ser que ele faça cache da consulta de DNS o que pode acabar sendo muito ruim.

Quanto ao controle do IP em vermelho, acho que não tem como controlar... aquilo é só o Squid te informando qual foi o endereço que ele acessou para pegar o arquivo.

**lucianogf** · 15-07-2008, 11:20

pessoal,

quando forem postar códigos usem [ code] [ /code] (sem espaços)

assim fica melhor a formatação e leitura.

aliás, tanto para os códigos, como já está sendo usado, quanto para as saídas do squid.

**arium** · 15-07-2008, 11:58

Postado originalmente por galahad

Muito boa as informações sobre o refresh_pattern e o load balance. Mas já comprovou quanto ao balanceamento dos ips de destino? Segundo o protocolo do DNS, quando você especifica mais de um IP para o mesmo host ele faz round robin, ou seja, cada vez que você consulta o servidor responsável por aquele domínio te passa um IP diferente e, até onde eu sei, isso não tem como ser controlado no cliente a não ser que ele faça cache da consulta de DNS o que pode acabar sendo muito ruim.

Quanto ao controle do IP em vermelho, acho que não tem como controlar... aquilo é só o Squid te informando qual foi o endereço que ele acessou para pegar o arquivo.

ele pega o primeiro ip que responder...
dai entao trata aquele como o "pai das criança" caso ele falhar busca outro.
melhora bastante para o cache uma vez que vc vai ter um padrão.
pelomenos é o que eu acho! posso estar enganado.
mais estou usando até agora com sucesso.

**arium** · 15-07-2008, 18:25

quanto ao windows update oque está na memoria ele cacheia mais só não guarda no hd...
antes ele usava tcp_miss /206 que é comum em arquivos fracionados...
podem me passar mais informaçoes sobre o parametro method HEAD?

nos temos que saber como gravar a Meta-informação desse comando também!

Código :

16157219.274    258 189.10.203.32 TCP_MISS/200 472 HEAD http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157221.798    246 127.0.0.1 TCP_MISS/200 378 HEAD http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
1216157221.799    251 189.10.203.32 TCP_MISS/200 472 HEAD http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157226.209    763 127.0.0.1 TCP_MISS/200 18214 GET http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
1216157226.210    766 189.10.203.32 TCP_MISS/200 18308 GET http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157235.146    252 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
1216157235.147    257 189.10.203.32 TCP_MISS/200 473 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157259.749     10 189.10.203.32 TCP_MEM_HIT/200 480 HEAD http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0807152119 - NONE/- application/octet-stream
1216157289.772      2 189.10.203.20 TCP_MEM_HIT/200 486 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - NONE/- application/octet-stream
1216157290.041    178 127.0.0.1 TCP_MISS/200 379 HEAD http://www.update.microsoft.com/v7/windowsupdate/selfupdate/wuident.cab?0807152120 - DIRECT/65.55.192.61 application/octet-stream
1216157290.042    182 189.10.203.20 TCP_MISS/200 478 HEAD http://www.update.microsoft.com/v7/windowsupdate/selfupdate/wuident.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157290.391    245 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Vista/wsus3setup.cab?0807152120 - DIRECT/64.86.107.32 application/octet-stream
1216157290.392    252 189.10.203.20 TCP_MISS/200 478 HEAD http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Vista/wsus3setup.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157295.688    245 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - DIRECT/64.86.107.32 application/octet-stream
1216157295.688    252 189.10.203.20 TCP_MISS/200 478 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216157309.822      2 189.10.203.20 TCP_MEM_HIT/200 486 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - NONE/- application/octet-stream

**arium** · 15-07-2008, 19:22

acho que com o windows update vamos ter de fazer o seguinte

mete o apache.... fazer o download e manda redirecionar pro nosso apache!

pq a jaba do squid nao tah fazendo cache de todos os metadata!

ae roda um

if widowsupdate.com

laço
compara cab remoto com cab local
se ok! redireciona e faz download local
senao faz remoto.

é possivel ?

**lucianogf** · 15-07-2008, 20:08

o negócio seria ver como funciona o "windows update service server", ver como é o funcionamento dele e quem sabe fazer um parecido no linux, e que seja transparente ao usuário.

**arium** · 15-07-2008, 22:32

da forma a qual coloquei seria transparente.... só que como nao manjo perl se nosso amigo frederico puder colaborar está feito

**tianguapontocom** · 15-07-2008, 22:34

Cabras esse trem e pra queimar com 2.6 ou so com 2.7 ou 3.0, pq se n me engano no 2.6 nao tem essa função.
Aki to implementando o cache full no squid 3.0 porem n migrei por conta das grandes mudanças q teria q fazer e pra fazer terei que parar e pra não parar terei q montar outro servidor e pra montar outro servidor falta akela velha e sempre QI.
Quem Indique onde ta a grana hehehehehe
Que tar nois se amazelar e montar um Wi-Ki com url_rewrite + Cache full com Squid 3.0 + HTB Tools + Um monte de gente pertubando no MSN e nois ficando tudo careca com esse povo?
Seria de bom tamanho pro forum
Tudo isso amazelado da pra fazer trankilo trankilo o cache do your tube com o perl falado logo mais arriba. Imagina ai, os AP tudo se ferrando hehehehe to dentro, se alguem tiver a favor e quiser dar continuidade vamos la to dentro

**arium** · 15-07-2008, 22:37

é pra 2.7 .... 2.6 tá fora

nem precisa falar em continuidade...
não vo desistir disso! :P

**arium** · 15-07-2008, 22:47

Em uma entrada como esta:

Código :

 [URL]http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141[/URL]

Ele verificariq se o arquivo: vistawuredir.cab?0807160141

se encontra dentro de:

Código :

 [URL]http://localhost/WUP[/URL]

se se encontrar transforma:

Código :

    [URL]http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141[/URL]

em:

Código :

  [URL]http://localhost/WUP/vistawuredir.cab?0807160141[/URL]

senão

Código :

wget [URL="http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141"]http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141 [/URL]
na pasta do apache... depois
saida igual a entrada(não redireciona);

sacaram a jogada?

Frederico consegue?

nessa modalidade eu tenho até um padrao para youtube

dpz falo se tiver condiçoes

Abraços!

**lucianogf** · 16-07-2008, 00:04

o youtube já não tem um url_rewrite?

o do wiki do squid não funciona?

**arium** · 16-07-2008, 08:51

não tive sucesso com ele... e depende de ip.. e vc sabe que depender de um range de ip é tiro no pé inda mais se tratando do google

mais eu tenho uma ideia legal.. vamos ver se o nosso amigo resolve o WUP ants daquela maneira...

o lance do youtube vai ser parecido .... não igual.. parecido hehe

**lucianogf** · 17-07-2008, 00:01

você chegou a testar o url_rewrite para o google earth (maps)??
isso seria interessante também, ainda mais que o negócio não atualiza nunca.. hehehehe
daria pra colocar o refresh_pattern dele pra eternidade e não iria atualizar ainda..

**arium** · 17-07-2008, 09:31

é jpg?

**arium** · 17-07-2008, 09:33

galahad evaporo :/

**lucianogf** · 17-07-2008, 12:37

Postado originalmente por arium

é jpg?

não sei que tipo de arquivo é

Código :

1216308997.738    390 10.0.110.1 TCP_MISS/200 19217 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
1216308997.941    447 10.0.110.1 TCP_MISS/200 27200 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
1216308998.343    584 10.0.110.1 TCP_MISS/200 21326 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
1216308998.559    844 10.0.110.1 TCP_MISS/200 18838 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
1216308998.753    381 10.0.110.1 TCP_MISS/200 17301 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream

vi em algum lugar, não lembro onde, acho que foi no wiki do squid o url_rewrite pro google earth.

**arium** · 17-07-2008, 14:32

já vi gente usando assim:

refresh_pattern -i kh.google 1440 20% 10080 override-expire override-lastmod

mais sei lah..........

fazer o redirecionamento disso eh barbada mesma coisa que do orkut
kh01.google.com bla bla bla
dpz damu um look

bem vamo ve se nosso progamador perl da sinal de vida =p temos que resolver o wup primeiro ehhee

squid - configurações de url_rewrite

Ferramentas de Tópicos

cabras