Página 4 de 13 PrimeiroPrimeiro 123456789 ... ÚltimoÚltimo
+ Responder ao Tópico



  1. #61

    Padrão

    achei a lógica da coisa...

    downloadfree.avg.com pode as vezes ser redirecionado para akamai.avg.com

    e guru.avg.com para update.avg.com

    entao fica assim acoisa:
    Código :
            if ($url =~ /^http:\/\/akamai.avg.com/) {
                    $url =~ s/akamai/downloadfree/;
                    print $fh "saida: $url\n";
                    print "$url\n";
            }
            if ($url =~ /^http:\/\/update.avg.com/) {
                    $url =~ s/update/guru/;
                    print $fh "saida: $url\n";
                    print "$url\n";
    }
    só o seguinte:

    1216124488.249 9960 127.0.0.1 TCP_MISS/200 7393 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DIRECT/193.86.3.38 text/plain
    1216124488.251 9986 189.10.203.25 TCP_MISS/200 7487 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DEFAULT_PARENT/127.0.0.1 text/plain
    1216124512.361 23924 127.0.0.1 TCP_MISS/200 2734 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DIRECT/193.86.3.38 application/octet-stream
    1216124512.363 23927 189.10.203.25 TCP_MISS/200 2828 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216124514.484 725 127.0.0.1 TCP_MISS/302 638 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DIRECT/193.86.3.38 text/html
    1216124514.485 728 189.10.203.25 TCP_MISS/302 732 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DEFAULT_PARENT/127.0.0.1 text/html
    1216124515.432 409 189.10.203.25 TCP_OFFLINE_HIT/200 116777 GET http://downloadfree.avg.com/update/u7avi1338u13271q.bin - NONE/- application/octet-stream
    1216124519.332 3729 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DIRECT/193.86.3.38 text/html
    1216124519.333 3733 189.10.203.25 TCP_MISS/302 734 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DEFAULT_PARENT/127.0.0.1 text/html
    1216124520.682 1329 189.10.203.25 TCP_OFFLINE_HIT/200 309102 GET http://downloadfree.avg.com/update/u...553u15321v.bin - NONE/- application/octet-stream
    216124642.836 121718 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sb_25d249c.bin - DEFAULT_PARENT/127.0.0.1 text/html
    1216124642.938 35 189.10.203.25 TCP_OFFLINE_HIT/200 9461 GET http://downloadfree.avg.com/update/x8xplsb_25d249c.bin - NONE/- application/octet-stream

    1216124643.725 737 127.0.0.1 TCP_MISS/302 636 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DIRECT/193.86.3.38 text/html
    1216124643.726 740 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DEFAULT_PARENT/127.0.0.1 text/html
    1216124643.770 10 189.10.203.25 TCP_OFFLINE_HIT/200 1060 GET http://downloadfree.avg.com/update/x8xplsc_33d329c.bin - NONE/- application/octet-stream

    to achando o nivel de miss muito alto tento em vista que é exatamente o mesmo arquivo que já baxei e em alguns momentos ele inclusive dah hit...

    outra pergunta quando da TCP MISS / 302 (Redirecionamento) ele não consome banda né? só manda pra outro host!?

    optei por fazer isso

    retirar estas linhas:

    refresh_pattern avast.com/.*\.(def|vpu|vpaa|stamp|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-privete
    refresh_pattern avg.com/.*\.(bin|ctf|exe|dll|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-private


    e adicionar essas(vou fazer controle por tipo de arquivo não por tipo + dominio):

    #Antivirus
    #AVG
    refresh_pattern -i \.bin$ 0 20% 4320 override-lastmod reload-into-ims override-expire
    refresh_pattern -i \.ctf$ 0 20% 4320 override-lastmod reload-into-ims override-expire
    #AVAST
    refresh_pattern -i \.def$ 0 20% 4320 override-lastmod reload-into-ims override-expire
    refresh_pattern -i \.vpu$ 0 20% 4320 override-lastmod reload-into-ims override-expire
    refresh_pattern -i \.vpaa$ 0 20% 4320 override-lastmod reload-into-ims override-expire
    refresh_pattern -i \.stamp$ 0 20% 4320 override-lastmod reload-into-ims override-expire


    retirei a cache deny padrao do squid (QUERY) agora não tenho mais cache deny
    ae não preciso tbm coloca cache allow facilita a vida os controles irei fazer por arquivo

    aconselho a usarem:
    balance_on_multiple_ip off

    isso retira o loadbalance de um unico fqdn-dns
    se por exemplo existe mamilo.Teta.com onde tem os ips que responde por ele:
    1.2.3.4
    1.2.3.5
    1.2.3.6

    ele vai pega sempre o primeiro e só em caso de falha vai para o segundo

    facilitando o cache!
    Última edição por arium; 15-07-2008 às 09:33.

  2. #62

    Padrão

    será que tenho como controlar o ip em vermelho? hehe

    1216125128.653 722 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15431u.bin - DIRECT/193.86.3.38 text/html

  3. #63

    Padrão

    para o avira -> antivir


    Código :
            #AVIRA
            if ($url =~ /^http:\/\/dl[1-9]\.avgate\.net.*/) {
                   $url =~ s/dl[0-9]/dl7/;
                   print $fh "saida: $url\n";
                   print "$url\n";
             }

    1216126411.659 40 189.10.203.13 TCP_OFFLINE_HIT/200 498 GET http://dl7.avgate.net/upd/idx/master.idx - NONE/- text/plain
    1216126412.358 126 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain
    1216126427.242 21 189.10.203.13 TCP_OFFLINE_HIT/200 838 GET http://dl7.avgate.net/upd/idx/classic-nt-en.idx - NONE/- text/plain
    1216126428.184 2 189.10.203.13 TCP_OFFLINE_HIT/200 1203 GET http://dl7.avgate.net/upd/idx/vdf.info.gz - NONE/- application/x-gzip
    1216126428.361 21 189.10.203.13 TCP_OFFLINE_HIT/200 901 GET http://dl7.avgate.net/upd/idx/specvir-nt.info.gz - NONE/- application/x-gzip
    1216126430.683 8 189.10.203.13 TCP_OFFLINE_HIT/200 1971 GET http://dl7.avgate.net/upd/idx/ave2.info.gz - NONE/- application/x-gzip
    1216126430.906 7 189.10.203.13 TCP_OFFLINE_HIT/200 880 GET http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz - NONE/- application/x-gzip
    1216126432.581 1206 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain


    entrada: http://dl2.avgate.net/upd/idx/vdf.info.gz
    saida: http://dl7.avgate.net/upd/idx/vdf.info.gz
    entrada: http://dl2.avgate.net/upd/idx/specvir-nt.info.gz
    saida: http://dl7.avgate.net/upd/idx/specvir-nt.info.gz
    entrada: http://dl2.avgate.net/upd/idx/ave2.info.gz
    saida: http://dl7.avgate.net/upd/idx/ave2.info.gz
    entrada: http://dl2.avgate.net/upd/idx/info-w...-nt-en.info.gz
    saida: http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz
    entrada: http://dl2.avgate.net/idx/message.idx
    saida: http://dl7.avgate.net/idx/message.idx
    Última edição por arium; 15-07-2008 às 09:49.

  4. #64

    Padrão

    Muito boa as informações sobre o refresh_pattern e o load balance. Mas já comprovou quanto ao balanceamento dos ips de destino? Segundo o protocolo do DNS, quando você especifica mais de um IP para o mesmo host ele faz round robin, ou seja, cada vez que você consulta o servidor responsável por aquele domínio te passa um IP diferente e, até onde eu sei, isso não tem como ser controlado no cliente a não ser que ele faça cache da consulta de DNS o que pode acabar sendo muito ruim.

    Quanto ao controle do IP em vermelho, acho que não tem como controlar... aquilo é só o Squid te informando qual foi o endereço que ele acessou para pegar o arquivo.

  5. #65

    Padrão

    pessoal,

    quando forem postar códigos usem [ code] [ /code] (sem espaços)

    assim fica melhor a formatação e leitura.

    aliás, tanto para os códigos, como já está sendo usado, quanto para as saídas do squid.

  6. #66

    Padrão

    Citação Postado originalmente por galahad Ver Post
    Muito boa as informações sobre o refresh_pattern e o load balance. Mas já comprovou quanto ao balanceamento dos ips de destino? Segundo o protocolo do DNS, quando você especifica mais de um IP para o mesmo host ele faz round robin, ou seja, cada vez que você consulta o servidor responsável por aquele domínio te passa um IP diferente e, até onde eu sei, isso não tem como ser controlado no cliente a não ser que ele faça cache da consulta de DNS o que pode acabar sendo muito ruim.

    Quanto ao controle do IP em vermelho, acho que não tem como controlar... aquilo é só o Squid te informando qual foi o endereço que ele acessou para pegar o arquivo.
    ele pega o primeiro ip que responder...
    dai entao trata aquele como o "pai das criança" caso ele falhar busca outro.
    melhora bastante para o cache uma vez que vc vai ter um padrão.
    pelomenos é o que eu acho! posso estar enganado.
    mais estou usando até agora com sucesso.

  7. #67

    Padrão

    quanto ao windows update oque está na memoria ele cacheia mais só não guarda no hd...
    antes ele usava tcp_miss /206 que é comum em arquivos fracionados...
    podem me passar mais informaçoes sobre o parametro method HEAD?

    nos temos que saber como gravar a Meta-informação desse comando também!

    Código :
    16157219.274    258 189.10.203.32 TCP_MISS/200 472 HEAD http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216157221.798    246 127.0.0.1 TCP_MISS/200 378 HEAD http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
    1216157221.799    251 189.10.203.32 TCP_MISS/200 472 HEAD http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216157226.209    763 127.0.0.1 TCP_MISS/200 18214 GET http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
    1216157226.210    766 189.10.203.32 TCP_MISS/200 18308 GET http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216157235.146    252 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - DIRECT/64.86.107.32 application/octet-stream
    1216157235.147    257 189.10.203.32 TCP_MISS/200 473 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216157259.749     10 189.10.203.32 TCP_MEM_HIT/200 480 HEAD http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0807152119 - NONE/- application/octet-stream
    1216157289.772      2 189.10.203.20 TCP_MEM_HIT/200 486 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152119 - NONE/- application/octet-stream
    1216157290.041    178 127.0.0.1 TCP_MISS/200 379 HEAD http://www.update.microsoft.com/v7/windowsupdate/selfupdate/wuident.cab?0807152120 - DIRECT/65.55.192.61 application/octet-stream
    1216157290.042    182 189.10.203.20 TCP_MISS/200 478 HEAD http://www.update.microsoft.com/v7/windowsupdate/selfupdate/wuident.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216157290.391    245 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Vista/wsus3setup.cab?0807152120 - DIRECT/64.86.107.32 application/octet-stream
    1216157290.392    252 189.10.203.20 TCP_MISS/200 478 HEAD http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Vista/wsus3setup.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216157295.688    245 127.0.0.1 TCP_MISS/200 379 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - DIRECT/64.86.107.32 application/octet-stream
    1216157295.688    252 189.10.203.20 TCP_MISS/200 478 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - DEFAULT_PARENT/127.0.0.1 application/octet-stream
    1216157309.822      2 189.10.203.20 TCP_MEM_HIT/200 486 HEAD http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0807152120 - NONE/- application/octet-stream
    Última edição por MarcusMaciel; 15-07-2008 às 20:04.

  8. #68

    Padrão

    acho que com o windows update vamos ter de fazer o seguinte


    mete o apache.... fazer o download e manda redirecionar pro nosso apache!

    pq a jaba do squid nao tah fazendo cache de todos os metadata!


    ae roda um

    if widowsupdate.com

    laço
    compara cab remoto com cab local
    se ok! redireciona e faz download local
    senao faz remoto.


    é possivel ?
    Última edição por arium; 15-07-2008 às 19:24.

  9. #69

    Padrão

    o negócio seria ver como funciona o "windows update service server", ver como é o funcionamento dele e quem sabe fazer um parecido no linux, e que seja transparente ao usuário.

  10. #70

    Padrão

    da forma a qual coloquei seria transparente.... só que como nao manjo perl se nosso amigo frederico puder colaborar está feito

  11. #71

    Padrão cabras

    Cabras esse trem e pra queimar com 2.6 ou so com 2.7 ou 3.0, pq se n me engano no 2.6 nao tem essa função.
    Aki to implementando o cache full no squid 3.0 porem n migrei por conta das grandes mudanças q teria q fazer e pra fazer terei que parar e pra não parar terei q montar outro servidor e pra montar outro servidor falta akela velha e sempre QI.
    Quem Indique onde ta a grana hehehehehe
    Que tar nois se amazelar e montar um Wi-Ki com url_rewrite + Cache full com Squid 3.0 + HTB Tools + Um monte de gente pertubando no MSN e nois ficando tudo careca com esse povo?
    Seria de bom tamanho pro forum
    Tudo isso amazelado da pra fazer trankilo trankilo o cache do your tube com o perl falado logo mais arriba. Imagina ai, os AP tudo se ferrando hehehehe to dentro, se alguem tiver a favor e quiser dar continuidade vamos la to dentro
    Última edição por tianguapontocom; 15-07-2008 às 22:41. Razão: implementar

  12. #72

    Padrão

    é pra 2.7 .... 2.6 tá fora


    nem precisa falar em continuidade...
    não vo desistir disso! :P
    Última edição por arium; 15-07-2008 às 22:50.

  13. #73

    Padrão

    Em uma entrada como esta:
    Código :
     [URL]http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141[/URL]
    Ele verificariq se o arquivo: vistawuredir.cab?0807160141


    se encontra dentro de:
    Código :
     [URL]http://localhost/WUP[/URL]
    se se encontrar transforma:
    Código :
        [URL]http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141[/URL]
    em:
    Código :
      [URL]http://localhost/WUP/vistawuredir.cab?0807160141[/URL]
    senão
    Código :
    wget [URL="http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141"]http://download.windowsupdate.com/vista/windowsupdate/redir/vistawuredir.cab?0807160141 [/URL]
    na pasta do apache... depois
    saida igual a entrada(não redireciona);
    sacaram a jogada?

    Frederico consegue?

    nessa modalidade eu tenho até um padrao para youtube dpz falo se tiver condiçoes

    Abraços!
    Última edição por arium; 15-07-2008 às 23:00.

  14. #74

    Padrão

    o youtube já não tem um url_rewrite?

    o do wiki do squid não funciona?

  15. #75

    Padrão

    não tive sucesso com ele... e depende de ip.. e vc sabe que depender de um range de ip é tiro no pé inda mais se tratando do google


    mais eu tenho uma ideia legal.. vamos ver se o nosso amigo resolve o WUP ants daquela maneira...

    o lance do youtube vai ser parecido .... não igual.. parecido hehe

  16. #76

    Padrão

    você chegou a testar o url_rewrite para o google earth (maps)??
    isso seria interessante também, ainda mais que o negócio não atualiza nunca.. hehehehe
    daria pra colocar o refresh_pattern dele pra eternidade e não iria atualizar ainda..

  17. #77

    Padrão

    é jpg?

  18. #78

    Padrão

    galahad evaporo :/

  19. #79

    Padrão

    Citação Postado originalmente por arium Ver Post
    é jpg?
    não sei que tipo de arquivo é

    Código :
    1216308997.738    390 10.0.110.1 TCP_MISS/200 19217 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
    1216308997.941    447 10.0.110.1 TCP_MISS/200 27200 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
    1216308998.343    584 10.0.110.1 TCP_MISS/200 21326 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
    1216308998.559    844 10.0.110.1 TCP_MISS/200 18838 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
    1216308998.753    381 10.0.110.1 TCP_MISS/200 17301 GET http://kh.google.com/flatfile? - DIRECT/64.233.161.91 application/octet-stream
    vi em algum lugar, não lembro onde, acho que foi no wiki do squid o url_rewrite pro google earth.

  20. #80

    Padrão

    já vi gente usando assim:

    refresh_pattern -i kh.google 1440 20% 10080 override-expire override-lastmod


    mais sei lah..........

    fazer o redirecionamento disso eh barbada mesma coisa que do orkut
    kh01.google.com bla bla bla
    dpz damu um look

    bem vamo ve se nosso progamador perl da sinal de vida =p temos que resolver o wup primeiro ehhee