Página 1 de 13 123456 ... ÚltimoÚltimo
+ Responder ao Tópico



  1. #1

    Padrão squid - configurações de url_rewrite

    pessoal estou com MUITO cache MISS no orkut
    por mais que recarregue por varias vezes a mesma pagina...
    já tentei varios parametros de refresh pattern
    e nada

    tipo olhem esse exemplo:

    http://img2.orkut.com/images/milieu/...jpg?sig=2amsed

    e

    http://img4.orkut.com/images/milieu/...jpg?sig=2amsed


    é a mesma imagem so muda o imgX.orkut

    tentei usar o store rewrite mais nao tive sucesso!


    queria quebrar o link em img[0-9].orkut

    alguem sabe faze isso?!

    Alexandre?!??! heheheh


    Abraços!!




    /Z21cfz1.jpg?sig=1r0f1lw - DIRECT/209.85.193.94 image/jpeg
    1215401349.302 91 189.10.203.20 TCP_MISS/200 7612 GET http://img4.orkut.com/images/milieu/...jpg?sig=efkiqm - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401349.304 77 189.10.203.20 TCP_MISS/200 6790 GET http://img4.orkut.com/images/milieu/...pg?sig=1r0f1lw - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401349.387 244 127.0.0.1 TCP_MISS/200 6610 GET http://img3.orkut.com/images/milieu/...pg?sig=11hfjje - DIRECT/64.233.179.85 image/jpeg
    1215401349.389 247 189.10.203.20 TCP_MISS/200 6725 GET http://img3.orkut.com/images/milieu/...pg?sig=11hfjje - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401349.402 215 127.0.0.1 TCP_MISS/200 5559 GET http://img1.orkut.com/images/milieu/...pg?sig=1idcj27 - DIRECT/209.85.193.87 image/jpeg
    1215401349.404 219 189.10.203.20 TCP_MISS/200 5674 GET http://img1.orkut.com/images/milieu/...pg?sig=1idcj27 - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401349.426 236 127.0.0.1 TCP_MISS/200 5607 GET http://img3.orkut.com/images/milieu/...jpg?sig=y3kazm - DIRECT/64.233.179.85 image/jpeg
    1215401349.429 242 189.10.203.20 TCP_MISS/200 5722 GET http://img3.orkut.com/images/milieu/...jpg?sig=y3kazm - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401349.446 219 127.0.0.1 TCP_MISS/200 5830 GET http://img1.orkut.com/images/milieu/...pg?sig=1bayv6t - DIRECT/209.85.193.86 image/jpeg
    1215401349.448 223 189.10.203.20 TCP_MISS/200 5945 GET http://img1.orkut.com/images/milieu/...pg?sig=1bayv6t - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401349.584 407 127.0.0.1 TCP_MISS/200 6270 GET http://img3.orkut.com/images/milieu/...jpg?sig=7w7awl - DIRECT/64.233.179.86 image/jpeg
    1215401349.586 411 189.10.203.20 TCP_MISS/200 6385 GET http://img3.orkut.com/images/milieu/...jpg?sig=7w7awl - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401349.609 409 127.0.0.1 TCP_MISS/200 12488 GET http://img4.orkut.com/images/milieu/...pg?sig=1oriumw - DIRECT/64.233.179.86 image/jpeg
    1215401349.656 472 127.0.0.1 TCP_MISS/200 8192 GET http://img4.orkut.com/images/milieu/...jpg?sig=20fjzh - DIRECT/64.233.179.85 image/jpeg
    1215401349.795 615 189.10.203.20 TCP_MISS/200 8307 GET http://img4.orkut.com/images/milieu/...jpg?sig=20fjzh - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401350.332 1137 189.10.203.20 TCP_MISS/200 12603 GET http://img4.orkut.com/images/milieu/...pg?sig=1oriumw - DEFAULT_PARENT/127.0.0.1 image/jpeg
    1215401350.569 391 127.0.0.1 TCP_MISS/200 11003 GET http://www.orkut.com.br/Home.aspx - DIRECT/209.85.193.94 text/html
    1215401351.537 471 127.0.0.1 TCP_MISS/200 9153 GET http://img4.orkut.com/images/milieu/...jpg?sig=2amsed - DIRECT/64.233.179.85 image/jpeg

  2. #2

    Padrão

    Arium,

    o campo onde está o TCP_MISS/200 é o campo do log onde aparece o status HTTP da página acessada. Este status 200, segundo a especificação do protocolo HTTP quer dizer que a página foi acessada e recuperada sem erro. Dentre outros status possíveis temos 302, redirecionado temporariamente; 404, página não encontrada; 500, erro interno do servidor, e vários outros.

    O que você tem que procurar, quando olhando o access.log do squid é o campo onde tem as informações DIRECT/209.85.193.94, que quer dizer que ele acessou a página diretamente e DEFAULT_PARENT/127.0.0.1, que diz que ele foi buscar o objeto no cache.

    O Orkut, bem como outras páginas dinâmicas na Internet, usam cabeçalho de no-cache, que é respeitado pelo Squid para garantir que a página esteja sempre atualizada.

  3. #3

    Padrão

    desculpa amigo acho que nao fui claro!

    o que botei o lance ali apenas como exemplo..
    na realidade o que eu quero é saber o usar o store rewrite ou alguma forma de transformar

    img2.orkut.com.br, img3.orkut.com.br , img4.orkut.com.br, im5g.orkut.com.br enfim imgX.orkut.com tudo em im1.orkut.com.br afim de facilitar a guarda no cache e ter mais sucessos no hit!

  4. #4

    Padrão

    Bom vo me intrometer, ariun vc nao entendeu, mais ele esta falando que nao esta sendo feito cache destas paginas, o pessoal do google usa um comando
    "<%
    Response.AddHeader "PRAGMA", "NO-CACHE"
    %> "

    assim o squid nao faz cache com elas, vc pode usar o comando

    "<%
    response.expiresAbsolute=dateAdd("yyyy",1,now) 'vencera dentro de um ano
    %> "

    Assim o squid guarda ela um ano, os padroes ajudao muito a vc controlar a acesso a seu site mesmo com o cliente usando cache, o pessoal do google ta fazendo isso, e se vc tentar burlar isso pode ter problemas de recaregamento de fotos erradas, que foi justamente o problema que levou eles a fazerem estas configuraçoes!


    Desculpe por nao te ajudar!

  5. #5

    Padrão

    tudo bem mais eu soh quero aprender a fazer redirecionamento heheheheh


    quanto esse comando:
    response.expiresAbsolute=dateAdd("y yyy",1,now)

    eu desconhecia! li o manual do squid não encontrei

    como faço pra usa-lo? é interessante em algumas ocasiões

  6. #6

    Padrão

    esse comando é, na verdade, uma parâmetro de uma página em ASP. É a mesma coisa de você usar o Header no PHP ou setar um cookie para expirar dentro de um ano usando javascript.

    o store_rewrite que você está procurando, na verdade é o url_rewrite e seus parâmetros subsequentes. Você vai precisar de um programa externo ao Squid para fazer o rewrite das urls, eu sinceramente não conheço nenhum e não acho que valeria a pena por questões de performance.

  7. #7

    Padrão

    tenho um em perl aqui (e nao manjo bagatela nenhuma de perl) pro youtube que inclusive nao funcionou!

    se eu soubesse os parametros de entrada e saida faria um em shell script mais nao achei na documentaçao tbm :/

  8. #8

    Padrão

    a documentação do squid realmente está muito obscura com relação a isso. Eu não achei nada em cando nenhum falando em como utilizar.

    Quer tentar postar o script perl que você tem aí para podermos procurar uma alternativa? Eu fiquei interessado nesse url_rewrite também...

  9. #9

    Padrão

    já vou postar

    quanto ao header no cache
    usei


    #Refresh
    refresh_pattern orkut.com/.* 10080 100% 43200 override-expire override-lastmod reload-into-ims ignore-reload

    #ORKUT
    acl ORKUT dstdomain .orkut.com
    header_access Cache-Control deny ORKUT
    cache allow ORKUT


    para minimizar

    mais nao adianta muito pois uma vez ele pega do img.orkut.com outra do img2.orkut.com eh soda hehe

  10. #10

    Padrão

    aqui esta o rewriter! do youtube! mais nao fiz brilhar

    mais quem sabe o orkut! :P

    se alguem que manja perl ajudasse nós a achar os parametros de entrada e de saída tava arregado!

    Código :
    #!/usr/bin/perl
    use IO::File;
    use IO::Socket::INET;
    use IO::Pipe;
    $| = 1;
    $fh = new IO::File("/tmp/debug.log", "a");
    $fh->print("Hello!\n");
    $fh->flush();
    while (<>) {
    chomp;
    #print LOG "Orig URL: " . $_ . "\n";
    $fh->print("Orig URL: " . $_ . "\n");
    if (m/kh(.*?)\.google\.com(.*?)\/(.*?) /) {
    print "http://keyhole-srv.google.com" . $2 . ".SQUIDINTERNAL/" . $3 . "\n";
    # print STDERR "KEYHOLE\n";
    } elsif (m/mt(.*?)\.google\.com(.*?)\/(.*?) /) {
    print "http://map-srv.google.com" . $2 . ".SQUIDINTERNAL/" . $3 . "\n";
    # print STDERR "MAPSRV\n";
    } elsif (m/^http:\/\/([A-Za-z]*?)-(.*?)\.(.*)\.youtube\.com\/get_video\?video_id=([^&]+).* /) {
    print "http://video-srv.youtube.com.SQUIDINTERNAL/get_video?video_id=" . $4 . "\n";
    $fh->print("http://video-srv.youtube.com.SQUIDINTERNAL/get_video?video_id=" . $4 . "\n");
    $fh->flush();
    } elsif (m/^http:\/\/([A-Za-z]*?)-(.*?)\.(.*)\.youtube\.com\/get_video\?video_id=(.*) /) {
    # http://lax-v290.lax.youtube.com/get_video?video_id=jqx1ZmzX0k0
    print "http://video-srv.youtube.com.SQUIDINTERNAL/get_video?video_id=" . $4 . "\n";
    } else {
    print $_ . "\n";
    }
    }

  11. #11

    Padrão

    Na verdade e um comnando do servidor web! pro cabeçalho do pacote.

  12. #12

    Padrão

    para você forçar o squid a fazer cache do orkut você deve encontrar os parâmetros no squid.conf
    Código :
    acl QUERY urlpath_regex cgi-bin \?
     
    cache deny QUERY
    depois da acl QUERY você coloca:
    Código :
    acl QUERY urlpath_regex cgi-bin \?
     
    acl FORCE dstdomain .orkut.com
    cache allow FORCE
     
    cache deny QUERY
    pronto, o squid fará cache dos objetos do orkut.

  13. #13

    Padrão

    Citação Postado originalmente por lucianogf Ver Post
    para você forçar o squid a fazer cache do orkut você deve encontrar os parâmetros no squid.conf
    Código :
    acl QUERY urlpath_regex cgi-bin \?
     
    cache deny QUERY
    depois da acl QUERY você coloca:
    Código :
    acl QUERY urlpath_regex cgi-bin \?
     
    acl FORCE dstdomain .orkut.com
    cache allow FORCE
     
    cache deny QUERY
    pronto, o squid fará cache dos objetos do orkut.

    na realidade foi como fiz mais nao coloquei entre o QUERY hehe irei testar e posto vale brother

  14. #14

    Padrão

    você precisa colocar antes do deny QUERY, se colocar depois não vai adiantar nada

  15. #15

    Padrão

    valeu luciano!

    de fato não tinha me ligado na lógica da coisa! hahahahah

    agora fico faltando apenas o rewrite!!

    isso economizaria uma banda VIOLENTA =)

    pena nao ter documentação! dependemos dos progamadores de perl do forum creio eu!

  16. #16

    Padrão

    achei um começo para o redirector em shell! =)

    [squid-users] url_rewrite_program

    vo lidar mais por favor ajudem tbm!

  17. #17

    Padrão

    você já viu no wiki do squid?

  18. #18

    Padrão

    já sim,

    só tem um exemplo em perl e muito reba ainda.

  19. #19

    Padrão

    Arium,

    testa esse código em perl, específico para o teu problema do orkut:

    Código :
    #!/usr/bin/perl
    $|=1;
    while (<>) {
            @X = split;
            $url = $X[0];
            if ($url =~ /^http:\/\/img[2-9]\.orkut\.com/) {
                    $url =~ s/img[0-9]/img1/;
                    print "302:$url\n";
            } else {
                    print "$url\n";
            }
    }

    Eu não testei no squid, mas rodando o script no shell ele fez a transformação redondinho.

  20. #20

    Padrão

    bá irmão brigadao!!! temos um scripter the perl entao?! hehehe vo testar depois posto! valeu!