squid - configurações de url

squid - configurações de url_rewrite

pessoal estou com MUITO cache MISS no orkut
por mais que recarregue por varias vezes a mesma pagina...
já tentei varios parametros de refresh pattern
e nada

tipo olhem esse exemplo:

http://img2.orkut.com/images/milieu/...jpg?sig=2amsed

e

http://img4.orkut.com/images/milieu/...jpg?sig=2amsed

é a mesma imagem so muda o imgX.orkut

tentei usar o store rewrite mais nao tive sucesso!

queria quebrar o link em img[0-9].orkut

alguem sabe faze isso?!

Alexandre?!??! heheheh

Abraços!!

/Z21cfz1.jpg?sig=1r0f1lw - DIRECT/209.85.193.94 image/jpeg
1215401349.302 91 189.10.203.20 TCP_MISS/200 7612 GET http://img4.orkut.com/images/milieu/...jpg?sig=efkiqm - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401349.304 77 189.10.203.20 TCP_MISS/200 6790 GET http://img4.orkut.com/images/milieu/...pg?sig=1r0f1lw - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401349.387 244 127.0.0.1 TCP_MISS/200 6610 GET http://img3.orkut.com/images/milieu/...pg?sig=11hfjje - DIRECT/64.233.179.85 image/jpeg
1215401349.389 247 189.10.203.20 TCP_MISS/200 6725 GET http://img3.orkut.com/images/milieu/...pg?sig=11hfjje - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401349.402 215 127.0.0.1 TCP_MISS/200 5559 GET http://img1.orkut.com/images/milieu/...pg?sig=1idcj27 - DIRECT/209.85.193.87 image/jpeg
1215401349.404 219 189.10.203.20 TCP_MISS/200 5674 GET http://img1.orkut.com/images/milieu/...pg?sig=1idcj27 - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401349.426 236 127.0.0.1 TCP_MISS/200 5607 GET http://img3.orkut.com/images/milieu/...jpg?sig=y3kazm - DIRECT/64.233.179.85 image/jpeg
1215401349.429 242 189.10.203.20 TCP_MISS/200 5722 GET http://img3.orkut.com/images/milieu/...jpg?sig=y3kazm - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401349.446 219 127.0.0.1 TCP_MISS/200 5830 GET http://img1.orkut.com/images/milieu/...pg?sig=1bayv6t - DIRECT/209.85.193.86 image/jpeg
1215401349.448 223 189.10.203.20 TCP_MISS/200 5945 GET http://img1.orkut.com/images/milieu/...pg?sig=1bayv6t - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401349.584 407 127.0.0.1 TCP_MISS/200 6270 GET http://img3.orkut.com/images/milieu/...jpg?sig=7w7awl - DIRECT/64.233.179.86 image/jpeg
1215401349.586 411 189.10.203.20 TCP_MISS/200 6385 GET http://img3.orkut.com/images/milieu/...jpg?sig=7w7awl - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401349.609 409 127.0.0.1 TCP_MISS/200 12488 GET http://img4.orkut.com/images/milieu/...pg?sig=1oriumw - DIRECT/64.233.179.86 image/jpeg
1215401349.656 472 127.0.0.1 TCP_MISS/200 8192 GET http://img4.orkut.com/images/milieu/...jpg?sig=20fjzh - DIRECT/64.233.179.85 image/jpeg
1215401349.795 615 189.10.203.20 TCP_MISS/200 8307 GET http://img4.orkut.com/images/milieu/...jpg?sig=20fjzh - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401350.332 1137 189.10.203.20 TCP_MISS/200 12603 GET http://img4.orkut.com/images/milieu/...pg?sig=1oriumw - DEFAULT_PARENT/127.0.0.1 image/jpeg
1215401350.569 391 127.0.0.1 TCP_MISS/200 11003 GET http://www.orkut.com.br/Home.aspx - DIRECT/209.85.193.94 text/html
1215401351.537 471 127.0.0.1 TCP_MISS/200 9153 GET http://img4.orkut.com/images/milieu/...jpg?sig=2amsed - DIRECT/64.233.179.85 image/jpeg

Arium,

o campo onde está o TCP_MISS/200 é o campo do log onde aparece o status HTTP da página acessada. Este status 200, segundo a especificação do protocolo HTTP quer dizer que a página foi acessada e recuperada sem erro. Dentre outros status possíveis temos 302, redirecionado temporariamente; 404, página não encontrada; 500, erro interno do servidor, e vários outros.

O que você tem que procurar, quando olhando o access.log do squid é o campo onde tem as informações DIRECT/209.85.193.94, que quer dizer que ele acessou a página diretamente e DEFAULT_PARENT/127.0.0.1, que diz que ele foi buscar o objeto no cache.

O Orkut, bem como outras páginas dinâmicas na Internet, usam cabeçalho de no-cache, que é respeitado pelo Squid para garantir que a página esteja sempre atualizada.

desculpa amigo acho que nao fui claro!

o que botei o lance ali apenas como exemplo..
na realidade o que eu quero é saber o usar o store rewrite ou alguma forma de transformar

img2.orkut.com.br, img3.orkut.com.br , img4.orkut.com.br, im5g.orkut.com.br enfim imgX.orkut.com tudo em im1.orkut.com.br afim de facilitar a guarda no cache e ter mais sucessos no hit!

Bom vo me intrometer, ariun vc nao entendeu, mais ele esta falando que nao esta sendo feito cache destas paginas, o pessoal do google usa um comando
"<%
Response.AddHeader "PRAGMA", "NO-CACHE"
%> "

assim o squid nao faz cache com elas, vc pode usar o comando

"<%
response.expiresAbsolute=dateAdd("yyyy",1,now) 'vencera dentro de um ano
%> "

Assim o squid guarda ela um ano, os padroes ajudao muito a vc controlar a acesso a seu site mesmo com o cliente usando cache, o pessoal do google ta fazendo isso, e se vc tentar burlar isso pode ter problemas de recaregamento de fotos erradas, que foi justamente o problema que levou eles a fazerem estas configuraçoes!

Desculpe por nao te ajudar!

tudo bem mais eu soh quero aprender a fazer redirecionamento heheheheh

quanto esse comando:
response.expiresAbsolute=dateAdd("y yyy",1,now)

eu desconhecia! li o manual do squid não encontrei

como faço pra usa-lo? é interessante em algumas ocasiões

esse comando é, na verdade, uma parâmetro de uma página em ASP. É a mesma coisa de você usar o Header no PHP ou setar um cookie para expirar dentro de um ano usando javascript.

o store_rewrite que você está procurando, na verdade é o url_rewrite e seus parâmetros subsequentes. Você vai precisar de um programa externo ao Squid para fazer o rewrite das urls, eu sinceramente não conheço nenhum e não acho que valeria a pena por questões de performance.

tenho um em perl aqui (e nao manjo bagatela nenhuma de perl) pro youtube que inclusive nao funcionou!

se eu soubesse os parametros de entrada e saida faria um em shell script mais nao achei na documentaçao tbm :/

a documentação do squid realmente está muito obscura com relação a isso. Eu não achei nada em cando nenhum falando em como utilizar.

Quer tentar postar o script perl que você tem aí para podermos procurar uma alternativa? Eu fiquei interessado nesse url_rewrite também...

já vou postar

quanto ao header no cache
usei

#Refresh
refresh_pattern orkut.com/.* 10080 100% 43200 override-expire override-lastmod reload-into-ims ignore-reload

#ORKUT
acl ORKUT dstdomain .orkut.com
header_access Cache-Control deny ORKUT
cache allow ORKUT

para minimizar

mais nao adianta muito pois uma vez ele pega do img.orkut.com outra do img2.orkut.com eh soda hehe

aqui esta o rewriter! do youtube! mais nao fiz brilhar

mais quem sabe o orkut! :P

se alguem que manja perl ajudasse nós a achar os parametros de entrada e de saída tava arregado!

Código :

#!/usr/bin/perl
use IO::File;
use IO::Socket::INET;
use IO::Pipe;
$| = 1;
$fh = new IO::File("/tmp/debug.log", "a");
$fh->print("Hello!\n");
$fh->flush();
while (<>) {
chomp;
#print LOG "Orig URL: " . $_ . "\n";
$fh->print("Orig URL: " . $_ . "\n");
if (m/kh(.*?)\.google\.com(.*?)\/(.*?) /) {
print "http://keyhole-srv.google.com" . $2 . ".SQUIDINTERNAL/" . $3 . "\n";
# print STDERR "KEYHOLE\n";
} elsif (m/mt(.*?)\.google\.com(.*?)\/(.*?) /) {
print "http://map-srv.google.com" . $2 . ".SQUIDINTERNAL/" . $3 . "\n";
# print STDERR "MAPSRV\n";
} elsif (m/^http:\/\/([A-Za-z]*?)-(.*?)\.(.*)\.youtube\.com\/get_video\?video_id=([^&]+).* /) {
print "http://video-srv.youtube.com.SQUIDINTERNAL/get_video?video_id=" . $4 . "\n";
$fh->print("http://video-srv.youtube.com.SQUIDINTERNAL/get_video?video_id=" . $4 . "\n");
$fh->flush();
} elsif (m/^http:\/\/([A-Za-z]*?)-(.*?)\.(.*)\.youtube\.com\/get_video\?video_id=(.*) /) {
# http://lax-v290.lax.youtube.com/get_video?video_id=jqx1ZmzX0k0
print "http://video-srv.youtube.com.SQUIDINTERNAL/get_video?video_id=" . $4 . "\n";
} else {
print $_ . "\n";
}
}

Na verdade e um comnando do servidor web! pro cabeçalho do pacote.

para você forçar o squid a fazer cache do orkut você deve encontrar os parâmetros no squid.conf
Código :

acl QUERY urlpath_regex cgi-bin \? cache deny QUERY
depois da acl QUERY você coloca:
Código :

acl QUERY urlpath_regex cgi-bin \? acl FORCE dstdomain .orkut.com cache allow FORCE cache deny QUERY
pronto, o squid fará cache dos objetos do orkut.

Citação:
Postado originalmente por lucianogf
para você forçar o squid a fazer cache do orkut você deve encontrar os parâmetros no squid.conf
Código :

acl QUERY urlpath_regex cgi-bin \? cache deny QUERY
depois da acl QUERY você coloca:
Código :

acl QUERY urlpath_regex cgi-bin \? acl FORCE dstdomain .orkut.com cache allow FORCE cache deny QUERY
pronto, o squid fará cache dos objetos do orkut.
na realidade foi como fiz mais nao coloquei entre o QUERY hehe irei testar e posto vale brother

você precisa colocar antes do deny QUERY, se colocar depois não vai adiantar nada

valeu luciano!

de fato não tinha me ligado na lógica da coisa! hahahahah

agora fico faltando apenas o rewrite!!

isso economizaria uma banda VIOLENTA =)

pena nao ter documentação! dependemos dos progamadores de perl do forum creio eu!

achei um começo para o redirector em shell! =)

[squid-users] url_rewrite_program

vo lidar mais por favor ajudem tbm!

você já viu no wiki do squid?

já sim,

só tem um exemplo em perl e muito reba ainda.

Arium,

testa esse código em perl, específico para o teu problema do orkut:
Código :

#!/usr/bin/perl $|=1; while (<>) { @X = split; $url = $X[0]; if ($url =~ /^http:\/\/img[2-9]\.orkut\.com/) { $url =~ s/img[0-9]/img1/; print "302:$url\n"; } else { print "$url\n"; } }
Eu não testei no squid, mas rodando o script no shell ele fez a transformação redondinho. :)

bá irmão brigadao!!! temos um scripter the perl entao?! hehehe vo testar depois posto! valeu!