vamos ver oq conseguimos ;)
Versão Imprimível
vamos ver oq conseguimos ;)
fudido o windows update meu deus parece que ele faz por streaming!
achei isso na net!
se desse para imendar no nosso!
pelo que deu pra entender usa uma pasta no apache faz download pra lá de tudo
depois por dns ele vai redirecionando pra pasta interna
como um SUB-cache!
# byron jones
# public domain
# fixed bug .. now prints blank line if there's no change
# fixed bug .. removed psf from extension list
# fixed weirdness .. "next" on some flavours of perl wasn't "next"ing
# fixed v5 issue by not caching iuident.cab (thanks marvi benedet)
$| = 1;
my $cache_path = '/usr/local/apache/htdocs/cache/store';
my $cache_url = 'http://10.0.0.254:8000/cache/store';
my $downloader = '/usr/local/apache/htdocs/cache/download';
URL: while(<>) {
# grab url (first word)
($url) = /^(\S+)/;
$orig_req = $_;
$orig_url = $url;
# decode
$url =~ tr|+| |;
$url =~ s|%([a-fA-F0-9][a-fA-F0-9])|pack("C", hex($1))|ge;
$url =~ s/\000+$//; # trailing nulls
# check cache store
{
my $url = $orig_url;
$url =~ s#^http://##i;
$url =~ s/^www\.//i;
if($url !~ /iuident\.cab/ && -e "$cache_path/$url" && !-d "$cache_path/$url" && !-e "$cache_path/$url.downloading") {
open(FH, ">>$cache_path/../log");
print FH '[', scalar localtime, '] ';
print FH "cachehit ", -s "$cache_path/$url", " $url\n";
close FH;
# s|^\S+|$cache_url/$url|;
print "$cache_url/$url\n";
next URL;
}
}
# cache windows update and other bits
if(!/^\Q$cache_url/i) {
if(
(
# any microsoft cab (windowsupdate, officeupdate, msdn, etc)
m#^http://(.*?\.microsoft\.com\S+\.(cab|exe))\b#i
|| m#^http://(.*?\.windowsupdate\.com\S+\.(cab|exe))\b#i
|| m#^http://(.*?mssjus\.www\.conxion\.com\S+\.(cab|exe))\b#i
# quicktime
|| m#^http://(.*?qtinstall\.apple\.com\S+\...|idx|dat))\b#i
# java
|| m#^http://(.*?java\.sun\.com\S+\.(cab|exe))\b#i
# adobe acrobat
|| m#^http://(.*?ardownload\.adobe\.com\S+...x|gz|exe))\b#i
)
&& !(m#iuident\.cab\b#i)
) {
my $url = $1;
$url =~ s/^www\.//i;
if(-e "$cache_path/$url" && !-e "$cache_path/$url.downloading") {
open(FH, ">>$cache_path/../log");
print FH '[', scalar localtime, '] ';
print FH "cachehit ", -s "$cache_path/$url", " $url\n";
close FH;
# s|^\S+|$cache_url/$url|;
print "$cache_url/$url\n";
next URL;
} else {
system("$downloader $url 2>&1 >/dev/null &");
}
}
}
# no change
print "\n";
}
__END__
1000355322.691 106912 JIMMY.internal TCP_MISS/200 14884044 GET http://www.download.windowsupdate.co...D5BF46A97.exe? - DIRECT/203.102.129.100 application/octet-stream
quanto ao AVG vo precisar de mais uma ajudinha!!!!
saca soh
o avg tem esses hosts aki:
guru.avg.com
downloadfree.avg.com
akamai.avg.com
e esse aqui que cria uma subpasta que eh o
update.avg.com
fiz isso aki e ambos funcionam:
if ($url =~ /^http:\/\/guru.avg.com/) {
$url =~ s/guru/downloadfree/;
print $fh "saida: $url\n";
print "$url\n";
}
if ($url =~ /^http:\/\/akamai.avg.com/) {
$url =~ s/akamai/downloadfree/;
print $fh "saida: $url\n";
print "$url\n";
}
só que olha soh a diferença dos 3 hosts guru , akamai e download free pro update....
http://akamai.avg.com/update/u7avi1337u13277l.bin
http://guru.avg.com/update/u7avi1337u13277l.bin
http://downloadfree.avg.com/update/u7avi1337u13277l.bin
http://update.avg.com/softw/80/update/u7avi1337u13277l.bin
tem como dar uma mão ae pra optimizar esse lance? abração!
os do update são sempre softw/80?
se for é só fazer:
Código :if ($url =~ /^http:\/\/update.avg.com/) { $url =~ s/update/downloadfree/; $url =~ s/softw\/80\///; print $fh "saida: $url\n"; print "$url\n"; }
Se não for, aí tem que ver o padrão pra ver qual vai ser a melhor forma de resolver isso. ;)
to tendo alguns entrevês com o AVG, pois ele tem algumas outras particularidades... quando eu aciono todos os redirecionamentos ele não updateia... estou verificando aqui assim que acabar posto
pode explicar a lógica da linha?
$url =~ s/softw\/80\///; abraços! quero dizer como ele sabe que tem que cortar na parte X até Y ;)
posta aqui essas particularidades, que aí fica mais fácil de tentar achar uma forma de resolver.
Quanto a linha que você pediu pra explicar, eu mandei ele trocar softw/80/ por nada. Pra ficar mais fácil de visualizar, a linha pode ser escrita assim: $urs =~ s@softw/80/@@; usando os @ como delimitadores. :)
Pessoal, os assuntos discutidos já não são mais referentes ao título do tópico.
Vamos abrir um tópico referente a url_rewrite do squid e discutir esse assunto.
muda o nome deste topico mesmo amigão.. para não dissipar as infos.
eu tentei mais nao libera a modificação do titulo
hj de noite eu posto pq hj de tarde nao vou ter como mexer nele tenho varios clientes para visitar! ;)Citação:
Postado originalmente por galahad
feito...
achei a lógica da coisa...
downloadfree.avg.com pode as vezes ser redirecionado para akamai.avg.com
e guru.avg.com para update.avg.com
entao fica assim acoisa:
só o seguinte:Código :if ($url =~ /^http:\/\/akamai.avg.com/) { $url =~ s/akamai/downloadfree/; print $fh "saida: $url\n"; print "$url\n"; } if ($url =~ /^http:\/\/update.avg.com/) { $url =~ s/update/guru/; print $fh "saida: $url\n"; print "$url\n"; }
1216124488.249 9960 127.0.0.1 TCP_MISS/200 7393 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DIRECT/193.86.3.38 text/plain
1216124488.251 9986 189.10.203.25 TCP_MISS/200 7487 GET http://guru.avg.com/softw/80free/update/avginfowin.ctf - DEFAULT_PARENT/127.0.0.1 text/plain
1216124512.361 23924 127.0.0.1 TCP_MISS/200 2734 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DIRECT/193.86.3.38 application/octet-stream
1216124512.363 23927 189.10.203.25 TCP_MISS/200 2828 GET http://guru.avg.com/softw/80free/update/avginfoavi.ctf - DEFAULT_PARENT/127.0.0.1 application/octet-stream
1216124514.484 725 127.0.0.1 TCP_MISS/302 638 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DIRECT/193.86.3.38 text/html
1216124514.485 728 189.10.203.25 TCP_MISS/302 732 GET http://guru.avg.com/softw/80free/upd...338u13271q.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124515.432 409 189.10.203.25 TCP_OFFLINE_HIT/200 116777 GET http://downloadfree.avg.com/update/u7avi1338u13271q.bin - NONE/- application/octet-stream
1216124519.332 3729 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DIRECT/193.86.3.38 text/html
1216124519.333 3733 189.10.203.25 TCP_MISS/302 734 GET http://guru.avg.com/softw/80free/upd...553u15321v.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124520.682 1329 189.10.203.25 TCP_OFFLINE_HIT/200 309102 GET http://downloadfree.avg.com/update/u...553u15321v.bin - NONE/- application/octet-stream
216124642.836 121718 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sb_25d249c.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124642.938 35 189.10.203.25 TCP_OFFLINE_HIT/200 9461 GET http://downloadfree.avg.com/update/x8xplsb_25d249c.bin - NONE/- application/octet-stream
1216124643.725 737 127.0.0.1 TCP_MISS/302 636 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DIRECT/193.86.3.38 text/html
1216124643.726 740 189.10.203.25 TCP_MISS/302 730 GET http://guru.avg.com/softw/80free/upd...sc_33d329c.bin - DEFAULT_PARENT/127.0.0.1 text/html
1216124643.770 10 189.10.203.25 TCP_OFFLINE_HIT/200 1060 GET http://downloadfree.avg.com/update/x8xplsc_33d329c.bin - NONE/- application/octet-stream
to achando o nivel de miss muito alto tento em vista que é exatamente o mesmo arquivo que já baxei e em alguns momentos ele inclusive dah hit...
outra pergunta quando da TCP MISS / 302 (Redirecionamento) ele não consome banda né? só manda pra outro host!?
optei por fazer isso
retirar estas linhas:
refresh_pattern avast.com/.*\.(def|vpu|vpaa|stamp|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-privete
refresh_pattern avg.com/.*\.(bin|ctf|exe|dll|cgi) 1440 20% 10080 override-lastmod reload-into-ims ignore-private
e adicionar essas(vou fazer controle por tipo de arquivo não por tipo + dominio):
#Antivirus
#AVG
refresh_pattern -i \.bin$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.ctf$ 0 20% 4320 override-lastmod reload-into-ims override-expire
#AVAST
refresh_pattern -i \.def$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.vpu$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.vpaa$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.stamp$ 0 20% 4320 override-lastmod reload-into-ims override-expire
retirei a cache deny padrao do squid (QUERY) agora não tenho mais cache deny
ae não preciso tbm coloca cache allow facilita a vida os controles irei fazer por arquivo
aconselho a usarem:
balance_on_multiple_ip off
isso retira o loadbalance de um unico fqdn-dns
se por exemplo existe mamilo.Teta.com onde tem os ips que responde por ele:
1.2.3.4
1.2.3.5
1.2.3.6
ele vai pega sempre o primeiro e só em caso de falha vai para o segundo
facilitando o cache!
será que tenho como controlar o ip em vermelho? hehe
1216125128.653 722 127.0.0.1 TCP_MISS/302 640 GET http://guru.avg.com/softw/80free/upd...553u15431u.bin - DIRECT/193.86.3.38 text/html
para o avira -> antivir
Código :#AVIRA if ($url =~ /^http:\/\/dl[1-9]\.avgate\.net.*/) { $url =~ s/dl[0-9]/dl7/; print $fh "saida: $url\n"; print "$url\n"; }
1216126411.659 40 189.10.203.13 TCP_OFFLINE_HIT/200 498 GET http://dl7.avgate.net/upd/idx/master.idx - NONE/- text/plain
1216126412.358 126 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain
1216126427.242 21 189.10.203.13 TCP_OFFLINE_HIT/200 838 GET http://dl7.avgate.net/upd/idx/classic-nt-en.idx - NONE/- text/plain
1216126428.184 2 189.10.203.13 TCP_OFFLINE_HIT/200 1203 GET http://dl7.avgate.net/upd/idx/vdf.info.gz - NONE/- application/x-gzip
1216126428.361 21 189.10.203.13 TCP_OFFLINE_HIT/200 901 GET http://dl7.avgate.net/upd/idx/specvir-nt.info.gz - NONE/- application/x-gzip
1216126430.683 8 189.10.203.13 TCP_OFFLINE_HIT/200 1971 GET http://dl7.avgate.net/upd/idx/ave2.info.gz - NONE/- application/x-gzip
1216126430.906 7 189.10.203.13 TCP_OFFLINE_HIT/200 880 GET http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz - NONE/- application/x-gzip
1216126432.581 1206 189.10.203.13 TCP_OFFLINE_HIT/200 18973 GET http://dl7.avgate.net/idx/message.idx - NONE/- text/plain
entrada: http://dl2.avgate.net/upd/idx/vdf.info.gz
saida: http://dl7.avgate.net/upd/idx/vdf.info.gz
entrada: http://dl2.avgate.net/upd/idx/specvir-nt.info.gz
saida: http://dl7.avgate.net/upd/idx/specvir-nt.info.gz
entrada: http://dl2.avgate.net/upd/idx/ave2.info.gz
saida: http://dl7.avgate.net/upd/idx/ave2.info.gz
entrada: http://dl2.avgate.net/upd/idx/info-w...-nt-en.info.gz
saida: http://dl7.avgate.net/upd/idx/info-w...-nt-en.info.gz
entrada: http://dl2.avgate.net/idx/message.idx
saida: http://dl7.avgate.net/idx/message.idx
Muito boa as informações sobre o refresh_pattern e o load balance. Mas já comprovou quanto ao balanceamento dos ips de destino? Segundo o protocolo do DNS, quando você especifica mais de um IP para o mesmo host ele faz round robin, ou seja, cada vez que você consulta o servidor responsável por aquele domínio te passa um IP diferente e, até onde eu sei, isso não tem como ser controlado no cliente a não ser que ele faça cache da consulta de DNS o que pode acabar sendo muito ruim.
Quanto ao controle do IP em vermelho, acho que não tem como controlar... aquilo é só o Squid te informando qual foi o endereço que ele acessou para pegar o arquivo.
pessoal,
quando forem postar códigos usem [ code] [ /code] (sem espaços)
assim fica melhor a formatação e leitura.
aliás, tanto para os códigos, como já está sendo usado, quanto para as saídas do squid.
ele pega o primeiro ip que responder...Citação:
Postado originalmente por galahad
dai entao trata aquele como o "pai das criança" caso ele falhar busca outro.
melhora bastante para o cache uma vez que vc vai ter um padrão.
pelomenos é o que eu acho! posso estar enganado.
mais estou usando até agora com sucesso.
quanto ao windows update oque está na memoria ele cacheia mais só não guarda no hd...
antes ele usava tcp_miss /206 que é comum em arquivos fracionados...
podem me passar mais informaçoes sobre o parametro method HEAD?
nos temos que saber como gravar a Meta-informação desse comando também!
Código :
acho que com o windows update vamos ter de fazer o seguinte
mete o apache.... fazer o download e manda redirecionar pro nosso apache!
pq a jaba do squid nao tah fazendo cache de todos os metadata!
ae roda um
if widowsupdate.com
laço
compara cab remoto com cab local
se ok! redireciona e faz download local
senao faz remoto.
é possivel ?
o negócio seria ver como funciona o "windows update service server", ver como é o funcionamento dele e quem sabe fazer um parecido no linux, e que seja transparente ao usuário.
da forma a qual coloquei seria transparente.... só que como nao manjo perl se nosso amigo frederico puder colaborar está feito
Cabras esse trem e pra queimar com 2.6 ou so com 2.7 ou 3.0, pq se n me engano no 2.6 nao tem essa função.
Aki to implementando o cache full no squid 3.0 porem n migrei por conta das grandes mudanças q teria q fazer e pra fazer terei que parar e pra não parar terei q montar outro servidor e pra montar outro servidor falta akela velha e sempre QI.
Quem Indique onde ta a grana hehehehehe
Que tar nois se amazelar e montar um Wi-Ki com url_rewrite + Cache full com Squid 3.0 + HTB Tools + Um monte de gente pertubando no MSN e nois ficando tudo careca com esse povo?
Seria de bom tamanho pro forum
Tudo isso amazelado da pra fazer trankilo trankilo o cache do your tube com o perl falado logo mais arriba. Imagina ai, os AP tudo se ferrando hehehehe to dentro, se alguem tiver a favor e quiser dar continuidade vamos la to dentro
é pra 2.7 .... 2.6 tá fora
nem precisa falar em continuidade...
não vo desistir disso! :P
Em uma entrada como esta:
Ele verificariq se o arquivo: vistawuredir.cab?0807160141Código :
se encontra dentro de:
se se encontrar transforma:Código :
em:Código :
senãoCódigo :
sacaram a jogada?Código :
Frederico consegue?
nessa modalidade eu tenho até um padrao para youtube :) dpz falo se tiver condiçoes
Abraços!
o youtube já não tem um url_rewrite?
o do wiki do squid não funciona?
não tive sucesso com ele... e depende de ip.. e vc sabe que depender de um range de ip é tiro no pé inda mais se tratando do google ;)
mais eu tenho uma ideia legal.. vamos ver se o nosso amigo resolve o WUP ants daquela maneira...
o lance do youtube vai ser parecido .... não igual.. parecido hehe ;)
você chegou a testar o url_rewrite para o google earth (maps)??
isso seria interessante também, ainda mais que o negócio não atualiza nunca.. hehehehe
daria pra colocar o refresh_pattern dele pra eternidade e não iria atualizar ainda..
é jpg?
galahad evaporo :/
não sei que tipo de arquivo éCitação:
Postado originalmente por arium
vi em algum lugar, não lembro onde, acho que foi no wiki do squid o url_rewrite pro google earth.Código :
já vi gente usando assim:
refresh_pattern -i kh.google 1440 20% 10080 override-expire override-lastmod
mais sei lah..........
fazer o redirecionamento disso eh barbada mesma coisa que do orkut
kh01.google.com bla bla bla
dpz damu um look
bem vamo ve se nosso progamador perl da sinal de vida =p temos que resolver o wup primeiro ehhee :D
sim sim...
o negócio é encontrarmos os serviços consumidores de banda e que não são muito atualizáveis para podermos guardar ao máximo no cache.
agora com relação ao wus isso sim.
isso dae!
foda que o home morreu heheheh
calma jovem, não é todo mundo que pode ficar somente na frente do micro.. hehehe
heheheh
veio tomara deus que o grande frederico consiga fazer aquilo... to com umas ideia muito doida =p!!!
bá bem que podia tbm ter outro de alma buena tipo ele pra ajudar nos perl neh!?
depois garanto que vai te um bando de nego quernedo baixa e rodar!!! isso que eh foda!! eheh faze oq!!
isso é fato!Citação:
Postado originalmente por arium
pior de tudo não é o cara pegar tudo pronto e colocar pra rodar, o pior são aquelas perguntas:
aí quando o tópico estiver com umas 50 páginas começam as mesmas perguntas porque quem começou a ler do final tem preguiça de ler tudo... hehehehCitação:
"como faz?"
"onde coloca?"
"que parte do mikrotik fica isso?"
"aqui está aparecendo uma mensagem assim: "'atensão' está com erro ortográfico", o que devo fazer?"
"coloquei essas regras pra rodar e o dólar subiu, o que fiz de errado?"
AHHAAHAHAH é a mais pura realidade!
depois quando o cara manda lê o tópico todo(com educação no tópico...mais em pensamento chamando o cara de deitado) ainda é a nossa mãe a que não presta :P
Oláááááááááá enfermeiros!
Estou de volta, depois de uma semana viajando pelo interior de MG e do ES, sem sinal de celular, sem telefone, sem internet, sem comunicação e com muita poeira na lata. :)
Vou me inteirar dos posts e ver se consigo fazer o lance do WUS. Não sou bem um programador Perl, mas dou meus pulos, python e bash são mais minha praia. ;)
Alguém falou sobre utilizarmos o wiki do UnderLinux para discutir este tópico, eu gostei da idéia, o que vocês acham?
Inté!
graças a deus que vc voltou fred =D hehehe
veio vamo dah um pau nesse lance do WUP que eh algo mais sucinto .. que ae jah tenho outras ideias pra
deixar a coisa bem mais encorpadas que usam a base parecida de um "cache secundario em uma pasta do apache"
dpz agente difunde melhor ;)
DAewww bando de lokos...
Vou entrar na brincadeira tambem.
Daewww luiz... vamo afofa essa parada ai... to com minha maquina montadinha com 1tera de espaco pra cache.
hauHAuhauHA
certeza brother!!!! =D super gemiossss ativarrrr hudahsiuhdiuahsd
opa..Citação:
Postado originalmente por achiodi
antes fosse brincadeira.. hehehe
1 tera para cache? os HDs são SCSI?
O Arium...
Mas a primori...
Eh pra mkt isso?? onde eu coloco essas configs??
hauHAUhauHAUha
Cara, peguei os arquivos... vou analisar eles e deixar meu proxy rodando esse find.
Se tu tiver alguma documentacao adicional manda pra mim por email.
Rapaz ainda bem que li o topico desde o inicio, e vi que eh bricandeira pq o pessoal que tah na luta aqui ia infarta kkkkk ae pessoal apesar de nao ter lah grande conhecimento em linux, to acompanhando o topico.
Abraços e boa sorte
Citação:
Postado originalmente por achiodi
Arium,
posta aqui, por favor, o script perl completo como está hoje. Deixa eu ver o que eu consigo fazer com ele.
não apenas pra mikrotik ... oque tamo fazendo aqui é buscar um proxy o mais perfeito possivel ;)Citação:
Postado originalmente por achiodi
um que REALMENTE economize banda! :)
que não duplique arquivos e que saiba trabalhar com dns dinâmico :) um proxy mais "inteligente eu diria" =)
Citação:
Postado originalmente por cleciorodrigo
valeu as boas intenções irmão =D mais tu manja d++++ de mkt entao provavelmente seja MUITO UTIL pra voce tbm =D
abração =D
Citação:
Postado originalmente por galahad
vai lá grande fred!!! deus de abençoe na jornada!!! tem torcida jah!!! hehehehe
o esquelo do que é para fazer tá na página 15 ;)
Código :#!/usr/bin/perl #X[0]-> URL EX: IMG1.ORKUT.COM #X[1]-> CLIENT IP: 189.10.206.13/ANGEL.GINET.COM.BR #X[2]-> - #X[3]-> GET ou POST #X[4]-> - #X[5]-> MYIP : 189.10.206.1 OU 127.0.0.1 #X[6]-> MYPORT EX: 8012 $|=1; while (<>) { open $fh, ">>/tmp/debug_url_redirect.log"; @X = split; $url = $X[0]; $metodo = $X[3]; print $fh "entrada: $url\n"; #ORKUT if ($url =~ /^http:\/\/img[2-9]\.orkut\.com.*/) { $url =~ s/img[0-9]/img1/; print $fh "saida: $url\n"; print "$url\n"; } #AVIRA if ($url =~ /^http:\/\/dl[1-9]\.avgate\.net.*/) { $url =~ s/dl[0-9]/dl7/; print $fh "saida: $url\n"; print "$url\n"; } #AVAST if ($url =~ /^http:\/\/download[0-9]{3}.avast.com/) { $url =~ s/download[0-9]{3}/download626/; print $fh "saida: $url\n"; print "$url\n"; } #AVG if ($url =~ /^http:\/\/akamai.avg.com/) { $url =~ s/akamai/downloadfree/; print $fh "saida: $url\n"; print "$url\n"; } if ($url =~ /^http:\/\/update.avg.com/) { $url =~ s/update/guru/; print $fh "saida: $url\n"; print "$url\n"; } else { print $fh "nao redirecionado\n"; print "\n"; } close $fh; }
nada, ja tem esses hd da samsung de 1 tera SATA e uns 800 contoCitação:
Postado originalmente por lucianogf
perguntei se é SCSI pq se não for não vai adiantar muito, além de ficar lento em pouco tempo o HD vai popau!Citação:
Postado originalmente por tianguapontocom
se for aufs duramais .... mais o canal eh fazer raid 5 com 2 hd de 1tb ae além de acelerar tbm divide o io ;)
ps: NUNCA COMPREM HD SANSUNG É MUITOOOOOOOO RUIMMM!!!!!
seagate eh no mínimo 70% melhor e mais duravel!!