squid - configurações de url_rewrite

Citação:

---

Postado originalmente por alexandrecorrea

esquece orkut.. ele eh 100% "cacheavel" :P nao tem misterio.. :P

---

eu sei kra ... hehe o url rewriter nesse caso é pra controle de duplicidade

temos a foto alexandre.jpg no im1.orkut.com img2.orkut.com img3.orkut.com imagem imgn.orkut.com o que fazermos nesse caso é trabalhar apenas com 1 host o img1.orkut.com

diminuindo a duplicidade
tornando o cache mais efetivo
ocupando menos espaço no hd

=)

Ae pessoal apesar de não sacar muito de squid, e com a ajudo do meu amigo Luiz (Arium) o meu esta rodando certinho aqui e notei um grande melhora de desempenho e link, a uns 3 meses estou testando squid, e tive a grande ajuda do Luiz na implentação de alguns itens, e como sempre o cara mando bem com mais esta ideia louca que funciona :-) , aqui esta dando certo, tanto orkut como Windows Update... em breve posto mais detalhes, apos os proximos teste, a maquina foi montada exclusivamente pra cache aqui no provedor e configurada do zero pra rodar os recursos do rewrite... e teve o toque final do Luiz...

Que funciona... funciona

Abraços

Não sei que tipo de testes fizeram.

Aqui fiz uma instalação nova do windows, no zero, instalei só o SP2.

Quando ativo, nas "Atualizações Automáticas, "Notificar-me de atualizações, mas não baixá-las ou instalá-las automaticamente", aparece o balão dizendo que existem atualizações a serem baixadas, porém, quando clico nele simplesmente some e não baixa nada.

O diretório WINUP, como disse no começo do tópico, contém um monte de arquivos INÚTEIS, completamente INÚTEIS, pois todas as vezes que é feita uma consulta das atualizações estes arquivos são baixados novamente mas com outra numeração, e são, na maioria dos casos, exatamente os mesmos, é só compará-los com o "diff" que verão.

No diretório WINUP2 tem vários arquivos grandes, mas pelo que estou vendo aqui, não está adiantando nada estes arquivos estarem lá, pois o windows não está os baixando.

vou instalar o office 2003 pra ter mais opções de atualizações.

Código :

---

[SIZE=2]NameVirtualHost *:80[/SIZE]
[SIZE=2]<VirtualHost *:80>[/SIZE]
[SIZE=2]ServerAdmin [email protected][/SIZE]
[SIZE=2]AddHandler php-script php .php[/SIZE]
[SIZE=2]DocumentRoot /var/www/[/SIZE]
[SIZE=2]Alias /WINUP /var/www/html/WINUP[/SIZE]
[SIZE=2]Alias /WINUP2 /var/www/html/WINUP2[/SIZE]
 
 
[SIZE=2]<Directory />[/SIZE]
[SIZE=2]Options FollowSymLinks[/SIZE]
[SIZE=2]#isso de baixo cria um auto index mais é muito lento[/SIZE]
[SIZE=2]#Options Indexes FollowSymLinks MultiViews[/SIZE]
[SIZE=2]AllowOverride None[/SIZE]
[SIZE=2]Order deny,allow[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]<Directory /var/www/html/>[/SIZE]
[SIZE=2]Options Indexes FollowSymLinks MultiViews +ExecCGI[/SIZE]
[SIZE=2]AllowOverride None[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]<Directory "/var/www/html/WINUP">[/SIZE]
[SIZE=2]AllowOverride All[/SIZE]
[SIZE=2]Allow from all[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]<Directory "/var/www/html/WINUP2">[/SIZE]
[SIZE=2]AllowOverride All[/SIZE]
[SIZE=2]Allow from all[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]</VirtualHost>[/SIZE]

---

tanta usar isso...

de um echo > /tmp/debug_url_redirect.log
chmod 777 /tmp/debug_url_redirect.log
e CUIDA ESSE ARQUIVO ele vai dizer se tah funcionando ou não não o access.log ou o store.log

com 1 computador na rede eu jah te disse que vai demorar pra funcionar vc precisa de população.

se ele redireciona e mesmo assim nao baixa ...

simples pau no apache.

Soh pra constar, o meu squid tambem esta rodando lindao com WINUP.
coisa linda de se ver!!

Citação:

---

Postado originalmente por arium

Código :

---

[SIZE=2]NameVirtualHost *:80[/SIZE]
[SIZE=2]<VirtualHost *:80>[/SIZE]
[SIZE=2]ServerAdmin [email protected][/SIZE]
[SIZE=2]AddHandler php-script php .php[/SIZE]
[SIZE=2]DocumentRoot /var/www/[/SIZE]
[SIZE=2]Alias /WINUP /var/www/html/WINUP[/SIZE]
[SIZE=2]Alias /WINUP2 /var/www/html/WINUP2[/SIZE]
 
 
[SIZE=2]<Directory />[/SIZE]
[SIZE=2]Options FollowSymLinks[/SIZE]
[SIZE=2]#isso de baixo cria um auto index mais é muito lento[/SIZE]
[SIZE=2]#Options Indexes FollowSymLinks MultiViews[/SIZE]
[SIZE=2]AllowOverride None[/SIZE]
[SIZE=2]Order deny,allow[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]<Directory /var/www/html/>[/SIZE]
[SIZE=2]Options Indexes FollowSymLinks MultiViews +ExecCGI[/SIZE]
[SIZE=2]AllowOverride None[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]<Directory "/var/www/html/WINUP">[/SIZE]
[SIZE=2]AllowOverride All[/SIZE]
[SIZE=2]Allow from all[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]<Directory "/var/www/html/WINUP2">[/SIZE]
[SIZE=2]AllowOverride All[/SIZE]
[SIZE=2]Allow from all[/SIZE]
[SIZE=2]</Directory>[/SIZE]
[SIZE=2]</VirtualHost>[/SIZE]

---

tanta usar isso...

de um echo > /tmp/debug_url_redirect.log
chmod 777 /tmp/debug_url_redirect.log
e CUIDA ESSE ARQUIVO ele vai dizer se tah funcionando ou não não o access.log ou o store.log

com 1 computador na rede eu jah te disse que vai demorar pra funcionar vc precisa de população.

se ele redireciona e mesmo assim nao baixa ...

simples pau no apache.

---

se fosse pau no apache não abriria quando entra com o endereço no navegador.

o access.log mostra quando está pegando o arquivo do repositório local.

como perguntei antes e você não respondeu, já pegou uma maquina, fez a instalação do zero e mandou atualizar o windows pra ver?

você sempre fala que uma mãquina não vai funcionar, se não funcionar com uma não vai funcionar com 10.

Soh tah faltando as luvas de boxe nesse topico... haha

O ideal era pegar os principais posts, traduzir pra portugues e jogar no wiki...
Merecem os parabéns quem pesquisaram para a idéia funcionar.

Saudações,

eita pega.. gastei o zóio hoje pra mexer nesse trem...

parece que uma parte do negócio consegui fazer funcionar.

acessando os arquivos pelo endereço http://10.0.1.254/WINUP2, acessava sem problemas, mas o windows não baixava as atualizações nem ca gota.

peguei a url de um arquivo, no debug, que já havia sido baixado e tentei abrir no navegador, por teoria ele deveria redirecionar e baixar o arquivo do repositório, mass..... masssss.... masssssss..... deu erro! erro do squid, conexão recusada.

analisei o tráfego com o tcpdump e vi que quando havia requisição da tel url, o IP 10.0.1.254 requisitava para ele mesmo na porta 80, porém, não havia regra no iptables que liberasse tal acesso.

foi só criar a regra liberando a entrada na porta 80 para este ip e beleza, aparentemente funcionou.

vou verificar mais depois para resolver outros problemas.

olha que coisa linda!!!

1218685002.154 27 192.168.6.35 TCP_HIT/206 9409 GET http://201.2.213.16/WINUP2/excel_3ba...f774f5a036.cab -


haUIHUhauHAUha

luciano...
FUNCIONA FUNCUINA CAÇULETA
eu ajudei o andre eo clecio fico 100% o teu eu NAO POSSO PELNAMENTE ajudar pq vc tem o cacti e nao sei mais oq no teu apache

outra coisa vc usa porta 8080

outra coisa eu nao tive acesso ssh a tua maquina a dos outros tive...


outra coisa... com UMA MAQUINA FUNCIONA SÓ QUE DEMORA MAIS!!!!!!!!!!!!!

quando mais maquinas mais população



outra coisa use preferenciamente IP valido

já perdi as conta de quantas vezes pedi pra vc tbm me cola o tmp do debug vc nao colou aqui...

só tem uma explicaçao pra isso teus cliente não tao achando o arquivo dentro da pasta!

se vc for no cliente e tentar baixar o arquivo ele baixa?

http://ipdoservodr/winup2/filedokct.exe


?


como eu já expliquei.. se voce tiver uma mauqina ele vai tentar baixar a primeira vez e pode ou nao conseguir.. mais ele vai dah um wget no arquivo.. se vc tentar denovo em SEQUENCIA o proxy vai te redirecionar para o arquivo (que muitas vezes não está completo pq o wget nao acabou) o que provoca erro...

como a minha rede a rede do andre e a rede do clecio tem mais de 500 clientes... foi facil conseguir populaçao e o redirecionador funciona meio que de cara.

velho oq tenho pra te dize é funciona e tá provado que funciona temos pelomenos 3 proxys aqui em pleno funcionamento...

por primazia eu tentaria baixar o arquivo MANUALMENTE de um cliente de rede

se essa etapa passou ótimo teu apache tá ok!

outra coisa a se pensar! o cliente acessa porta 80 ou 8080? como funciona esses redirecionamentos!

derepente tu vai ter que criar um vhost na 8080 não sei
caso fizer isso tambem vai ter que adaptar o redirector


o ls /var/www/html/WINUP tá listando o dir? eh esse mesmo o dir!
kra vai ter que ir pegando pedacinho por pedacinho do script e ir debugando!


como te falei e repido de preferecia por usar ip valido e porta 80
não que nao funcione de outro jeito... ateh pq pela logica funciona.. mais é mais facil assim!
foi dessa maneira q configurei o meu e ajudei o andre e o clecio.

Citação:

---

Postado originalmente por lucianogf

eita pega.. gastei o zóio hoje pra mexer nesse trem...

parece que uma parte do negócio consegui fazer funcionar.

acessando os arquivos pelo endereço http://10.0.1.254/WINUP2, acessava sem problemas, mas o windows não baixava as atualizações nem ca gota.

peguei a url de um arquivo, no debug, que já havia sido baixado e tentei abrir no navegador, por teoria ele deveria redirecionar e baixar o arquivo do repositório, mass..... masssss.... masssssss..... deu erro! erro do squid, conexão recusada.

analisei o tráfego com o tcpdump e vi que quando havia requisição da tel url, o IP 10.0.1.254 requisitava para ele mesmo na porta 80, porém, não havia regra no iptables que liberasse tal acesso.

foi só criar a regra liberando a entrada na porta 80 para este ip e beleza, aparentemente funcionou.

vou verificar mais depois para resolver outros problemas.

---

.

Bom acredito que esta venha ser a prova definitiva que esta funcionado, detalhe do log do debug


entrada: http://au.download.windowsupdate.com...1ba3fe1381.exe
AU Windows Update Redirecionado de http://au.download.windowsupdate.com...1ba3fe1381.exe Para http://200.205.205.3/WINUP2/windowsx...1ba3fe1381.exe user uid=13(proxy) gid=13(proxy) groups=13(proxy)
saida: http://200.205.205.3/WINUP2/windowsx...1ba3fe1381.exe

Hoje realmente coloquei o proxy em produção tenho 646 clientes saindo por ele, alem da melhora de desempenho, consegui uma economia no link que esta no vermelho a espera de um prometido upgrade pela Telefonica =), agora voltando ao topico, td indique que esta funcionado como no log acima, como mencionei este servidor foi montado exclusivamente pra proxy e pra testar as ideias do Professor Pardal (Luiz) =) e como sempre o cara mando bem....

Abraços a todos

Pessoal,

criei um script para rodar paralelo ao store_url_rewrite (sur) que será da seguinte forma, quando há a requisição do arquivo, o sur envia o endereço para o script secundário e manda rodar em background, este script cria um diretório com o nome do arquivo a ser baixado, baixa o arquivo, quando estiver completamente baixado move para o diretório do repositório.

no período de tempo que o arquivo estiver sendo baixado, se houver outra requisição deste, será automaticamente descartada, a não ser que o primeiro download tenha ocorrido erro e o arquivo não foi baixado totalmente, desta forma o download continua.

segue o script

Código :

---

#!/bin/bash
# Baixa arquivos de atualizações do windows update
WGET=`which wget`
VAR=`ps axf | grep $1 | grep -v grep`
URL=$1
VAR1=`echo $URL | awk -F "/" '{printf $NF}'`
ARQ=`echo $VAR1 | awk -F "?" '{printf $1"-"$2}'`
 
if [[ $VAR != "" ]]; then
   cd /var/www/WINUP2/temp
   mkdir $ARQ
   cd $ARQ
   wget -q -c $URL
   mv * /var/www/WINUP2/.
   #cp * /var/www/WINUP2/.
   cd /var/www/WINUP2/temp
   rm -rf $ARQ
else
   exit 0
fi

---

para uso deste script basta mudar a linha abaixo

Código :

---

exec("cd /var/www/WINUP2 && umask 022 && /usr/bin/wget $url && /bin/chmod +r /var/www/
WINUP2/.$arquivochar");

---

para

Código :

---

exec("sh /etc/squid/winup2.sh $url &");

---

não cheguei a testar a fundo, mas a idéia é evitar que o squid repasse o endereço de um arquivo que não esteja totalmente baixado.

como script paralelo é possivel... mais se vc colocar soh aquela linha dentro do script e retirar a original.. o user nao vai recebe o arquivo.


a ideia é boa para redes de pouca população mesmo.

o cliente não vai receber o arquivo na primeira requisição, mas quando o arquivo estiver totalmente baixado e houver outra requisição ele receberá o endereço.

de qualquer forma o windows fará outra requisição se o arquivo não estiver completamente baixado, pois ele checará o arquivo e verá que não está completo antes de começar a baixar.

Na configuração esta aparecendo o seguinte:
entrada: http://img4.orkut.com/img/castro/google_logo_sml.png
saida: http://img1.orkut.com/img/castro/google_logo_sml.png
nao redirecionado
entrada: http://img4.orkut.com/img/castro/orkut_logo_sml.png
saida: http://img1.orkut.com/img/castro/orkut_logo_sml.png
nao redirecionado

onde poderia estar errando uma vez que não está direcionando?

#!/usr/bin/perl
$|=1;
while (<>) {
open $fh, ">>/tmp/debug_url_redirect.log";
@X = split;
$url = $X[0];
print $fh "entrada: $url\n";

#ORKUT
if ($url =~ /^http:\/\/img[2-9]\.orkut\.com.*/) {
$url =~ s/img[0-9]/img1/;
print $fh "saida: $url\n";
print "$url\n";
}

#AVIRA
# if ($url =~ /^http:\/\/dl[1-9]\.avgate\.net.*/) {
# $url =~ s/dl[0-9]/dl7/;
# print $fh "saida: $url\n";
# print "$url\n";
# }
#AVAST
if ($url =~ /^http:\/\/download[0-9]{3}.avast.com/) {
$url =~ s/download[0-9]{3}/downloadyyy/;
print $fh "saida: $url\n";
print "$url\n";
}
#AVG
if ($url =~ /^http:\/\/akamai.avg.com/) {
$url =~ s/akamai/downloadfree/;
$url =~ s/softw\/80\///;
print $fh "saida: $url\n";
print "$url\n";
}
if ($url =~ /^http:\/\/update.avg.com/) {
$url =~ s/update/guru/;
print $fh "saida: $url\n";
print "$url\n";
}


#Windown Update Caching - Squid Proxy - By Luiz Biazus
#WINDOWS UPDATE LOOP PRIMARIO
if ($url =~ /^http:\/\/download.windowsupdate.com/) {
@achar = split(/\//, $url);
$arquivoachar = $achar[$#achar];
$resultado = `/bin/ls /var/www/html/WINUP`;
@array = split(/\n/, $resultado);
$flag = 0;
for $i (0 .. $#array){
if($array[$i] eq "$arquivoachar") {
$flag = 1;
$id=`/usr/bin/id`;
print $fh "Windows Update Redirecionado de $url Para http://200.205.31.151/WINUP/$arquivoachar user $id\n";
$url = "http://200.205.31.151/WINUP/$arquivoachar";
print $fh "saida: $url\n";
print "http://200.205.31.151/WINUP/$arquivoachar\n";


}

$i++;
}

if ($flag == 0 ) {
exec("cd /var/www/html/WINUP && umask 022 && /usr/bin/wget $url && /bin/chmod +r /var/www/html/WINUP/.$arquivochar");
print $fh "saida: arquivoachar $arquivoachar $url\n";
print "$url\n";
}

}


#WINDOWS UPDATE LOOP SECUNDARIO

if ($url =~ /^http:\/\/au.download.windowsupdate.com/) {
@achar = split(/\//, $url);
$arquivoachar = $achar[$#achar];
$resultado = `/bin/ls /var/www/html/WINUP2`;
@array = split(/\n/, $resultado);
$flag = 0;
for $i (0 .. $#array){
if($array[$i] eq "$arquivoachar") {
$flag = 1;
$id=`/usr/bin/id`;
print $fh "AU Windows Update Redirecionado de $url Para http://200.205.31.151/WINUP2/$arquivoachar user $id\n";
$url = "http://200.205.31.151/WINUP2/$arquivoachar";
print $fh "saida: $url\n";
print "http://200.205.31.151/WINUP2/$arquivoachar\n";


}

$i++;
}
if ($flag == 0 ) {
exec("cd /var/www/html/WINUP2 && umask 022 && /usr/bin/wget $url && /bin/chmod +r /var/www/html/WINUP2/.$arquivochar");
print $fh "AU saida: arquivoachar $arquivoachar $url\n";
print "$url\n";
}

}

else {
print $fh "nao redirecionado\n";
print "\n";
}
close $fh;
}


## sur_dominios.txt
.orkut.com
.avast.com
guru.avg.com
downloadfree.avg.com
akamai.avg.com
update.avg.com
.avgate.com
au.download.windowsupdate.com
download.windowsupdate.com
.update.microsoft.com

Gilberto

o "nao redirecionado" neste caso aparece de intrometido, pois o serviço foi feito, veja que em "saída" existe uma nova url para o endereço.

exatamente amigo esta tudo certo como pode ver ele esta sendo redirecionado do img4 para o img1 .

No arquivo /tmp o download do windows nao esta sendo redirecionado:

entrada: http://au.download.windowsupdate.com...a53e56f015.cab
entrada: http://au.download.windowsupdate.com...a53e56f015.cab
entrada: http://download.windowsupdate.com/v8...cab?0809060018
entrada: http://update.microsoft.com/v8/windo...cab?0809060019

onde poderia esta errando na configuração? (minhas configurações estão no post 217)

Grato

Gilberto

você adicionou o endereço au.download.windowsupdate.com a acl

Citação:

---

Postado originalmente por lucianogf

você adicionou o endereço au.download.windowsupdate.com a acl

---

Adicionado, mas continua com o mesmo erro.

Gilberto

Lucianogf, obrigado pela atenção

Já descobri o erro: como uso o freebsd alterei as linhas /usr/bin/wget para /usr/bin/fetch.

Gilberto

No /var/log/squid/cache.log, estão aparecendo esses erros. Quem teve esses erros e como resolveu?

2008/09/08 10:59:34| helperHandleRead: unexpected reply on channel 0 from url_rewriter #4 ''
2008/09/08 10:59:34| helperHandleRead: unexpected reply on channel 0 from url_rewriter #4 ''

Gilberto

isso acontece porque a url de entrada e de saida são as mesmas! não sendo esperado isso pelo squid(gerando um mini loop). por gentileza se puder pesquisar á respeito disso e conseguir eliminar! ficaremos muito gratos!

Citação:

---

Postado originalmente por arium

isso acontece porque a url de entrada e de saida são as mesmas! não sendo esperado isso pelo squid(gerando um mini loop). por gentileza se puder pesquisar á respeito disso e conseguir eliminar! ficaremos muito gratos!

---

aff, até que enfim consegui ler todos os posts.

alow Luiz, como dito pra vc na Viva o Linux, fiz um script para o Youtube, baseado no seu, apenas em shell-script.

fiz o ajuste do sed para alterar o player.

segue o script

Código :

---

#!/bin/sh
 
# nome: rw_youtube.sh
 
#############################################################
# Script de URL Rewrite para cache do Youtube               #
# Desenvolvido por Wenderson Souza ([email protected]) #
# Criado em 16 de setembro de 2008 as 01:10 hs              #
# Modificado em 16 de setembro de 2008 as 01:30 hs          #
#############################################################
# Creditos                                                  #
# Script com adaptacoes do "Script de cache do youtube      #
# parte 2 desenvolvido por Luiz Biazus e Andre Chiodi       #
# em: http://www.vivaolinux.com.br/artigo/Cache-do-Youtube- #
# efetivo-no-Linux                                          #
#############################################################
# Licenca GNU                                               #
# Este script pode ser utilizado, modificado e distribuido  #
# livremente, desde que seja mantida referencia ao(s) de-   #
# senvolvedores referenciados acima.                        #
#############################################################
 
#
# configuracoes
#
 
# mascara de criacao dos arquivos
umask 022
 
# destino dos arquivos
destino_video=/disco2/YOUTUBE
 
# local dos videos no seu servidor
servidor_http=http://www.seudominio.com.br/YOUTUBE/
 
# ativacao do log (0-desativado 1-ativado)
log_ativado=1
log_destino=/tmp/rw_youtube.log
 
#
# inicio do script
# deste ponto em diante vc nao deve alterar nada
#
while read p1 p2 p3 p4 p5 p6 p7 p8 p9 p10
do
 
#
        # leitura dos parametros
        #
        if [ "$log_ativado" = "1" ]; then
                echo "" >> $log_destino
                echo "----------------------- INICIO" >> $log_destino
                echo "url: $p1" >> $log_destino
#               echo "p2: $p2" >> $log_destino
#               echo "p3: $p3" >> $log_destino
#               echo "p4: $p4" >> $log_destino
#               echo "p5: $p5" >> $log_destino
#               echo "p6: $p6" >> $log_destino
#               echo "p7: $p7" >> $log_destino
#               echo "p8: $p8" >> $log_destino
#               echo "p9: $p9" >> $log_destino
#               echo "p10: $p10" >> $log_destino
        fi
 
 
 
        #
        # validacoes
        #
 
        # verificar se foi passada alguma url
        if [ -z "$p1" ]; then
                if [ "$log_ativado" = "1" ]; then
                        echo " Nenhuma URL passada como parametro!" >> $log_destino
                        echo "----------------------- FIM" >> $log_destino
                fi
                exit 1
        fi
 
        # verificar se foi passada uma url de video do youtube
        if [ `echo $p1 | grep youtube | grep watch | wc -l` -lt 1 ]; then
                if [ "$log_ativado" = "1" ]; then
                        echo " A URL nao ' de um video do youtubbe!" >> $log_destino
                        echo "----------------------- FIM" >> $log_destino
                fi
                exit 1
        fi
 
        #
        # tratar url
        #
 
        # pegar dominio
        dominio=`echo $p1 | cut -d/ -f1,2,3`
 
        # pegar codigo do video
        arquivo1=`echo $p1 | cut -d/ -f4 | cut -d= -f2`
 
        # pegar nome real do arquivo
        arquivo2=`wget -qO - $p1 | grep -oE 'video_id=.*&t=[^\"&]*' | head -1`
 
 
 
        #
        # redirecionar ou baixar os arquivos
        #
 
        # se os dois arquivos ja existirem - retornar do cache
        if [ -e "$destino_video/$arquivo1.html" ] && [ -e "$destino_video/$arquivo1.flv" ]; then
 
                if [ "$log_ativado" = "1" ]; then
                        echo "Aviso: Ja' esta em cache!" >> $log_destino
                        echo "Redirecionado para $servidor_http/$arquivo1.html!" >> $log_destino
                fi
                echo "302:$servidor_http/$arquivo1.html"
 
        else
 
                # caso nao exista um dos dois, retornar o link original
                if [ "$log_ativado" = "1" ]; then
                        echo "Aviso: Ainda nao esta em cache!" >> $log_destino
                        echo "Abrindo URL original!" >> $log_destino
                fi
                echo $p1
 
                # se nao existir o html - baixa-lo
                if [ ! -e "$destino_video/$arquivo1.html" ]; then
                        if [ "$log_ativado" = "1" ]; then
                                echo "Aviso: Baixando arquivo $p1!" >> $log_destino
                        fi
                        wget -O "$destino_video/$arquivo1.html" "$p1" &&
 
                        # trocar os players
                        # obs: O sed versao 4 ou superior faz a alteracao no proprio arquivo (-i)
                        sed -i '/<div id="watch-this-vid">/,/<div id="watch-ratings-views">/c <div id="watch-this-vid"><div id="watch-player-div" class="flash-player"><embed type="application/x-shockwave-flash" src="'$servidor_http'/PLAYER/player.swf" style="" id="bannerswf" name="bannerswf" bgcolor="#ffffff" quality="high" allowfullscreen="true" allowscriptaccess="always" wmode="opaque" flashvars="file='$servidor_http'/'$arquivo1.flv'&fullscreen=true&autostart=true&" width="480" height="350"></div><div id="watch-main-area" > <div id="watch-ratings-views">' "$destino_video/$arquivo1.html" &&
                        chmod +rx "$destino_video/$arquivo1.html"
                fi
 
                # se nao existir o flv - baixa-lo
                if [ ! -e "$destino_video/$arquivo1.flv" ]; then
                        if [ "$log_ativado" = "1" ]; then
                                echo "Aviso: Baixando arquivo ${dominio}/get_video?${arquivo2}!" >> $log_destino
                        fi
                        wget -O "$destino_video/$arquivo1.flv"  "${dominio}/get_video?${arquivo2}" &&
                        chmod +rx "$destino_video/$arquivo1.flv"
                fi
 
        fi
 
        if [ "$log_ativado" = "1" ]; then
                echo "----------------------- FIM" >> $log_destino
        fi
 
done

---

OBS: Utilizei seu mesmo player, mas estou quardando os videos todos na raiz.

Fiz em um arquivo apenas, creio que ficará mais leve.

Quando eu (e outros do forum) colocarem em producao com muitos usuarios veremos como fica a performance.

Depois podemos mudar para uma linguagem de nivel mais baixo para poder ganhar na performance, quem sabe em C. risos.

É isso ai.

Boa tarde pessoal, já li e re-li esse topico acho q umas 20 vezes, gostaria de saber se nao for de mais, é claro, algum colega q teve sucesso no assunto acima citado, favor postar o script completo. Explico, como fui criticado outra vez aqui no post, q eu deveria pesquisar mais, bla bla bla. Bom não é por preguiça, é q nao entendo patavinas de programação. Por isso q insisto q algum colega poste o script completo, pois os teste q fiz ao pedaço deu erros variados. estou nessa labuta ao menos 4 meses. E toda vez q dá um erro diferente um colega pergunta uma coisa e respondem outra. Peço a ajuda devcs, pois assim diminuiremos o tamanho post e ficará mais objetivo.
Desde já agradeço a compreensão de todos.

Abraço

:itsme:

Aqui amigo um passo a passo pra vc Linux: Cache do Youtube efetivo no Linux [Artigo]

Falow

Clecio

Citação:

---

Postado originalmente por cleciorodrigo

Aqui amigo um passo a passo pra vc Linux: Cache do Youtube efetivo no Linux [Artigo]

Falow

Clecio

---

Obrigado por ter respondido Clecio, mas esse tuto segui passo a passo umas 10 vezes nao obtive sucesso...
Valeu

Obs: Acho q o problema é aquela peça.... aquela q fica atraz do computador heheeh

é isso ai wenderson!!

assim que tiver um tempo sobrando irei estudar suas modificações!

abraços!

paulo! que distro você usa e que erros ocorrem?

Citação:

---

Postado originalmente por arium

assim que tiver um tempo sobrando irei estudar suas modificações!

---

cara, estou testando o script aqui e detectei um problema, nao sei se ocorre com o seu.

na primeira vez que vejo o video, ele faz todo o processo para baixar o video direitinho, cria o html, o sed esta substituindo o player.

a pagina original carrega, enquanto está baixando, mas o video do site original, so começa a carregar depois que o download do video para o hd termina.

isso acontece com o seu script?

se nao acontece, vou ter que estudar uma solução para isso.

grato,

não acontece com o meu não amigo!

o meu apenas tem um controle que verifica se o download acabou ou não

caso não acabou manda pra url original... caso acabou manda pro cache!

Abraços

Citação:

---

Postado originalmente por arium

não acontece com o meu não amigo!

---

o retorno do script para o squid deve ser apenas a URL ou deve-se acrescentar mais informações?

á entrada vai ser:

URL <SP> client_ip "/" fqdn <SP> user <SP> method <SP> urlgroup
[<SP> kvpairs] <NL>


a saida:

And the rewriter may return a rewritten URL. The other components of
the request line does not need to be returned (ignored if they are).

ou seja só a url o resto nao precisa :)

o maximo que vc pode fazer é isso:

The rewriter can also indicate that a client-side redirect should
be performed to the new URL. This is done by prefixing the returned
URL with "301:" (moved permanently) or 302: (moved temporarily).

adicionando 301: ou 302: na frente da url tipo 302:youtube.com.br

mais não vi nenhuma utilidade nisso :P

Citação:

---

Postado originalmente por arium

And the rewriter may return a rewritten URL. The other components of
the request line does not need to be returned (ignored if they are).

---

ok ok,

entao meu script está certo retornando apenas a url (original) ou a url com 302:url_local. (apesar de nao ver utilidade tb, mas aparece no log como REDIRECT)

e eu retorno a URL original antes mesmo de iniciar o download, ai ele abre normal o site. so que o vídeo na carrega normalmente.

tirei a url_rewrite pra testar e esta funcionando normal.

vou tentar conseguir um tempo pra fazer mais testes hoje, pois o negocio aqui está "apurado".

Opa...
deixo aqui o meu reconhecimento de que foi uma excelente ideia
que vai ajudar em muito meu caso e dos demais.
Tive uma certa dificuldade para faze-lo funcionar

Baixava o arquivo mais quando ia assistir o video novamente
ele nao puxado do arquivo já baixado, olhei varias respostas aqui
e nao achei nenhuma solucao para o caso, então tentei revisar
o script e ver se eu fiz algo de errado, e descobri no arquivo
biazuspart2.sh quase nas suas ultimas linhas o seguinte comando
chown proxy:proxy $diretorio/$arquivoachar -R &&
então vi que as permisões estava para um usuario que nao tenho em meu servidor
pois utilizo outro usuario. Então apenas troque nessa linha para o usuario certo
e resolveu meu problema, acho que deve ter mais gente com essa dificuldade
e outra questão tambem após a mudança do usuario que tive que fazer
é deletar dentro de cada diretorio aonde existe o video um arquivo
com nome 2

Comando para deletar o arquivo de todos os diretorios de videos:
find diretorio_principal_youtube -type f -name "2" | xargs rm

Feito isto funciona perfeito. Basta seguir o tutorial do vivaolinux

Abraço a todos.

Citação:

---

Postado originalmente por arium

paulo! que distro você usa e que erros ocorrem?

---

Ola Arium, bom tentei no Slack12 e no Slamd64, mas como sou iniicante me perdi nas configurações, pois nao diferentes, entai decidi usar o Ubuntu como é a distro q mostra no Vivaolinux, só q deu erro diferentes...

1- * Starting web server apache2 [Wed Sep 24 15:35:25 2008] [error]
VirtualHost *:80 -- mixing * ports and non-* ports with a NameVirtualHost address is not supported, proceeding with undefined results
[Wed Sep 24 15:35:25 2008] [warn] NameVirtualHost *:80 has no VirtualHosts [ OK ]

2- entrada: YouTube - Mohammed (Os Melhores do Mundo) - parte 1/2
YOUTUBE AINDA ESTA BAIXANDO VIDEO watch__v=KONfHAXogks nao redirecionado
entrada: http://br.youtube.com/get_video?vide...cBxHzTMY5sGSYE
nao redirecionado
entrada: http://br.youtube.com/crossdomain.xml
nao redirecionado
entrada: http://br.youtube.com/xlb/pt-br.xlb
nao redirecionado

E ai Galera peguei o bonde andando
e no que posso ajudar
eu testei a duvida dos cache
eu tenho 3 scsi de 76 gb 15mil rpm ultra 320mb
fiz em raid0 e em 3 cache em 3 disck e em raid0 ficou mais rapido

obvio que fica mais rapido raid
é uma coisa logica + HD +IO +IO + SPEED

quando eu comentei em um outro post aqui (até nem sei se nao foi nesse acho que foi) sobre o raid vieram me fala bobagem que tinham discutido e nao dava certo... não aumentava performance

fazer oq! :P

pelomenos agora vc sabe ahhahahaha
valeu pelo feedback ;)

E ai Arium blz ....
em que ponto esta o url_rewrite ??
orkut ok
avast ok
avg ok

ultimo script full estavel em Forum Proxy Masters &bull; Index page

Olá
Quero agradecer aos colegas pela excelente solução e por compartilhar o script.
Estou tentando utilizar no Debian Lenny com Squid3, mas está dando o seguinte erro:

2008/10/08 10:03:13| helperHandleRead: unexpected read from redirector #8, 6626 bytes '^?ELF^A^A^A'
2008/10/08 10:03:13| WARNING: redirector #1 (FD 8) exited
2008/10/08 10:03:13| WARNING: redirector #2 (FD 9) exited
2008/10/08 10:03:13| WARNING: redirector #3 (FD 10) exited
2008/10/08 10:03:13| WARNING: redirector #4 (FD 11) exited
2008/10/08 10:03:13| WARNING: redirector #5 (FD 12) exited
2008/10/08 10:03:13| Too few redirector processes are running
FATAL: The redirector helpers are crashing too rapidly, need help!

Pesquisei na net e não cheguei a entender qual seria a origem do problema. Estou usando o script para fazer cache do WU e de programas anti-vírus. Pode ser que eu tenha feito algo errado, usei como base o tutorial do Youtube, e removi a parte referente ao Youtube e orkut (não necessários para mim).

Amigo arium, gostaria de saber se você (ou outro pessoa) vai publicar algum tutorial sobre a instalação para o WU, pois seria de grande ajuda.

Obrigado.

Aconteceu comigo ... e problema no crt+c crt+v...certamente esta colando alguma coisa errada...tenta selecionar tudo com o mouse clicar em copiar e depois em colar...

Mais uma coleção de scripts para url_rewrite podem ser econtradas no link abaixo:

Ubuntu Forums - View Single Post - [ubuntu] Youtube caching using squid

Como é que anda essa thread?

Arium,

ainda andando com o script? Alguma coisa que eu possa ajudar?

estamos tocando o projeto

www.biazus.com/forum

já esta em php usando mysql suporta antivirus , orkut , WU, Youtube e google videos!

por enquanto só eu to fazendo algo, to pocurando ajuda.. toda ajuda é bem vinda :) caso tenha interesse será muito bem vinda mano velho!


Abração

Arium,

não achei nada no forum que você indicou. O endereço está certo?

:wq!

os posts soh aparecem mediante a registro :)

Pra mim da um erro do php, nao consigo entrar pra registrar

ta funcionando me cadastrei hj e funcionou blz, gostaria de da uma nova ideia que seria fazer uma rajada de 15 segundo, tipo o cliente 256 kb e os primeiro 15 segundo ele vai a uma velocidade 512 kb, ja tentei mais nao consegui atualmente utilizo slack e cbq