squid - configurações de url_rewrite

**lucianogf** · 31-07-2008, 01:20

Postado originalmente por arium

o pau tah dando pra todos? ele redireciona algo?
os script tem as devidas permissoes e owner squid?

se nao redireciona algo e jah seto as perm jah zero o cache... tenta isso:

vai lah no site baixa o squid-2.7.STABLE2.tar.gz no /usr/src
tar -xvzf squid-2.7.STABLE2.tar.gz &&
cd squid-2.7.STABLE2 &&
./configure --prefix=/usr --exec-prefix=/usr --bindir=/usr/bin --sbindir=/usr/sbin --libexecdir=/usr/libexec --datadir=/usr/share/squid --sysconfdir=/etc/squid --sharedstatedir=/var/lib/squid --localstatedir=/var --libdir=/usr/lib --includedir=/usr/include --infodir=/usr/share/info --mandir=/usr/share/man --enable-dependency-tracking --enable-storeio="aufs,ufs,diskd,coss,null" --enable-carp --enable-icmp --enable-delay-pools --enable-snmp --enable-cachemgr-hostname=localhost --enable-arp-acl --enable-htcp --enable-forw-via-db --enable-cache-digests --enable-default-err-language="Portuguese" --enable-poll --enable-http-violations --enable-linux-netfilter --enable-truncate --enable-ntlm-fail-open --enable-stacktraces --enable-x-accelerator-vary --with-pthreads --with-aio --with-dl --with-large-files --enable-large-cache-files --enable-removal-policies="heap lru" &&
make &&
make install
:P

das opções de configuração que eu uso para as suas existem algumas diferenças, abaixo está a junção das duas, o que está com um * é que tem nas minhas e nas suas não, e o que está com dois ** é que tem nas suas e nas minhas não.

Código :

#!/bin/bash
./configure \
--prefix=/usr \
--exec-prefix=/usr \
--bindir=/usr/bin \
--sbindir=/usr/sbin \
--libexecdir=/usr/libexec \
--sysconfdir=/etc/squid \
--localstatedir=/var \
--datadir=/usr/share/squid \
--sharedstatedir=/var/lib/squid \ **
--libdir=/usr/lib \ **
--includedir=/usr/include \ **
--infodir=/usr/share/info \ **
--mandir=/usr/share/man \ **
--enable-storeio="aufs,ufs,diskd,coss,null" \
--enable-removal-policies="heap lru" \
--enable-icmp \
--enable-delay-pools \
--enable-snmp \
--enable-arp-acl \
--enable-htcp \
--enable-cache-digests \
--enable-default-err-language="Portuguese" \
--enable-linux-netfilter \
--enable-poll \
--enable-carp \
--enable-x-accelerator-vary \
--with-pthreads \
--with-large-files \
--with-aio \
 
--enable-dependency-tracking \ **
--enable-cachemgr-hostname=localhost \ **
--enable-forw-via-db \ **
--enable-http-violations \ **
--enable-truncate \ **
--enable-ntlm-fail-open \ **
--enable-stacktraces \ **
--with-dl \ **
--enable-large-cache-files \ **
 
--enable-async-io \ *
--enable-useragent-log \ *
--enable-referer-log \ *
--enable-ssl \ *
--enable-coss-aio-ops \ *
--enable-underscores \ *
--enable-auth=basic,digest,ntlm \ *
--enable-diskd \ *
--enable-tproxy \ *
--enable-follow-x-forwarded-for \ *
--enable-dlmalloc \ *
--with-maxfd=16384 *

**lucianogf** · 31-07-2008, 03:49

cara...

não sei se o problema é nas configurações de compilação do squid, recompilei adicionando as opções que não tinha e continua o problema.

a não ser que alguma dessas opções esteja conflitando com o url_rewrite.

estas configurações de compilação chequei muito bem antes de usá-las.

**lucianogf** · 31-07-2008, 05:14

fui testar pra valer as configurações para o avast e não deu muito certo não.

ele dá erro na hora da atualização.

**arium** · 31-07-2008, 08:38

bem se você foi testar... é pq entao conseguiu sanar o problema certo?

**lucianogf** · 31-07-2008, 14:16

Postado originalmente por arium

bem se você foi testar... é pq entao conseguiu sanar o problema certo?

não, o problema das mensagens do squid continuam.

fui testar pra ver se realmente estava eficiente, e para minha surpresa não estava funcionando.

**arium** · 31-07-2008, 14:35

aqui funciona entao deve ser teu squi mesmo .. essas messagens nao acontecem no meu e o script funciona...

bem como o do window update os testes até agora estao 100%

to aguardando mais testes

tem mais hosts do windows update do que:

au.windowsupdate.com
e download.windowsupdate.com?

**arium** · 31-07-2008, 14:40

2676 Arquivos metadados do download.windowsupdate.com

e

30 na segunda pasta .. soh que esses 30 arquivos totalizam, já 2,2GB !!

**lucianogf** · 31-07-2008, 14:59

com o avast você chegou a fazer uma nova instalação dele pra testar as atualizações de programa e banco de dados?

**arium** · 31-07-2008, 17:56

sim

**arium** · 31-07-2008, 22:54

Código :

#!/usr/bin/perl
# Windows Update Caching - Squid Proxy - By Luiz Biazus
#Tenha a Dignidade de mater os créditos ;-) senão vc atesta sua incompetência =D
#PS: e de agradecer tbm!
 
$|=1;
while (<>) {
        open $fh, ">>/tmp/debug_url_redirect.log";
        @X = split;
        $url = $X[0];
        print $fh "entrada: $url\n";
 
 
#WINDOWS UPDATE LOOP PRIMARIO
        if ($url =~ /^http:\/\/download.windowsupdate.com/) {
                @achar = split(/\//, $url);
                $arquivoachar = $achar[$#achar];
                $resultado = `/bin/ls /var/www/html/WINUP`;
                @array = split(/\n/, $resultado);
                $flag = 0;
                for $i (0 .. $#array){
                                if($array[$i] eq "$arquivoachar") {
                                       $flag = 1;
                                       $id=`/usr/bin/id`;
                                        print $fh "Windows Update Redirecionado de $url Para http://IP.IP.IP.IP/WINUP/$arquivoachar user $id\n";
                                        $url = "http://IP.IP.IP.IP/WINUP/$arquivoachar";
                                        print $fh "saida: $url\n";
                                        print "http://IP.IP.IP.IP/WINUP/$arquivoachar\n";
 
 
                                }
 
                         $i++;
              }
 
             if($flag == 0 ) {
                    exec("cd /ar/www/html/WINUP && umask 022 && /usr/bin/wget $url && /bin/chmod +r /var/www/html/WINUP/.$arquivochar");
                    print $fh "saida: arquivoachar $arquivoachar $url\n";
                    print "$url\n";
             }
 
        }
 
 
#WINDOWS UPDATE LOOP SECUNDARIO
 
         if ($url =~ /^http:\/\/au.download.windowsupdate.com/) {
                @achar = split(/\//, $url);
                $arquivoachar = $achar[$#achar];
                $resultado = `/bin/ls /var/www/html/WINUP2`;
                @array = split(/\n/, $resultado);
                $flag = 0;
                for $i (0 .. $#array){
                                if($array[$i] eq "$arquivoachar") {
                                       $flag = 1;
                                       $id=`/usr/bin/id`;
                                        print $fh "AU Windows Update Redirecionado de $url Para http://IP.IP.IP.IP/WINUP2/$arquivoachar user $id\n";
                                        $url = "http://IP.IP.IP.IP/WINUP2/$arquivoachar";
                                        print $fh "saida: $url\n";
                                        print "http://IP.IP.IP.IP/WINUP2/$arquivoachar\n";
 
 
                                }
 
                         $i++;
              }
 
             if($flag == 0 ) {
                    exec("cd /var/www/html/WINUP2 && umask 022 && /usr/bin/wget $url && /bin/chmod +r /var/www/html/WINUP2/.$arquivochar");
                    print $fh "AU saida: arquivoachar $arquivoachar $url\n";
                    print "$url\n";
             }
 
        }
 
     else {
                print $fh "nao redirecionado\n";
                print "\n";
        }
        close $fh;
}

Modo de Usar(Windows Update Script For Dummies):

1- Criar um Alias no apache EX:

Código :

<VirtualHost *:80>
ServerAdmin [EMAIL="[email protected]"][email protected][/EMAIL]
AddHandler php-script   php .php
DocumentRoot /var/www/xxxx/
Alias /WINUP /var/www/html/WINUP
Alias /WINUP2 /var/www/html/WINUP2
</VirtualHost>
<Directory "/var/www/html/WINUP">
   AllowOverride All
   Allow from all
</Directory>
 
<Directory "/var/www/html/WINUP2">
   AllowOverride All
   Allow from all
</Directory>

2 - Permiçoes e caralho a 4:

Código :

#continuando
mkdir /var/www/html/WINUP &&
mkdir /var/www/html/WINUP2 &&
 
#isso eh por causa do array entao coloque.... de preferencia não pergunte
echo > /var/www/html/WINUP/file &&
echo > /var/www/html/WINUP/file2 &&
echo > /var/www/html/WINUP2/file &&
echo > /var/www/html/WINUP2/file2 &&
 
chown proxy.proxy /var/www/html/WINUP -R &&
chown proxy.proxy /var/www/html/WINUP2 -R &&
chmod 755 /var/www/html/WINUP -R &&
chmod 755 /var/www/html/WINUP2 -R

3- Trocar IP.IP.IP.IP pelo ip do seu servidor ;-) ou use localhost

4-Ser Feliz

PS: até começar a popular será comum voce ter alguns arquivos repetidos tipo:

Código :

weqwuyeiwq.cab?9812731 e 
weqwuyeiwq.cab?9812731.1 
weqwuyeiwq.cab?9812731.2 
weqwuyeiwq.cab?9812731.3

mais eh soh no começo
ae nada que um rm -rf *.1 nao resolva.... isso vai acontecer com a pasta /WINUP dos metadados

deixe o windows update no automatico
no inicio "pela pagina" ele irá dar alguns problemas de autalizaçao o que eh normal até ele acabar de dar os wgets e popular o cache.

deu pra bola

**arium** · 31-07-2008, 23:07

com saidas tipo estas no arquivo de debug:

Código :

Windows Update Redirecionado de http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Other/wsus3setup.cab?0808010201 Para http://IP.IP.IP.IP/WINUP/wsus3setup.cab?0808010201 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010201 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010201 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010201 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010201 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0808010202 Para http://IP.IP.IP.IP/WINUP/musetup.cab?0808010202 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0808010202 Para http://IP.IP.IP.IP/WINUP/musetup.cab?0808010202 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0808010203 Para http://IP.IP.IP.IP/WINUP/wuredir.cab?0808010203 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0808010203 Para http://IP.IP.IP.IP/WINUP/wuredir.cab?0808010203 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010204 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010204 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010204 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010204 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)

você é um cara feliz.

wireless:/var/www/html/WINUP2# ls -la | wc -l
47
wireless:/var/www/html/WINUP2# cd ../WINUP/
wireless:/var/www/html/WINUP# ls -la | wc -l
3538

WINUP2 fica com os arquivos grandões cabs e executaveis
WINUP fica com os metadados entre 9.9 , 18 e 25K + algumas frescurinhas

**lucianogf** · 31-07-2008, 23:52

Parabéns arium.

Isso vai ajudar muito com relação as atualizações da microsoft.

Editei a resposta para formatação e em uma determinada parte o "echo" vinha antes do "mkdir".

Vamos ver quantas perguntas do tipo "como configura no mikrotik" virão pela frente.. heheeh

**KALAMAT** · 02-08-2008, 09:56

Se precisar de um programador em php , to dentro, não tenho tempo mais pra que durmir!!!!
O tópico é realmente muito bom, sonho de qualquer provedor isso que você comecou, imagina youtube, downloads, etc.. ?
Conte comigo, conheco bastante de php, porem so nao posso ficar direto online, para trabalhar nisso, terei q fazer de madruga mesmo.
Abraços e vamos nessa!

Postado originalmente por arium

com saidas tipo estas no arquivo de debug:

Código :

Windows Update Redirecionado de http://download.windowsupdate.com/v7/windowsupdate/a/selfupdate/WSUS3/x86/Other/wsus3setup.cab?0808010201 Para http://IP.IP.IP.IP/WINUP/wsus3setup.cab?0808010201 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010201 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010201 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010201 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010201 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0808010202 Para http://IP.IP.IP.IP/WINUP/musetup.cab?0808010202 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/a/selfupdate/WSUS3/x86/Other/musetup.cab?0808010202 Para http://IP.IP.IP.IP/WINUP/musetup.cab?0808010202 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0808010203 Para http://IP.IP.IP.IP/WINUP/wuredir.cab?0808010203 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/windowsupdate/redir/wuredir.cab?0808010203 Para http://IP.IP.IP.IP/WINUP/wuredir.cab?0808010203 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010204 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010204 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)
Windows Update Redirecionado de http://download.windowsupdate.com/v7/microsoftupdate/redir/muredir.cab?0808010204 Para http://IP.IP.IP.IP/WINUP/muredir.cab?0808010204 user uid=13(proxy) gid=13(proxy) grupos=13(proxy)

você é um cara feliz.

wireless:/var/www/html/WINUP2# ls -la | wc -l
47
wireless:/var/www/html/WINUP2# cd ../WINUP/
wireless:/var/www/html/WINUP# ls -la | wc -l
3538

WINUP2 fica com os arquivos grandões cabs e executaveis
WINUP fica com os metadados entre 9.9 , 18 e 25K + algumas frescurinhas

**arium** · 02-08-2008, 16:12

obrigado por reconhecer a importância do projeto..

claro que gostaria de sua colaboraçao ... toda ela é bem vinda

me adicione no msn.. meu msn está disponivel no meu profile

abraços

**lucianogf** · 04-08-2008, 02:39

arium

você teve este tipo de erro no error.log do apache?

Código :

[Sun Aug 03 15:29:54 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wuredir.cab
[Sun Aug 03 15:30:12 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 15:36:18 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 15:44:56 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 15:50:15 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 16:37:41 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 16:48:52 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 17:01:48 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 17:13:16 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab
[Sun Aug 03 17:44:46 2008] [error] [client 127.0.0.1] File does not exist: /var/www/WINUP/wsus3setup.cab

**arium** · 04-08-2008, 12:12

seu winup está setado para /var/www/html/WINUP ou /var/www/WINUP?

verificou se dentro da pasta existe o arquivo:

wsus3setup.cab

abraços

**galahad** · 04-08-2008, 12:17

Muito bem!

É muito bom ver que o projeto andou e está prosperando. Infelizmente eu continuo mais do que atolado com trabalho e faculdade. Recebi uma "promoção" que só me aumentou a responsabilidade e o volume de trabalho, infelizmente ainda não tive contrapartida.

Arium, você fez com o Perl o que eu iria fazer, ralar pra aprender. Quanto aos outros itens, eu programo em PHP e posso tentar ajudar, mas não tenho como me comprometer por enquanto.

Abraço,

**lucianogf** · 04-08-2008, 14:31

Postado originalmente por arium

seu winup está setado para /var/www/html/WINUP ou /var/www/WINUP?

verificou se dentro da pasta existe o arquivo:

wsus3setup.cab

abraços

sim, o caminho está correto.

e no diretório tem 161 arquivos wsus3setup.cab.. hehehe

no seu error.log do apache não aparece nada?

**arium** · 04-08-2008, 14:54

epa epa epa...

primeiro analisei meu error.log esta limpo!!!

segundo:
nao pode ter mais que 1 arquivo no /WINUP igual!!!

obvio que xxx?x é diferente de xxx?y

mais se tiver
xxx?x.1
xxx.?x2
xxx.?x161

é sinal de que ele não tá achando o arquivo lah dentro e tah dando wget o tempo todo
se for isso

checa path e permissoes! tem que ter R pra todos dah um chmod 755 -R nos WINUP

**lucianogf** · 04-08-2008, 15:26

sim, não são todos os arquivos iguais, o path está correto e as permissões também.

squid - configurações de url_rewrite

Ferramentas de Tópicos