Versão Imprimível
RAID 5 com 2 HDs? até onde sei precisa de, no mínimo, 3 HDs pra fazer RAID 5.Citação:
Postado originalmente por arium
Outra coisa, não adianta fazer raid para usar com cache do squid, não vai aumentar a performance. É melhor usar um HD para cada cache.
O arium me falou desse raid 5. esse au ainda nao testei,
mas nos testes que fiz em raid 0, a performance foi inferior do que separar o cache em varios hds.
vou usar aki 4 hds sata2 de 250gb cada...
tenho 6 hds novinhos da maxtor aki, pois samsung eh lixo, mas a mobo soh suporta 4. Agora com essa melhoria do aufs vou mudar pra ver.. to soh esperando os resultados dos testes.
O diskd destroi os discos.
realmente precisa 3 ou mais desculpe pelo engano...
mais aumenta a performace sim! e também deixa mais homogênio o IO
senão até não teria o porque de sua existência =p
Pessoal, cache e raid estão fora do escopo do tópico, mas vou pedir para o Alexandre explicar o porquê não melhor a performance com o squid.
o squid detecta o que ele "tem pra usar" pelo cache_dir (no caso de hd).. vc monta uma puta raid.. o squid considera como um unico hd... criando um numero menor de threads (se nao engano 16 por cache_dir) ... entao se voce colocar VARIOS cache_dir (logicamente em hds separados) .. a performance vai ser maior do que na raid !!! esta discussao esta na lista squid-users @ squid-cache.org ...
:)
ai você esta falando em acessar arquivos distintos...
por exemplo
vamos supor um video youtube
você tem 3 cache dir... em 3 hd... ele vai lah no hd X onde tah o video e pega!
agora no raid5
ele vai lah e pega
parte no hd 1 parte no hd2
não ficaria mais rápido assim?! aumentando o troughtput dos discos?
acho que podemos questionar em LARGE FILES isso sei lah... eu falei em base teórica para o andré não fiz o teste.. depois que acabar com isso aqui irei fazer.
a questão do raid e squid é assunto para outro tópico, vamos seguir o escopo deste.
cara, faz assim, continua os testes de aufs que eu testo o raid5.
Vou tira runs 15 dias pra trabalhar em cima do cache... vamos resolvendo essa pendenda do url_rewrite e em paralelo vou testando pra ver no que da.
ai dpois juntamos os resultados dos testes...
pessoal, sobre o wiki, se quiserem trabalhar com os scripts lá, me enviem todo material que já temos, incluindo parâmetros de configuração, como se fosse um tutorial, aí passo pro pessoal do wiki colocar lá, depois fica fácil fazer alterações.
acho melhor esperar um pouco mais! vamos pelomenos fazer o WUP fungar.
Citação:
Postado originalmente por achiodi
beleza fi! e coloca tuas partições em Raisefs com jornaling =) e parametro de montagem noatime
Pessoal, vou repetir, o tópico é para discussões sobre url_rewrite, se continuar outros assuntos, além de ficar bagunçado terei que fazer algo.
quem quiser fazer qualquer tipo de teste sobre raid e squid, faça, abra um novo tópico e se quiser pode deixar somente a url do mesmo aqui neste.
hehehhe é mano veio! mais bem que vc ajudou na discução do raid até trouxe o alexandre pro tópico hehehhe :P
Por nada nao mano, mas que tal vc parar de se preocupar com o escopo do topico e contribuir com algo?
O objetivo disso eh fazer um squid samurai, mesmo que pra isso fujamos um pouco do assunto!
E se vc quiser fazer algo, pois bem, vai em frente...arrumamos outra forma de comunicação e quem sai perdendo eh o pessoal aqui do forum pq nao sabera como termina isso.
;)
fred achei essa funçao system do perl pra chamar o sistema... saca soh +- oque vc tem que fazer:
entrada=www.windowsupdate.com/13321/432423/1231/5576a/213812831.cab
arquivo=213812831.cab (o que tiver ants do final até a ultima barra pois as vezes está assim 217317293712.cab?2819731)
Array=system("/bin/ls /var/www/wup/");
para 0 até fim
se arquivo igual a arquivo
então
$url="http://ip-localhost/WUP/arquivo";
print "$url\n";
fim
senão
system("cd /var/www/wup && /bin/wget http://www.windowsupdate.com/31277129739128.cab ");
print $entrada\n";
sim, pedi ao alexandre que desse uma explicação do porque não melhora a performance do squid o raid, fiz isso pensando que o assunto não continuaria neste tópico, o que não aconteceu.Citação:
Postado originalmente por arium
Não! Não vou parar de me preocupar com o escopo do tópico.Citação:
Postado originalmente por achiodi
Um dos porque estou aqui, além de ajudar com conteúdo é ajudar com organização.
Acredito que você saiba o que é organização, então não preciso me delongar mais!
Que estranho... ninguem mais postou nada... aconteceu alguma coisa?
:angel:
Aconteceu trabalho... hehehehe :)
Estou tentando implementar a sugestão do Arium no script. Assim que tiver alguma coisa, eu posto por aqui.
:( Ai pessoal !!! blz voces hein... colocam o melzinho na boca e depoistiram, fica todo mundo sussa né... legal hein... uns são o bixo da goiaba, outros o trem q pula. Até criticam quem nao sabe nada, nem fazer pergunta besta pode!! ai criam um tópico super interessante, se estapeiam e deixam todos a ver navio. Belas pelas palavras, ótimos questinamentos. Mas, perai !!! qual a função do forum ? cade a liberdade ? e quem ficou interessado ? Assim nao dá !!! Acho q deviam muito é pensar antes de escrever, pelo que sei os foruns são para construir e nao se exaltarem e deixarem os outros a ver navio. Não se esqueçam q na primeira vez q vc posta no forum geralmente é uma dúvida, e essa duvida é respondida bem ou mal, pois essa é a função de um forum. Pq então se negar a ajudar os outros ??? Na minha terra, o q aprendi com os outros devo ensinar aos outros da mesma maneira q me ensinaram.
Abraço a todos, e espero q esse assunto siga enfrente, pois é de grande utilidade a "todos", dos mais experientes até os mais "ignorantes".
Que os mediadores fiquem de olho.....
admito :withstupid:
qual sua preocupação amigo?Citação:
Postado originalmente por paulojrandrade
o tópico está correndo normalmente.
Sim, mas querem tudo na mao??
melzinho na chupeta?
e pesquisar? quebrar a cabeca, ficar horas no google pesquisando e testando solucoes que geralmente nao funcionam?
Afinal, vc ensina a pescar, nao entrega o peixe.
;)
paulojrandrade,
calma brother que o fred anda ocupado pra scriptar!
e dependemos dele... se vc conhece algum scripter perl.. pode indicar o tópico para acelerar o processo.
não precisamos de nada avançando
quando a perguntas não me importo do nível em que elas venham...
não nasci sabendo... tão pouco morrerei sabendo tudo.. então se você quiser perguntar pergunte
não precisa ter vergonha nenhuma.. eu irei tentar responde-la se tiver a meu alcance.
Abraço
Amigos,
tenho acompanhando vocês desde o primeiro post do Ariun, antes de ser modificado para url_rewrite, me interessou bastante e não vejo a hora do desfecho. Meu server, roda nesse momento o squid 3.0 em Freebsd com diskd, tive um ganho muito siginificativo, porem acho que poderia ficar ainda melhor. Não sei nada de perl, infelizmente, mais vou ver no que posso ajudar.
cara, o diskd vai acabar com teu disco..
ja perdi varios com ele... muda pra aufs...
tambem rodo o squid no freebsd.
Existe uma diretiva no windows xp que aponta para micrososft. Fical em secpol.msc > Configuração do computador > Modelos Administrativos > Windows componente > Windows update > Specify intranet Microsoft update service location. Aqui eu na empresa, visualizei usando o rsop.msc, pois eu sei que a diretiva foi incluida pelo AD e eles apontaram para um server wsus interno. Não sei se pode, mais se apontarmos para o server squid?
complica demais... tem que ser de forma transparente pro usuario.
Fred, dei uma boa olhada no script e pesquisei em sites documentacao sobre perl e consegui entender bem o funcionamento dele.
Estou quase apto pra ajudar tambem na parte de perl.
soh tenho 2 duvidas.
1ª - qual a funcao disso: $|=1;
ja pesquisei um monte e nao econtrei.
2ª - open $fh, ">>/tmp/debug_url_redirect.log";
se esse comando esta pegando o conteudo do arquivo e jogando pra variavel $fh, como eh que o array @x recebe o conteudo pra que o split separe o string?
nao consegui entender isso.
Espero não estar bangunçando nada.
Veja se ajuda:
Autor: Carlos Duarte, apostila encontrada no apostilando.
2.2. ArraysPrefixam-se por @ (ex: @a), contêm zero ou mais escalares, e indexam-se numericamente:@a = (1, "xpto", 3.5); # dois números e uma string
@b = (); # array vazio
@c = (1..5) # mesmo que (1,2,3,4,5)
@copy = @c; # copia de @c
$copy[0] = 12; # set do primeiro elemento a 12: (12, 2,3,4,5)Notas:
em modo escalar ("scalar @copy", ou "$a+@copy"), o valor de @copy é o número de elementos
no array:
for ($i=0; $i<@a; $i++) { print $a[$i],"\n"; }escreve todos os elementos de@a
osarrays (como tudo o resto) em perl são zero based, i.e. o primeiro elemento de um array, tem index 0
($a[0]) e o último tem index @a-1 ou $#a ($a[@a-1] ou $a[$#a])
2.3. Arrays associativos (hashes)Prefixam-se por % (ex: %a), contêm zero ou mais pares chave/valor (key/value), em que ambos são
escalares, e indexam-se por strings.
Internamente, não é mantida a ordem dos elementos que constituiem a hash1 (ver funções úteis para
arrays associativos, §9.5, p13).
%a = ("carlos", 12, "joao", 34, "xpto", 15);
$b = $a{"carlos"} # $b vale 12
$a{joao} = 44; # $a{joao} muda de 34 para 44
Notas:
o número de elementos de uma lista tem que ser par, para poder ser atribuída a uma hash.
nao ajudou muito mas valeu a iniciativa!
:)
Desculpem o sumiço, mas estou mais do que atrapalhado no serviço... fui mudado de função e as coisas agora estão ainda mais corridas, mas vou tentar ainda manter minha freqüência por aqui.
Vamos às dúvidas... como eu já disse antes, eu não sou programador Perl, só dou alguns pulos.
Pessoal, dêem uma olhada no seguinte url_redirector: JesredCitação:
Postado originalmente por achiodi
Citação:
Postado originalmente por arium
*************************************************************************************************************
Boa tarde amigo Arium. Estou acompanhando seu tópico (está muito show), mas agora que fui implemetar em meu squid3 e não rolou. Da erro ao restartar o squid.
Se puder dar umas dicas de como implementar o url_rewrite pro orkut e avg seria muito grato.
Obrigado
Aqui está meu squid.conf.
http_port 3128 transparent
visible_hostname jupiter
error_directory /usr/share/squid3/errors/Portuguese
cache_mem 150 MB
maximum_object_size_in_memory 128 KB
maximum_object_size 30 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid3 16384 16 256
cache_access_log /var/log/squid3/access.log
refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280
###ORKUT####
refresh_pattern orkut.com/.* 10080 100% 43200 override-expire override-lastmod reload-into-ims ignore-reload
#Antivirus
#AVG
refresh_pattern -i \.bin$ 0 20% 4320 override-lastmod reload-into-ims override-expire
refresh_pattern -i \.ctf$ 0 20% 4320 override-lastmod reload-into-ims override-expire
##### Cache do Windows Update #####
#refresh_pattern au.download.windowsupdate.com/.*\.(cab|exe|msi) 10080 100% 43200 reload-into-ims
#refresh_pattern download.microsoft.com/.*\.(cab|exe|msi) 10080 100% 43200 reload-into-ims
#refresh_pattern msgruser.dlservice.microsoft.com/.*\.(cab|exe|msi) 10080 100% 43200 reload-into-ims
#refresh_pattern windowsupdate.com/.*\.(cab|exe|msi) 10080 100% 43200 reload-into-ims
#refresh_pattern www.microsoft.com/.*\.(cab|exe|msi) 10080 100% 43200 reload-into-ims
################################
#auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/squid_passwd
#acl autenticados proxy_auth REQUIRED
#http_access allow autenticados
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl QUERY urlpath_regex cgi-bin \?
acl FORCE dstdomain .orkut.com .orkut.com.br
cache allow FORCE
cache deny QUERY
#storeurl_rewrite_children 70
#acl store_rewrite_list dstdomain .orkut.com
#url_rewrite_access allow store_rewrite_list
#url_rewrite_access deny all
#url_rewrite_program /etc/squid/store_url_orkut2
acl tube dstdomain .youtube.com
cache deny tube
acl SSL_ports port 443
acl SSL_ports port 563
acl Safe_ports port 80
acl Safe_ports port 21
acl Safe_ports port 443 563
acl Safe_ports port 70
acl Safe_ports port 210
acl Safe_ports port 1025-65535
acl Safe_ports port 280
acl Safe_ports port 488
acl Safe_ports port 591
acl Safe_ports port 777
acl Safe_ports port 901
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
#acl proibidos dstdom_regex "etc/squid/proibidos"
#http_access deny proibidos
acl redelocal src 192.168.2.0/24 192.168.3.0/24
http_access allow localhost
http_access allow redelocal
http_access deny all
********************************************************************************************
e aqui seu script em perl, que está na pasta /etc/squid3/........
#!/usr/bin/perl
$|=1;
while (<>) {
open $fh, ">>/tmp/debug_url_redirect.log";
@X = split;
$url = $X[0];
$client = $X[1];
$nada = $X[2];
$metodo = $X[3];
$nada2 = $X[4];
$myip = $X[5];
$myport = $X[6];
print $fh "entrada: $url\n";
if ($url =~ /^http:\/\/img[2-9]\.orkut\.com.*/) {
$url =~ s/img[0-9]/img1/;
print $fh "saida: $url\n";
print "$url\n";
} else {
print $fh "nao redirecionado\n";
print "\n";
}
close $fh;
}
AGRADEÇO DESDE JÁ.....
qual foi a mensagem de erro nos logs do squid?
Citação:
Postado originalmente por parlare
amigo atraves da documentaçao do squid squid : Optimising Web Delivery
notei que o squid3 "pelomenos lá" não tem suporta ao url_rewrite
por isso aconselho a mudar para o 2.7
bem...
tive que me FU****** sozinho pra faze isso o Winupdate
ainda estou testando.. mais segue os logs!
Código :
bem resumindo... tive que "aprender perl" testar e me ferrar e ferrar e ferrar e ferrar....
bem... o winup tah quase morto...
quando acabarem-se os testes irei postar como fazer.. pq acho eu que devo isso!
e dai partirei para o youtube e cia...
bem quanto a isso NAO IREI POSTAR ABSOLUTAMENTE NADA se não tiver cooperação de ninguem!
por isso preciso de um programador PHP e alguem que ajude no perl a ideia eu jah tenho.
essas pessoas vao assinar a autoria em conjunto comigo.. só preciso de umas 3 horas de trabalho de cada um por semana
e dedicaçao
aqui todo mundo gosto mais o fred foi o unico que conseguiu ajudar com o basico que sabia.. quando aperto nao deu mais..
e o andre o qual discutimos direto no msn!
então infelizmente é isso to querendo uma equipe.. pq só um NÂO DÁ!
e se é pra ser soh eu ou eu pago alguem pra fazer oque eu preciso pq nao vo te tempo sozinho
ou faço sozinho demoro mais me ralo mais...
nenhuma dessas hipoteses fará com que caia aqui a solução
infelizmente preciso tirar a preguiça de alguns de uma maneira drastica.. pq não é possivel que não tenham interessados aptos á tal!
mais uma vez:
um programador PHP
um scripter perl
3 horas por semana no max cada um.
pra fazer uma equipe..
esses vao conhecer toda a extrutura e o projeto
demais agente escolhe oque montar pra postar
se tiver que faze tudo sozinho proximo post e ultimo será o do windowsupdate soh pra verem que é capz!
não gosto disso mais fazer oq...
abraços
é galera, se não sabem programas, podem ajudar pesquisando.
não sei programar, mas pesquiso bastante no google, fico algumas horas na frente do micro procurando alguma coisa que possa ajudar, por enquanto o que encontrei não ofereceu grande coisa nos meus testes, mas continuo procurando.
arium, você teve esta mensagem no seu squid?
Código :
foram estas páginas que você viu no wiki do squid?
Features/StoreUrlRewrite - Squid Web Proxy Wiki
SquidFaq/SquidRedirectors - Squid Web Proxy Wiki
Fiz alguns testes com o Google Maps e não teve jeito, não fez cache, mesmo com configurações de refresh_pattern.
Não cheguei a testar com força do Avast e Avira.
quanto ao que falei sobre o squid 3
esqueça
tah aqui
Squid 3.0.STABLE8 configuration file
tem o url_rewrite...
OPTIONS FOR URL REWRITING
-----------------------------------------------------------------------------
- url_rewrite_program
- url_rewrite_children
- url_rewrite_concurrency
- url_rewrite_host_header
- url_rewrite_access
- url_rewrite_bypass
entao eh possivel sim user o script perl....
desculpem o engano...
quanto a não saber programar... o cara que nao sabe o MINIMO de scripting não sabe compilar um squid tbm instalar o um linux.. nao sabe faz que nem no perl aprende no soco. nao quero 10 quero ajuda de 2 pra pode fica um poquinho pra cada um e ficar bom pra tudo mundo...
o que eu quero de um programador php é uma coisa simples...
do perl é simples tbm..
quanto aqueles manuais que vc postou não funcionam nem adianta perder tempo.
quanto a messagem nao recebi... ainda
me passa seu url_rewrite e os parametros que vc tah usando
url_rewrite program e children
limpa o cache.logCitação:
Postado originalmente por parlare
roda e cola aqui
os parâmetros que estou usando são os mesmos que você passou.
Código :
o tal do tempo pelo jeito tá complicado pra todo mundo.
Citação:
Postado originalmente por lucianogf
o pau tah dando pra todos? ele redireciona algo?
os script tem as devidas permissoes e owner squid?
se nao redireciona algo e jah seto as perm jah zero o cache... tenta isso:
vai lah no site baixa o squid-2.7.STABLE2.tar.gz no /usr/src
tar -xvzf squid-2.7.STABLE2.tar.gz &&
cd squid-2.7.STABLE2 &&
./configure --prefix=/usr --exec-prefix=/usr --bindir=/usr/bin --sbindir=/usr/sbin --libexecdir=/usr/libexec --datadir=/usr/share/squid --sysconfdir=/etc/squid --sharedstatedir=/var/lib/squid --localstatedir=/var --libdir=/usr/lib --includedir=/usr/include --infodir=/usr/share/info --mandir=/usr/share/man --enable-dependency-tracking --enable-storeio="aufs,ufs,diskd,coss,null" --enable-carp --enable-icmp --enable-delay-pools --enable-snmp --enable-cachemgr-hostname=localhost --enable-arp-acl --enable-htcp --enable-forw-via-db --enable-cache-digests --enable-default-err-language="Portuguese" --enable-poll --enable-http-violations --enable-linux-netfilter --enable-truncate --enable-ntlm-fail-open --enable-stacktraces --enable-x-accelerator-vary --with-pthreads --with-aio --with-dl --with-large-files --enable-large-cache-files --enable-removal-policies="heap lru" &&
make &&
make install
:P
das opções de configuração que eu uso para as suas existem algumas diferenças, abaixo está a junção das duas, o que está com um * é que tem nas minhas e nas suas não, e o que está com dois ** é que tem nas suas e nas minhas não.Citação:
Postado originalmente por arium
Código :
cara...
não sei se o problema é nas configurações de compilação do squid, recompilei adicionando as opções que não tinha e continua o problema.
a não ser que alguma dessas opções esteja conflitando com o url_rewrite.
estas configurações de compilação chequei muito bem antes de usá-las.
fui testar pra valer as configurações para o avast e não deu muito certo não.
ele dá erro na hora da atualização.
bem se você foi testar... é pq entao conseguiu sanar o problema certo?
não, o problema das mensagens do squid continuam.Citação:
Postado originalmente por arium
fui testar pra ver se realmente estava eficiente, e para minha surpresa não estava funcionando.
aqui funciona entao deve ser teu squi mesmo .. essas messagens nao acontecem no meu e o script funciona...
bem como o do window update os testes até agora estao 100%
to aguardando mais testes
tem mais hosts do windows update do que:
au.windowsupdate.com
e download.windowsupdate.com?
2676 Arquivos metadados do download.windowsupdate.com
e
30 na segunda pasta .. soh que esses 30 arquivos totalizam, já 2,2GB !!
com o avast você chegou a fazer uma nova instalação dele pra testar as atualizações de programa e banco de dados?
sim
Modo de Usar(Windows Update Script For Dummies):Código :#!/usr/bin/perl # Windows Update Caching - Squid Proxy - By Luiz Biazus #Tenha a Dignidade de mater os créditos ;-) senão vc atesta sua incompetência =D #PS: e de agradecer tbm! $|=1; while (<>) { open $fh, ">>/tmp/debug_url_redirect.log"; @X = split; $url = $X[0]; print $fh "entrada: $url\n"; #WINDOWS UPDATE LOOP PRIMARIO if ($url =~ /^http:\/\/download.windowsupdate.com/) { @achar = split(/\//, $url); $arquivoachar = $achar[$#achar]; $resultado = `/bin/ls /var/www/html/WINUP`; @array = split(/\n/, $resultado); $flag = 0; for $i (0 .. $#array){ if($array[$i] eq "$arquivoachar") { $flag = 1; $id=`/usr/bin/id`; print $fh "Windows Update Redirecionado de $url Para http://IP.IP.IP.IP/WINUP/$arquivoachar user $id\n"; $url = "http://IP.IP.IP.IP/WINUP/$arquivoachar"; print $fh "saida: $url\n"; print "http://IP.IP.IP.IP/WINUP/$arquivoachar\n"; } $i++; } if($flag == 0 ) { exec("cd /ar/www/html/WINUP && umask 022 && /usr/bin/wget $url && /bin/chmod +r /var/www/html/WINUP/.$arquivochar"); print $fh "saida: arquivoachar $arquivoachar $url\n"; print "$url\n"; } } #WINDOWS UPDATE LOOP SECUNDARIO if ($url =~ /^http:\/\/au.download.windowsupdate.com/) { @achar = split(/\//, $url); $arquivoachar = $achar[$#achar]; $resultado = `/bin/ls /var/www/html/WINUP2`; @array = split(/\n/, $resultado); $flag = 0; for $i (0 .. $#array){ if($array[$i] eq "$arquivoachar") { $flag = 1; $id=`/usr/bin/id`; print $fh "AU Windows Update Redirecionado de $url Para http://IP.IP.IP.IP/WINUP2/$arquivoachar user $id\n"; $url = "http://IP.IP.IP.IP/WINUP2/$arquivoachar"; print $fh "saida: $url\n"; print "http://IP.IP.IP.IP/WINUP2/$arquivoachar\n"; } $i++; } if($flag == 0 ) { exec("cd /var/www/html/WINUP2 && umask 022 && /usr/bin/wget $url && /bin/chmod +r /var/www/html/WINUP2/.$arquivochar"); print $fh "AU saida: arquivoachar $arquivoachar $url\n"; print "$url\n"; } } else { print $fh "nao redirecionado\n"; print "\n"; } close $fh; }
1- Criar um Alias no apache EX:
2 - Permiçoes e caralho a 4:Código :
3- Trocar IP.IP.IP.IP pelo ip do seu servidor ;-) ou use localhostCódigo :
4-Ser Feliz
PS: até começar a popular será comum voce ter alguns arquivos repetidos tipo:
mais eh soh no começoCódigo :
ae nada que um rm -rf *.1 nao resolva.... isso vai acontecer com a pasta /WINUP dos metadados
deixe o windows update no automatico
no inicio "pela pagina" ele irá dar alguns problemas de autalizaçao o que eh normal até ele acabar de dar os wgets e popular o cache.
deu pra bola