Caro Osmano807, vai fugir um pouco do topico.
Vc pode nos esclarecer um pouco mais sobre o SQUIDREWRITE, que objetivo, como usar, da para usar com o thunder, como instalar.....
obrigado
Caro Osmano807, vai fugir um pouco do topico.
Vc pode nos esclarecer um pouco mais sobre o SQUIDREWRITE, que objetivo, como usar, da para usar com o thunder, como instalar.....
obrigado
Como funciona o sistema quanto a colocação dos servidores?
1)Link > Mikrotik > ThunderCache
2)Link > ThunderCache > Mikrotik
Se no caso for uma ADSL o servidor pode ser usado em modo bridge para discagem da internet?
O squidrewrite vai trabalhar com regex, isto é, vai pegar a url do squid e vai ver se bate com alguma regra do arquivo de configuração, se bater ele vai "trocar" (replace) o que foi marcado pela regex por outro texto.
Exemplo:
O programa escaneia cada regra rule e associa com seu replace correspondente.Código :rewrite = ( { rule = "img[0|2-9]"; /* Orkut images rewrite */ replace = "img1"; }, { rule = "static[0|2-9]"; /* Orkut css, js rewrite */ replace = "static1"; }, { rule = "i[0|2-9].ytimg"; /* Youtube images, css, js rewrite */ replace = "i1.ytimg"; } );
se o squid mandar img4.orkut.com, a rule "img[0|2-9]" vai marcar, e vai trocar por "img1".
Estou ainda arrumando os log file, e outras coisinhas.
Também estou fazendo uma implementação para o cache do youtube (consegui até agora pegar os argumentos da url, o problema é que eu estou fazendo para rodar no windows também, e eu preciso rodar o downloader em background ["downloader &"], mas o windows não suporta "&").
blz, qdo vc tiver uma beta para nos instalarmos, avisa ai.
Entendi entao que substitui o squid e thunder???
valeu.
A primeira vez que vi sobre isso que quer fazer foi em contato com o HANDRI AGUSTIAN ele desenvolveu algo nesse sentido e foi dai também que o Manga tirou a idéia do thunder.
Código :Arquivo: store_url_rewrite Código: #!/usr/bin/perl $|=1; while (<>) { @X = split; $url = $X[0]; $url =~s@^http://(.*?)/get_video\?(.*)video_id=(.*?)&.*@squid://videos.youtube.INTERNAL/ID=$3@; $url =~s@^http://(.*?)/get_video\?(.*)video_id=(.*?)$@squid://videos.youtube.INTERNAL/ID=$3@; $url =~s@^http://(.*?)/videodownload\?(.*)docid=(.*?)$@squid://videos.google.INTERNAL/ID=$3@; $url =~s@^http://(.*?)/videodownload\?(.*)docid=(.*?)&.*@squid://videos.google.INTERNAL/ID=$3@; $url =~s@^http://(.*?)/albums\?&.*@squid://images.photobucket.INTERNAL/ID=$3@; $url =~s@^http://(.*?)/albums\?$@squid://images.photobucket.INTERNAL/ID=$3@; $url =~s@^http://(.*?)/albums\?&.*@squid://videos.photobucket.INTERNAL/ID=$3@; $url =~s@^http://(.*?)/albums\?$@squid://videos.photobucket.INTERNAL/ID=$3@; print $url\n; }
Foi dai que tudo começou eu mesmo usei o scrit por anos, mas após a google alterar o sistema deles parou de funcionar ai alterei o script e funcionou mais um tempo. Mas ai pensei pq ficar quebrando a cabeça se temos algo quase pronto "THUNDER".
Mas sei que com o Store Rewrite fica muito melhor e mais rápido do que o thunder e sem precisar de varias configurações especiais para funcionar 100%.
ACOMPANHANDO...........
Tou ainda fazendo testes do squidRewrite, e parece que está funcionando legal. O problema que deu aqui foi por causa das permissões (porque o squid não roda como root?), aí a função do log deu uns bugs.
O limite de download FUNCIONA! (Eu amo libcurl).
Só pra vocês terem uma ideia, o log está assim
Esse 18 em FXvv5sTqNa4__18.flv é o &fmt=18 do youtube, para fazer o cache de videos em HD também. Estarei publicando o projeto no Sourceforge em breve, mas ainda tenho que completar os testes.Código :Tue, 09 Jun 09 14:35:41 - Redonload - maior [URL]http://www.youtube.com/get_video?video_id[/URL]=FXvv5sTqNa4&t=vjVQa1PpcFNX8MQP_5RxwReT_EZrrTI1WPWJxFuFET8=&el=detailpage&ps=&fmt=18 Tue, 09 Jun 09 14:35:41 - Ja fazendo o download /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/FXvv5sTqNa4/default.jpg[/URL] Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/w4araM2YNUc/default.jpg[/URL] Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/whBrTOzj0Kw/default.jpg[/URL] Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/VKLKwP76nvA/default.jpg[/URL] Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/rkdRfbN6eew/default.jpg[/URL] Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/o_IQQkfyhwk/default.jpg[/URL] Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/3pE76zTsRno/default.jpg[/URL] Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/fzRHUZ5rOuI/default.jpg[/URL] Tue, 09 Jun 09 14:36:51 - Download terminado /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv Tue, 09 Jun 09 14:36:56 - HIT [URL]http://192.168.20.2/squidrewrite/youtube/FXvv5sTqNa4__34.flv[/URL] Tue, 09 Jun 09 14:37:11 - MISS: [URL]http://www.youtube.com/get_video?video_id[/URL]=FXvv5sTqNa4&t=vjVQa1PpcFOvQ0us_PoGS82OEcX8uNWrTqYuUVGUCy8=&el=detailpage&ps=&fmt=18 Tue, 09 Jun 09 14:37:11 - /usr/local/libexec/downloader "[URL]http://www.youtube.com/get_video?video_id[/URL]=FXvv5sTqNa4&t=vjVQa1PpcFOvQ0us_PoGS82OEcX8uNWrTqYuUVGUCy8=&el=detailpage&ps=&fmt=18" "/Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv" "50000" "/Library/WebServer/Documents/squidrewrite/youtube/inf/FXvv5sTqNa4__18.flv" > /dev/null 2>&1 & Tue, 09 Jun 09 14:37:11 - Iniciando download /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv Tue, 09 Jun 09 14:37:11 - FILESIZE= 0 Tue, 09 Jun 09 14:38:24 - Download terminado /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv Tue, 09 Jun 09 14:38:54 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/FXvv5sTqNa4/default.jpg[/URL] Tue, 09 Jun 09 14:38:54 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/w4araM2YNUc/default.jpg[/URL] Tue, 09 Jun 09 14:38:54 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/rkdRfbN6eew/default.jpg[/URL]
Tenho testado ele aqui no slackware, realmente cumpre com o pre-posto, mas tem uma coisa que implica, a limitação do tamanho do arquivo, se no squid tiver 300M apenas, o thunder baixa com qualquer tamanho, já pensou, ainda mais aqueles que ainda estão com hds de 80G? Fiz alguns testes aqui para vê se limitava este, mas sem êxito. Vou continuar os testes depois.
O pessoal aqui só usa o debian?
Olá Brother !
Existe uma regra no forum do thunder onde é adicionada ao thunder.conf que limita o tamanho dos arquivos...olha lá.
Hum, depois eu dou uma conferida lá.
Senhores, tenho squid com thunder rodando redondinho, com servidor preparado para receber 70mil videos, e demais arquivos, atualmente já temos 32 mil videos em cache, meu problema é o seguinte: preciso disponibilizar planos novos aos meus clientes da seguinta meneira
400k para arquivos do cache, e 200k para arquivos q nao estao no cache...
hoje temos cache full ativado na rede e controlado a 4mb
preciso de um controle de banda para os clientes, para arquivos que estao no cache, e os q nao estao no cache de maneira diferente
alguem tem alguma dica?
ja tentei alguns mangles mas sem sucesso ate agora
acompanhando....
Assim amigo,
Aqui você marcaria tudo com destino a address list criada, que no caso é 128k:
Depois faça uma entrada para marcar os pacotes e faça o controle na queue tree.Código :/ip firewall mangle add chain=output dst-address-list=128k protocol=tcp dst-port=3128 content="X-Cache: HIT" action=mark-connection new-connection-mark=squid-connection passthrough=yes
Aí os que você quiser que estejam dentro deste grupo é só add na address list:
Código :/ip firewall address-list add address=ipdocliente list=128k disabled=no comment="fulando de tal"
A partir disso você vai criando à sua maneira.