Re: Cache local - Aproveitar HD Cliente
a quem interessar e que possa dar um help...
achei esses dois links no site do squid:
Features/Redirectors - Squid Web Proxy Wiki
Features/StoreUrlRewrite - Squid Web Proxy Wiki
foi esse o inicio do thunder.
nao espero algo tao complicado, ate pq nao sera para atender um bocado de clientes
mas sim algo simples.. como esses scripts em perl... ja que sera usado somente na maquina do cliente.
tbm nao espero que faça cache de praticamente tudo, mas espero que possamos otimizar o cache dos principais sites: orkut, youtube, terra, globo, uol, redtube, etc.
com ele instalado, senao em todos, mas na maioria dos clientes... espero ter uma economia de trafego interno.
como tbm uma economia de threads (para quem usar thunder cache como servidor).
Re: Cache local - Aproveitar HD Cliente
Ótimo material. Estudando! A idéia do cache local é realmente genial
Re: Cache local - Aproveitar HD Cliente
se eu estiver falando bobagem me perdoem, mas existe algo nesse sentido já, o cara só precisa de um pouco de ajuda pra continuar e ir melhorando, segue o link do amigo, ajudem ele, ele já esta adiantado.. um abraço a todos ...
Mikrotik Facil.com: Squid Fácil, abertura de página muito mais rápida
Re: Cache local - Aproveitar HD Cliente
Citação:
Postado originalmente por
lobomal
eu estou usando ele, apenas tentando dar uma implementanda, tentando dar uma pequena melhorada.
reveja o topico e se possivel, da um help ao nos testes.
alguns post acima eu enviei uma nova versao.
Re: Cache local - Aproveitar HD Cliente
Gente, parece que finalmente consegui um cache eficiente do orkut... e de quebra, o cache de alguns outros.
Referente a sites que nao aceitam proxy (principalmente os HTTPS), assim como os principais aplicativos do orkut (colheita feliz, etc), adicionei uma regra que exclui eles do proxy... nao cheguei a testar a fundo, mas aparenta estar funcionando.
Fiz tbm algumas outras adaptacoes no squid.conf, como: adicionado mais de um caminho para cache, alterado o caminho e a quantidade de pastas para cache, alterado tamanho memoria, alterado tamanho maximo e minimo de arquivo em cache, adicionado alguns refresh afim de otimizar o tempo de cache dos arquivos, adicionado algumas outras regras.
veja algumas partes do access.log:
Código :
1290055729.075 8 127.0.0.1 TCP_MEM_HIT/200 2360 GET http://img4.orkut.com/images/small/1280433516/369346713/of.jpg - NONE/- image/jpeg
1290055729.081 10 127.0.0.1 TCP_MEM_HIT/200 2538 GET http://img1.orkut.com/images/small/1287438292/38896925/of.jpg - NONE/- image/jpeg
1290055729.082 11 127.0.0.1 TCP_MEM_HIT/200 2441 GET http://img3.orkut.com/images/small/1289937078/424634041/of.jpg - NONE/- image/jpeg
1290055729.082 5 127.0.0.1 TCP_MEM_HIT/200 2820 GET http://img2.orkut.com/images/small/1283010109/533693968/of.jpg - NONE/- image/jpeg
1290055729.082 11 127.0.0.1 TCP_MEM_HIT/200 3079 GET http://img3.orkut.com/images/small/1279100105/158504916/ln.jpg - NONE/- image/jpeg
1290055729.082 6 127.0.0.1 TCP_MEM_HIT/200 2019 GET http://img3.orkut.com/images/small/1289310512/54856103/of.jpg - NONE/- image/jpeg
1290055729.084 8 127.0.0.1 TCP_MEM_HIT/200 1353 GET http://img1.orkut.com/images/small/1273567211/73692665/ln.jpg - NONE/- image/jpeg
1290055729.095 9 127.0.0.1 TCP_MEM_HIT/200 2782 GET http://img4.orkut.com/images/small/1277918801/18071538/tu.jpg - NONE/- image/jpeg
1290055729.095 8 127.0.0.1 TCP_MEM_HIT/200 2930 GET http://img4.orkut.com/images/klein/1287890664/24662855/of.jpg - NONE/- image/jpeg
1290055729.095 8 127.0.0.1 TCP_MEM_HIT/200 2246 GET http://img1.orkut.com/images/small/1283791694/115253617/ln.jpg - NONE/- image/jpeg
1290055729.095 10 127.0.0.1 TCP_MEM_HIT/200 2987 GET http://img2.orkut.com/images/small/1288987115/383814097/of.jpg - NONE/- image/jpeg
1290055729.100 12 127.0.0.1 TCP_MEM_HIT/200 2349 GET http://img4.orkut.com/images/klein/1272319190/101194534/of.jpg - NONE/- image/jpeg
1290056605.845 11 127.0.0.1 TCP_MEM_HIT/200 4084 GET http://i2.ytimg.com/vi/54sOm1P4d1w/default.jpg - NONE/- image/jpeg
1290056605.845 11 127.0.0.1 TCP_MEM_HIT/200 5368 GET http://i1.ytimg.com/vi/0lDtwxCkJFk/default.jpg - NONE/- image/jpeg
1290056605.860 7 127.0.0.1 TCP_MEM_HIT/200 4163 GET http://i1.ytimg.com/vi/8FDWAM4L6OY/default.jpg - NONE/- image/jpeg
1290056605.872 16 127.0.0.1 TCP_HIT/200 4079 GET http://i1.ytimg.com/vi/PuyVMJP71sA/default.jpg - NONE/- image/jpeg
1290056311.319 2 127.0.0.1 TCP_HIT/200 3696 GET http://i2.ytimg.com/vi/uN23zh47lzY/default.jpg - NONE/- image/jpeg
1290056311.322 2 127.0.0.1 TCP_HIT/200 5257 GET http://i4.ytimg.com/vi/gYBUTD_sbOo/default.jpg - NONE/- image/jpeg
1290056366.456 1 127.0.0.1 TCP_IMS_HIT/304 365 GET http://uni104.ogame.com.br/game/js/TimerHandler.js - NONE/- application/javascript
1290056366.494 5 127.0.0.1 TCP_IMS_HIT/304 365 GET http://uni104.ogame.com.br/game/js/jquery.dump.js - NONE/- application/javascript
1290056366.494 5 127.0.0.1 TCP_IMS_HIT/304 365 GET http://uni104.ogame.com.br/game/js/jquery-ui.packed.js - NONE/- application/javascript
1290056366.496 1 127.0.0.1 TCP_IMS_HIT/304 365 GET http://uni104.ogame.com.br/game/js/jquery.tablesorter.min.js - NONE/- application/javascript
1290056366.498 2 127.0.0.1 TCP_IMS_HIT/304 365 GET http://uni104.ogame.com.br/game/js/errorBox.js - NONE/- application/javascript
1290056366.513 2 127.0.0.1 TCP_IMS_HIT/304 365 GET http://uni104.ogame.com.br/game/js/timetick.js - NONE/- application/javascript
1290054207.631 24 127.0.0.1 TCP_HIT/200 2014 GET http://www.brazilfw.com.br/forum/images/donate/donar.gif - NONE/- image/gif
1290054207.631 22 127.0.0.1 TCP_HIT/200 2087 GET http://www.brazilfw.com.br/forum/images/donate/donate.gif - NONE/- image/gif
1290054207.643 34 127.0.0.1 TCP_HIT/200 1935 GET http://www.brazilfw.com.br/forum/images/donate/doar.gif - NONE/- image/gif
1290054207.722 112 127.0.0.1 TCP_HIT/200 1067 GET http://www.brazilfw.com.br/forum/images/smilies/icon_eek.gif - NONE/- image/gif
1290054207.722 108 127.0.0.1 TCP_HIT/200 2086 GET http://www.internetvista.com/img/internetvista6.gif - NONE/- image/gif
1290053889.083 66 127.0.0.1 TCP_HIT/200 1693 GET http://wiki.squid-cache.org/wiki/squidtheme/js/niftyCorners.css - NONE/- text/css
1290053889.083 58 127.0.0.1 TCP_HIT/200 2083 GET http://wiki.squid-cache.org/wiki/squid-favicon.ico - NONE/- text/plain
1290053889.088 67 127.0.0.1 TCP_HIT/200 9679 GET http://wiki.squid-cache.org/wiki/squidtheme/js/niftycube.js - NONE/- application/x-javascript
1290053889.195 108 127.0.0.1 TCP_HIT/200 1447 GET http://wiki.squid-cache.org/wiki/squidtheme/css/print.css - NONE/- text/css
1290053889.202 119 127.0.0.1 TCP_HIT/200 4862 GET http://wiki.squid-cache.org/wiki/squidtheme/css/common.css - NONE/- text/css
1290056770.148 36 127.0.0.1 TCP_HIT/200 1807 GET http://static1.under-linux.net/images/icons/rss.png - NONE/- image/png
1290056770.181 32 127.0.0.1 TCP_HIT/200 4716 GET http://static1.under-linux.net/images/icons/twitter.png - NONE/- image/png
1290056770.209 27 127.0.0.1 TCP_HIT/200 1801 GET http://static1.under-linux.net/images/icons/facebook.png - NONE/- image/png
1290056770.239 29 127.0.0.1 TCP_HIT/200 1620 GET http://static1.under-linux.net/images/icons/linkedin.png - NONE/- image/png
1290056770.278 39 127.0.0.1 TCP_HIT/200 3521 GET http://static1.under-linux.net/images/misc/navbit-home.png - NONE/- image/png
Estou precisando de gente para testar e reportar caso encontre problema no acesso a algum site.
Interessados entrar em contato.
Re: Cache local - Aproveitar HD Cliente
Mande as alterações que vou ver se testo aqui.
Re: Cache local - Aproveitar HD Cliente
Citação:
Postado originalmente por
mascaraapj
a quem interessar e que possa dar um help...
achei esses dois links no site do squid:
Features/Redirectors - Squid Web Proxy Wiki
Features/StoreUrlRewrite - Squid Web Proxy Wiki
foi esse o inicio do thunder.
nao espero algo tao complicado, ate pq nao sera para atender um bocado de clientes
mas sim algo simples.. como esses scripts em perl... ja que sera usado somente na maquina do cliente.
tbm nao espero que faça cache de praticamente tudo, mas espero que possamos otimizar o cache dos principais sites: orkut, youtube, terra, globo, uol, redtube, etc.
com ele instalado, senao em todos, mas na maioria dos clientes... espero ter uma economia de trafego interno.
como tbm uma economia de threads (para quem usar thunder cache como servidor).
Não foi o início do thunder
Vocês vão encontrar problemas nisso em breve. Essa arquitetura do squid é meio 'bugada' para conteúdo dinâmico, mesmo após isso.
Re: Cache local - Aproveitar HD Cliente
Citação:
Postado originalmente por
osmano807
Não foi o início do thunder
Vocês vão encontrar problemas nisso em breve. Essa arquitetura do squid é meio 'bugada' para conteúdo dinâmico, mesmo após isso.
Opa amigo, entao falei bobagem.
é que vi o topico: https://under-linux.org/f96/squid-co...ewrite-110914/
onde começa falando sobre script perl e logo depois dizem que o projeto continuou, que estao tocando e falao sobre o thunder.
entao, tirei conclusao em cima disso.
em todo caso, nao é o objetivo ser um thunder da vida.
mas um simples aplicativo que possa ser instalado no computador do cliente... e atraves dele, o cliente ter um ganho na abertura das paginas web... de preferencia o orkut, que é um dos sites que mais gera trafego.
em contrapartida, tbm iremos ter uma economia de banda interna, pois esses mesmos arquivos sera buscados logo ali no cliente.
com relação a bugs, poderia relatar?
se possivel, ate dar um help?
Re: Cache local - Aproveitar HD Cliente
Tenho acompanhado com interesse estes resulltados. Mas agora que o Osmano chegou na conversa, vou fazer uma pergunta que não quer calar desde o ínício.
Este Squid fácil vai ser instalado numa máquina windows, e isso irá rodar tranquilo, já que o squid é no línux? Tem algum soft para emular isso no windows ou é uma programação totalmente diferente?
Re: Cache local - Aproveitar HD Cliente
Citação:
Postado originalmente por
1929
Tenho acompanhado com interesse estes resulltados. Mas agora que o Osmano chegou na conversa, vou fazer uma pergunta que não quer calar desde o ínício.
Este Squid fácil vai ser instalado numa máquina windows, e isso irá rodar tranquilo, já que o squid é no línux? Tem algum soft para emular isso no windows ou é uma programação totalmente diferente?
(Nem olhei direito, to muito sem tempo, meu note quebrou o flat, e to indo na lan pra olhar aqui.)
Tipo, Squid para Windows existe, é funcional, só não sei se foi isso que implementaram.
Re: Cache local - Aproveitar HD Cliente
osmano807,
É sim o "Squid para Windows"...
O que está sendo feito é:
- acrescentar-se uma interface para administração do mesmo;
- incluir "no pacote" o(s) script(s) Perl para "reescrita" de url.
Praticamente é isso...
Eu ajudei no amigo mascaraapj nos testes iniciais já com os scripts Perl.
É como ele mesmo citou, não se tem a pretenção de chegar nem perto de algo grandioso como o Thunder (que é, diga-se de passagem, uma excelente ferramenta), mas sim dar uma aliviada até no tráfego da rede local, melhorando o tráfego da rede e dando ao usuário uma navegação "mais acelerada".
Abraço à todos!
Re: Cache local - Aproveitar HD Cliente
Citação:
Postado originalmente por
osmano807
(Nem olhei direito, to muito sem tempo, meu note quebrou o flat, e to indo na lan pra olhar aqui.)
Tipo, Squid para Windows existe, é funcional, só não sei se foi isso que implementaram.
É justamente esse, osmano807...
Ajudei o mascaraapj nos testes iniciais e "iluminei" o caminho dele com relação ao "storeurl.pl"...
Já implementei esse script em mais de uma distro e sei que ele não atende a necessidade quando se trata de uma rede grande.
Mas o proposto nesta empreitada aqui é somente implementá-lo no "SquidNT" para funcionar em 1 pc (que seria a estação do cliente/usuário da rede).
Para esse fim, creio que seja uma boa sim.
Realmente, se o cliente conseguir obter os arquivos de um cache feito no próprio pc dele, irá "acelerar" a navegação dele e de quebra ainda diminuirá o tráfego na rede local (claro que isso sem um cache "robusto" na rede - um ThunderCache, por exemplo - não adianta de muita coisa para a rede... Mas somando essa proposta com a implementação de uma solução robusta para o cache da rede toda, acho uma boa mesmo).
Nos testes iniciais tudo funcionou legal aqui...
Abraço à todos!
Re: Cache local - Aproveitar HD Cliente
Diretamente no site do squid:
SquidFaq/BinaryPackages - Squid Web Proxy Wiki
la embaixo é citado onde encontrar o Squid for Windows:
Acme Consulting -Societ di Consulenza e Formazione Informatica - Torino
O SquidFacil, é o SquidNT (Versao Squid para Windows) com com uma Interface que possibilita Iniciar, Parar e Limpar o cache.
Foi esse que foi instalado no computador.
as regras do Squid para Windows sao as mesmas que no Squid para linux... podem ser editadas atraves do arquivo squid.conf
No SquidFacil, foi editado o squid.conf e adicionado algumas regras, como tbm adicionado um script em perl que ajuda no cache eficiente de alguns sites (como orkut). Deixo aqui meus agradecimentos ao Marcio Jose, quem me indicou o script e com agumas adaptacoes consegui um cache do orkut.
Algumas regras foram adicionadas afim de otimizar o squid e outras afim de evitar problemas com alguns sites que nao aceitam proxy/cache...
Tenho ele rodando em 4 computador, sendo: 1 W-7 32b, 1 W-7 64b, 2 W-XP
Ate o presente momento, tem funcionado muito bem... e ja trouxe uma economia enorme de banda.
Quem tiver interesse em testar, favor entrar em contato.
Citação:
Postado originalmente por
1929
Tenho acompanhado com interesse estes resulltados. Mas agora que o Osmano chegou na conversa, vou fazer uma pergunta que não quer calar desde o ínício.
Este Squid fácil vai ser instalado numa máquina windows, e isso irá rodar tranquilo, já que o squid é no línux? Tem algum soft para emular isso no windows ou é uma programação totalmente diferente?
Re: Cache local - Aproveitar HD Cliente
Grande MarcinhoSamurai... do forum fo BrazilFW... como vc tá rapaz ??? fiquei feliz em te encontrar por aqui...
Grande mascaraapj coloca o link ae pra gente baixar ... a gente vai testando e relatando pra te ajudar... parabéns pela iniciativa muito boa mesmo a idéia
Re: Cache local - Aproveitar HD Cliente
Sabemos que um bom proxy na rede ajuda e muito a economizar Link, e muitos provedores sofrem implementando esse tal cache para ter uma economia maior de banda e algumas vezes dar uma velocidade maior para o cliente (cache full).
Como podem ver, recentemente estive atras de alguma ferramenta que fizesse esse cache localmente e que fosse possivel a sua instalação nos computadores dos clientes (com windows).
Claro que nenhuma ferramenta local (instalada no cliente) nos livra de um cache mais robusto (instalado no data center do provedor).
Com esse Proxy local, se o cliente conseguir obter os arquivos de um cache feito no próprio pc dele, alem "acelerar" a navegação dele... de quebra ainda iria diminuir o tráfego na rede local do provedor (alem de diminuir o processamento do Cache geral e/ou Threads).
Em resumo, um Proxy instalado no cliente somado a uma Solução robusta para cache da rede toda (Thunder por exemplo), iria nos trazer uma boa economia de banda, tanto de Banda externa, quanto interna.
Ressalto que não tenho a pretenção do proxy chegar perto de algo grandioso, como o thunder cache, entre outros.
Pois bem, foi surgindo uma e outra dica e com algumas adaptações nos scripts, consegui reunir um pacote onde inclui:
- Squid para Windows (SquidNT);
- Interface Grafica (SquidFacil);
- Script para otimização do cache ( script em perl storeurl.pl para rescrita de url);
- Regras de otimização do squid e lista de sites para não passar pelo cache.
Iniciamente, o Proxy funciona no I.E e no Google Chrome.
Para o Mozilla Firefox é necessario configurar o navegador, para maiores detalhes: http://squidfacil.mikrotikfacil.com/...squidfacil.pdf
Nos testes iniciais tem funcionado muito bem por aqui.
Estou enviando-os para quem quiser testar tambem.
DOWNLOAD:
ProxyLocal_Windows7_Beta.rar - 4shared.com - online file sharing and storage - download
ProxyLocal_WindowsXP_Beta.rar - 4shared.com - online file sharing and storage - download
------------------------------------------------------------------
Para o funcionamento desse Proxy, faz-se necessario ter algum interpretador Perl instalado.
Recomendo a instalaçao do ActivePerl que pode ser encontrado em: ActivePerl Downloads - Perl Binaries for Windows, Linux and Mac | ActiveState
Atenção:
*** Caso instale o ActivePerl - dependendo da sua plataforma (32 ou 64-bit), é diferente o caminho do executavel Perl. Por isso sera necessario editar o squid.conf (C:\squid\etc\ ).
- Para 32 bit, deixe o "storeurl_rewrite_program" no squid.conf do jeito que esta.
storeurl_rewrite_program C:/Perl/bin/perl.exe C:/squid/exe/storeurl.pl
- Para 64 bit, altere o caminho, ficando:
storeurl_rewrite_program C:/Perl64/bin/perl.exe C:/squid/exe/storeurl.pl
*** Caso instale outro Interpretador Perl, sera necessario alterar o "storeurl_rewrite_program" para o caminho do executavel desse interpretador Perl.
storeurl_rewrite_program Caminho_do_interpretador_perl C:/squid/exe/storeurl.pl
------------------------------------------------------------------
Qualquer duvida, dica, sugestões ou problema/bug encontrado, favor relatar aqui no topico..
Meu agradecimento especial para:
"Osni Silva - Mikrotik Facil.com" e
"Marcio Jose - [email protected]"
Re: Cache local - Aproveitar HD Cliente
Informação coletada hoje apos 25 min do computador ligado, Windows XP.
Proxy rodando a uns 4 dias.
Citação:
Cache information for squid:
Request Hit Ratios: 5min: 19.7%, 60min: 14.5%
Byte Hit Ratios: 5min: 7.3%, 60min: 5.5%
Resource usage for squid:
CPU Usage, 5 minute avg: 0.64%
CPU Usage, 60 minute avg: 0.40%
Para obter essas informações, abra o prompt de comando (INICIAR - EXECUTAR - cmd)
digite:
cd c:\squid\bin
squidclient.exe -p 9999 mgr:info
Re: Cache local - Aproveitar HD Cliente
Citação:
Postado originalmente por
lacierdias
Acompanhando
Hahaha
tu por aqui!?
anda sumido hein, uehsuhes
Gente
estou testando o squid 3.0 para windows, ate o presente momento tem funcionado muito bem.
As regras para tirar alguns sites do proxy, estao a pleno vapor, nao tive nenhum problema com conectividade social, sites de bancos ou aplicativos do orkut (os mais conhecidos: colheita feliz, mini fazenda, etc)
O script e as regras para orkut tem funcionado bem tbm, em certos momentos chego a ter 45% de Hit (contagem feita pelo squid cliente na ultima hora).
O novo Squid Facil conta com uma nova interface (ta ficando bacana), e senao me engano, ja conta com relatorio Sarg (para windows).
ainda nao cheguei a testar, mas parece que o projeto esta andando (apesar da falta de tempo).
de pouco em pouco vamos melhorando.
Se tudo der certo, em breve posto aqui uma nova versao do pacote, contendo:
SquidNT 3.0
SquidFacil (nova versao, ja com Sarg)
Script em perl para otimização do cache.
Re: Cache local - Aproveitar HD Cliente
Opa galera!
Dia 17/12 sai a verão 1.0 do SquidFacil, com relatorios e mais opções de otmização do cache como o andrio ja esta falando. rsrsrs assim não vai ter emoção no lançamento.... rsrsrs (brincando).
Precisamos que o pessoal teste e relatem o problema. OK!
Até mais...
Osni Silva
Re: Cache local - Aproveitar HD Cliente
Galera pro teste ??? já estou me apresentando e garantindo tanto a minha quanto a presença de mais 2 técnicos meus para relatarmos as informações técnicas, desde já agradeço pelo esforço dos "mestres nessa área" e podem ter certeza que o "squid-facil" vai ser Top10 no baixaki
Re: Cache local - Aproveitar HD Cliente
Pessoal! Ja está lançado a versão 1.0 do Squid Fácil.
Vcs podem ver no site: Squid Fcil
Download do SquidFácil 1.0 - WinXP http://squidfacil.mikrotikfacil.com/...l1.0_WinXp.exe
Download do Squid Fácil 1.0 - Win7
http://squidfacil.mikrotikfacil.com/...il1.0_Win7.exe
Manuais: Squid Fcil
Não esqueçam de relatar bug, por gentileza.
Agradecimentos ao Andrio
Até mais...
Osni Silva :rock: