Página 2 de 2 PrimeiroPrimeiro 12
+ Responder ao Tópico



  1. #21

    Padrão

    Caro Osmano807, vai fugir um pouco do topico.

    Vc pode nos esclarecer um pouco mais sobre o SQUIDREWRITE, que objetivo, como usar, da para usar com o thunder, como instalar.....


    obrigado

  2. #22

    Question Interface ThunderCache

    Como funciona o sistema quanto a colocação dos servidores?

    1)Link > Mikrotik > ThunderCache
    2)Link > ThunderCache > Mikrotik

    Se no caso for uma ADSL o servidor pode ser usado em modo bridge para discagem da internet?



  3. #23

  4. #24
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.985
    Posts de Blog
    5

    Padrão

    Citação Postado originalmente por altair Ver Post
    Caro Osmano807, vai fugir um pouco do topico.

    Vc pode nos esclarecer um pouco mais sobre o SQUIDREWRITE, que objetivo, como usar, da para usar com o thunder, como instalar.....


    obrigado
    O squidrewrite vai trabalhar com regex, isto é, vai pegar a url do squid e vai ver se bate com alguma regra do arquivo de configuração, se bater ele vai "trocar" (replace) o que foi marcado pela regex por outro texto.
    Exemplo:
    Código :
    rewrite = ( 
     
                      { rule        = "img[0|2-9]";            /* Orkut images rewrite */
                      replace     = "img1"; },
     
                    { rule      = "static[0|2-9]";         /* Orkut css, js rewrite */
                      replace   = "static1"; },
     
                    { rule      = "i[0|2-9].ytimg";        /* Youtube images, css, js rewrite */
                      replace    = "i1.ytimg"; } 
     
                );
    O programa escaneia cada regra rule e associa com seu replace correspondente.
    se o squid mandar img4.orkut.com, a rule "img[0|2-9]" vai marcar, e vai trocar por "img1".
    Estou ainda arrumando os log file, e outras coisinhas.
    Também estou fazendo uma implementação para o cache do youtube (consegui até agora pegar os argumentos da url, o problema é que eu estou fazendo para rodar no windows também, e eu preciso rodar o downloader em background ["downloader &"], mas o windows não suporta "&").



  5. #25

    Padrão

    blz, qdo vc tiver uma beta para nos instalarmos, avisa ai.

    Entendi entao que substitui o squid e thunder???


    valeu.

  6. #26
    Moderador Avatar de minelli
    Ingresso
    Aug 2006
    Localização
    Pres. Venceslau - SP | Pres. Prudente - SP
    Posts
    1.408
    Posts de Blog
    10

    Padrão URL_REWRITE

    A primeira vez que vi sobre isso que quer fazer foi em contato com o HANDRI AGUSTIAN ele desenvolveu algo nesse sentido e foi dai também que o Manga tirou a idéia do thunder.

    Código :
    Arquivo:
    store_url_rewrite
     
    Código:
    #!/usr/bin/perl
    $|=1;
    while (<>) {
    @X = split;
    $url = $X[0];
    $url [email protected]^http://(.*?)/get_video\?(.*)video_id=(.*?)&.*@squid://videos.youtube.INTERNAL/[email protected];
    $url [email protected]^http://(.*?)/get_video\?(.*)video_id=(.*?)[email protected]://videos.youtube.INTERNAL/[email protected];
    $url [email protected]^http://(.*?)/videodownload\?(.*)docid=(.*?)[email protected]://videos.google.INTERNAL/[email protected];
    $url [email protected]^http://(.*?)/videodownload\?(.*)docid=(.*?)&.*@squid://videos.google.INTERNAL/[email protected];
    $url [email protected]^http://(.*?)/albums\?&.*@squid://images.photobucket.INTERNAL/[email protected];
    $url [email protected]^http://(.*?)/albums\[email protected]://images.photobucket.INTERNAL/[email protected];
    $url [email protected]^http://(.*?)/albums\?&.*@squid://videos.photobucket.INTERNAL/[email protected];
    $url [email protected]^http://(.*?)/albums\[email protected]://videos.photobucket.INTERNAL/[email protected];
    print “$url\n”; }

    Foi dai que tudo começou eu mesmo usei o scrit por anos, mas após a google alterar o sistema deles parou de funcionar ai alterei o script e funcionou mais um tempo. Mas ai pensei pq ficar quebrando a cabeça se temos algo quase pronto "THUNDER".
    Mas sei que com o Store Rewrite fica muito melhor e mais rápido do que o thunder e sem precisar de varias configurações especiais para funcionar 100%.



  7. #27

    Padrão

    Citação Postado originalmente por osmano807 Ver Post
    O squidrewrite vai trabalhar com regex, isto é, vai pegar a url do squid e vai ver se bate com alguma regra do arquivo de configuração, se bater ele vai "trocar" (replace) o que foi marcado pela regex por outro texto.
    Exemplo:
    Código :
    rewrite = ( 
     
                      { rule        = "img[0|2-9]";            /* Orkut images rewrite */
                      replace     = "img1"; },
     
                    { rule      = "static[0|2-9]";         /* Orkut css, js rewrite */
                      replace   = "static1"; },
     
                    { rule      = "i[0|2-9].ytimg";        /* Youtube images, css, js rewrite */
                      replace    = "i1.ytimg"; } 
     
                );
    O programa escaneia cada regra rule e associa com seu replace correspondente.
    se o squid mandar img4.orkut.com, a rule "img[0|2-9]" vai marcar, e vai trocar por "img1".
    Estou ainda arrumando os log file, e outras coisinhas.
    Também estou fazendo uma implementação para o cache do youtube (consegui até agora pegar os argumentos da url, o problema é que eu estou fazendo para rodar no windows também, e eu preciso rodar o downloader em background ["downloader &"], mas o windows não suporta "&").

    Boa meu garoto....tô de olho em seus tópicos

  8. #28



  9. #29
    MODERADOR-CHEFE Avatar de osmano807
    Ingresso
    Aug 2008
    Localização
    Araguari - Minas Gerais
    Posts
    1.985
    Posts de Blog
    5

    Padrão

    Tou ainda fazendo testes do squidRewrite, e parece que está funcionando legal. O problema que deu aqui foi por causa das permissões (porque o squid não roda como root?), aí a função do log deu uns bugs.
    O limite de download FUNCIONA! (Eu amo libcurl).

    Só pra vocês terem uma ideia, o log está assim
    Código :
     Tue, 09 Jun 09 14:35:41 - Redonload - maior [URL]http://www.youtube.com/get_video?video_id[/URL]=FXvv5sTqNa4&t=vjVQa1PpcFNX8MQP_5RxwReT_EZrrTI1WPWJxFuFET8=&el=detailpage&ps=&fmt=18
     Tue, 09 Jun 09 14:35:41 - Ja fazendo o download /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/FXvv5sTqNa4/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/w4araM2YNUc/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/whBrTOzj0Kw/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/VKLKwP76nvA/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/rkdRfbN6eew/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/o_IQQkfyhwk/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/3pE76zTsRno/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:50 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/fzRHUZ5rOuI/default.jpg[/URL]
     Tue, 09 Jun 09 14:36:51 - Download terminado /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv
     Tue, 09 Jun 09 14:36:56 - HIT [URL]http://192.168.20.2/squidrewrite/youtube/FXvv5sTqNa4__34.flv[/URL]
     Tue, 09 Jun 09 14:37:11 - MISS: [URL]http://www.youtube.com/get_video?video_id[/URL]=FXvv5sTqNa4&t=vjVQa1PpcFOvQ0us_PoGS82OEcX8uNWrTqYuUVGUCy8=&el=detailpage&ps=&fmt=18
     Tue, 09 Jun 09 14:37:11 - /usr/local/libexec/downloader "[URL]http://www.youtube.com/get_video?video_id[/URL]=FXvv5sTqNa4&t=vjVQa1PpcFOvQ0us_PoGS82OEcX8uNWrTqYuUVGUCy8=&el=detailpage&ps=&fmt=18" "/Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv" "50000" "/Library/WebServer/Documents/squidrewrite/youtube/inf/FXvv5sTqNa4__18.flv" > /dev/null 2>&1 &
     Tue, 09 Jun 09 14:37:11 - Iniciando download /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv
     Tue, 09 Jun 09 14:37:11 - FILESIZE= 0
     Tue, 09 Jun 09 14:38:24 - Download terminado /Library/WebServer/Documents/squidrewrite/youtube/FXvv5sTqNa4__18.flv
     Tue, 09 Jun 09 14:38:54 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/FXvv5sTqNa4/default.jpg[/URL]
     Tue, 09 Jun 09 14:38:54 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/w4araM2YNUc/default.jpg[/URL]
     Tue, 09 Jun 09 14:38:54 - REWRITE - i1.ytimg - [URL]http://i1.ytimg.com/vi/rkdRfbN6eew/default.jpg[/URL]
    Esse 18 em FXvv5sTqNa4__18.flv é o &fmt=18 do youtube, para fazer o cache de videos em HD também. Estarei publicando o projeto no Sourceforge em breve, mas ainda tenho que completar os testes.

  10. #30

    Padrão

    Tenho testado ele aqui no slackware, realmente cumpre com o pre-posto, mas tem uma coisa que implica, a limitação do tamanho do arquivo, se no squid tiver 300M apenas, o thunder baixa com qualquer tamanho, já pensou, ainda mais aqueles que ainda estão com hds de 80G? Fiz alguns testes aqui para vê se limitava este, mas sem êxito. Vou continuar os testes depois.
    O pessoal aqui só usa o debian?



  11. #31

    Padrão

    Olá Brother !

    Existe uma regra no forum do thunder onde é adicionada ao thunder.conf que limita o tamanho dos arquivos...olha lá.

  12. #32

    Padrão

    Hum, depois eu dou uma conferida lá.



  13. #33

    Padrão como controlar velocidade do cache individual para clientes

    Senhores, tenho squid com thunder rodando redondinho, com servidor preparado para receber 70mil videos, e demais arquivos, atualmente já temos 32 mil videos em cache, meu problema é o seguinte: preciso disponibilizar planos novos aos meus clientes da seguinta meneira


    400k para arquivos do cache, e 200k para arquivos q nao estao no cache...

    hoje temos cache full ativado na rede e controlado a 4mb

    preciso de um controle de banda para os clientes, para arquivos que estao no cache, e os q nao estao no cache de maneira diferente

    alguem tem alguma dica?
    ja tentei alguns mangles mas sem sucesso ate agora

  14. #34



  15. #35

    Padrão

    Citação Postado originalmente por popovi Ver Post
    Senhores, tenho squid com thunder rodando redondinho, com servidor preparado para receber 70mil videos, e demais arquivos, atualmente já temos 32 mil videos em cache, meu problema é o seguinte: preciso disponibilizar planos novos aos meus clientes da seguinta meneira


    400k para arquivos do cache, e 200k para arquivos q nao estao no cache...

    hoje temos cache full ativado na rede e controlado a 4mb

    preciso de um controle de banda para os clientes, para arquivos que estao no cache, e os q nao estao no cache de maneira diferente

    alguem tem alguma dica?
    ja tentei alguns mangles mas sem sucesso ate agora
    Seguinte amigo,
    Ao meu vê faria a regra para uma address list e a partir dela dividiria os grupos, tipo, address list = 400k só colocaria os ips que fossem daquele grupo.

  16. #36

    Padrão

    Citação Postado originalmente por Raniel Ver Post
    Seguinte amigo,
    Ao meu vê faria a regra para uma address list e a partir dela dividiria os grupos, tipo, address list = 400k só colocaria os ips que fossem daquele grupo.

    amigo pode ser mais claro?



  17. #37

    Padrão

    Assim amigo,
    Aqui você marcaria tudo com destino a address list criada, que no caso é 128k:
    Código :
    /ip firewall mangle add chain=output dst-address-list=128k protocol=tcp dst-port=3128 content="X-Cache: HIT" action=mark-connection new-connection-mark=squid-connection passthrough=yes
    Depois faça uma entrada para marcar os pacotes e faça o controle na queue tree.
    Aí os que você quiser que estejam dentro deste grupo é só add na address list:
    Código :
    /ip firewall address-list add address=ipdocliente list=128k disabled=no comment="fulando de tal"

    A partir disso você vai criando à sua maneira.