Tutorial Debian cache para integração com Mikrotik

**m4d3** · 08-04-2009, 10:08

Ola pessoal, depois de tantos tutoriais que já vi na net, muitas vezes utilizando do conhecimento dos amigos para aprimorar as soluções que utilizo, compilando uma série de informações resolvi fazer um video mostrando como instalar o debian como preparação para servidor cache dentre outros serviços, este tutorial permite integração com super cache full pelo mikrotik, aqui se ensina um método possível dentre tantos porém esta é uma receita de bolo como dirão alguns abaixo, depende do seu nível de conhecimento.

Se ao ler este tutorial tiver a errada impressão que alguém quer lhe vender alguma coisa, então feche esta janela, porque aqui ninguém esta vendendo nada, esta é uma oportunidade de você aprender algo que talvez não saiba e que possa ser do seu interesse, então antes mesmo de pedir ajuda veja se esta disposto a aprender, se esta disposto a esperar por ajuda que pode demorar ou até não vir, se está disposto a ser manso pois só assim estará apto a receber ajuda e a entender o verdadeiro sentido deste tutorial, prove que você é capaz de ajudar os outros também ensinado-lhes algo novo, dedicando seus esforços nesta tarefa, criando algo ou documentando algo que já existe sem que para isso tenha que fazer críticas a outros trabalhos.

Se fizer isso, tenho a certeza que muitos terão prazer em lhe ajudar no que puderem e souberem, e que aprenderá muito mais do que uma configuração, aprenderá uma uma valiosa lição, então antes de fazer críticas destrutivas, pense o que estaria fazendo se não tivesse lido antes este tutorial.

Este material objetiva despertar o coletivo altruísta dos participantes, pense que você pode e deve ajudar.

Se você for incapaz de ler e compreender o que esta escrito neste tutorial ou se o material não estiver a altura do seu entendimento, incompleto ou for de baixa qualidade, ou se simplesmente não gostar do autor, então você pode contratar um consultor da sua confiança para fazer a instalação passo a passo e pagar por isso.

Perguntas e dicas devem ser direcionadas ao tópico e nunca ao autor para que todos os participantes possam ler, responder e aprender. Não seja um roela que quer tudo mastigado via msn e depois que tem uma solução meia boca sai gritando que é rei da solução, isso faz com que outros participantes acreditem que estão vivendo uma linda fantasia onde tudo cai no colo prontinho o que não é verdade, ralei muito pra chegar até aqui e cada update do thunder me faz mudar alguma configuração então o que hoje é perfeito, amanhã pode não ser.

Exemplo de configuração
http://img19.imageshack.us/img19/3453/conlinuxex2.jpg

Complementos deste tutorial, leitura obrigatória antes de perguntar:
Ensinando a pensar - um problema, milhares de soluções
PCQ - Traduzido e comentado por M4D3
http://www.squid-cache.org.br/index....d=82&Itemid=27
Controle de Banda Diferente - Página 2
Tutorial Debian Cache para integração com Mikrotik - Página 46
Tunando o Apache 1.3.x ou 2.x(prefork) « maurelio.net
Tutoriais/Apache/Apache-performance - UnderLinux Wiki
Duvida: algum problema com esse firewall? - Página 2
Linux Debian - Comando Ulimit
Resolvendo o problema do CACHE-FULL - CATVBRASIL
http://www.guiadohardware.net/comuni...a-guia/770275/

Instalação Debian:

Script Linux:

Resultado integrado ao Mikrotik:

Dentre os recursos do script:

- Squid 2.7 com ZPH integrado para uso com cache full

- Apache 2.0 configurado com hosts virtuais para uso no envio de mensagem aos clientes (Ex: débito, bloqueio, atraso, comunicação de manutenção, avisos...)

- Sarg geração de relatório de acessos do squid com agendamento

- ThunderCache para cache de videos do Youtube/Uol/Terra/Outros... e atualizações da Microsoft/Antivirus/Outros...

- Publicidade via MSN, alterando o banner padrão do MSN para banner do provedor/evento/vendendo anuncio via msn (CONFIGURADO COM O BANNER DO AUTOR, ALTERE NO SCRIPT OU VIA /ect/squid/squid.conf)

- Publicidade via YOUTUBE, através da configuração do próprio ThunderCache (CONFIGURADO COM BANNER DO AUTOR, ALTERE VIA SCRIPT)

- Configuração da interface de rede eth0

CONHEÇA O DEBIAN
Debian 5.01 - download x64: < Versão 64bits
Debian 5.01 - download i386 : < Versão 32bits utilizado no video tutorial

CONHEÇA O THUNDERCACHE - Vejam o belo trabalho feito por Biazus e Manga de forma totalmente desintereçada e gratuita, participem do fórum do thundercache.

DICAS:
Ao instalar, mantenha o micro conectado a um servidor DHCP (veja abaixo) para que seja possível baixar os pacotes necessários e proceder as atualizações, estou terminando de testar o script que irá automatizar as configurações do servidor, estarei postando aqui assim que concluído (em até 2 dias).

Adicione em uma placa de rede do seu servidor mikrotik (não de link nem de clientes) o ip 192.168.10.253 será o gateway do seu Debian:
/ ip address
add address=192.168.10.253/24 network=192.168.10.0 broadcast=192.168.10.255 \
interface=EthIntranet comment="" disabled=no

O ip configurado no Debian depois de rodar o script será:
IP: 192.168.10.250
MSK: 255.255.255.0
GAT: 192.168.10.253
DNS: 192.168.10.253 < quem irá resolver nomes será o Mikrotik

VALOS LÁ PESSOAL, AGORA TA PRONTO:

PC RAM Informática | O mundo mais perto de você! e acesse o menu serviços, verá o tutorial atualizado com maquina virtual pra baixar e script incluso.
E pra quem quiser baixar o script direto no seu linux debian já instalado conforme o video o comando é:

Código :

 [COLOR=black][B]wget [URL]http://www.pcram.com.br/conlinux/conlinuxZ4.sh[/URL][/B][/COLOR]
[COLOR=black][B]chmod +x conlinuxZ4.sh[/B][/COLOR]
[COLOR=black][B]./conlinuxZ4.sh[/B][/COLOR]

Crie o arquivo /var/www/thunder/youtube/index.php com o código abaixo para listar e tocar os videos do diretório diretamente no youtube.

Código :

[COLOR=black]<?php[/COLOR]
[COLOR=black]#ADAPTADO DA WEB POR LUCIANO RAMPANELLI / M4D3[/COLOR]
[COLOR=black]$diretorio = getcwd();[/COLOR]
[COLOR=black]$ponteiro  = opendir($diretorio);[/COLOR]
[COLOR=black]while ($nome_itens = readdir($ponteiro)) {[/COLOR]
[COLOR=black]$tipos = array(\"flv\", \"flx\", \"fla\");[/COLOR]
[COLOR=black]$itens[] = $nome_itens;[/COLOR]
[COLOR=black]}[/COLOR]
 
[COLOR=black]sort($itens);[/COLOR]
[COLOR=black]foreach ($itens as $listar) {[/COLOR]
[COLOR=black]if ($listar!=\".\" && $listar!=\"..\"){[/COLOR]
[COLOR=black]      if (is_dir($listar)) {[/COLOR]
[COLOR=black]              $pastas[]=$listar;[/COLOR]
[COLOR=black]      } else{[/COLOR]
[COLOR=black]if (in_array(strtolower(end(explode(\".\",$listar))), $tipos)) { $arquivos[]=$listar; }[/COLOR]
[COLOR=black]      }[/COLOR]
[COLOR=black]}[/COLOR]
[COLOR=black]}[/COLOR]
 
 
[COLOR=black]#if ($pastas != \"\" ) {[/COLOR]
[COLOR=black]#foreach($pastas as $listar){[/COLOR]
[COLOR=black]#   print \"Pasta: <a href='$listar'>$listar</a><br>\";}[/COLOR]
[COLOR=black]#   }[/COLOR]
 
[COLOR=black]if ($arquivos != \"\") {[/COLOR]
[COLOR=black]foreach($arquivos as $listar){[/COLOR]
[COLOR=black]$listar=\"echo $listar |cut -c 1-11\";[/COLOR]
[COLOR=black]$listar=system($listar);[/COLOR]
[COLOR=black]print \"<a href='http://www.youtube.com/watch?v=$listar'>ver no youtube</a><br>\";}[/COLOR]
[COLOR=black]}[/COLOR]
[COLOR=black]?>[/COLOR]

Abraço a todos

M4D3
msn e telefones só para serviços, dicas e ajuda use o fórum

pra quem ainda insiste em perguntar via msn e não pelo fórum, vai um recado: não estou mais tirando dúvidas de nenhum tipo via msn, somente atendimento exclusivo a clientes por serviço ou contrato mensal, por favor não insista.

**multlink** · 08-04-2009, 11:13

dúvida, esse material todo já vem instalado ou apos o aptget vou ter q configurar manualmente?

**orionstation** · 08-04-2009, 11:16

Receita de bolo ?????

Parabens pela iniciativa !!!!!!!

**m4d3** · 08-04-2009, 12:51

DICA PARA VOLTAR A FUNCIONAR O CACHE DO YOUTUBE (ATUALIZADO 27/07/2009):

Pessoal, hoje o youtube fez alteração novamente e o biazus ta trabalhando junto com toda equipe pra corrigir, então baixem do repositório seguindo as instruções do fórum.

Código :

<?php
//MANTENHA OS CRÉDITOS DO AUTOR CONFORME ARQUIVO ORIGINAL YOUTUBE.COM.PHP
// confs
$save_quality = false;
$domain = "youtube";
$PLUGIN_LOG = false;
//pluginlog($PLUGIN_LOG,"youtube.php - IN:($ip)$url");
 
 
include_once("youtube.com.funcs.php");
 
logadd("IN: ($ip) $url");
 
 
if ((preg_match("/\.googlevideo\.com/", $url,$result)) or (preg_match("/\.youtube\.com/", $url,$result))){
   // get  videoid
   $videoid = get_videoid($url);
 
   // get quality
   if ($save_quality) {
      $file=get_quality($url)."$videoid.flv";
   }else{
      $file="$videoid.flv";
   }
     // check if url need to pass
   if ( ($file != ".flv") and (strrpos($url,"/get_video?") > 0) or 
        (strrpos($url,".googlevideo.com") > 0 and (strrpos($url,"videoplayback?id=")) >0) or (strrpos($url,".googlevideo.com") > 0 and (strrpos($url,"&id=")) >0)) {
      check_file($file,$url,$domain);
   } else { // dont find file, repass url
      print "$url\n";
      logadd("OUT:$url ($file)");
      //pluginlog($PLUGIN_LOG,"OUT: $url ($file)");
   }
} else {
   // url not match
   print "$url\n";
   logadd("OUT:$url (dont match)");
   //pluginlog($PLUGIN_LOG,"OUT: $url (dont match)");
} 
?>

5 - atualize o conteúdo do arquivo youtube.com.funcs.php

Código :

<?php
//MANTENHA OS CRÉDITOS DO AUTOR CONFORME ARQUIVO ORIGINAL
 
        function get_videoid($url) {
                $return = "";
                $url = preg_replace("/\?/","&",$url);
                $url = explode("/",$url);
                $url = $url[3];
                $url = explode("&",$url);
 
                foreach ($url as $valor){
                        $valor = explode("=",$valor);
                        if ($valor[0] == "id" || $valor[0] == "video_id") {
                                $return = $valor[1];
                                break;
                        }
                }
                return $return;
        }
 
        function get_quality($url) {
                $return = "";
                $url = preg_replace("/\?/","&",$url);
                $url = explode("/",$url);
                $url = $url[3];
                $url = explode("&",$url);
 
                foreach ($url as $valor){
                        $valor = explode("=",$valor);
                        if ($valor[0] == "fmt") {
                                $return = $valor[1];
                                break;
                        }
                }
                return $return;
        }
?>

CRÉDITOS DO AUTOR:

Código :

/** 
* This program is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; either version 2 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
* GNU Library General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program; if not, write to the Free Software
* Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
*
* (C) Copyright 2008-2009 Thunder Cache
*
* For more information check http://thundercache.org
*
* Plugin functions youtube.com
* Functions used by youtube.com.php
*
* @author rodrigo manga <[email protected]>
*/

A única coisa que vou pedir é que se utilizarem tais dicas, cliquem em AGRADECER, agradecer não custa dinheiro e mostra que foram capazes de implantar seus próprios sistemas de cache de forma GRATUITA com a AJUDA deste fórum que é a proposta inicial deste post.

DICA FINAL:
Antes de perguntar no fórum, faça uma busca, comece pela pesquisa pois sua dúvida já pode ter sido respondida várias vezes, isso reduz o tempo de espera por uma resposta e mantém o fórum organizado.

**talesanselmo** · 08-04-2009, 13:44

quando fica pronto...

**ivovid** · 08-04-2009, 14:03

valew amigo ...

**jeanfrank** · 08-04-2009, 14:46

Postado originalmente por m4d3

Ola pessoal, depois de tantos tutoriais que já vi na net, muitas vezes utilizando do conhecimento dos amigos para aprimorar as soluções que utilizo, compilando uma série de informações resolvi fazer um video mostrando como instalar o debian como preparação para servidor cache dentre outros serviços, este tutorial permite imediata integração com super cache full pelo mikrotik, segue o link do video de instalação do Debian:

Dentre os recursos do script:

- Squid 2.7 com ZPH integrado para uso com cache full

- Apache 2.0 configurado com hosts virtuais para uso no envio de mensagem aos clientes (Ex: débito, bloqueio, atraso, comunicação de manutenção, avisos...)

- Sarg geração de relatório de acessos do squid com agendamento

- ThunderCache para cache de videos do Youtube/Uol/Terra/Outros... e atualizações da Microsoft/Antivirus/Outros...

- Publicidade via MSN, alterando o banner padrão do MSN para banner do provedor/evento/vendendo anuncio via msn

- Publicidade via YOUTUBE, através da configuração do próprio ThunderCache

- Configuração da interface de rede eth0

CONHEÇA O DEBIAN

Debian Download x64:
http://cdimage.debian.org/debian-cd/...64-netinst.iso

Debian Download i386: < Utilizado no Video de Exemplo
http://cdimage.debian.org/debian-cd/...86-netinst.iso

DICAS:
Ao instalar, mantenha o micro conectado a um servidor DHCP (veja abaixo) para que seja possível baixar os pacotes necessários e proceder as atualizações, estou terminando de testar o script que irá automatizar as configurações do servidor, estarei postando aqui assim que concluído (em até 2 dias).

Adicione em uma placa de rede do seu servidor mikrotik (não de link nem de clientes) o ip 192.168.10.253 será o gateway do seu Debian:
/ ip address
add address=192.168.10.253/24 network=192.168.10.0 broadcast=192.168.10.255 \
interface=EthIntranet comment="" disabled=no

O ip configurado no Debian depois de rodar o script será:
IP: 192.168.10.250
MSK: 255.255.255.0
GAT: 192.168.10.253
DNS: 192.168.10.253 < quem irá resolver nomes será o Mikrotik

Aos apressadinhos, depois de instalado conforme o video, rode os comandos abaixo para instalar os pacotes necessários, assim este passo estará pronto ao rodar o script:

1º - Logue-se como root, depois digite a sequencia de comandos no shell:
apt-get update
apt-get upgrade
apt-get install squid apache2 php5 php5-cli php5-mysql mysql-server phpadmin ssh lynx sarg nmap ftpd sudo unzip

Abraço a todos

M4D3
msn e telefones só para serviços, dicas e ajuda use o fórum

Muito bom mesmo Luciano show de bola

abraços

**balisteri** · 08-04-2009, 21:53

Meus parabens amigo espero que sempre possa contribuir para um bom desenvolvimento do forum.

**xnetinho** · 08-04-2009, 23:23

m4d3, me dá uma ajuda(pode ser um link) nesse lance de trocar o banner do msn...

Abs.!

**multlink** · 09-04-2009, 08:36

esse ae é interessante, acho que até pelo próprio mk possa fazer só n sei como hehe.

**accoelhodias** · 09-04-2009, 22:02

valeu amigo muito bom

**sergio** · 09-04-2009, 22:09

Postado originalmente por talesarconet

quando fica pronto...

Pois é Luciano, você está muito relapso... não mantém a previsão de quando deixará pronto o script para facilitar minha vida. Deixa de ser preguiçoso.... acelera isso ai, pois não posso esperar muito.

Então Luciano, entendeu porque fica difícil participar.

**multlink** · 10-04-2009, 09:27

hehehe, estou ansioso por ele para ver o lance do msn heh concordo com vc sergio

**powernetscm** · 10-04-2009, 10:50

entao estou aguardando tambem mas se nao conseguir o script faz um video fica mais facil e rapido

**m4d3** · 11-04-2009, 09:53

Postado originalmente por sergio

Pois é Luciano, você está muito relapso... não mantém a previsão de quando deixará pronto o script para facilitar minha vida. Deixa de ser preguiçoso.... acelera isso ai, pois não posso esperar muito.

Então Luciano, entendeu porque fica difícil participar.

kkkk, já estou testando ele, ocorreram algumas mudanças no pacote do thunder e estou tendo que reformular, 'logo' estará para download e também uma maquina virtual do VMWare pra rodar o script sem margem de erro. (até o momento mais de 40 instalações em modo teste)

Abraço

M4D3

**m4d3** · 11-04-2009, 10:25

Postado originalmente por xnetinho

m4d3, me dá uma ajuda(pode ser um link) nesse lance de trocar o banner do msn...

Abs.!

Então lá vai o link Linux: Como fazer aparecer a logomarca da sua empresa no lugar das propagandas do MSN [Dica]

**m4d3** · 11-04-2009, 22:19

Ta pronto pessoal, podem baixar, instalar, usar pois já esta completamente testado(Informações na primeira página deste post), e se possivel voltem aki e postem suas impressões, sugestões são muito bem vindas, outra coisa que quero dizer é que se alguem tiver um sistema basico em php integrado a banco de dados mysql e quiser disponibilizar de maneira free para o grupo eu me encarrego de fazer os scripts e integrar na próximar release.

Abraço a todos

M4D3

**rps67** · 12-04-2009, 13:51

Luciano
Você fez algum teste de performance entre o Debian e o Ubuntu ? Funcionam iguais, ou o Debian é sua distro preferida ?´

**m4d3** · 12-04-2009, 21:42

Postado originalmente por rps67

Luciano
Você fez algum teste de performance entre o Debian e o Ubuntu ? Funcionam iguais, ou o Debian é sua distro preferida ?´

Testei com Ubuntu 8.04 e 8.10, Fedora 9, MK-AUTH 1, 2, 2.5 e Debian 5, o melhor resultado foi com o Debian, o que me pareceu bastante natural já que ele é a base dos outros sistemas (Exceto Fedora).
Funcionou em todas, tive alguns problemas com MK-AUTH 2.5 e Squid 3.

Optei pelo Debian 5 porque o repositorio deste utiliza Squid 2.7 que já tem suporte nativo ao ZPH, minha distro preferida é o Fedora, mas no Debian tudo me pareceu mais simples e com um resultado muito bom.

Abraço

M4D3

**aka2005** · 13-04-2009, 09:46

Postado originalmente por m4d3

Então lá vai o link Linux: Como fazer aparecer a logomarca da sua empresa no lugar das propagandas do MSN [Dica]

Ae luciano bom Topico esse seu, so essa dica ai da propaganda do MSN, o cara fez em SlackWare.... e nao em Debian, entao axo q o pessoal ira ter problemas... vlw.

Tutorial Debian cache para integração com Mikrotik

Ferramentas de Tópicos

Tutorial Debian cache para integração com Mikrotik

opa !!!!!!!!!!!

muito bom

Agradecimentos