Tutorial load balance (paralelo) + Debian + ThunderCache + servidor MK 3.13~3.22

[BillGates]

Então pessoal,iria continuar agora a noite o tuto,mas a energia akee ficou num vai e vem maluco,tive que desligar akee lagumas coisas para o meu nobreak segurar a onda...infelizmente normalizou muito tarde,então amanhã continuarei o trabalho...

Uma Dica!

Estava fazendo uns testes e me deparei com a seguinte cena:

Conectado à rede como um cliente,eu tinha acesso aos modens que estavão roteados,ja que eles também estavão adicionados ao MK Controle e MK LB.Então eu podia pingar e até mesmo acessa-los via browser ou qualquer outro programa que busca redes.

Então para resolver o problema bloquiei o acesso aos ip's dos modens e tudo ficou resolvido!

Bom,comentarei isso amanhã durante a outra parte do tuto..

Boa noite a todos...

E aos amigos que quiserem comentar algo sobre o tuto ou até mesmo fazer alguma correção ou dar alguma dica,fique a vontade,que eu farei a alteração caso necessário...

[Demo Bill]

uma pequena contribuição: Bloqueando acesso aos modens roteados.

ip rede dos clientes = 192.168.254.0/24
ip modem 1 = 10.0.1.1
ip modem 2 = 10.0.2.1
ip modem 3 = 10.0.3.1

Exemplo:

/ ip firewall filter
add chain=forward src-address=192.168.254.0/24 dst-address=10.0.1.1 \
protocol=tcp action=drop comment="Bloquear Acesso ao Modem " disabled=no
add chain=forward src-address=192.168.254.0/24 dst-address=10.0.2.1 \
protocol=tcp action=drop comment="Bloquear Acesso ao Modem " disabled=no
add chain=forward src-address=192.168.254.0/24 dst-address=10.0.3.1 \
protocol=tcp action=drop comment="Bloquear Acesso ao Modem " disabled=no

fazer regras para cada modem existente.

[BillGates]

uma pequena contribuição: Bloqueando acesso aos modens roteados.

ip rede dos clientes = 192.168.254.0/24
ip modem 1 = 10.0.1.1
ip modem 2 = 10.0.2.1
ip modem 3 = 10.0.3.1

Exemplo:

/ ip firewall filter
add chain=forward src-address=192.168.254.0/24 dst-address=10.0.1.1 \
protocol=tcp action=drop comment="Bloquear Acesso ao Modem " disabled=no
add chain=forward src-address=192.168.254.0/24 dst-address=10.0.2.1 \
protocol=tcp action=drop comment="Bloquear Acesso ao Modem " disabled=no
add chain=forward src-address=192.168.254.0/24 dst-address=10.0.3.1 \
protocol=tcp action=drop comment="Bloquear Acesso ao Modem " disabled=no

fazer regras para cada modem existente.

Obrigado amigo!
Fiz deste modo:
/ ip firewall filter
add chain=forward src-address=10.1.1.1 action=drop comment="Bloquear Acesso ao Modem " disabled=no

Onde 10.1.1.1 seria o ip de um dos modens.

Como vc pode ver,não usei a mascara nem faixa de rede dos clientes,e funcionou tbm,mas fiz isso ontem e apenas testei pingar e acessar o modem e devido a regra não foi possivel mais pingar nem acessar.

Achei sua regra mais completa! Vou testar a minha por mais 1 dia e depois testar a sua.

Vlw...

[BillGates]

11º Parte:

Regras para o LoadBalance:

É isso ai pessoal,tamuh ae em pé acordado e deitado sem dormir!!!

Vamos continuar com o tuto...

Bom,nesse momento ja temos nosso servidor MK LB ou BL como preferir,então vamos às regras:

/ip firewall filter
add action=drop chain=forward comment="Bloqueio de acesso ao modem DSL2 pela rede." \
disabled=no src-address=192.168.2.1
add action=drop chain=forward comment="Bloqueio de acesso ao modem DSL3 pela rede." \
disabled=no src-address=192.168.3.1
add action=accept chain=forward comment=\
"Total do Trafego gerado entre todos os Links" disabled=no out-interface=\
Link-Gerenciado

Regras 1 e 2: São para impedir o acesso ao modem pela rede.
(Nosso amigo Demo Bill,sugeriu logo acima um tipo de regra um pouco mais complexa para o bloqueio de acesso aos modens.Estas citadas por mim estão correspondendo perfeitamente.).

Regra 3: É para mostrar apenas o trafego total gerado pelos links.(Opcional)

Vejam que não adicionei o modem DSL1 para a regra de bloqueio,uma vez que não consegui acessa-lo via browser nem pinga-lo.Deve ser pelo fato dele estar em modo bridge ou até mesmo porque não foi adicionado ao /ip address(Por estar sendo discado pelo MK,não é necessário adicionar ao /ip address).Irei fazer mais alguns testes e caso necessário teremos que adicionar ele às regras de bloqueio.
Obs.:
REGRAS ABERTAS A COMENTÁRIOS

/ip firewall nat
add action=masquerade chain=srcnat comment="NAT - Modem DSL-1" disabled=no \
out-interface=Internet
add action=masquerade chain=srcnat comment="NAT - Modem DSL-2" disabled=no \
out-interface=Modem-DSL2
add action=masquerade chain=srcnat comment="NAT - Modem DSL-3" disabled=no \
out-interface=Modem-DSL3

/ip firewall mangle
add action=mark-routing chain=prerouting comment="Navegacao em FTP-Downloads" \
disabled=no dst-port=21 new-routing-mark=Link-2 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment="" disabled=no dst-port=22 \
new-routing-mark=Link-2 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment="" disabled=no dst-port=23 \
new-routing-mark=Link-2 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment="" disabled=no dst-port=25 \
new-routing-mark=Link-2 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment=\
"Protocolo responsavel por resolucao de DNS" disabled=yes dst-port=53 \
new-routing-mark=Link-2 passthrough=yes protocol=udp
add action=mark-routing chain=prerouting comment=\
"Navegacao em sites http e downloads" disabled=no dst-port=80 new-routing-mark=\
Link-2 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment="" disabled=no dst-port=110 \
new-routing-mark=Link-2 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment="" disabled=no dst-port=1080 \
new-routing-mark=Link-2 passthrough=yes protocol=tcp
add action=mark-packet chain=prerouting comment="Pacotes marcados para o Link-2" \
disabled=no new-packet-mark=Link-2 passthrough=yes routing-mark=Link-2
add action=mark-routing chain=prerouting comment=\
"Navegacao em sites https-encriptados" disabled=no dst-port=443 new-routing-mark=\
Link-3 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment=\
"Navegacao em messenger - Windows Lime Messenger" disabled=no dst-port=1863 \
new-routing-mark=Link-3 passthrough=yes protocol=tcp
add action=mark-routing chain=prerouting comment=\
"Navegacao em WebCam - Windows Live Messenger" disabled=no dst-port=6891 \
new-routing-mark=Link-3 passthrough=yes protocol=tcp
add action=mark-packet chain=prerouting comment="Pacotes marcados para o Link-3" \
disabled=no new-packet-mark=Link-3 passthrough=yes routing-mark=Link-3

Repare que a marcação para a regra da porta 53 esta desativada,em testes que estou realizando aqui,achei por bem deixar esta porta saindo pelo link default mesmo.REGRA EM TESTES

Veja abaixo como ficara nossa tabela filter rules:
http://img132.imageshack.us/img132/2785/tutorial14.jpg
e...

Veja abaixo como ficara nossa tabela Nat:
http://img7.imageshack.us/img7/5981/tutorial13hrc.jpg
e...

Veja abaixo como ficara nossa tabela mangle:
http://img406.imageshack.us/img406/6260/tutorial12.jpg

Foi adicionando alguns comentários em algumas portas,então os colegas podem sugerir comentários para as que estão sem e até mesmo alguma correção para algum comentário feito.

"Sugiro desabilitar o redirecionamento da porta 21(FTP),em testes aqui,percebi que alguns downs não estavam sendo iniciados devido a este redirecionamento,então caso alguém encontre problemas com FTP,deixe esta porta saindo pelo link default mesmo,ou seja,não faça nenhum redirecionamento desta porta"

Continua...

[rps67]

Salve .......... grande BillGates
Não sei se to me precipitando ( heheh ) , mas gostaria de poder analisar o trafego dos links e se possivel a velocidade de cada um.
OBS: O Objetivo seria analisar a eficiência do trafego quanto a distribuição pelos links.

Abraços .........

[BillGates]

Salve .......... grande BillGates
Não sei se to me precipitando ( heheh ) , mas gostaria de poder analisar o trafego dos links e se possivel a velocidade de cada um.
OBS: O Objetivo seria analisar a eficiência do trafego quanto a distribuição pelos links.

Abraços .........

Opa tranquilo...

Bom para analisar o trafego de cada link,até o momento só consigo ver no próprio MK BL.

Neste cenário acima:

O Link1 por estar em bridge,recebe toda a paulera,p2p,jogos online,ou seja todas as portas que não estão marcadas para os outros links.

O Link2 neste caso ae esta recebendo portas como 21,25 etc,e entre elas a porta 80,que gera muito trafego.

O Link3 esta mais tranquilo por hora,apenas tratando as portas do msn,443,e webcam WLM,porem nao tive muito tempo de testar a porta da webcam.Em testes rapidos que fiz,ao conectar a webcam a marcação que esta setada para ela , esta transferindo pacotes,porem tenho que ver se durante o uso da msm fica recebendo dados do link3 ou passa para o link1(default).
Vi hoje que para a webcam WLM,deve-se setar 6891-6901, estarei verificando....

Resumindo,sobre ver e eficiência de cada link,no próprio MK BL em interfaces vc ve realmente o uso de cada um deles,e percebera que links 1 e 2 trabalham muito,mas o trafego maior fica por conta do Link2,pois o thunder consome muito.(No meu caso deixei setado 512k no thunder.config).
Bom,estou fazendo testes akee e esta se portando muito bem esse BL.
Tentei uma manobra da seguinte maneira:
Ja que o link 3 esta com sobras,seria bacana redirecionar para ele os Downloads com extensões .exe .rar .iso .zip
Fiz aqui,mas não obtive exito, pois ao clicar no link do download ele tenta carregar mas nao inicia... Estamos na luta!!!


vlw...

[rps67]

Legal ..........
Qualquer coisa tamo ae ........... abraços.

[BillGates]

Rapaz, loucura citar isso tudo ae...


"Seu Link vai a full"

O seu controle de banda vai a full? Especifique melhor ai!

Outro detalhe, você usa PPPoE? Caso sim,use o controle de Banda pelo Profile e não pelo queue...

Post mais informações ai,pois ajudei um colega nosso que estava com o mesmo problema,porem ele fazia o controle de banda pelo queue,trocamos para o profile e resolvido

[BillGates]

12º Parte:

Bom,não sei se sera necessário essa dica,então fica a pergunta:

Devo colocar as regras para redirecionamento de Downloads???

[vladi]

na minha opinião acho q sim.

[Gustavinho]

Poww coloca sim BillGates....seria fantastico isso cara...

Vlwww sucesso ae pra vc.

[BillGates]

13º Parte:

Bom pessoal, a idéia de redirecionar os downloads funcionaria da seguinte forma:

Na marcação seria usado o modo content,onde iriamos simplesmente marcar as extensões dos arquivos que serão redirecionados para um link especeficado no mangle.

Então podemos marcar arquivos do tipo:
- exe (Encontrado em 90% dos arquivos disponíveis para Down).
- rar (Encontrado mais em sites de hospedagem ,megaupload por exemplo").
- zip (Pessoalmente tenho encontrado pouco,ja que o .rar tomou conta do mercado).
- iso (Mais difícil de encontrar).
- mp3 (Em muitos sites que podemos baixar o arquivo mp3,a extensão no final do link fica como html,então não estranhe se alguns mp3 não baixarem no link especificado.Por favor não va sair marcando extensão HTML).

Essas são apenas algumas das estensões que podemos redirecionar.
Da para fazer isso pelo squid também,porém não sei como,caso alguém se cantidate a disponibilizar a informação ,esteja a vontade!

Abaixo segue uma amostra do balanceamento dos links.Só para relembrar a nossa marcação do mangle, as portas distribuidas na figura abaixo são:
LINK1: Porta 53 e tudo o que não for marcado para os outros links,por exemplo:P2P,Jogos Online,Serviços de Audio e Vídeo(desde que esses serviços não usem as portas que estejam marcadas para outros links) etc.
LINK2: Portas 21,22,23,25,80,110 e 1080 (Basicamente a navegação limpa)
LINK3: Portas 443,1863,6891-6901(Essas creio que não estão exatas)

Veja abaixo como ficaria essa divisão na pratica:
http://img13.imageshack.us/img13/6061/tutorial16.jpg
Onde: 3.3Mpbs / 380.1kbps é a velocidade total dos links de Internet,ja o proxy esta la do outro lado fazendo a parte dele.
Coloquei em testes ontem as regras e até agora obtive exelentes resultados.
Mas fica um detalhe no ar,e o Thunder??? Ele puxa muito não é!!!
Então nos deparamos na situação em que ele vai usar muito do nosso link 2,link o qual esta nossa navegação "limpa",então como marcariamos os downs feitos por ele,uma vez que por exetensao do tipo flv não adiantaria,ja que um link de vídeo por exemplo do youtube seria sem extensão com final .flv:

http://www.youtube.com/watch?v=rjFxS26sAgQ

[ame]http://www.youtube.com/watch?v=rjFxS26sAgQ[/ame]

O Content não identifica a extensão flv,ele identifica apenas o final do link,então teriamos que marcar na fonte dele ,nesse caso o google.com.
Então teriamos uma marcação para os vídeos do youtube usando no content:google.com
Obs.:
Na imagem acima,apenas extensões .exe , .rar , .iso , .zip estão redirecionadas para o Link3.

Caso alguém discorde do que foi descrito acima,por favor é só dizer.Pois estou aqui para aprender junto com vocês!!!

Amanhã se eu tiver pouco serviço coloco as regras...

[antoniocarlosd]

Rapaz, loucura citar isso tudo ae...


"Seu Link vai a full"

O seu controle de banda vai a full? Especifique melhor ai!

Outro detalhe, você usa PPPoE? Caso sim,use o controle de Banda pelo Profile e não pelo queue...

Post mais informações ai,pois ajudei um colega nosso que estava com o mesmo problema,porem ele fazia o controle de banda pelo queue,trocamos para o profile e resolvido

Olá utilizo o MK e o sistema MK-AUTH do pedro, os clientes são logados por radius com profile hotspot o cache full esta funcionando blz, mas o thunder cache não sai a full quando vi esse seu post achei que resolveria meu problema mas quando coloco suas regras tanto os arquivos .exe quanto os videos do youtube vão a full utilizando todo meu link da internet, agora se eu tentar baixar o mesmo arquivo e o mesmo video pela segunda vez ai ele vem a full usando a rede o link da internet fica zerado.

[BillGates]

Olá utilizo o MK e o sistema MK-AUTH do pedro, os clientes são logados por radius com profile hotspot o cache full esta funcionando blz, mas o thunder cache não sai a full quando vi esse seu post achei que resolveria meu problema mas quando coloco suas regras tanto os arquivos .exe quanto os videos do youtube vão a full utilizando todo meu link da internet, agora se eu tentar baixar o mesmo arquivo e o mesmo video pela segunda vez ai ele vem a full usando a rede o link da internet fica zerado.

Deixa eu ver se ententi...

Antes seu cache full funcionava perfeitamente mas o thundercache não...
Agora que você colocou as regras do tutorial,ele vem a full a primeira vez,mas é usado todo o seu link de internet?

Ja na segunda vez,vem a full usando apenas o link da rede!

No thunder.config, onde esta marcado a velocidade dos downloads que sera feita pelo thunder, em quanto vc setou?

No queue tree, vc notou na segunda vez que vc faz o down do msm arquivo,qual a velocidade que esta baixando?

Desabilite o redirecionamento do thunder e teste baixar um novo arquivo que não esteja cacheado!

Não uso/conheço o sistema do pedro,então caso seja flexivel, tente desabilita-lo e fazer autenticação dos seus clientes pelo próprio MK. O modo testado com exito no tutorial foi por PPPoE,então caso vc possa migrar a forma de autenticação(Somente para teste),faça isso e teste novamente fazer um Down de um arquivo que não esteja cacheado.

Depois poste os resultados se possivel...

[Gustavinho]

Billgates vc poderia me tirar uma duvida.

não estou conseguindo entender como vou fazer para marcar o LINK1, sendo que ele é PPPoE, e se caso eu adiciono no IP>ROUTE o GTW 192.168.1.1 ele não navega, pois o IP valido fica abaixo.

exemplo:

MODEM - 192.168.1.1 (este modem tem DHCP ativado, mais não estou usando)
ETH - 192.168.1.2
PPPoE..disca...e pega IP: 200.201.....

veja a img:

[BillGates]

Billgates vc poderia me tirar uma duvida.

não estou conseguindo entender como vou fazer para marcar o LINK1, sendo que ele é PPPoE, e se caso eu adiciono no IP>ROUTE o GTW 192.168.1.1 ele não navega, pois o IP valido fica abaixo.

exemplo:

MODEM - 192.168.1.1 (este modem tem DHCP ativado, mais não estou usando)
ETH - 192.168.1.2
PPPoE..disca...e pega IP: 200.201.....

veja a img:

Mande um screen de como esta seu ip route, ex:

http://img33.imageshack.us/img33/5928/tutorial17.jpg

Atenção para o nome do Routing Mark

Pelo que vi no seu screen você marcou apenas os 2 modens que estão em router,até ai esta correto.

Cuidado! se vc usou ctrl+c,ctrl+v...pode ter problemas na marcação das rotas...

Axo que tem um problema no seu New Packet Mark, da uma conferida ai.

Quantos links vc esta adicinando?

O seu link default sera o modem que esta em bridge,ou seja vc não precisa adicina-lo ao ip route,pois ele sera adicionado dinamicamente após o mk discar o pppoe client.

Resumindo,se for apenas 2 links que vc tem ai para adicionar,então deixe um modem em bridge e crie um pppoe client

e...

e o outro modem deixe em router e adicione ao ip route.

Vc não ira precisar marcar pacotes para o link 1,pois ele recebera automaticamente tudo o que não for marcado para o link2...

Teste ai, e se possivel post os resultados...

[Gustavinho]

Então, eu marquei apenas o LINK2 pois é o que estou utilizando agora, não marquei o LINK1 pq como ele é discado não sei como deixa-lo.

Havia copiado e colado suas regras (alterei algumas coisas, pois estou fazendo em um MK de bancada pra teste) ai sim consegui entender a metodologia que o LB usa para cada conexão.

Porem não estou sabendo como colocar o LINK1 em pratica.


Refiz as configs pra vc entender melhor veja só.

vlw pela força billgates.

[Gustavinho]

Quantos links vc esta adicinando?

O seu link default sera o modem que esta em bridge,ou seja vc não precisa adicina-lo ao ip route,pois ele sera adicionado dinamicamente após o mk discar o pppoe client.

Resumindo,se for apenas 2 links que vc tem ai para adicionar,então deixe um modem em bridge e crie um pppoe client

e...

e o outro modem deixe em router e adicione ao ip route.

Vc não ira precisar marcar pacotes para o link 1,pois ele recebera automaticamente tudo o que não for marcado para o link2...

Teste ai, e se possivel post os resultados...

Ahhh entendi...então tudo que não estiver marcado sobre pro LINK1....blzaa...no entanto eu tenho que marcar "Add Default Route" no dial out?

Ahhh sim sim, são 2 links

[BillGates]

Ahhh entendi...então tudo que não estiver marcado sobre pro LINK1....blzaa...no entanto eu tenho que marcar "Add Default Route" no dial out?

Ahhh sim sim, são 2 links

Exato!!!

No modem em bridge,la onde vc cria seu pppoe client vc ira fazer o básico:
GENERAL(Aba)
Name: Internet (Exemplo)
Interface: Interface em que esta o modem em bridge

Dial Out(Aba)
Use:xxxxxxxxxxx
Password:xxxxxxxxxxx
Profile:default

Dial On Demand - Desmarcado
Add Default Route - Marcado
Use Peer DNS - Marcado

Opções abaixo,marque todas!

Pronto este será seu modem default,ou seja recebera tudo o que vier menos pacotes(portas)marcadas para outro link.

Isso tudo é feito em um MK paralelo,não faça no mesmo MK de controle.

Sugestão!
Ja que são 2 links,marque assim:

No nome das interfaces:
Modem em bridge: Link1
Modem em router:Link2

Adicione apenas o modem em router em ip route, pronto!!!

Agora so marcar as regras de mangle com as portas que sairam para o link2,sugiro marcar portas "limpas" tipow ,21,22,23,25,80,443,1863... os p2p e o resto sairam automaticamente pelo link1.

[Gustavinho]

HUmmm entendi, vou fazer o teste aqui

mais que nem, ativar o "Use Peer DNS" fará com que seja usado o DNS do LINK1 certo? no caso aqui registrei um DNS alternativo que funciona com os 2 LINKS. pois do LINK1(speedy) não funciona com o do LINK2.

+ 1 vez vlwwwww, to testando aquii e posto os results.