Balanceamento - dois links em um único servidor (não dá)

[GuileW]

Seguinte... quando me sobrar um pouco de tempo, vou traduzir um pedaço daquele texto, que explica detalhadamente como seria a técnica do NAT no balanceamento.

Mas por alto eh o seguinte: O firewall fica responsavel por cuidar das conexoes existentes E NAO O CACHE DE ROTAS! E esse eh o detalhe.

iptables -t filter -A PREROUTING -m state --state RELATED,ESTABLISHED \
-j ACCEPT

familiarizados com essa linha?

Qd eu tiver mais tempo eu traduzo boa parte daquele tutorial para as coisas ficarem mais claras.

Mas, continuo dizendo: Uso e abuso (e nao sou o unico) do load balance, com NAT e funciona perfeitamente sem queda de MSN e etc. Esta operando ja fazem 6 meses. Fiz o mesmo sistema para um amigo meu que tem um provedor wireless e este tb esta funcionando 100%.

Portanto, nao desistam! FUNCIONA!

Att,

Guilherme

[The-shadow]

entao vcs têm uma opção no kernel que é "IP: equal cost multipath" marcada?
creio que isso tb tem de estar activado...pkausa do problema da cache =/
ou entao, desistam do iproute2 e utilizem o driver que vem no kernel 2.4 e 2.6 que serve para o mesmo efeito

"bonding driver support"



caso isso tb n funcione, meus caros.. FreeBSD + PF r0x .. esse n dá estes problemas todos, Um abraço

[PatrickBrandao]

Pessoal, entao posta ai os scritps de balanceamento de voces estão usando.

Discordo do firewall em relaçao ao roteamento pois é no roteamento (apos PREROUTING) que a interface de saida é decidida.

Caminho:

PRE (raw/mangle/nat) --->> (ROUTER) --> FORWARD (mangle/filter) --> POST (mangle/nat)

[nataniel]

Pessoal, entao posta ai os scritps de balanceamento de voces estão usando.

Discordo do firewall em relaçao ao roteamento pois é no roteamento (apos PREROUTING) que a interface de saida é decidida.

Caminho:

PRE (raw/mangle/nat) --->> (ROUTER) --> FORWARD (mangle/filter) --> POST (mangle/nat)

Patrick,

Meus testes todos foram em cima desse modelo (algumas linhas estão comentadas pq eu tava testando algumas mudanças):

#!/bin/sh
 
IPT="/usr/local/sbin/iptables"
IP="/sbin/ip"
 
# Tabelas usadas
L1="link1"
L2="link2"
MAIN="principal"
 
# Enderecamento
GW1="200.163.208.1"
GW2="10.1.1.1"
IF1="eth0"
IF2="eth3"
IP1="200.163.208.6"
IP2="10.1.1.10"
NM1="255.255.255.0"
NM2="255.255.255.0"
NW1="200.163.208.0/26"
NW2="10.1.1.0/24"
 
# adicionando multipath route
$IP route del default table $MAIN
$IP route add default table $MAIN proto static nexthop via $GW1 dev $IF1 weight 1 nexthop via $GW2 dev $IF2 weight 1
 
# adicionando rotas padroes das tabelas L1
#$IP rule add prio 201 from $NW1 table $L1
#$IP route add default via $GW1 dev $IF1 src $IP1 proto static table $L1
#$IP route append prohibit default table $L1 metric 1 proto static
 
# adicionando rotas padroes das tabelas L2
#$IP rule add prio 202 from $NW2 table $L2
#$IP route add default via $GW2 dev $IF2 src $IP2 proto static table $L2
#$IP route append prohibit default table $L2 metric 1 proto static
 
$IP route flush cache

Além disso tentei também assim:

$IPT -t mangle -A PREROUTING -m layer7 --l7proto msnmessenger -j MARK --set-mark 3001
 
$IP rule add fwmark 3001 lookup table $L2

Com isso esperava que os pacotes do MSN fossem enviados para o link2, mas não funcionou. Estou tentando fazer um novo box, mais potente, para que eu possa testar com mais calma.

PS.: Ambas as interfaces de saída dos links estão mascaradas usando -o <interface> -j MASQUERADE.

Att,

Nataniel Klug

[ASA]

preferí usar um router com 2 WAN da marca xincom www.xincom.com :good: , faz 3 semanas q esta online e sem problemas.. só deu um problema quando caiu um dos link.. os cliente navegavam a medias (acho q o problema era DNS).. actualmente coloquei 90% em WAN1 e 10% em WAN2... quando tiver mais trafego penso colocar em 50% e 50%.

dé uma olhada nos Firmware Revision History do equipo...
http://www.xincom.com/support/twr502/firmrev502.html

e quando tiver possibilidade penso adquirir o Linksys-Cisco RV016 q tem 7 WAN cool)

Abraços
Lee

onde vc comprou o xincom e quanto pagou?

[PatrickBrandao]

Uso esse aqui em um cliente, mas é por marcaçao de pacotes:


#!/bin/sh
# Escrito por: Patrick Brandao <[email protected]>
# Script de balanceamento por marcacao

debug=""
if test "$1" = "debug"; then
debug="echo"
fi

link1dev="eth1"
link1gateway="200.210.139.5"

link2dev="eth2"
link2gateway="200.212.230.129"

link3dev="eth3"
link3gateway="192.168.0.1"

# firewall ----------------------------------------
$debug iptables -t mangle -N balance 2>/dev/null
$debug iptables -t mangle -N link1 2>/dev/null
$debug iptables -t mangle -N link2 2>/dev/null
$debug iptables -t mangle -N link3 2>/dev/null

$debug iptables -t mangle -F balance
$debug iptables -t mangle -F link1
$debug iptables -t mangle -F link2
$debug iptables -t mangle -F link3

$debug iptables -t mangle -D PREROUTING -j balance 2>devnull
$debug iptables -t mangle -I PREROUTING -j balance

# preenchear link1
$debug iptables -t mangle -A link1 -j MARK --set-mark 1
$debug iptables -t mangle -A link1 -j ACCEPT


# preenchear link2
$debug iptables -t mangle -A link2 -j MARK --set-mark 2
$debug iptables -t mangle -A link2 -j ACCEPT

# preenchear link3
$debug iptables -t mangle -A link3 -j MARK --set-mark 3
$debug iptables -t mangle -A link3 -j ACCEPT


# adicione em balance os clientes de acordo com o link
# ex.:
# iptables -t mangle -A balance -s 192.168.20.4 -j link1
# iptables -t mangle -A balance -s 192.168.5.9 -j link2

# roteamento ---------------------------------------

# tabela 201: link1
# tabela 202: link2
# tabela 203: link3

# limpar
$debug ip route flush table 201 2>/dev/null
$debug ip route flush table 202 2>/dev/null
$debug ip route flush table 203 2>/dev/null

# tirar copia de 'main'
temp=`mktemp /tmp/confXXXXXX`
ip route show table main | grep -v default | grep -v ^$ | grep -n $ > $temp

total=$(tail -1 $temp | cut -d ":" -f1)
start=1
while [ $start -le $total ] ; do
linha=`cat $temp | grep "^$start:"`
rota=`echo $linha | cut -f2 -d:`
# copiar para link1
$debug ip route add $rota table 201

# copiar para link2
$debug ip route add $rota table 202

# copiar para link3
$debug ip route add $rota table 203

start=$(expr $start + 1)
done
rm $temp


# adicionar gateway
$debug ip route add default via $link1gateway dev $link1dev table 201
$debug ip route add default via $link2gateway dev $link2dev table 202
$debug ip route add default via $link3gateway dev $link3dev table 203

# colocar nas regras
# limpar
$debug ip rule del fwmark 1 lookup 201 2>/dev/null
$debug ip rule del fwmark 2 lookup 202 2>/dev/null
$debug ip rule del fwmark 3 lookup 203 2>/dev/null

# enviar
$debug ip rule add fwmark 1 lookup 201 prio 1
$debug ip rule add fwmark 2 lookup 202 prio 2
$debug ip rule add fwmark 3 lookup 203 prio 3

# limpar cache
$debug ip route flush table cache

[nataniel]

Patrick,

Não entendi... Daquela maneira tu diz que o clientex sai por um link e o clientey por outro. Isso e selecao de clientes e nao balanceamento de carga... o que preciso e nao pensar de qual cliente esta vindo o pacote e sim que ele deve ir para a internet por um dos meus links disponiveis e voltar ao cliente.

Att,

Nataniel Klug

[tarcisiojr]

eu fiz uma esquema aqui mais ou menos assim..........

[Servidor com 2 ADSL]
a cada 1 min o cron pinga um modem depois o outro pra ve se estao travados ou estao funcionando? se sim ele usa um comando muito legal q eu vi no ping do linux que eh assim "ping -I eth1 IPDESTINO" nesse caso ele testa um ping a um ip externo pelo ADSL1 se piingar modem ok e autenticado ok. depois repete no ADSL2 se pinga tb tudo ok.
se nao ping ip externo ou mesmo o modem 1 estiver nao respondendo eu removo a rota padrao e adiciono uma nova rota assim "route add default gw IPMODEM2" ai no proximo teste ele vai testar se esta com o loadbalance e se detectar q nao esta ele vai pinga novamente o modem q nao respondeu se o mesmo respoder ele parte pra autenticar depois ele faz o loadbalance de novo....... e assim vai...... e alguns servicos como msn q usa a porta 1863 eu redireciono para a link 1 sempre pra nao ficar caindo estes servicos.........

[GuileW]

Seguinte pessoal, nao sei quanto a voces, mas atualmente tenho dois link trabalhando em sistema load balance e nunca deu problema. Tenho outro cliente que trabalha com 3 ADSL em load balance, tambem nunca deu problema e outro que tem uns 5 ADSL. Estou usando Debian como servidor com kernel 2.4.30, uma placa de rede para cada link externo e uma para LAN.

Nao vamos nos esquecer dos patches a serem aplicados no kernel.

Se mais alguem tiver uma experiencia positiva, comente!

Aqui está a fonte de onde fiz o meu load balance, que já está a 6 meses rodando: http://www.ssi.bg/~ja/nano.txt

Att,

Guilherme F. Weidle Jr

Cara voce foi o primeiro que vi ate hoje que disse que funciona, diz ae algumas informações que eu tive problema, ele não da erro em downloads grandes, msn ou banco??

Tpo assim esses 5 links ou 2 links quando voce monitora fica cada um com uma porcentagem igual do trafego ou ele primeiro enche o link 1 depois o link 2 e assim por diante? Não teve problemas com a diferença entre a taxa de download e upload do server que pode gerar o travamento do roteamento??

Vlw pelas informações e falows

Ola, desculpe pela demora nas respostas da sua pergunta. Respostas:
Nao, ele nao da erro no MSN nem em downloads grandes nem mesmo com bancos.

Os links ficam com procentagem igual de uso, metade para cada um. Ele nao enche um depois ou outro e etc...
Desconheco tal problema de taxe de download e upload... Afinal, os ADSL sao assimetricos mesmo. Mas no meu caso eu tenho um link dedicado de 1M e um link ADSL 1,5M. Eu nao trabalho na proporcao de 1 para 1 e sim, na propoercao 3 para 2, jogando mais para o link dedicado. No outro sistema com 3 ADSL, ai sim a proporcao eh de 1 para 1, pois sao todos ADSL de 1M.

Att,

Guilherme

[ruyneto]

Seguinte pessoal, nao sei quanto a voces, mas atualmente tenho dois link trabalhando em sistema load balance e nunca deu problema. Tenho outro cliente que trabalha com 3 ADSL em load balance, tambem nunca deu problema e outro que tem uns 5 ADSL. Estou usando Debian como servidor com kernel 2.4.30, uma placa de rede para cada link externo e uma para LAN.

Nao vamos nos esquecer dos patches a serem aplicados no kernel.

Se mais alguem tiver uma experiencia positiva, comente!

Aqui está a fonte de onde fiz o meu load balance, que já está a 6 meses rodando: http://www.ssi.bg/~ja/nano.txt

Att,

Guilherme F. Weidle Jr

Cara voce foi o primeiro que vi ate hoje que disse que funciona, diz ae algumas informações que eu tive problema, ele não da erro em downloads grandes, msn ou banco??

Tpo assim esses 5 links ou 2 links quando voce monitora fica cada um com uma porcentagem igual do trafego ou ele primeiro enche o link 1 depois o link 2 e assim por diante? Não teve problemas com a diferença entre a taxa de download e upload do server que pode gerar o travamento do roteamento??

Vlw pelas informações e falows

Ola, desculpe pela demora nas respostas da sua pergunta. Respostas:
Nao, ele nao da erro no MSN nem em downloads grandes nem mesmo com bancos.

Os links ficam com procentagem igual de uso, metade para cada um. Ele nao enche um depois ou outro e etc...
Desconheco tal problema de taxe de download e upload... Afinal, os ADSL sao assimetricos mesmo. Mas no meu caso eu tenho um link dedicado de 1M e um link ADSL 1,5M. Eu nao trabalho na proporcao de 1 para 1 e sim, na propoercao 3 para 2, jogando mais para o link dedicado. No outro sistema com 3 ADSL, ai sim a proporcao eh de 1 para 1, pois sao todos ADSL de 1M.

Att,

Guilherme

Cara voce seguiu exatamente o tutorial que postou ou mudou alguma coisa, pois usei esse mesmo tutorial e não foi.

vlw e desculpa o incomodo.

falows

[GuileW]

Opa. Cara, eu segui a risca esse tutorial. Pode ser que, meu sistema tenha alguma coisa de diferente configurada. Mas sinceramente, nao sei te responder.

Soh sei que segui aquele tutorial, coloquei a rodar e deu certo. Utilizo kernel 2.4.26 com os devidos patches, e o iptables com sistema de connection tracking, como mostra no tutorial.

Att,

Guilherme

[ruyneto]

Opa. Cara, eu segui a risca esse tutorial. Pode ser que, meu sistema tenha alguma coisa de diferente configurada. Mas sinceramente, nao sei te responder.

Soh sei que segui aquele tutorial, coloquei a rodar e deu certo. Utilizo kernel 2.4.26 com os devidos patches, e o iptables com sistema de connection tracking, como mostra no tutorial.

Att,

Guilherme

Tentei aquele tutorial e outros em todos tipos de sistemas e em kernels 2.4 e 2.6 e nenhum deu 100%, quem saiba um dia que tenha oportunidade de testar de nvo de certo, mas vlw pelas dicas.

falows

[nataniel]

Opa. Cara, eu segui a risca esse tutorial. Pode ser que, meu sistema tenha alguma coisa de diferente configurada. Mas sinceramente, nao sei te responder.

Soh sei que segui aquele tutorial, coloquei a rodar e deu certo. Utilizo kernel 2.4.26 com os devidos patches, e o iptables com sistema de connection tracking, como mostra no tutorial.

Guilherme,

Eu também segui a risca o tutorial mas sempre no kernel 2.6 (2.6.13-4). Vou fazer mais algumas tentativas e se não der certo vou retornar ao RedHat 9 e tentar com o kernel 2.4.

Att,

Nataniel Klug

[tiagomatias]

Seguinte pessoal, nao sei quanto a voces, mas atualmente tenho dois link trabalhando em sistema load balance e nunca deu problema. Tenho outro cliente que trabalha com 3 ADSL em load balance, tambem nunca deu problema e outro que tem uns 5 ADSL. Estou usando Debian como servidor com kernel 2.4.30, uma placa de rede para cada link externo e uma para LAN.

Nao vamos nos esquecer dos patches a serem aplicados no kernel.

Se mais alguem tiver uma experiencia positiva, comente!

Aqui está a fonte de onde fiz o meu load balance, que já está a 6 meses rodando: http://www.ssi.bg/~ja/nano.txt

Att,

Guilherme F. Weidle Jr

Cara voce foi o primeiro que vi ate hoje que disse que funciona, diz ae algumas informações que eu tive problema, ele não da erro em downloads grandes, msn ou banco??

Tpo assim esses 5 links ou 2 links quando voce monitora fica cada um com uma porcentagem igual do trafego ou ele primeiro enche o link 1 depois o link 2 e assim por diante? Não teve problemas com a diferença entre a taxa de download e upload do server que pode gerar o travamento do roteamento??

Vlw pelas informações e falows

Ola, desculpe pela demora nas respostas da sua pergunta. Respostas:
Nao, ele nao da erro no MSN nem em downloads grandes nem mesmo com bancos.

Os links ficam com procentagem igual de uso, metade para cada um. Ele nao enche um depois ou outro e etc...
Desconheco tal problema de taxe de download e upload... Afinal, os ADSL sao assimetricos mesmo. Mas no meu caso eu tenho um link dedicado de 1M e um link ADSL 1,5M. Eu nao trabalho na proporcao de 1 para 1 e sim, na propoercao 3 para 2, jogando mais para o link dedicado. No outro sistema com 3 ADSL, ai sim a proporcao eh de 1 para 1, pois sao todos ADSL de 1M.

Att,

Guilherme

Amigo eu ja viz varias formas o loadbalaced.
Uma delas é usando o
Static Equal Cost Multi-Path routing (ECMP)

Exemplo: (Considere a seguinte situação onde nós temos que distribuir pacotes do passagens da rede 192.168.0.0/24 a 2 Gateway- 10.1.0.1 e 10.1.1.1: Adicione as rotas default - uma para ISP1 e 2 para ISP2 assim que nós pode começar a relação 1:3:
http://www.faarnet.com.br/tms/ecmp.jpg
Nesse aqui é muito granfino, funciona muito legal, mas tive um problema que acho q vc pode saber oque é. A respeito do MSN e sites de Bancos, foi como os amigos estavam falandp sobre o cache do kernel, tem a opção do Connection tracking na minha opinião se aumenta-se a opção de ficar mais tempo com o determinado IP acabaria com o problema de rompímento de conexão. o que vc acha ?
http://www.faarnet.com.br/tms/track.JPG

E tmb por
Standard Policy-Based Routing with Failover

Este exemplo mostrará como distribuir pacotes, usando uma política definida administrador. A política para esta instalação é a seguinte: distribua pacotes da rede 192.168.0.0/24, usando a passagem 10.0.0.1, e os pacotes da rede 192.168.1.0/24, usando a passagem 10.0.0.2. Se GW_1 não responder ao ping, use GW_Backup para a rede 192.168.0.0/24, se GW_2 não responder ao ping, usam GW_Backup também para a rede 192.168.1.0/24 em vez de GW_2.
http://www.faarnet.com.br/tms/PB.jpg
Nesse aqui ele funciona sem problemas, pq aqui eu digo para onde cada ip vai passar, mas ai foge na realidade e o trabalho triplica, o ideal seria que o proprio sistema diria para onde cada um fosse ! e é oque o ECMP faz.

Posta ai oque acha, qualquer coisa será muito bem vinda!

[antoniobrandao]

Hoje tenho 2 links e faço um pseudo-balanceamento .

Uso o esquema padrao de criar as rotas e marcar os pacotes com mangle. Porém, na regra que marca os pacotes coloco -m random

iptables -t mangle -I OUTPUT -m random --average 50 -p tcp --dport 80 -j MARK --set-mark 1001
iptables -t mangle -I PREROUTING -m random --average 50 -p tcp --dport 80 -j MARK --set-mark 1


neste exemplo 50% das conexoes web saem pelo link 1

vejam que nao é um balaceamento de verdade (pela carga do link).

[GuileW]

Legal este ultimo exemplo mostrado!

Vamos a algumas explicacoes de minha parte, que pode estar gerando um desentenditmento. Vale para o que eu estou usando baseado no tutorial.

1- Na verdade nao eh sistema LOAD_BALANCE REAL, pq ele nao se baseia pela CARGA dos links. Ele simplesmente manda uma conexao para um link, outra para outro link e assim por diante. Logo, ele atua na saida de pacotes. Portanto, se alguem que sai pelo link 1 faz um download de 2 horas e ocupar o link 1, ele nao vai saber disso e vai continuar mandando as conexoes pelos 2 links conforme o "peso" configurado. No meu caso, a cada 5 conexoes ele manda 3 para um link e 2 para o outro.

2- O mais importante eh aparentemente óbvio é o seguinte: Caso um dos links caia, todas as conexoes correntes por aquele link cairão tb! Eh impossivel fazer com que isso nao aconteça com esse sistema, afinal, são dois LINKS distintos com ips distintos e NAO UM SISTEMA DE LOAD BALANCE REAL que possui 2 linhas fisicas. Portanto, não se iludam com isso. Caiu o link, adeus conexoes ativas por ele.

3- As conexoes ATIVAS NÃO caem com o tempo. Este sistema de cache do tracking apaga o cache APÓS PERÍODO DE INATIVIDADE. Se não fosse assim, até mesmo com um link normal ficaria caindo... Pelo menos é o que eu acho, não fui muito a fundo nisso. Mas não consigo acreditar que o sistema simplesmente apagaria a conexao ativa, sendo que ela está ativa. Isso pra mim não faz sentido.

4- Em caso de falha em um dos links, o kernel demora um pouco ateh saber disso. Para ficar mais rapida a detecção, basta deixar rodando um teste de ping e dar o comando ip route flush cache.

5- Muito importante mencionar a importancia do patch nesse caso. Olha o que o tutorial nos diz a respeito: "O sistema de NAT não faz idéia de como lidar com rotas alternativas, isso é trabalho para o sistema de roteamento. E, uma das alterações proporcionadas pelo patch é fazer o sistema de roteamento preparar a rota de um pacote individual para o sistema do NAT, fazendo-o enxergar como se aquela é a única rota possível"

6- Todos os pontos acima com excessão do 5, são de minha opinião e experiência com este assunto até então. Posso estar errado em alguns ou em todos . Mas o fato é: Aqui está funcionando.

Acho que esses pontos podem (ou não) esclarecer algumas coisas.
Espero encontrar um tempo a mais para traduzir todo o tutorial. Ele esclarece várias questões.

Att,

Guilherme

[nataniel]

Guilherme,

Eu estou montando nesse momento uma outra máquina para testes do sistema de divisão de conexões (concordo contigo que não é um balanceamento de carga e sim uma simples e rápida divisão de conexão).

Também estou fazendo um tutorial completo sobre como implementar isso, em português e com todos os arquivos que usei. Explicadinho. Não está técnico porque não tenho conhecimento técnico suficiente para discutir como funcionam as tabelas de roteamente, mangle, nat e por aí vai e nem como o kernel faz isso. Sei isso tudo para meu uso, daí a colocar alguma coisa eu estaria saindo da minha área.



Espero que nesse novo box eu consiga fazer funcionar esse sistema que me interessa muito.

Att,

Nataniel Klug

[tiagomatias]

Pessoal é o seguinte, pelo que percebi aqui no load ele n rompe a conexão e sim o que acontece Guilherme é o seguinte: Por exemplo Banco, quando vc entra no banco e tem a primeira conexão chega com o ip X, e assim q vc coloca a sua senha por exemplo e clica no botao OK ele vai pegar uma outra conexão para aquela proxima pagina, e ai entra com o ip Y e é ai q esta o nosso maior problema, pq paginas de banco tem um sistema de segurança que assim q o cara loga ele armazena o ip do cara, mas quando ele prossegue na pagina e vai para uma proxima ai ele troca o IP, ai q fode tudo o banco detecta outro ip e diz q por medidas de segurança será encerrado.
e provavelmente o problemas de MSN é o memso caso.
agora a respeito de quebrar a conexão com downloads grandes isso nunca aconteceu aqui, ele permanece o tanto que for possivel.
O load funciona perfeito, so tem esse tipo de probleminhas que na verdade são medidas de segurança que as outras empresas adotaram.
agora estou vendo aqui como q eu faço para colocar uma regra no mangle para pode determinadas portas ou Ranges de IP´s caso o sistema detectar ele n mudar a conexão e ficar somente em um determinado link.


vai ai o telegrama :good:

qualquer rsposta será muito bem vinda!

[The-shadow]

colega.. n me pareçe que isso seja bem assim.. pq com balanceamento via hardware funciona bem.. tal como com o PF do FreeBSD ...
o prob tá no kernel..

[tiagomatias]

Mas é o seguinte eu uso uma Distro propria para isso que da suporte e tudo mais, é um kernel enchuto.