RELATO: Saindo do PC AP e Testando 2 RB's 750 ( LoadBalance & MK Server )

Olá Pessoal.

Há praticamente 1 ano, eu venho utilizando de Servidor Mikrotik um PC AP. É um PC modesto, um Athlon XP 2400+.

Como para exercer a função função de MK Server, este PC "sobra" em desempenho, eu resolvi reaproveitar outras funcionalidades que um PC pode oferecer. Como todos sabem, ao instalar o RouterOS, o PC se torna um PC AP e ponto final.

Como eu poderia então reaproveitar o PC para outras funções se o RouterOS monopoliza tudo ? Usando VM.
Pois bem, venho operando nos últimos 8 meses com o MK virtualizado rodando em cima do VMWare, me liberando então, o PC para outras funções.

Claro que eu não poderia hospedar outros serviços que demandassem processamento, afinal, a principal função ainda era de PC AP.

O máquina virtual está instalada em cima de um Windows 2000 ( precisava poupar todo e qualquer recursos, por isso a opção de um SO já ultrapassado - porém leve ). Além disso, este PC possui um webserver, nginx=php, que consome não mais que 15MB, não atrapalhando em nada o MK Virtual.

Bom, e pra que um webserver? A idéia inicial era um projeto que eu tenho de streaming de filmes e seriados, estou acertando a parte legal da coisa ainda, mas a parte funcional está indo muito bem.
O reflexo disso é que meus clientes dipõem de cerca de 50 filmes e alguns seriados ( ressaltando novamente aqui, que estou já em término de negociação para efetuar isso de maneira 100% legal ). Não é a idéia deste tópíco aqui, mas de fato já vendi esta solução a outros 2 provedores, interessados podem dar olhada em um demo aqui => http://inforosul.com.br/catalogo ( Filme Demonstrativo => Catálogo => Planeta dos Macacos ). Pra finalizar, os filmes foram codificados por mim, a bitrate exatos de 400kbps em um algoritmo de alta compressão, funcionam muito bem com banda de 600kbps, inclusive aqui, minha galera do 2,4 também consegue assistir muitíssimo bem ).

O webserver me permite outras peripécias interessantes, como criar uma Página Inicial para os clientes ( http://inforosul.com.br/cliente - essa página tem um script PHP que quando percebe que ela é requisitada de cliente meu, oferece ainda outros serviços ). Tenho ainda integrado um script PHP que testa se o link está online e informa ao cliente automaticamente sobre quedas, com status de retorno e alarme sonoro de aviso quando o link voltar, dessa forma se o cliente deixar a página de manutenção aberta, de minuto em minuto o PC dele irá gritar que a internet voltou a ficar online ( a bem da verdade, ainda bem que isso teve pouquíssimo uso, que assim se conserve ). Aqui tem uma demo da página => http://inforosul.com.br/mnt_mod.html
Reparem que como os filmes estão dentro da minha rede, o cliente pode assistir alguma coisa ( ou jogar alguns jogos em flash ) mesmo sem internet, "enquanto seu link não vem" ;-)

Vez ou outra também aproveito que este PC fica 24/7 e deixo alguma coisa baixando nele via torrent.

E aqui chegamos no meu problema, e em um ponto de decisão. O fato dele ficar 24/7 tá me comendo luz por uma perna. O Athlon XP é bem comedorzinho de luz, e dá me dando sozinho um gasto próximo a R$ 100,00 a/m na conta de luz. Agravado de que este PC suga toda bateria do Nobreak em questão de 40min, ao passo de que se estivessem ligados apenas os modem's/router's a autonomia do Nobreak ficaria por volta de 2h ou mais.

Pensando nisso, resolvi então, troca meu servidor por um Notebook que tenho aqui com a tela queimada. O note me trará os benefícios de baixo consumo de energia e também a possibilidade de ligá-lo fora do nobreak, pois ele mesmo já tem bateria. E mesmo se não tivesse, se ao faltar luz apenas o webserver sair do ar, não é lá grande problema. Diferente de antes, quando o webserver era em conjunto com o PC AP, que obviamente não poderia me dar ao luxo de ficar sem alimentação.

Ah sim, junto com meu dedicado, resolvi encostar um ADSL pra ver como é o "tal" de Load Balance ^^

Buneas, o problema é que que o Note só tem uma placa de rede sem possibilidade de expansão, então, "adios" PC AP. O que fazer ?
Me grudei semana passada em 2 RB's 750 simples por R$ 115,00 cada ( comprei deste rapaz aqui => http://perfil.mercadolivre.com.br/LUCASSANTORUM - muito bom vendedor - essa semana ele retirou o anúncio, quem quiser e-mail dele me avisa por MP que respondo por lá )

As RB's chegaram pra mim na sexta e passei a madrugada já colocando as 2 em produção.

Atualizei as 2 para a versão mais recente, 5.18.

A 1a. 750 configurei com o Balance PCC do Gerônimo do Forum RouteroOS - como cada 750 tem apenas 32MB de memória, o o LoadBalance ocupa pouca memória, para aliviar a outra que vai ficar com a parte pesada, joguei pra esta aqui algumas regras de firewall, nada muito "power", aquelas basicas de virus,Accept established connections,Drop invalid connections, etc... em resumo, o feijão com arroz ). Depois de tudo pronto, ela está com 16MB livre, e tudo bem, tudo funcionando já desde que instalei com processamento bem baixo.

A 2a. 750 então, configurei como MK Server. Eu tenho poucos clientes mas uso vários "cantos" do MK, tenho um conjunto grandinho de regras de Firewall, Filter, Mangle, e cia ltda. Com isso minhas filas também são bem complexas, tanto a queue tree quanto a simple queue ( que no meu caso estão mais para "complex" queue ), uso VPN, muita coisa em PCQ, scripts próprios de monitoramento, resumindo, tenho pouco tráfego mas ele é bem organizado, e é claro, isso acaba consumindo bastante memória, e de certa forma, processamento. Andei lendo bastante tanto aqui como em outros lugares, que a 750 é boa mas não faz milagre, principalmente por suas limitações, sendo a mais grave, a pouca memória.

Bom, infelizmente, com pouco mais de 12h em produção, do nada perdi o acesso via winbox pela rede local, achei que era alguma bobagenzinha, mas 3h depois a RB travou.

Resetei ela e tudo voltou, mas percebi que de tempos em tempos perdia o acesso e logo em seguida a RB travava. Comecei então a monitorar pra tentar identificar o que tava acontecendo, para isso deixava o Winbox logado monitorando o Profile ( não conhecia ainda, sacada bem interessante ). Bom, dos 32MB ( a bem da verdade, 29MB ) eu estava operando com 6MB assim que a RB era ligada, e aos poucos a RB ia consumindo, até chegar perto de 4MB, que era quando ela dava uns picos de 100% causados pelo flash segundo o profile, e no 3o. ou 4o. pico, eu era chutado e perdia o acesso via Winbox. Esse pico de flash eram leituras e gravações no SD da placa. Se fosse um PC com Windows, eu diria que a RB estava fazendo swap ( se é que não estava ).
Bom comecei a fuçar em tudo e mais um pouco, enxuguei tudo, desde removendo pacotes, retirando regras menos importantes, configurando DNS's para armazenar menos e com tempo de vida menor, desativei qualquer log, ou seja, tudo o que dava pra fazer sem que o "nucleo" das minhas regras não fosse muito afetado. Consegui liberar +2MB com isso, fazendo a RB inicializar com 8MB agora. Pensei eu então que 2MB a mais, ao menos iria fazer a RB demorar mais para travar. Nada, ganhei pouco tempo de sobrevida, e os picos de 100% tinham a mesma constância, até me derrubar do Winbox e travar em mais algumas horas.

Eu ainda acho que era o Swap que tava me afundando, foi então que me deu um estralo, se o Windows 2000 ocupa muito menos memória que o Windows 7 , uma versão anterior do MK haverá de ocupar menos memória também. Fiz downgrade para a versão 4.17. Ao inicializar, 12MB e não mais 8, ou seja, ganhei 4MB. Reativei as regras enxugadas, e agora a RB inicia com 11MB. Seu comportamento ficou mais solido, ela vai até 9MB, e volta pra 10, belisca 11 de novo e, principalmente, sem picos de 100% mais. E por enquanto ( algumas horas desta madrugada ), sem DC do Winbox e sem travamentos. Vi muitos relatos de RB 750 travando com processamento alto, fica aí a dica. De repente experimento a 3.30 numa medida de extrema necessidade.

Agora algumas dúvidas:

1a. Até o cliente, há 3 roteamentos, um no balance, outro no server, e outro no rádio do cliente. Estava pensando se não poderia fazer o server ser uma bridge do balance, desde que é claro, o server siga funcionando seu firewall e demais funções, deixando apenas de fazer NAT.

2a. Não consigo acessar o server entrando pela internet -> balance -> server e nem o balance indo pelo server -> balance. O próprio Gerônimo ensina no video a fazer um dst-nat de outra porta qualquer para a porta 8291 do MK pretendido. Mas que jeito, não funciona... Vi em alguns lugares que tem gente que configura VPN entre 2 MK's, eu ainda preferia acessar por NAT. Li em alguns lugares sobre abrir também as portas 23 e 4040, não entendi como isso funcionaria, se alguém aí tiver algumas "regras mágicas" de NAT na manga, por favor, serão de grande utilidade.

3a. Por padrão agora, o DNS's do MK vem com "Max UDP packet size" em 4096, e não mais em 512. Li algumas coisas no forum da MK, mas meu desglês não me deixou entender mta coisa, teria a ver com IPv6 a mudança ?

4a. No server, eu remeti como DNS o balance, de fato eu tenho 2 caches de DNS redundantes, não vejo isso como necessário. Estou pensando em colocar o server para armazenar apenas as últimas 512 entradas ( mínimo ) com tempo de vida de 1h ( padrão é 1 semana ), afinal ele esta puxando do balance via gigabit, que inclusive aumentei o cache neste de 2M para 6M. Sendo assim, não teria com isso necessidade de manter um cache muito grande no server, aliás, preferia até nem manter, mas não é possível que eu saiba, ao menos não nateado. Não tenho nem idéia também como isso iria funcionar se for possível colocar server e balance em bridge.

Por hora é isso, mas conforme minha experiêcia for progredindo, vou mantendo-os informados. Por favor, sintam-se a vontade pra dar pitaco em qualquer coisa. Me ajudem. E se alguém precisar de ajuda, não sou encolhido nem mercenário ;-)

Uma RB450G já deve conseguir tocar o seu número de clientes com um consumo de energia bem menor que o de um PC, com a vantagem de ter o console serial caso você perca acesso administrativo por algum motivo.

Cara antes de tudo parabens pelas soluçoes acima do portal de filmes e da tela de aviso do retorno do link,muito bem sacadas!
Agora ao inves de ter comprado duas Rbs 750 vc poderia ter pego uma 450G que faria isso tudo que as duas tao sofrendo pra fazer e ainda sobra,quanto ao pc vc consegue montar maquinas mini ITX gastando o minimo de energia com um desempenho bem razoavel se comparado ao seu velho Athlon Xp.

Abs.

Eu estou já há tempos procurando uma boa barbada da 450g pelo ML, assim que achar uma, vou comprar. Mas agora a idéia do Mini-PC de baixo consumo também me atraiu. Fica a dúvida apenas de quantas placas de rede eu conseguiria por em um Mini-PC ?

Mas por enquanto só discutiu-se ideologias ( se minha opção foi acertada ). Peço que não esqueçam da minha calói ( 4 dúvidas ) ;-)

Postado originalmente por silviola

Eu estou já há tempos procurando uma boa barbada da 450g pelo ML, assim que achar uma, vou comprar. )

Tem uma por R$250 no ML...

Postado originalmente por rubensk

Tem uma por R$250 no ML...

Vi 2 de R$ 240,00 ( anuncio duplo ). Inslusive o vendedor me faz por R$ 199,00, mas o vendedor não tem qualificação, na verdade tem, 1 unica, negativa ^^ Se possível, me manda por MP o link dessa de R$ 250,00 pra eu dar uma olhada no anúncio.

Mas...
(1)e a bridge load<=>server ?
(2)e a rota de acesso entre eles ?
(3)e a mudança do Max UDP no DNS do RouterOS novo ?
(4)e o que fazer a respeito do cache DNS duplo (load&server) ?

Postado originalmente por JorgeAldo

Adaptadores USB Ethernet custam R$10

Li que rendem ~12Mb/s ... meio arriscado (acho).

Postado originalmente por silviola

Olá Pessoal.

1a. Até o cliente, há 3 roteamentos, um no balance, outro no server, e outro no rádio do cliente. Estava pensando se não poderia fazer o server ser uma bridge do balance, desde que é claro, o server siga funcionando seu firewall e demais funções, deixando apenas de fazer NAT.

Se a questão é diminuir o processamento e uso de memória, é mais útil desligar a conntrack do que optar entre bridge e roteamento. Você realmente poderia concentrar todo o NAT no balance, e apenas nele manter conntrack ligado, desligando nos outros. Note que sem conntrack você também perde outros recursos de redirecionamento que você está usando hoje, que precisariam migrar para onde o conntrack ficou ligado.

A diferença de performance entre bridge+firewall sem conntrack e roteamento sem conntrack é baixa, e a operação da rede como bridge usando filtros mais complexa, então em função das suas perguntas eu não sugiro ir por este caminho por enquanto.
[/QUOTE]

Eu sou meio perfeccionista. Se há forma mais rápida e otimizada de funcionar com o mesmo hardware, mesmo que para isso seja necessário várias horas de estudo ( que eu até gosto ), então prefiro seguir este caminho.
Meu objetivo em eliminar um NAT é economizar processamento, memória e também ganhar acesso direto sem redirect.

Postado originalmente por silviola

Eu sou meio perfeccionista. Se há forma mais rápida e otimizada de funcionar com o mesmo hardware, mesmo que para isso seja necessário várias horas de estudo ( que eu até gosto ), então prefiro seguir este caminho.
Meu objetivo em eliminar um NAT é economizar processamento, memória e também ganhar acesso direto sem redirect.

Mas para eliminar NAT e ter acesso sem redirect você precisaria de link dedicado, é uma opção ?

Amigo parabens pela iniciativa ..
eu estou aguardano um RB 750 tbem chegar
pra eu fezar comtrole por ela que a energia aqui vem lascando tudo ...
eu fazer o msm vou trocar a versão para uma mais antiga porque ja
tinha lido varios topicos sobre isso mais tem uma dica tbm que é colocar uma
fonte um pouco mais potenti que as vezes a fonte que vem nao aguenta
os picos altos ...
obg aew ..
opa ..
uma perguntinha amigo si nao entrar muito no intimo do seu provedor
quantos clientes voce colocou ou prenteder colocar na rb serv ??
porque muitos falam que a partir de 40, 50 onlines ela comesam o uso do CPU 100%
com planos de 1M e 600k ...
vlw . ..

Postado originalmente por rubensk

Mas para eliminar NAT e ter acesso sem redirect você precisaria de link dedicado, é uma opção ?

Sim, mas eu tenho link dedicado. Infelizmente não disponho de outro IP Público pra pôr no server. O único IP público que tenho sobrando, está no Balance. Mesmo o ADSL é acessível externamente pois está com ChangeIp, que acaba deixando praticamente a mesma coisa, afinal o ADSL só bloqueia tráfego entrante pelas portas 80 e 25. Além disso, o Winbox aceita e resolve domínios. Então, quanto a barreiras de entrada, no meu caso, tanto faz Dedicado ou ADSL.

Postado originalmente por 4CJINFOR

quantos clientes voce colocou ou prenteder colocar na rb serv ??
porque muitos falam que a partir de 40, 50 onlines ela comesam o uso do CPU 100%
com planos de 1M e 600k ...
vlw . ..

Tenho atualmente 30 clientes, mas a RB 750 é apenas temporária, estou já com uma 750G que irá chegar esta semana que melhorará ao menos o processamento, e daqui mais 1 ou 2 meses, já estarei com uma 450g, me permitindo expandir o Pop para cerca de 60 clientes ( 30 por POP, já que esta RB está atendendo 2 POP's ).

Com essa Rb 750 eu conseguia cerca de 20~25 online com profile de 128/800k depois disso perdia acesso a mesma, cpu constante a 100% e so voltava ao normal quando rebootava fisicamente a mesma.
So consegui resolver o problema trocando para a 450g. Media de 40 online com profile de 200/1000k

Aqui esta mesma RB 750 está controlando 2 POP's pequenos de 43 cadastrados com picos de ~30/35 online.
Com o Firm 5.18 não teve jeito mesmo, com o 4.17, uptime de 30h até aqui.

Segundo a opinião geral, me parece então que esta RB está se mostrando guerreira, pois lembram no 1o. post que eu disse que minha simple queue é na verdade uma "complex" queue, então:

Código :

add direction=both interface=local limit-at=0/0 max-limit=200k/1M name="Cliente X - CliX" parent=none priority=8 queue=wireless-default/wireless-default target-addresses=192.168.1.25/32
add direction=both interface=all limit-at=200k/1M max-limit=200k/1M name=Velocimetro.CliX packet-marks=pac_velocimetros_down,pac_velocimetros_up parent="Cliente X - CliX" priority=1 queue=wireless-default/wireless-default
add burst-limit=0/1M burst-threshold=0/550k burst-time=0s/5m direction=download interface=all limit-at=200k/600k max-limit=200k/600k name=Cinema.CliX packet-marks=pac_cinema_down parent="Cliente X - CliX" priority=2 queue=wireless-default/wireless-default
add burst-limit=200k/1M burst-threshold=80k/400k burst-time=1m/5m direction=both interface=local limit-at=0/0 max-limit=100k/500k name=Internet.CliX parent="Cliente X - CliX" priority=3 queue=wireless-default/wireless-default
add direction=upload interface=local limit-at=0/0 max-limit=80k/0 name="1-UP Low.CliX" p2p=all-p2p parent=Internet.CliX priority=8 queue=wireless-default/wireless-default
add direction=upload disabled=no interface=local limit-at=100k/0 max-limit=200k/0 name="2-UP High.CliX" parent=Internet.CliX priority=4 queue=wireless-default/wireless-default
add burst-limit=0/300k burst-threshold=0/100k burst-time=0s/1m direction=download interface=local limit-at=0/50k max-limit=0/200k name="3-DOWN Low.CliX" packet-marks=pac_torrent_down,pac_rest_down parent=Internet.CliX priority=8 queue=wireless-default/wireless-default
add burst-limit=0/1M burst-threshold=0/400k burst-time=0s/5m direction=download interface=local limit-at=0/200k max-limit=0/500k name="5-DOWN Prior.CliX" packet-marks=pac_svs_priori_down parent=Internet.CliX priority=5 queue=wireless-default/wireless-default
add burst-limit=0/1M burst-threshold=0/200k burst-time=0s/1m direction=download interface=local limit-at=0/150k max-limit=0/300k name="6-DOWN High.CliX" packet-marks=pac_icmp_down,pac_dns_down,pac_fluxo_down_0_512,pac_fluxo_down_512_2M parent=Internet.CliX priority=6 queue=wireless-default/wireless-default
add burst-limit=0/1M burst-threshold=0/100k burst-time=0s/1m direction=download interface=local limit-at=0/100k max-limit=0/200k name="7-DOWN Geral.CliX" parent=Internet.CliX priority=7 queue=wireless-default/wireless-default

Geralmente não entendo nada quando tento decifrar "export" de regras, me dei ao trabalho de montar uma imagem em alta definição com as abas "General" e "Advanced" de cada regra para melhor visualização e entendimento:

simple_queue.png [ 565KB ]

Não esqueçamos minhas dúvidas hein

Amigos Dicas ...
Hoje eu fui atraz de um coller pra eu colocar na minha Rb750
Pra ver como ela vai si conportar eu vou colocar aqui tbem uma
fonte de notebook pra melhor a sistema de energia vie muitos topicos falando
sobre energia e ventilação ...
eu vou configurar ele com apenas HOTSPORT e disca um link ... Ela vai comandar uma Bullet com Omni .. e POP com um Radio e Uma Omni ...
Clientes no momentos 25 ... 06 no cabo de rede que são alguns vizinhos e os outros são os que pegam Pelas Omni's e os palnos são 96/1024, 126/2048 e 128/3072
o Plano de 128/3072 Hé so os cliente de cabo ....

Fica as Dicas aew pessoal e alguma esperiencia de outro por aew ..
posta aew pra compartilhar conhecimento e esperiencia ...


Vlw ...

Minha 2a. dúvida (acesso ao mkserver <= balance <= internet ) esta próxima a ser sanada. Na verdade ela mudou ^^

Descobri que o problema está no Windows 7. Acessei com o Winbox de um windows XP e funcionou. Li que precisa de uma atualização o Windows 7 para conseguir o acesso, mas onde li não dizia qual KB era necessário. Alguém aí sabe ? ( não uso Windows Update por opção ).

Nós, enquanto humanidade, ou tememos, ou amamos, ou odiamos o que não entendemos... e assim é nós, mortais, com o Mikrotik.

Descobri ontem que na verdade o problema de acesso remoto não se tratava de versão do Windows, mas sim de onde esta partindo a solicitação de acesso.

O Loadbalance PCC que implementei aqui, de alguma forma cria uma tabela de roteamento, e a 1a. vez que um tráfego "X" parte em relação ao um IP "Y" saindo por uma interface "Z", da segunda vez em diante, ele irá sempre utilizar o mesmo caminho.

Eu já tinha percebido isso aqui. Lembram que eu citei no 1o. post que minha página do cliente possui um script PHP que identifica de onde vem a requisição e libera determinados serviços específicos ? Percebi que depois do Load, a página do cliente usava um dos links no 1o. acesso, e depois sempre se mantinha, mostrando dados específicos de acordo com aquele IP identificado.
A princípio até achei que fosse alguma coisa em relação a "Pref. Source", mas não, inclusive minha página do cliente desde o último reset do Balance, estolheu o link que não está no "Pref".
Quando percebi isso, comecei a abrir tudo quanto é site que mostra DNS Reverso, Ex: http://www.omeuip.com/ | http://www.omeuip.com.br/2012/ | http://meuip.datahouse.com.br/ | http://speedtest.net/ .
De fato para cada site destes aleatóriamente o Balance saiu por uma interface. Até aí tudo bem, acontece que no outro dia reabri as mesmas páginas e o Balance se comportou exatamente da mesma forma, e os sites me reportaram o mesmo reverso do dia anterior, ou seja, o Balance "lembrou" por onde tinha saído ontem para novamente sair hoje.

Constatado isso, o tico e o teco aqui, devem ter discutido muito durante meu sono, que acordei com essa idéia. Se há caminhos prédefinidos e mantidos para a saída, a coisa deve ser por esse caminho Acontece que quando eu testei e acessando um PC via RDP com Windows XP e fiz funcionar, imediatamente acessei outro PC com RDP, dessa vez um Windows 7, e não consegui acessar usando exatamente a mesma configuração de destino e portas no Winbox. Junte a isso o fato de ter lido em algum lugar que o Windows 7 precisava de uma atualização e tava eu lá, procurando a solução errada.
Na verdade eu simplesmente não consegui acessar do Windows 7 porque, o Balance sorteou um caminho diferente pra o IP de onde estava destinando. Bastou tentar entrar por outra interface, e bingo, foi. Acessei ainda outro PC com RDP, outro com XP, e entrei pela interface que o Windows 7 havia entrado. Confirmou-se então, minhas suspeitas do que estava acontecendo.

Reparei ainda outra coisa, eu até consigo bater na porta 8292 pelas 2 interfaces de entrada, pois o DST-NAT contabiliza 1 pct ao tentar entrar pela interface "errada". É na saída que o Balance resolve só largar para aquele interface específica. Ou seja, sendo uma conexão TCP, por característica do protocolo, tem que entrar e sair com IP's idênticos.

Com isso, continuamos com o ciclo eterno de aprendizado, consegui o acesso, sanei minha dúvida ( do acesso remoto ), mas criou-se outra, onde fica essa tabela de roteamento ? É baseada em que ? Qual seu tempo de vida ? Como vejo ela ? Como intervenho ?

Outra coisa, logo quando implementei o LoadBalance, já vinha estudando formas de fixar determinados sites para entrarem e sairém por uma porta específica, mas até agora não precisei fazer nada disso. Alguém sabe aí algum site problemático com Loadbalance pra eu testar ?

Postado originalmente por silviola

Com isso, continuamos com o ciclo eterno de aprendizado, consegui o acesso, sanei minha dúvida ( do acesso remoto ), mas criou-se outra, onde fica essa tabela de roteamento ? É baseada em que ? Qual seu tempo de vida ? Como vejo ela ? Como intervenho ?

Se trata do route cache. O tamanho do route cache pode ser visto com "ip route cache print", mas o Mikrotik não implementa (que eu saiba) os comandos de "show" e "flush", então a forma bruta de resolver isso é down/up na interface.

http://wiki.mikrotik.com/wiki/Manual:IP/Route

Results of routing decision are remembered in the routing cache. This is done to improve forwarding performance. When another packet with the same source address, destination address, source interface, routing mark and ToSis routed, cached results are used. This also allows to implement per-connection load balancing using ECMP routes, because values used to lookup entry in the routing cache are the same for all packets that belong to the same connection and go in the same direction.