RouterOS Nativo vs RouterOS Virtualizado

[barcelona]

Olá a todos.

Não sou um membro ativo no fórum, porém pratico leitura praticamente diária de todos os assuntos que abordam aqui e através das experiências dos membros eu consigo alimentar meus conhecimentos.
Recentemente tive a dúvida sobre a virtualização do RouterOS, pois estava tendo a necessidade de ter um computador ligado 24hrs para receber alguns logs que estava criando através do Mangle, e como uso o RouterOS num x86, logo pensei na possibilidade.

-Muitas pessoas falaram muito bem.
-Muitas falaram bem, mas falavam para usar só em bancada e nunca na situação real.
-Muitas falaram que tiveram problemas estranhos no qual não conseguiram solucionar.

Enfim, continuei com as dúvidas e resolvi fazer os testes eu mesmo! E venho aqui agora compartilhar com os companheiros daqui do fórum o meu relato sobre os testes que fiz.

A primeira coisa que fiz foi procurar uma plataforma boa de virtualização. Procurando pela internet, cheguei em 03 softwares.

-VMware.
-Proxmox
-XenServer

E dentre eles após ver um comparativo, optei pelo XenServer, que é excelente! Mas como o intuito do tópico é o teste de performance do RouterOS, não entrarei em detalhes.

Configuração do meu servidor.
Intel Xeon X3220 (8M Cache, 2.40GHz, 1066Mhz FSB
Placa Mãe SuperMicro PDSML-LN1
4GB DDR2 667mhz
HD SATA 160GB Toshiba
04 Portas LAN 10/100/1000 Atheros AR8131/M
02 Portas LAN 10/100/1000 Intel 82573V
02 Portas LAN 10/100/1000 Intel 82546
RouterOS versão 5.25
Xenserver 6.2
NetTraffic 1.27 com atualização a cada 500ms.

Servidor sempre muito estável, usei o RouterOS por 5 meses e nunca tive problemas.
Enfim, vamos aos testes.
Instalei o XenServer no servidor e usei o ZenCenter para controla-lo a partir do meu notebook via rede. Criei a máquina virtual com todos os recursos que estavam disponíveis. Coloquei os 04 núcleos dedicados a VM, deixei 3GB de memória pois o Zenserver consome 1GB, e criei um disco virtual de 10GB para instalar o RouterOS, sem novidades.
A instalação foi super rápida, coloquei pra rodar o RouterOS e fiz as configurações básicas para o funcionamento. Peguei a ether1 e configurei como DHCP-Client pra pegar um IP de outra RB que tenho, e criei um DHCP-Server na Ether2 pra entregar um IP para o meu notebook, e pra finalizar criei uma regra de NAT para mascarar a rede.
Pluguei o cabo que saiu da porta 2 do servidor no meu notebook (um patchcord Cat6 de 1.5M) e logo ele pegou as configurações da lan e saiu navegando na internet.

Com isso, usei as ferramentas "Btest" que a mikrotik fornece para teste de banda e NetTraffic para medir o tráfego da rede. Fiz todos os testes possíveis e registrei para que pudesse comparar com o RouterOS rodando diretamente na máquina.
Todos os testes de banda eu começava a contagem após 02 minutos do teste iniciado para que a conexão já estivesse estabilizada, e todas duraram exatamente 05 minutos.

Teste Send TCP.
No teste "Send TCP" se refere ao fluxo a partir do meu notebook, no caso, o tráfego era gerado no Btest do meu notebook em direção ao servidor usando o protocolo TCP.

Vemos aqui que o sistema nativo conseguiu uma taxa de transferência média 127% maior que o sistema virtualizado e 128.14% a mais de bandwidth, e ambos se mostraram instáveis como podem ver no gráfico.

Teste Send UDP.
No teste "Send UDP" se refere ao fluxo a partir do meu notebook, no caso, o tráfego era gerado no Btest do meu notebook em direção ao servidor usando desta vez o protocolo UDP.

Neste teste o sistema nativo conseguiu ser 67.05% mais rápido que o sistema virtualizado e conseguiu um bandwidth 128.24% maior. Esta diferença esmagadora está relacionado ao lamentável fato da instabilidade do sistema virtualizado, que ficou semelhante a um monitor de batimentos cardíacos. (Analisem a consequência disso no provedor de vocês!)

Teste Receive TCP.
Neste teste o fluxo é inverso, o tráfego é gerado a partir do RouterOS em direção ao meu notebook e recebido pelo Btest usando o protocolo TCP.

Aqui o sistema nativo conseguiu uma taxa de transferência 272,10% maior que o sistema virtualizado, e conseguiu um bandwidth 268.40% maior. Porém, com uma taxa de transferência menor o sistema virtualizado se mostrou mais estável que o nativo, que teve pequenas quedas no tráfego.

Teste Receive UDP.
Neste teste, o tráfego é gerado a partir do RouterOS em direção ao meu notebook e recebido pelo Btest usando o protocolo UDP.

Aqui vemos que o sistema nativo conseguiu ser 212,98% mais rápido que o sistema virtualizado, e conseguiu a incrível taxa de transferência média de 928.09Mb/s, quase que no limite do hardware. O sistema nativo também conseguiu um bandwidth 212.41% maior, e atenção aos gráficos, o sistema virtualizado teve oscilações muito grandes durante o teste, oscilações estas que ao meu ver não tem uma justificativa certa, uma vez que o servidor estava sendo usado exclusivamente para este teste.

Teste Both TCP.
Neste Teste é gerado o tráfego em ambos os lados ao mesmo tempo, e por isso é considerado uma simulação mais real de como o servidor se comportaria funcionando em um provedor, vamos aos testes usando o protocolo TCP.


Aqui em ambos os testes houveram muitas oscilações, mas novamente o sistema nativo se comportou muito melhor que o sistema virtualizado. Em download, o sistema nativo foi 452.51% mais rápido, e em upload 649.14% mais rápido. Calculando o bandwidth total vemos uma diferença de 592.07%. Novamente, a instabilidade do gráfico do sistema virtualizado chama a atenção.

Teste Both UDP.
Neste Teste é gerado o tráfego em ambos os lados ao mesmo tempo, agora usando o protocolo UDP.

Neste teste tivemos bem pouca oscilação, se comparado com o teste em TCP. O sistema nativo conseguiu em download uma taxa 233.05% maior que o virtualizado, enquanto em upload a taxa foi 100.51%. A diferença de bandwidth total ficou em 142.54%. Novamente analisando os gráficos, vemos uma instabilidade maior no virtualizado e com direito a um pico assustador chegando ao final do teste, tão assustador quanto inexplicável.

Resumindo pessoal. Venho aqui passar minha experiência a vocês, pois pesquisei muito sobre isso e nunca achei nada muito concreto nesse quesito. Sei que existem muitos outros testes que devem ser feitos antes de dizer que não se deve usar o RouterOS virtualizado, mas eu, pelo que vi nestes testes estou convencido que não é a forma ideal a ser usado, ou como muitos já concluíam, é pra ser usado em bancada e não em uma situação real. Acredito que o mais agravante dos fatos que vimos acima, é a instabilidade da conexão. Em 6 testes, tivemos estabilidade em somente uma, e em todas que estavam instáveis não era só uma pequena oscilação, o maior dos exemplos foi o teste "Both TCP" que é o mais real de todos os testes, com um gráfico assustador.
Volto a freezar que foi usado o mesmo computador, a mesma versão do RouterOS, a mesma mídia de instalação, as mesmas NICs, o mesmo patchcord, e a configuração mais básica para que fosse possível a conexão com a internet.

A todos os membros, fiquem a vontade para comentarem e se tiverem alguma dúvida em relação aos testes, responderei com prazer.

Abraços.

[TsouzaR]

Muito bom, obrigado pela contribuição.

Só que acho que o Bandwidth Test (bTest) não é a melhor forma de ver a capacidade de uma rede ou hardware. Gerar os pacotes que vão ser enviados durante o teste usa muito do processador, ainda mais em bandas tão altas como atingiu nos seus testes. Em um cenário real, o roteador não gera nada, apenas encaminha.

O desempenho de uma CPU virtualizada é inferior ao de uma CPU real, sempre, não importa qual software use para a virtualização. Alie isso ao fato de que o Bandwidth Test do RouterOS exige muito esforço da CPU e você vai ter esses resultados ai.

Diferente do que o pessoal fala, teste em TCP não é o mais próximo da realidade, penso eu. Talvez seja em questão de testar número de conexões suportadas, mas mesmo assim há formas melhores. Entre teste com TCP e UDP, o UDP será o mais confiável por anular parte do esforço exigido da CPU para criar pacotes com a desnecessidade de gerenciar conexões e garantia de entrega e com os pacotes menores.

Sendo assim, acho provável que consiga resultados muito melhores, mas não tanto quanto rodando o sistema nativamente, fazendo testes com UDP ou ainda melhor, usando ferramentas como IPerf em duas máquinas conectadas ao roteador (é bom testar com as máquinas em redes diferentes e também com elas na mesma rede).

Só uma pergunta: já verificou a possibilidade de, talvez, o drive do NIC que você usou não ser tão bom no XenServer? Talvez o XenServer suporte melhor outro NIC além do que você usou (softwares podem sempre ser melhor escritos que outros, incluindo drivers). Usando um NIC que tenha um melhor drive no XenServer pode gerar resultados melhores nos testes.


Até logo.

[flaviomreis]

Olá a todos.

Não sou um membro ativo no fórum, porém pratico leitura praticamente diária de todos os assuntos que abordam aqui e através das experiências dos membros eu consigo alimentar meus conhecimentos.
Recentemente tive a dúvida sobre a virtualização do RouterOS, pois estava tendo a necessidade de ter um computador ligado 24hrs para receber alguns logs que estava criando através do Mangle, e como uso o RouterOS num x86, logo pensei na possibilidade.

-Muitas pessoas falaram muito bem.
-Muitas falaram bem, mas falavam para usar só em bancada e nunca na situação real.
-Muitas falaram que tiveram problemas estranhos no qual não conseguiram solucionar.

Enfim, continuei com as dúvidas e resolvi fazer os testes eu mesmo! E venho aqui agora compartilhar com os companheiros daqui do fórum o meu relato sobre os testes que fiz.

A primeira coisa que fiz foi procurar uma plataforma boa de virtualização. Procurando pela internet, cheguei em 03 softwares.

-VMware.
-Proxmox
-XenServer

E dentre eles após ver um comparativo, optei pelo XenServer, que é excelente! Mas como o intuito do tópico é o teste de performance do RouterOS, não entrarei em detalhes.

Configuração do meu servidor.
Intel Xeon X3220 (8M Cache, 2.40GHz, 1066Mhz FSB
Placa Mãe SuperMicro PDSML-LN1
4GB DDR2 667mhz
HD SATA 160GB Toshiba
04 Portas LAN 10/100/1000 Atheros AR8131/M
02 Portas LAN 10/100/1000 Intel 82573V
02 Portas LAN 10/100/1000 Intel 82546
RouterOS versão 5.25
Xenserver 6.2
NetTraffic 1.27 com atualização a cada 500ms.

Servidor sempre muito estável, usei o RouterOS por 5 meses e nunca tive problemas.
Enfim, vamos aos testes.
Instalei o XenServer no servidor e usei o ZenCenter para controla-lo a partir do meu notebook via rede. Criei a máquina virtual com todos os recursos que estavam disponíveis. Coloquei os 04 núcleos dedicados a VM, deixei 3GB de memória pois o Zenserver consome 1GB, e criei um disco virtual de 10GB para instalar o RouterOS, sem novidades.
A instalação foi super rápida, coloquei pra rodar o RouterOS e fiz as configurações básicas para o funcionamento. Peguei a ether1 e configurei como DHCP-Client pra pegar um IP de outra RB que tenho, e criei um DHCP-Server na Ether2 pra entregar um IP para o meu notebook, e pra finalizar criei uma regra de NAT para mascarar a rede.
Pluguei o cabo que saiu da porta 2 do servidor no meu notebook (um patchcord Cat6 de 1.5M) e logo ele pegou as configurações da lan e saiu navegando na internet.

Com isso, usei as ferramentas "Btest" que a mikrotik fornece para teste de banda e NetTraffic para medir o tráfego da rede. Fiz todos os testes possíveis e registrei para que pudesse comparar com o RouterOS rodando diretamente na máquina.
Todos os testes de banda eu começava a contagem após 02 minutos do teste iniciado para que a conexão já estivesse estabilizada, e todas duraram exatamente 05 minutos.

Teste Send TCP.
No teste "Send TCP" se refere ao fluxo a partir do meu notebook, no caso, o tráfego era gerado no Btest do meu notebook em direção ao servidor usando o protocolo TCP.

Vemos aqui que o sistema nativo conseguiu uma taxa de transferência média 127% maior que o sistema virtualizado e 128.14% a mais de bandwidth, e ambos se mostraram instáveis como podem ver no gráfico.

Teste Send UDP.
No teste "Send UDP" se refere ao fluxo a partir do meu notebook, no caso, o tráfego era gerado no Btest do meu notebook em direção ao servidor usando desta vez o protocolo UDP.

Neste teste o sistema nativo conseguiu ser 67.05% mais rápido que o sistema virtualizado e conseguiu um bandwidth 128.24% maior. Esta diferença esmagadora está relacionado ao lamentável fato da instabilidade do sistema virtualizado, que ficou semelhante a um monitor de batimentos cardíacos. (Analisem a consequência disso no provedor de vocês!)

Teste Receive TCP.
Neste teste o fluxo é inverso, o tráfego é gerado a partir do RouterOS em direção ao meu notebook e recebido pelo Btest usando o protocolo TCP.

Aqui o sistema nativo conseguiu uma taxa de transferência 272,10% maior que o sistema virtualizado, e conseguiu um bandwidth 268.40% maior. Porém, com uma taxa de transferência menor o sistema virtualizado se mostrou mais estável que o nativo, que teve pequenas quedas no tráfego.

Teste Receive UDP.
Neste teste, o tráfego é gerado a partir do RouterOS em direção ao meu notebook e recebido pelo Btest usando o protocolo UDP.

Aqui vemos que o sistema nativo conseguiu ser 212,98% mais rápido que o sistema virtualizado, e conseguiu a incrível taxa de transferência média de 928.09Mb/s, quase que no limite do hardware. O sistema nativo também conseguiu um bandwidth 212.41% maior, e atenção aos gráficos, o sistema virtualizado teve oscilações muito grandes durante o teste, oscilações estas que ao meu ver não tem uma justificativa certa, uma vez que o servidor estava sendo usado exclusivamente para este teste.

Teste Both TCP.
Neste Teste é gerado o tráfego em ambos os lados ao mesmo tempo, e por isso é considerado uma simulação mais real de como o servidor se comportaria funcionando em um provedor, vamos aos testes usando o protocolo TCP.


Aqui em ambos os testes houveram muitas oscilações, mas novamente o sistema nativo se comportou muito melhor que o sistema virtualizado. Em download, o sistema nativo foi 452.51% mais rápido, e em upload 649.14% mais rápido. Calculando o bandwidth total vemos uma diferença de 592.07%. Novamente, a instabilidade do gráfico do sistema virtualizado chama a atenção.

Teste Both UDP.
Neste Teste é gerado o tráfego em ambos os lados ao mesmo tempo, agora usando o protocolo UDP.

Neste teste tivemos bem pouca oscilação, se comparado com o teste em TCP. O sistema nativo conseguiu em download uma taxa 233.05% maior que o virtualizado, enquanto em upload a taxa foi 100.51%. A diferença de bandwidth total ficou em 142.54%. Novamente analisando os gráficos, vemos uma instabilidade maior no virtualizado e com direito a um pico assustador chegando ao final do teste, tão assustador quanto inexplicável.

Resumindo pessoal. Venho aqui passar minha experiência a vocês, pois pesquisei muito sobre isso e nunca achei nada muito concreto nesse quesito. Sei que existem muitos outros testes que devem ser feitos antes de dizer que não se deve usar o RouterOS virtualizado, mas eu, pelo que vi nestes testes estou convencido que não é a forma ideal a ser usado, ou como muitos já concluíam, é pra ser usado em bancada e não em uma situação real. Acredito que o mais agravante dos fatos que vimos acima, é a instabilidade da conexão. Em 6 testes, tivemos estabilidade em somente uma, e em todas que estavam instáveis não era só uma pequena oscilação, o maior dos exemplos foi o teste "Both TCP" que é o mais real de todos os testes, com um gráfico assustador.
Volto a freezar que foi usado o mesmo computador, a mesma versão do RouterOS, a mesma mídia de instalação, as mesmas NICs, o mesmo patchcord, e a configuração mais básica para que fosse possível a conexão com a internet.

A todos os membros, fiquem a vontade para comentarem e se tiverem alguma dúvida em relação aos testes, responderei com prazer.

Abraços.

Pergunta:

Este processador tem instruções de virtualização. Por acaso tu habilitou-as no(a) BIOS?

Abraço,

[barcelona]

Olá TsouzaR.

Obrigado pela resposta.

Vamos lá, todos sabemos que o uso da CPU virtualizada é inferior a uma real, fato indiscutível. Também mencionei no texto que sabia que o Btest não era a melhor forma de testar, mas optei por ele por justamente aconselhar o processamento junto com o tráfego de informações. Muitos usuários usam o RouterOS em provedores onde praticamente só encaminham pacotes, mas existem pessoas que usam com firewall, NAT, Mangle, Webproxy, e muitas outras coisas onde exige processamento e manipulação de múltiplas conexões, sendo TCP ou UDP.
Já conhecia o Iperf e até pensei em usa-lo, mas acabei não optando por justamente haver só esse encaminhamento de pacotes.

A NIC que usei foi uma RB44Ge com chip Atheros AR8131/M, mais precisamente a porta três, como mencionou, não podemos descartar a possibilidade do driver que o Xenserver usou não ser o melhor, mas como alguns resultados não foram os piores, acredito que não seja este o problema. O que posso fazer é refazer os testes usando uma outra porta com chip Intel e ver os resultados.

Como falei no texto, não fiz com intenção de fazer ninguém desistir de virtualização, somente compartilhei a experiência que fiz e dei minha opinião pessoal ao final.

Amigo, agora te pergunto. Você consegue me sugerir algum teste, em que mostre a relação encaminhamento + processamento, que ao seu ver, possa ser mais real? Fico a disposição de fazer todos os testes novamente.

Um abraço!

[barcelona]

Olá flaviomreis.

Sim, ele possui instruções de virtualização e estava habilitado na BIOS, inclusive, o Zenserver avisa na instalação caso a virtualização não esteja habilitada.

Abraços.

[TsouzaR]

mas existem pessoas que usam com firewall, NAT, Mangle, Webproxy, e muitas outras coisas onde exige processamento e manipulação de múltiplas conexões, sendo TCP ou UDP.

Isso tudo aí é menos trabalhoso para a CPU do que criar pacotes.
Uma RB, com regras no firewall, queue, proxy, etc., pode muito bem encaminhar 1Gbps de dados com baixo uso da CPU (depende do modelo da RB), mas duvido que a mesma RB vai conseguir gerar esses 1Gbps em um teste, mesmo sem regra nenhuma configurada.

Amigo, agora te pergunto. Você consegue me sugerir algum teste, em que mostre a relação encaminhamento + processamento, que ao seu ver, possa ser mais real? Fico a disposição de fazer todos os testes novamente.

Indico o IPerf, hahaha.


Até logo.

[barcelona]

Isso tudo aí é menos trabalhoso para a CPU do que criar pacotes.
Uma RB, com regras no firewall, queue, proxy, etc., pode muito bem encaminhar 1Gbps de dados com baixo uso da CPU (depende do modelo da RB), mas duvido que a mesma RB vai conseguir gerar esses 1Gbps em um teste, mesmo sem regra nenhuma configurada.[COLOR=#333333]


Indico o IPerf, hahaha.


Até logo.

Ok amigo. Assim que tiver um tempo, farei novamente os testes. Não sei exatamente quando, pois é bem trabalhoso e leva bastante tempo.

Sobre a sua citação sobre o tráfego de dados com baixo uso de CPU, você está certo. Mas o meu intuito com os testes não era saber quantos Mb/s cada um era capaz de gerar, e sim, a diferença no comportamento das duas plataformas. Ficou claro nos resultados que o sistema virtualizado além de ter um desempenho menor foi mais instável, e acredito que usando ele num rede de grande escala, ele traria essas instabilidades para a rede. Minha opinião.

Abraços!

[leosmendes]

ola bom dia a todos. vejo a virtualização apenas como ferramenta de testes. independente da performance a virtualização vai na contra mão da segurança no quesito non-stop ou seja operar 100% do tempo. ao virtualizar acumula-se funções no mesmo computador, e em caso de parada o desastre é maior. trabalhei em uma empresa de hosting que estava separando todas as tarefas em computadores distintos, ou seja um servidor para email, outro para sql, outro para mysql, outro para http e assim por diante. com isto tiveram o volume de trabalho reduzido, aumento da confiabilidade, e em caso de parada o tempo para que o serviço estivesse disponível novamente era menor . para isto tinham uma maquina que fazia apenas backup mas ja era a maquina reserva , caso um serviço tenha parada por algum problema critico ela ja tinha o backup e ja estava pronta para substituir o serviço paralisado. nesta mesma empresa o programador usava virtualização para testes dos softwares desenvolvidos la , simulando seus servidores reais, antes de colocar para rodar. no caso de um provedor e so pensar que se voce tem um link e se ele falhar não tem nada. mesma coisa vale para a infra.

[evertonsoares]

Quem participou da IV Semana de Infraestrutura pode ver na palestra da Datacom acompanhou o empenho da empresa em criar uma estrutura virtualizada, já estão bem adiantados nesse aspecto, porém foi falado em algo que muitos não imaginam o hardware (silicio) de um router é dedicado para aquilo, quanto um hardware de CPU é necessário muitos ajustes de software para chegar no mesmo desempenho...