CCR1072 PPPoE estourando procemento

Boa noite.

Pessoal, estou com um problema novo e gostaria de saber se alguém já se deparou com a situação.

Tinha um concentrador PPPoE com CCR1036 onde estava atendendo 1.600 clientes simultâneos, Processamento em horário de pico até 30% porém o Link de Interface de saída estava chegando ao limite de 1Gb gerando gargalo. Pro que é proposto e sabendo de suas limitações, funcionou muito bem.

Obs.: Não tenho como dividir este trafego em mais interfaces.

"Brilhantemente", resolvemos melhorar duas coisas numa cajadada só, o processamento e o gargalo da interface. Trocamos a CCR1036 por uma CCR1072. O Processamento baixou para em 17% em horário de pico e a interface parou de gargalar pois realizamos um UpGrade para 10Gb.

Problema:
Uma ou duas vezes ao dia o processamento dela estoura a ponto de derrubar o OSPF, fizemos então rotas estáticas, mas não resolveu o processamento sobe tanto que da down em todo roteamento (Estático e Dinâmico) zerando todo trafego do servidor.

Alguém já passou ou conhece algo no sentido?

Obs.: Temos outra CCR1072 como roteador BGP+OSPF+Firewall a muito tempo funcionando e nenhum problema.

Isso é tipico de qualquer router que faça mais de uma função, sugiro que voce separe os clientes é um equipamento e o roteamento em outro.

No meu caso, acabei colocando os autenticadores em cada cidade que atendia, no caso se voce tiver mais um pop, tente separar os clientes.

E um equipamento para ser seu borda para roteamento.

Pelo que entendi, ele já separa. O OSPF deve ser porque o Radius entrega IP por isso é necessário.

Amigos ... o Concentrador PPPoE não faz dois serviços ( como fhayashi observou), ele é apenas concentrador mas possui OSPF ativado para anunciar para o restante da rede todos os seus endereços.

Obs.:
1 - A CCR1072 que comentei BGP+OSPF+Firewall é outra que não tem nenhum o problema.
2 - A CCR1036 que estava antes no local fazia exatamente o mesmo serviço (Concentrador PPPoE + OSPF para anunciar as redes) sem nenhum problema

@godoy, já tentou ativar o RPS nas interfaces? Aqui melhorou muuuito meus concentradores.

Testa aí e dá um alô pra gente.

E também prefira utilizar as versões BugFix do RouterOS com firmware atualizado.

amigo @avatar52 .

Obrigado pela contribuição, é a primeira vez que ouço falar dessa funcionalidade do RPS.

Vamos as minhas dúvidas:

1° - Qual seria a vantagem das versões Bugfix das tradicionais?
(Obs.: Estou utilizando a 6.38.5, escolhi ao analisar o changlog)

2° - Não deixo todos os pacotes do meu servido ativos, apenas o que será realmente utilizado, no meu caso: advanced-tools, ipv6, ppp, routing, security e system.
Não consegui encontrar a RPS onde o site da Mikrotik informa ( /system resource rps ), sabe me informar onde localiza-la?

3° - Que tipo de configuração realizou em RPS para conseguir otimizar o seu router?

Abraço

O rps você ativa na linha de comando em cada interface, não tenho que configurar nada, é só ativar.

Mas fiquei curioso... Como você fez pra descobrir que era o roteamento dinâmico o problema?

@andrecarlim

não encontrei o caminho para ativar o RPS na interface, poderia me dar um exemplo?

Não identifiquei que o problema é o roteamento dinâmico, mas sim todo o roteamento é prejudicado pelo gargalo de processamento a ponto de ficar totalmente indisponível.

Citação:

---

Postado originalmente por godoy

amigo @avatar52 .

Obrigado pela contribuição, é a primeira vez que ouço falar dessa funcionalidade do RPS.

Vamos as minhas dúvidas:

1° - Qual seria a vantagem das versões Bugfix das tradicionais?
(Obs.: Estou utilizando a 6.38.5, escolhi ao analisar o changlog)

2° - Não deixo todos os pacotes do meu servido ativos, apenas o que será realmente utilizado, no meu caso: advanced-tools, ipv6, ppp, routing, security e system.
Não consegui encontrar a RPS onde o site da Mikrotik informa ( /system resource rps ), sabe me informar onde localiza-la?

3° - Que tipo de configuração realizou em RPS para conseguir otimizar o seu router?

Abraço

---

1º - Não uso versões RC ou Current pois tem mais bugs que consertos, só atualizo quando realmente preciso, exemplo: Na versão bugfix atual (6.38.7) os servidores PPPoE ficam em vermelho logo após serem adicionados, só voltam a ficar "black" após reboot total da caixa. Não vou atualizar para a current pois esse bug ainda não me incomoda, e não quero bagunçar com mais bugs. Somente na próxima bugfix irei atualizar, isso se esse bug for corrigido.

2º e 3º - /system resources irq rps [TAB]

ou seja, corrigem um bug e aparece outro... Por isso também compartilho a ideia de que time que está ganhando não se mexe. Temos que parar por esta obsessão por ter a última versão..para tudo

Amigos,

Como o problema está incomodando, tomamos uma medida mais forte.

Realizamos a troca do autenticador PPPoE CCR1072 (versão 6.38.5) por outra CCR1072 (versão 6.38.7 BugFix).

Teste:
CCR1072 (versão 6.38.5) - ao desautenticar 50 cliente ao mesmo tempo = gargalo de processamento
CCR1072 (versão 6.38.7 BugFix) - ao desautenticar 500 clientes ao mesmo tempo = (leve aumento de processamento (comportamento normal)

Como o problema já era recorrente preferimos pecar por excesso. Agora com calma vamos testar a CCR1072 retirada. Não conseguimos concluir se o problema foi Hardware ou versão. Na minha opnião aposto em versão, e vocês?

Quanto ao RPS não realizei alteração continuando no padrão desativado. Acreditam que há melhora de performace quando ativado?

Eu tive inúmeros problemas com versões do RouterOS, e sosseguei nas BugFix (analiso bem o release note antes).

Se você tem um número muito grande de autenticações e PPS, compensa sim ativar o RPS nos 72 núcleos do teu roteador.

Citação:

---

Postado originalmente por avatar52

Eu tive inúmeros problemas com versões do RouterOS, e sosseguei nas BugFix (analiso bem o release note antes).

Se você tem um número muito grande de autenticações e PPS, compensa sim ativar o RPS nos 72 núcleos do teu roteador.

---

Agora me ocorreu uma curiosidade... Quantas sessões estão subindo nessas 1072? E quais os planos vendidos para esses clientes?

Citação:

---

Postado originalmente por andrecarlim

Agora me ocorreu uma curiosidade... Quantas sessões estão subindo nessas 1072? E quais os planos vendidos para esses clientes?

---

Pelo que entendi o cenário ainda era o mesmo. 1600 sessões com tráfego chegando em 1gbps.

Certo?

Eu tenho 1036, média de 700 sessões (tenho vários concentradores empilhados) e planos de até 50M.

Eu tenho administrado concentradores Linux com Accel, hardware modesto, core i5, 4g, placa Broadcom dual 10g, com 2500 sessões PPPoE e 1.8gbit de trânsito downstream (300mbit de upstream). Tem alguns com uptime de 300 dias. E acho que custam menos que uma 1036!

Citação:

---

Postado originalmente por andrecarlim

Eu tenho administrado concentradores Linux com Accel, hardware modesto, core i5, 4g, placa Broadcom dual 10g, com 2500 sessões PPPoE e 1.8gbit de trânsito downstream (300mbit de upstream). Tem alguns com uptime de 300 dias. E acho que custam menos que uma 1036!

---

Também concordo..Ou alguém ainda não se perguntou pq a mikrotik não libera a versão 64bit do programa pra instalar fora só a 32...

Colega André. ..Poderia me dizer qual a placa mae que usa e especificamente qual broadcom..

O problema do mikrotik é que parece que tudo é por sorte, tanto hardware quanto software, hoje tenho uma ccr1016 autenticando 1550 clientes proximo de 1G de trafego, so tive sossego com a versão 37.5 bugfix, e nessa mesma versão tentei colocar uma 1036 para abaixar um pouco o processamento que hoje esta na casa de 55% em horario de pico,e todo dia ela reiniciava sozinha na 1036, ja na 1016 não da isso, ou seja não tem explicação.

Citação:

---

Postado originalmente por gabrielest

Também concordo..Ou alguém ainda não se perguntou pq a mikrotik não libera a versão 64bit do programa pra instalar fora só a 32...

Colega André. ..Poderia me dizer qual a placa mae que usa e especificamente qual broadcom..

---

Tem a versão CHR, só olhar.

Amigos.

O cenário se mantém, cerca de 1.700 autenticações simultâneas e tráfego geral de 1Gb.

O problema voltou a ocorrer mesmo com o novo Hardware e versão 6.38.7 BugFix nessa noite ... acho que o próximo passo (antes de desencantar da COR 1072 como aubtenticador) seria testar o RPS.

Duvida:
Devo ativar em todas interfaces ativas (cliente e UpLink) ?

Quando ativado gera algum a queda momentânea na interface desautenticando os clientes?

Eu ativo em todas as interfaces ativas e não ativas, assim te poupa o trabalho de ativar em novas interfaces a cada uma nova utilizada.

Não ocorre nenhuma queda de interface ou de link.

Qual a melhora notada em seu router com o RPS habilitando?

Citação:

---

Postado originalmente por godoy

Qual a melhora notada em seu router com o RPS habilitando?

---

O RPS (Receive Packet Steering )é usado para reduzir o uso de um único núcleo.
O NAPI pode se tornar um gargalo sob alta carga de pacotes, devido à serialização por fila de dispositivo. O RPS distribui a carga do processamento de pacotes recebidos em vários núcleos.

é o que diz o manual do Mikrotik

Citação:

---

Postado originalmente por godoy

Qual a melhora notada em seu router com o RPS habilitando?

---

Meu grande problema era as desconexões, meu router sempre travava com um número muito alto por conta de um CPU ficar topado.

Com o RPS senti melhora no balanceamento entre os núcleos do processador físico, e consequentemente não senti mais travamentos ou lentidão numa desconexão em massa (quando alguns dos bairros perdem energia por exemplo).

Realizei a ativação do RPS nas interfaces, vou monitorar e posto o resultado.

@avatar52 , você tinha esse problema de "travava com um número muito alto por conta de um CPU ficar topado" com qual Hardware?

Média de 700 clientes em uma CCR1036 com 16GB de RAM.

Citação:

---

Postado originalmente por avatar52

Média de 700 clientes em uma CCR1036 com 16GB de RAM.

---

Curioso ... as CCR1036 nunca tivemos esse problema.

Nota: o problema acabou de ocorrer novamente na CCR1072 mesmo com RPS ativado.

Devido necessidade momentânea a CCR1072 está com uma interface 10Gb para atendimento dos clientes porém no UpLink está com duas interfaces de 1Gb. Acreditam que o problema possa ter alguma relação com as interfaces utilizadas?

Boa tarde.

A alguns dias atrás fiz mais uma alteração estrutural na parte das interfaces onde consegui inserir o UpLink em uma interface de 10Gb também, dessa maneira, a CCR1072 ficou apenas com duas interfaces de 10Gb sendo uma para UpLink e outra para autenticação dos clientes.

Até o momento não percebemos mais o estouro de processamento ... continuarei monitorando por mais alguns dias.

Curiosidade: Alguém tem usado a CCR1072 como roteador de Borda (BGP)?

@godoy, eu ainda não usei CCR 1072 para BGP, mas em um dos meus cenários irei substituir uma CCR 1036 com 6 sessões BGP por uma 1072.

Assim que implantar venho prestar depoimento hehehe.

Citação:

---

Postado originalmente por andrecarlim

Eu tenho administrado concentradores Linux com Accel, hardware modesto, core i5, 4g, placa Broadcom dual 10g, com 2500 sessões PPPoE e 1.8gbit de trânsito downstream (300mbit de upstream). Tem alguns com uptime de 300 dias. E acho que custam menos que uma 1036!

---

Preço de uma CCR 1036, eu comprei um i3 4160 + 6TB + 8GB RAM para servidor de cache, + a placa mae AMD nova + CPU AMD Fx4300+ 4 núcleos 8threads + 4gb RAM +500gb hdd para gerenciador de clientes software integração radius etc + DELL PowerEdge 1850 usado com 2 CPU SL8MA 2.8ghz total de 4 Núcleos 8Threads + 16GB RAM + HD SCSI 15000RPM 146GB + placa RB44ge 4portas rodando como concentrador PPPoe rodando tranquilo.... É tudo uma questão de conhecimento e orçamento. Sempre rodeia servidor x86 com mikrotik com performances melhores que as CCR10xx

Amigo @PortaNET , você tema algum router mikrotik com interfaces 10Gb e com conexões PPPoe simultâneas acima de 1.700?

Caso sim, qual configuração de x86 que utiliza?

No tocante ao processamento da CCR1072 acredito ter encontrado uma solução onde após instalar a versão 6.35.4 (versão não BugFix) o problema não aconteceu mais. Ainda está em processo de avaliação rodando a 04 dias sem apresentar nenhuma falha. Aguardarei mais alguns dias e confirmo novamente seu funcionamento

Eu tenho uma aqui para bgp quase 3 gb e processador entre 10 e 15. Versão 6,36. Agora o problema que encontrei foi a queue, se for uma queue de banda grande o processamento estoura.

Amigos ... referente ao problema da Caixa CCR1072 para quando ocorria uma desautenticação em massa do PPPoE (proposital ou acidental) onde topava o processamento e chegava ficar alguns minutos indisponível foi resolvido usando a versão 6.35.4 (versão não BugFix) ...

as demais versões utilizadas (6.38.5 e 6.38.7 BugFix) apresentaram problema para concentrador PPPoE.

Caso ninguém manifeste mais nenhuma dúvida ou sugestão estarei fechando o tópico.

Obrigado a todos pela colaboração.