Mikrotik trava de forma inexplicável!

[Nightwolf]

Olá, meu nome é Marcelo e administro uma rede de um condomínio que tem uns 850 clientes ativos. Uso quatro servidores para o gerenciamento, sendo que 3 deles são Mikrotiks e um é um Squid instalado num Slackware 13.1. A rede é distribuida por 30 prédios por meio de cabos FTP (Praticamente eliminando interferência) com 492 switches (Intelbras SF-800q 8 portas) em cascata separados por no máximo 70 metros, sendo uma árvore de distribuição de 4 ramos. Os cabos que vão para os clientes são UTP IFE de ótima qualidade. Todos os switches são ligados numa rede elétrica independente da rede elétrica dos prédios, suportados por um No-break senoidal de 6 KVa. Meu Switch principal é um 3COM Baseline 2924-SFP Plus 10/100/1000 Gerenciável que recebe todos os 4 segmentos. Todas as comunicações entre e com os servidores são de 1 Gbps feitas por um outro switch 3com mais simples de 8 portas 10/100/1000. Minha topologia se resume à um servidor Mikrotik de Firewall/Gateway sobre os outros dois Mikrotiks que funcionam como autenticadores, o Slackware fica em paralelo. Todos os Servidores possuem duas placas de rede 10/100/1000.
O meu problema é o seguinte: meus dois Mikrotiks onde estão meus clientes TRAVAM DO NADA, sem explicação aparente. Podem travar de 1 à 3 vezes por dia e tem dias que nem travam. O problema é intermitente e acontece de forma aleatória. Quando reinicio, eles voltam ao normal. Estou à alguns meses com esse problema, o qual está me deixando aflito por conta do simples fato de eu não conseguir resolver. Já consultei em vários fóruns e nada. Abaixo relaciono os detalhes dos meus servidores assim como algumas observações durante os problemas pra ver se há algo que me escapou.

-Independe de horários
-Independe do número de clientes conectados e/ou navegando
-Independe do tráfego
-A rede elétrica é estabilizada com um no-break senoidal de 9 Kva
-Somente os dois Mikrotiks de autenticação travam
-Todos os Mikrotiks têm licença level 5 com versão 4.16, compradas e registradas.
-Quando travam, nenhum cliente PPPoE consegue se conectar (Erro 678, para no processo PADI), porém os que estão conectados não sentem nenhuma diferença na conexão.
-Clientes com IP fixo se estiverem conectados não sentem nenhuma diferença, porém os clientes não conseguem iniciar alguma navegação quando o problema está acontecendo.
-Qualquer tentativa de conexão com a placa de rede, quando acontece o travamento, é em vão. PING, UDP, ARP, etc, nenhum deles funcionam.
-Algumas vezes observo, que pouco antes do travamento ou no travamento, alguns roteadores residenciais com PPPoE são derrubados, somente eles.
-Isolei o servidor Squid da rede (Tirei o cabo mesmo) e o problema continua.
-Instalei um Mikrotik só para Firewall por conta das suspeitas de que os outros servidores estivessem sobrecarregados pelos variados redirecionamentos e regras de Mangle para tratar pacotes. Quando instalei tal servidor os travamentos pararam por uma semana, mas depois voltaram. O sistema do firewall está instalado numa máquina que não foi feita nenhuma análise de hardware (Made in Submarino.com, comprei para testar), tal máquina não apresenta nenhum problema. Usa duas placas de rede encore 10/100/1000, hd sata 2, e uma placa-mãe genérica que não me lembro a marca.
-O firewall suporta o tráfego das outras máquinas além de gerenciar todas as regras de redirecionamento, marcação de pacotes e queue tree.
-Já desativei de todos os servidores a função dual-core.
-Todos os servidores têm instalados os pacotes: advanced-tools, hotspot, lcd, multicast, ntp, ppp, routerboard, routing, security, system, ups e user-manger.
-Não uso Web-Proxy em nenhum dos Mikrotiks
-Meu primeiro servidor de autenticação tem 474 PPPoE e 33 Ips fixos, o segundo servidor tem 341 PPPoE.
-O primeiro servidor trava com uma freqüência ligeiramente maior do que o segundo.
-Nenhuma das máquinas esquenta. Pastas térmicas sem problemas assim como os coolers. Sala com ar-condicionado.
-Os dois servidores de autenticação possuem:
*15 regras de marcação de rota no mangle, que marcam as rotas das faixas de IP determinadas.
*30 regras de redirecionamento NAT/DNAT, que determinam por qual IP as rotas marcadas sairão.
*25 regras de filter rules para segurança. Já desativei e nada.
*Todos os clientes possuem a banda controlada no Queue Simple (Bandas: 1 MB, 512 Kbps, 400 Kbps, 300 Kbps, 256 Kbps, 200 Kbps). Nenhum dos dois possuem Queue Tree ativado.
*Cada servidor possui 4 profiles PPPoE criados.
*Web-Proxy desativado
*TCP Syncookie desativado
*Não há mais nenhuma configuração significativa.
-Quando os servidores travam, geralmente não consigo entrar pelo Winbox, e se consigo entrar não aparece nenhuma interface de rede, nenhuma conexão ativa, nenhuma configuração de firewall, não aparece nada.
-Consigo logar normalmente por Telnet ou SSH.


OBs.:
*Configuração do Mikrotik 01: 2 placas PCI DLink DGE-530T, placa mãe ABIT, hd ide 100 GB, 2 GB ram DDR2, Processador 2 ghz AMD, fonte Real 500w.
*Configuração do Mikrotik 02: 1 placa PCI DLink DGE-530T, 1 placa PCIe Planet 10/100/1000, placa mãe ABIT, hd ide 100 GB, 2 GB ram DDR2, Processador 2 ghz AMD, fonte Real 500w.
*Já coloqueis placas de rede Intel PWLA8391gt PRO 1000/GT com placa mãe Intel d865 e o problema ocorreu da mesma forma.



Creio que a resolução desse problema possa ajudar muita. Ficarei grato pela ajuda.

[vulcan]

Segue essas dicas...

tem alguem ai fazendo loop na sua rede.
pode acreditar.
faça um spammer tree protocol
se ainda tiver duvidas observe as luzes do seu switch e veja como ela fica rapida.
espero ter ajudado

se ajudei me ajude

[evertonsoares]

Com uma rede desse tamanho "grande" eu também acredito em: loop, clone mac, placa de rede bixada, algum ip duplicado,dhcp server ativado em algum equipamento na casa de assinante, algum cabo FTP encostando em rede eletrica (descascado) ou baixa isolação (umidade).

[sergio]

O velho problema do multi-cpu... tenta desabilitar e veja o que dá. Ou.... arrisque e manda a 5rc10.

[dbenedito]

como o amigo falou deve ser loop na sua rede vc tem que fazer vlans para poder isolar andares de um para o outro para vc achar qual andar esta com problema pode ser o seu proprio switch que ta dando o loop ja trabalhei com esse switch da intelbras e as vezes tinha um ou outro dava loop com queda de energia ele travava ai acontecia o loop vc ja testou desligar seus cabos que vai para os clientes e esperar um tempo e testar porque o loop depois que vc desliga ele ele demora um tempinho para sair o seu efeito na rede

[sergio]

A questão dos switches, caso seja eles o problema, poderá substituir por switches da Compex com 16 portas, pequenos o suficiente para caberem em DGs telefônicos, os quais possuem isolação de porta, proteção contra broadcast storm e loop. Não são gerenciáveis, mas são baratos. Ainda tem a opção de switches Overtek gerenciáveis que são baratos também.

[luizbe]

Amigo,sinceramente nessa rede de porte medio você não trabalhar com VLAN é um crime..tambem acredito que seja Loop na rede, já vi um hub derrubar 1000 clientes ..ou você coloca switchs que faça vlanou você pode instalar um router daqueles dlink's (R$70,00) em cada cliente pra eles discarem e evitar do cliente fazer isntalações internas.ou usar adsl

[teletanbs]

caro colega do under, uma rede nesse porte é muito dificil de dar um pitaco assim do nada, você usa dhcp statico ou dinamico?? você esconde o dhcp no wimbox do seu servidores?? deve ser algum engraçadinho que configurou algum roteador na mesma faixa do seu servidores e ta "dando pau" como tem muita coisa mesmo para se pensar!!

[luizbe]

Teletanbs se não me engano ele usa PPOE..sendo assim não tem dhcp na rede, cada cliente cria um tunel até o servidor.

[teletanbs]

é como eu falei uma rede desse porte vai ser muito dificil de indentificar o problema!!

No meu caso foi uma situação um pouco parecida, mas era os ping que estavam alto demais na rede, acabei visitando a casa de todos os clientes e descobri que era uma placa de rede wireless que estava com problema!!

[sergio]

no caso dele, é PPPoE, não tem broacast e se usar algum filtro de camada 2 (como filtros de bridge) ninguém "conversa" por fora do PPPoE (nada impede que os hosts configurem IP da mesma faixa e joguem um CS... hehehehe). Para parar um servidor precisa realmente ser um loop daqueles...

Algo que tem chances de acontecer, é um cliente, gente boa, fazendo tipo um dhcp starvation, mas em cima do PPPoE, ou seja, gera um número absurdo de requisições de auth ao PPPoE server e ai não servidor que aguente, mas isso seria fácil ele descobrir (só ativar o log debug do PPPoE e mandar salvar remoto).

[Nightwolf]

Primeiramente, muito obrigado pela ajuda de todos que responderam ao tópico. A indicação que me fizeram realmente foi precisa. Vamos ao que interessa !

LOOP: nunca pensei que essas quatro letrinhas significassem tanto e que voltariam à me assombrar. De fato foi um dos primeiros problemas que pensei, mas como resolver era, de fato, complicado tive que deixar por último. Todas as opções acima são válidas, sendo que:

-Os cabos FTP não são: coloquei uma dupla pra verificar toda à rede física e não encontraram nada de anormal. Também procuraram água nos cabos e o resultado foi o mesmo.
-Placas de rede: testei 6 placas de rede de 3 marcas diferentes, o problema ocorreu com todas elas. Todas elas com o mesmo problema seria tão difícil quanto atirar numa mosca voando com você à bordo de um jato supersônico. rsrs
-Não uso DHCP nos meus servidores (Tenho horror à este tipo de serviço)
-Já desativei à função dual core dos processadores.
-Uso VLANs, é que esqueci de citar, desativei pq o problema também acontece com elas ativadas.

Penso que pode ser, de fato, algum switch bixado. A transmissão de energia é feita por cabeamento próprio via cabo coaxial RG-11, onde todos os switches são suportados por 16 transformadores de 110v cada. Á uns 10 meses tive um problema em uns clientes por conta de dois switches em final de rede que estavam ligando, mas a tensão estava em 76v, sendo que eles tem que ligar à no mínimo 84v (Estou falando da tensão de entrada na fonte). Tal cliente simplesmente não tinha conexão, mas como na época a rede era pequena não sei se o switch poderia ter causado um problema maior. Será que um ou mais switches em tensão baixa poderia(m) causar um "LOOP" significativo à ponto de travar um servidor? Levando em consideração que que está conectado, continua conectado e nem sente diferença no desempenho. Por precaução desativei a função "BROADCAST STORM" dos meus switches gerenciáveis.

[Edson Carlos]

Ola Nightwolf estou um problema parecido com o seu, gostaria de saber o vc fez para resolver seu problema com o travamento dos mikrotiks.

Primeiramente, muito obrigado pela ajuda de todos que responderam ao tópico. A indicação que me fizeram realmente foi precisa. Vamos ao que interessa !

LOOP: nunca pensei que essas quatro letrinhas significassem tanto e que voltariam à me assombrar. De fato foi um dos primeiros problemas que pensei, mas como resolver era, de fato, complicado tive que deixar por último. Todas as opções acima são válidas, sendo que:

-Os cabos FTP não são: coloquei uma dupla pra verificar toda à rede física e não encontraram nada de anormal. Também procuraram água nos cabos e o resultado foi o mesmo.
-Placas de rede: testei 6 placas de rede de 3 marcas diferentes, o problema ocorreu com todas elas. Todas elas com o mesmo problema seria tão difícil quanto atirar numa mosca voando com você à bordo de um jato supersônico. rsrs
-Não uso DHCP nos meus servidores (Tenho horror à este tipo de serviço)
-Já desativei à função dual core dos processadores.
-Uso VLANs, é que esqueci de citar, desativei pq o problema também acontece com elas ativadas.

Penso que pode ser, de fato, algum switch bixado. A transmissão de energia é feita por cabeamento próprio via cabo coaxial RG-11, onde todos os switches são suportados por 16 transformadores de 110v cada. Á uns 10 meses tive um problema em uns clientes por conta de dois switches em final de rede que estavam ligando, mas a tensão estava em 76v, sendo que eles tem que ligar à no mínimo 84v (Estou falando da tensão de entrada na fonte). Tal cliente simplesmente não tinha conexão, mas como na época a rede era pequena não sei se o switch poderia ter causado um problema maior. Será que um ou mais switches em tensão baixa poderia(m) causar um "LOOP" significativo à ponto de travar um servidor? Levando em consideração que que está conectado, continua conectado e nem sente diferença no desempenho. Por precaução desativei a função "BROADCAST STORM" dos meus switches gerenciáveis.