Bom estava eu ontem olhando navegando e verifiquei que tinha algo de errado, entrei no server demourou um pouco para carregar o winbox, ai vi o processamento baixo entre 5 e 10%, então resolvi dar um ping da minha máquina até a placa de saída do server para minha surpreza pings de 600 800 1100 500 5 8 300 400, e fiquei assustado pois nunca tinha ocorrido isso ai mandei reiniciar o server, pronto 1 3 5 3 3 3 3 3 2 5 6 1 30 2 3 4 5 , voltou ao normal.
Será que pode ser uma sobrecarga na placa de rede de saída.
Link -> server -> switch -> fibra -> switch -> routerboard -> clientes.
Ja testei a comunicação entre routerboard e server ping 1 ms, agora cliente até o server antes de reiniciar o servidor tava doido.