Pessoal. Consegui resolver meu problema trocando a placa de rede e tirando os logs do PF. Os tempos estão cravados em 1ms agora e consequentemente o server ficou muito rapido.
Agradecimento especial para o irado pela paciencia e grande ajuda. Valeu mesmo.