As informações adicionais, pode ser que ajude mesmo... Será que você não está fazendo um NAT de fora prá dentro?.. Faça o seu rcpthosts de forma a excluir o IP do seu roteador, teve uma vez que tive problema com 'open relay' porque o roteador estava fazendo nat das conexões externas, então um ponto de fora às vezes entrava no smtp como se fosse o IP do roteador, e ele liberava consequentemente para o IP do roteador.
Dá uma olhada no seu 'netstat -an' se está com muita conexão da sua propria rede interna para seu MTA também, pode ser um vírus num dos clientes ao invés de ser dentro da maquina...
Se for um virus dentro do MTA, eu nunca ouvi dizer... mas provavelmente seu servidor esteja então com algum backdoor instalado, ou sei lá... Vírus de mandar e-mail dentro do linux mesmo eu nunca vi. Pode ser também, se você fornece serviço de webhost com cgi-bin ou php, ou até ASP, que um cliente tenha feito uma interface para mandar e-mails, e a esteja usando para mandar o grande volume de e-mails que sai do seu servidor.
Mais uma coisa que pode ser, o que é possível caso haja um backdoor em seu MTA, é estar rodando um servidor de e-mail 'open relay' em outra porta... o 'netstat -pan' pode te mostrar quais processos estão ouvindo em quais portas. Caso ache um estranho, apague. Geralmente quando o pessoal invade e 'protege' maquinas invadidas, não escondem as informações do netstat -pan (mesmo escondendo do ps aux).