Amigo... Eu estava com muitos problemas com tentativas de invasão bruteforce.
Até que um dia fui invadido... O kra conseguiu um dos usuários que tinham acesso via ssh ! Eu não permito root, apenas 2 usuários locais que precisam fazer acesso remoto mesmo. O kra conseguiu o login do camarada, e como não conseguiu logar-se como root, pois minha senha, acho eu é bastante segura, ele ficou tentando invadir outras máquinas através da minha. Então, quando peguei ele no fragla, vi os processos que ele estava rodando. Bom, após o testamento acima (rsrs) venho a te dizer que uma das melhores ferramentas que encontrei até hoje, fáceis de aplicar se chama DaemonShield. É um programinha em python, que fica rodando como um daemon mesmo, analisando os logs de segurança e do pam. Ou seja, todas as tentativas entrantes na sua rede, sejam elas com sucesso ou não, ficam logadas no /var/log/secure. Pelo menos nas distros baseadas em RedHat.
Então vc especifica de quantos em quantos segundos ele analisará o log, e qual a string que ele deve analisar, por exemplo "Failed password" ou "Invalid user" . Então, ele cria uma regra no iptables dinâmicamente para dropar todos os pacotes entrantes vindo do ip que estava listado no /var/log/secure . É muito iinteressante mesmo...

Achei ele no Dicas-L .. Aí vai o link do tuto de como instalar....
[Dicas-L] Reforçando a segurança do ssh

Qualquer dúvida .. é só postar!!

Abraços ... espero que ajude!!!

Fred Chevitarese - GNU/Linux