Servidor SSh lento

Bom dia a todos.

Uso debian woody e notei que algumas semanas atras, meu servidor ficou mais
lento no SSH.
Uso emulador Putty em algumas estações e quando coloco o ip do servidor e
mando conectar demora um pouco para ele responder, dai digito o usuario e
ele demora uns 40 segundos para pedir a senha.

Alguem tem alguma sugestão para o que esta ocorrendo?
De linux para linux tambem é a mesma lentidao.

Obrigado.