faça regras no firewall...
chain INPUT
iptables -t filter -A INPUT -p tcp --dport 22 -s seu.ip -j ACCEPT
..
..
iptables -t filter -A INPUT -p tcp --dport 22 -j DROP
vá duplicando as regras de ACCEPT com os ips que vc deseja permitir acessar o SSH ... e a ultima sempre DROP !!
vai ter acesso ao ssh somente os ips que vc permitir... o resto ele descarta :)