Olá,

Olha se fosse o caso de eu implementar isso não faria usando o arquivo de configuração do ssh porque eu imagino que isso não existe!

O que você pode fazer é usar o iptables!

Código :
iptables -P INPUT DROP
iptables -t filter -A INPUT -i $wan_if -p tcp --dport 22 --match owner --uid-owner <seu userid> -j ACCEPT
iptables -t filter -A INPUT -i $lan_if -p tcp --dport 22 -j ACCEPT

Olha a descrição aqui esse parametro no manual do iptables:

Código :
--uid-owner userid
    Matches if the packet was created by a process with the given effective user id.

Eu tentaria assim!!
Testa aee se der certo posta aqui!
Falows!!