Se prefere o AllowGroups, você pode então criar um grupo, sshuser ou algo parecido e colocar como grupo secundário nos usuários que terão acesso.
Em caso de saída do usuário da empresa, basta remover o usuário, mas se ele apenas perder o direito ao acesso, você vai ter de remover o grupo secundário, que seria o mesmo de ter de retirar o usuário do AllowUsers.

Se correr o bicho pega, se ficar, o bicho come!