Vai funcionar com IP manual sem problema.

Inclusive é uma boa opção, pois caso algum cliente dê algum problema (ou vários que você não queira que passem pelo balanceamento) , você coloca os ips deles numa Address List, e depois nega essa Address nas regras do Mangle.