eu fiz duma maneira mais simples e menos radical:
Limito em 30 o numero de conexoes das portas tcp acima da 1000. As portas baixas deixo todas liberadas.
chain=forward src-address=192.168.0.0/24 protocol=tcp dst-port=!0-1000
tcp-flags=syn connection-limit=30,32 action=drop
No que estou tendo dificuldade é no controle de conexoes UDP, como nao tem como limitar por conexoes, quando aparece algum cliente abrindo muitas udp, simplesmente bloqueio todas acima da porta 1000.