Kra eu tb acho q o microtik seria uma mão na roda pra vc viu... el ee bem simples de mexer e gerenciar...

Kra eu vi no forum uma vez uma ideia q foi dada que eu não me lembro por quem foi ai eu copiei ela... Talvez te ajude:
criada uma regra de upload e download pra cada ip de cliente somente pra contabilizar os pacotes, o iptables ja faz isso automatico, depois de 5 em 5 minutos voce le o trafego e armaze e zera novamente os contadores.

iptables -t mangle -A PREROUTING -s meu IP

Depois disso use um pouco a conexao e veja a contabilizacao dos pacotes usados assim:

#iptables -t mangle -A PREROUTING -L -v -n

Opcaoo 1: use iptables e, quando ultrapassar um determinado X ele DROP em todas as conexoes do cliente (ou ainda marca os pacotes daquele cliente com um valor Y e joga em uma regra de QoS mais baixa, deixando o cliente com menor velocidade).

Opcaoo 2: use um autenticador qualquer (como o freeradius) e um sistema de autenticacaoo (pppoe, hotspot) e coloque esse tipo de limitacao no autenticador.

Espero que ajude!