Pessoal vamos por partes e com calma e claro !!! hehehe

Amigo quanto ao controle de ipxmac procure por tabela arp e atraves do propio iptables, se acaso precisar me da um toque que ajudo tanto com um quanto com outro.

Quanto ao controle de banda você pode procurar por cbq, htb ou bandlimit todos esses são voltados pro linux.

E uma terceira ideia e a melhor de todas que lhe dou e usar o freebsd com pppoe e fazer o controle de banda atraves do propio ipfw que com certeza resolvera seus problemas, tanto de segurança como de controle mesmo, sendo que pppoe você tambem podera estar implementando no linux se acaso quiser.

Da uma pesquisada e no que ficar em duvida posta ai que damos uma mão.

So lembrando que quase não consegui terminar o segundo grau !!! hehehe

Abração