O que deve fazer então é alterar a rota defaut do seu servidor debian, apontando para o ip do modem.
route add default gw IP_Modem
Obs: O ideal é colocar o modem ligado direto no debian, assim não permite que nehum usuário não tenha acesso livre a internet, tipo utilizando programas p2p, pois se ele alterar o gw da sua maquina para o do modem já era. Mas caso sendo WinXP, tem como proteger isso.
Abraços,