JHONNE, esse ai é diferente... não é simplesmente uma inundação de pacottes à alguma interface do Gateway, como o hping ou wintraff. É um programa P2P, provavelmente do tipo Ares. Como o Luciano, comenta o lance é analisar o sacana do programa e ver como opera, se for muito UDP ou ICMP, criar filtros com LIMIT e ver se consegue filtrar o danado.
Agora se esse programa "sonda" a rede em busca de hosts, ele tem características worm, e ai começam os problemas... seria aquele script que falei (que não sai nem..heheheehehe...).