Conexão quase nula, ao enviar mail [Qmail]

Pessoal, to com um problemao, nao achei solução no fórum, resolvi perguntar para vocês.
Tenho conexão speedy business 800 (ip fixo), e um server rodando slackware, quase completo :
-Apache
-Squid
-Samba
-Uebimiau
-Qmail,QMailAdmin,
-SpamAssassin
-Clamav

Meu problema é o seguinte, qdo alguem na rede envia um email, geralmenter acima de 500k (as vezes até menos q isso) o restante da rede fica sem acesso a internet, como se a internet caisse, já monitorei o qmail, o servidor, as máquinas e já sei que não é virus,nem nada do tipo.
Já tentei bloquear as portas usando iptable, controlar banda dos usuários, limitar tamanho das mensagens no qmail, enviar apenas 1 email por vez mas nada adiantou, qdo o Qmail começa a enviar a mensagem ele usa toda a banda do upload (128K) e o que tiver da banda que seria só para download que são os 10% da conexão speedy.
Tem dias que os usuarios não mandam emails muito grandes,mas as vezes é durante o dia inteiro e a internet fica fora, os emails chegam nos clintes,mas em compensação ficamos sem internet aqui.

Alguem já passou por isso, tem alguma solução ?

OBrigado amigos, estou desesperado.