Tenho visto alguns com mesmo problema e culpando o Balance. Você usa balanceamento de links?
Gostaria de saber, pois uso balanceamento mas tenho a grande maioria sem problemas e só os poucos que incomodaram é que baixei o MTU deles.
Se não usa balanceamento já eliminamos uma das possibilidades.