tive o mesmo problema que o seu...
o ping ficava baixo a manha toda... mas... no fim da tarde era uma catastrofe...
tentei de td, formatei o pc, troquei os cabos da rede, mas... 100 sucesso.
so fui resolver o meu problema depois que eu troquei a placa de rede e o switch...
tinha duas rtl8139 e um switch encore...
troquei por placas de rede intelbras 100/1000 e switch 100/1000 tmb intelbras...
hj ta td uma maravilha... o ping em horario de pico fica no geral em torno dos 9ms...
faz esse teste, tenta troca a placa de rede, caso nao resolva teste trocando o switch tmb...
flow!
;)