O servidor fica nos EUA por isso o ping é mais alto que os sites que ficam no Brasil.
Porem isso nao quer dizer nada.. se voce for ver os sites do google tem a latencia parecida com a da underlinux e sao muito rapidos. Eu adicionei cache e otimizacao do codigo PHP e inclui mod_deflate para que todo conteudo seja compactado... isso deveria fazer com que o site carregasse um pouco mais rapido.