É, sem duvida sua maquina tem que dar uma melhorada sim...
Mas tenho experiencia em maquinas velhas e por isso, depois de muitos testes, te recomendo o Slackware. Ele vem por padrão com o kernel 2.4 e duvido muito que vc tenha que recopilá-lo. Tenho duas maquinas quase com as mesmas confguracões rodando o Slackware e não tenho problema algum.
http://www.slackware.org
Abraço.