O sistema libera o cached conforme outras aplicações vão precisando.
O luciano te deu uma boa dica, use o top pra achar os programas que estão consumindo mais memória.
Tem outras coisas que podem ser também, tem vários processos agendados no cron que fazem busca e leitura de arquivos.
Se vc fez um apt-get dist-upgrade, por exemplo, os buffers e cached provavelmente vão subir bastante, pq a movimentação de arquivos é grande. E esses valores não diminuem logo em seguida o término da operação dist-upgrade, a função do cached é essa mesma.
Eu não me preocuparia muito com isso agora, enquanto ele não estiver usando swap está tudo sob controle do sistema.
Vc tinha falado também sobre compilar o kernel, eu só aconselho compilar o kernel se vc tiver uma boa experiência nisso e se esse servidor for utilizar muito processamento, aplicações tipo bancos de dados ou virtualização por exemplo. Fora isso o ganho não vai ser tão significativo.