A maioria dos instaladores - para não falar todos - utiliza ferramentas normais do sistema, como cp, mv, fdisk, etc, para efetuar as tarefas normais dele.

Nenhuma distribuição GNU/Linux é igual à outra. Todas têm suas peculiaridades e eu acredito que você consiga fazer o processo de instalação de todas "na mão", mas eu não acho uma boa trilhar este caminho para quem não conhece MUITO A FUNDO o sistema operacional. O passo de instalar pelo shell uma distribuição é possível, não muito prático, mas bem instrutivo. Existem projetos bem interessantes sobre a criação de novas distribuições, como o LFS (Linux From Scratch), o Progeny e o CDD.