Pra falar a verdade, tem como fazer toda uma interface sem X11, só usando o framebuffer do kernel (claro, o driver tem que suportar KMS, ou seja, novo, e nada propietário.)