Olá,
Não, a chave privada deve permanecer apenas no servidor.
O certificados emitidos por nós (CERTIFICADO SSL, SITE SEGURO COM CERTIFICADOS DIGITAIS VERISIGN GEOTRUST RAPIDSSL) são reconhecidos por todos os navegadores sem a necessidade de instalar nada no cliente.