Apache 2 + SSL + VirtualHosts

Boa noite, amigos...
Tenho vários "VirtualHosts" configurados e um VirtualHost SSL, funcionando perfeitamente. Quando digito https:// com um dos domínios virtuais, não sendo aquele que tenho configurado para responder com a porta segura, o apache aceita conexão e exibe o certificado do domínio configurado. Ex.:

Domínio com SSL: https://www.dominiovirtual.com.br
Domínio normal: http://www.dominiovirtual2.com.br

Quando digito https://www.dominiovirtual2.com.br, ele aceita a conexão e exibe o certificado do dominiovirtual.com.br, o qual não é o correto.
O que quero fazer é negar o acesso a porta segura para os domínio que não estão configurados para o SSL. Há uma maneira de fazer isso?