Controlar permissão de acesso a certas pastas (Windows Server 2008 R2)

Bom pessoal, preciso da ajuda dos senhores...
Tenho alguns clientes que gostariam de tirar acesso de certas coisas, por questão de segurança e etc.
No caso em questão é como citei no título, Windows Server 2008 com "Terminal Server" habilitado, ou seja, trabalham com área de trabalho remota.
Até encontrei uma forma de fazer isso, indo até a aba segurança, adiciono usuário por usuário (1 a 1) e vou negando o acesso total de quem não deve ter o acesso.
O mais incomodo disso, e que existe clientes que tem muitos usuários habilitados, e fazer isso pasta por pasta, deixando só quem realmente deve acessar, se torna muito demorado.

Imagino que deva ter alguma forma de tirar a permissão de TODOS, e adicionar os usuários que devem ter acesso posteriormente. Isso tanto por acesso remoto, quanto por compartilhamento.

Nos servidores que dou assistência, eles trabalham com grupo de trabalho, e não com domínio.
Os usuários que acesso o servidor pertencem ao "Grupo": Usuários e Área de Trabalho Remota.

não sei se todas informações que passei são poucas, mas acredito que já consegui demonstrar o que desejo.

Obrigado a todos e até mais.

Uso bem pouco o Ruindows como server, mas existe um usuário "Todos", negue tudo para ele e libere full para o dono da pasta. Outra alternativa que não seu se vem ao caso, seria ter um SAMBA com esses arquivos sendo fornecidos por ele, assim fica fácil administrar que pode ou não alguma coisa. Se ajudei estrelinha....

eu ate tentei isso, mas ai ninguem mais acessa as pastas...
sobre o samba, se nao tiver jeito... sera a alternativa...

Você pode criar grupos exemplo: AcessoNegado, SomenteLeitura, Acessototal, e ai adiciona junto com o da Area de Trab. Remota por exemplo, porém aconselho migrar para o samba.. resolve isso facil facil.