Se você tem a atribuição automática do grupo e está bem testado não vejo grandes problemas em usar grupos.
Não é algo que se fica "manipulando manualmente".
Mas se você quer ser mais radical nesse tipo de segurança, faça 2 ou 3 apps seprados.
Um app tem que ficar como central de autenticação.
Assim os apps são totalmente distintos de funcionalidades e até os bancos podem ser separados, ou até em hosts diferentes.
Aí junto com esse você pode ter as funções administrativas e no outro somente as funções de visitante.
Se quiser mais ainda deixe um app somente para autenticação, um para admin e outra pra visitando, os dois ultimos logando no central.
Tem um artigo no livro que ensina fazer essas integrações, é só pesquisar por cooperation.