Obrigado Jonathan e a todos que responderam, consegui resolver.
Eu fiz assim, quando eu mando para o método destroy:
# Recebe a ID do usuário
u = Usuario.find(params[:usuario]);
# Deleta o vinculo do usuário na tabela grupos_usuarios
u.grupos.delete(params[:grupo])
-------
Esses dois parametros eu passo via uma rota:
match "grupos_usuarios/:grupo/:usuario/destroy" => "grupos_usuarios#destroy", :via => :delete
-------
Então, os meus links de deletar, ficam assim:
<td><%= link_to 'Deletar', "/grupos_usuarios/#{grupos_usuario.grupo_id}/#{grupos_usuario.usuario_id}/destroy", method: :delete, data: { confirm: 'Tem certeza que deseja excluir esse vinculo?' } %></td>
Obrigado novamente. Agora vou concluir minha aplicação :D