Acesse o servidor via terminal service, ou manualmente.
Acesse o sql server via DAC.
E rode os comandos.
sp_configure 'max server memory (MB)',
2147483647
go
reconfigure with override
go
(Nunca passei por isso, mas acredito que resolva)
--
-------------------------------------------------
att,
Jefferson Santos