Если матрица разреженная, то можно попробовать решатель для разреженных 
матриц. Я в последнее время работаю с MUMPS. Мне нравится
http://graal.ens-lyon.fr/MUMPS/
Я сам использую только версия для действительных чисел, но в MUMPS есть 
также версия для комлексных чисел.