Есть список SPARSE EIGENVALUE SOLVERS в конце следующей страницы
http://www.netlib.org/utk/people/JackDongarra/la-sw.html
Я сам их не пробовал, поэтому здесь ничего сказать не могу.
Я забыл спросить. Ваша проблема случайно не связана с конечными
элементами? Если да, то здесь есть другой подход, связанный с model
reduction