Тут выбора нет. Матрица обязана быть задана в формате Compressed Column
Storage (CCS), небольшой пример формата есть здесь
http://people.sc.fsu.edu/~burkardt/data/sparse_cc/sparse_cc.html
Простой пример использования UMFPACK есть в поставке пакета
http://www.cise.ufl.edu/research/sparse/umfpack/UMFPACK/Demo/umfpack_simple.c