Oi,
Essa questão refere-se a quantidade de memória que o algoritmo utiliza. Vocês precisam ver o que ele guarda em memória; como ele faz esse armazenamento e a partir daí será possível saber quanto de memória ele utiliza.
Tome como o exemplo o merge sort. As implementações mais comuns sempre utilizam listas auxiliares para fazer o merge. Como, no final, todos os elementos terão passado pelo menos uma vez por cada uma das listas, o custo geral de espaço é O(n). Isso porque, ao final, cada elemento "passará" uma vez pela memória.
Até mais.