Bruno você deve usar o Team Foundation Server ou Service certo? É que nossa comunidade é de ALM no geral, não só da solução Microsoft.
Em todo caso essa questão é do Scrum, você falou sprint então estou deduzindo que você esta usando o template do Scrum no TFS correto?!
Com base na metodologia ágil vocês estão agindo corretamente, a montagem da sprint (Planning), deve ser feita por pontos de complexidade, ao longo do tempo seu time vai medir a capacidade média para realização de tarefas em um tempo comum de sprint.
Depois de umas 3 ou 4 sprints vocês já vão ter ideia da média de capacidade que o time tem é por exemplo de 40 pontos.
Isso ajuda muito na Planning e Grooming além de fomentar o comprometimento do time com a entrega, sabendo que a capacidade do time é aquela vocês poderão atuar fortemente em deslizes ou variações por terem uma base métrica.
Depois diz qual a versão do TFS estão usando e se vocês estão visualizando o gráfico de velocidade do time por pontos. Creio que vocês não estejam vendo a razão de planejar por pontos se não continuam a usar a informação.