Na verdade, é ao contrário.
Você precisa ter cuidado ao gerar arquivos de relatórios (doc, pdf, xls) e não colocar o header do 'Last-Modified' ou 'Expires', pois o navegador pode mostrar o relatório antigo, e o usuário achar que está com os dados mais atuais.
A maneira mais simples de evitar isso é gerar um nome de arquivo diferente a cada processamento, como muitos instituições bancárias fazem.
A mais correta é usar o Cache-Control e Expires.
Eu mandei o link do heroku sobre performance, mas o intuito é mostrar detalhadamente os headers e pra que servem.
Como o artigo fala sobre FileDownload, acho que só o Last-Modified já resolveria e não precisaria explicar tudo sobre cache.