Amigo, tem que verificar algumas coisas:
Qual a qualidade do seu DXF?
Do que se trata? Loteamento? Imóvel? Desmembramento? Tem levantamento topográfico georreferenciado ou foi feito sem georreferenciamento?
Se o seu DXF for de qualidade, com um levantamento georreferenciado, você pode ter configurado errado o seu projeto.
Solução: Só precisa configurar melhor o qgis que já vai ficar ok. Veja qual o sistema de coordenadas e o datum do DWF e coloque o projeto do qgis nesse antes de importar.
Mas... Tem muito dxf que é uma verdadeira bomba! Às vezes fazem o levantamento topográfico perfeito, com as grades de coordenadas e tudo mais, só que do levantamento para o projeto, não sei por que, o projetista aumenta ou diminui as áreas (rsrsrsr), ou simplesmente colocam o projeto sem as coordenadas do levantamento.
Solução: Georreferencie o DXF. Veja se está explícita uma coordenada, insira um ponto com essa coordenada, e mova o projeto para a coordenada correta, simples assim!
Eu importo usando a importação padrão:

Veja que você abre o arquivo DXF, indica o SRC/EPSG e inclusive você insere em um geopackage.
Tudo depende de como está o seu DXF. Importo muito de CAD e encontro de tudo, desde arquivos perfeitos até uns lixos com problemas de georreferenciamento, layers e informações misturadas....
Quase sempre resolvo no CAD e não no QGIS.
Seja mais específico no seu problema que podemos ajudar melhor.