こんにちは
最近 CAD を触っていないため、 QGIS で直接 DWG/DXF を開くことができるか忘れましたが、
DWG/DXF からインポート機能があり、インポートすることで GeoPackage 形式で保存されます。
ですので、インポート後は GeoPackage 形式データが読み込まれたベクタレイヤを
操作することになります。
プロセシングツールの「アフィン変換」はベクタレイヤに対して移動量や拡大率を指定し
変換させるツールであるため、既知点の座標等を利用して実行できると思います。
一方で、特に寸法や旗揚げなど文字に関して、 CAD 図面で図示したママを得たいという
要望から、ラスタ画像化するという選択肢もあるかもしれません。
その場合は、ラスタ画像に対し(通常の)ジオリファレンスを実施すればよいでしょう。