こんにちは
トラブルの原因を予想したものを列挙してみます。
1 適正にファイルを扱っていない場合
同じファイル名を付けたTiffファイルとWorldファイルを同じ場所(フォルダ内)に置いて、Tiffファイルを読み込んでいない場合です。
これが減である可能性は低いと思いますが、微妙にファイル名が違ったり、ワールドファイルの拡張子が適正で無い(tfw以外となっている)場合があるかもしれません。
2 CRSが適正に設定されていない場合
ワールドファイルは位置の座標値などは持っていますが、空間参照に関する情報は持っていません。
そのため暫定的にプロジェクトのCRSで読み込んでいると思いますが、これが適正な設定で無い場合には位置がずれます。
個人的には、この可能性が高いように思います。
レイヤのプロパティで設定されているCRSを確認し、適正なCRSに変更することで解決します。
3 GeoTiffであった場合
この場合にはジオタグを削除することになると思います。
以前の投稿でジオタグを削除する方法を投稿したことがありますので、こちらをご覧ください。
Geotiff画像の再ジオリファレンスについて
https://groups.google.com/g/qgisshitumon01/c/NsXmb_lYMKc