>リストアップでも同じくらい掛かります
ということであれば、ディレクトリの探索だけで、その時間が必要となっているということですね。
おそらくスキップ対象のファイルが大量あるのだと思います。
最初のポストによると、30分で300GBとのことでしたが、正確な総時間、コピーされた総ファイル数&総サイズ、そしてスキップされた総ファイル数、を教えていただけますか?
>しかし、差分の実行で2.5TBが3分で終了する時もあります。
ひとつ前にコメントしたように、一度ディレクトリ探索して、ファイル名等の情報がOSキャッシュに乗っている場合は、圧倒的に高速になります。
簡単な確認方法としては、再起動すれば必ずOSキャッシュはクリアされますので、そこからの最初の1回目は常に遅い状態になるはずです。
たとえば、その状態からrobocopy等で差分コピーを行ってみて、ずっと高速に実行できる場合は教えてください。