タイムスタンプとサイズのみで更新対象を抽出する仕様のため、そういう挙動になります。
お望みの動作をサポートしようとすると、毎回、全ファイルをオープンしてアクセス権の読み取りを行う必要があり、速度がかなり低下します。
そのデメリットを考えると、現在の仕様のほうが良いという判断です。
また、相互のファイルシステム(NASやドメイン所属の有無)種別によっては、アクセス権が完全に反映できない場合もあり、その場合、データに変更がなくとも全ファイルのアクセス権を変更しようとしては失敗、を繰り返すことになり、そういう挙動も好ましくないと思っています。