この部分を調整してください。
ですが、Unityの仕様上たぶん対応しきれないと思います。
マウスホイールは、ホイールを回した距離で測るものと
ゲーミングマウスなどに多い「ノッチ」タイプがあります。(カチカチとある程度決まったぶんだけスクロールする)
このノッチタイプにUnityのマウスは対応していません。
数年前にUnityがこのScrollRectを作った際に、Unityの開発者に直接要望を出してもいるのですが、対応は難しいということでした。
なので、上記のScrollSensitiveを上昇させるしかないのですが、そうすると今度はノッチタイプ以外のマウスホイールへの感度が高すぎて、スクロールしすぎる結果になると思います。