表示してるデータが違うので単純に比較できませんが、私の環境では3万くらいのポリゴンで1秒ちょっと、7万件以上のポリゴンでも2秒弱。
6年以上前のありふれたスペックのノートパソコンなんですけどね。(core i5)
設定はいろいろいじっても体感的な変化は無く、逆に遅くすることもできませんでした。
設定変更のみではあまり変化が無いので、ハードのスペックによるところが多いのかもしれません。
きた様が公開している北海道SHAPEファイルというデータに等高線がありますが、例えば渡島振興局全体の等高線はポリラインで23万ほどの地物が格納されています。このファイルを全体表示させるとさすがに5秒弱かかります。(妥当な時間だと思いますけどね)
私の場合はそのようなとき、必要な部分のみを取り出して別ファイルにします。これでデータ量が激減して描画速度もおのずと改善されます。
根本的な解決策としてはデータを減らすのが一番だと思います。(範囲を狭める、間引く等)
それができない場合はマシンのスペックをあげるしかないかもしれません。