こんにちは
画像の添付がうまくいかないことが、まれによくあるようです。再度添付をお願いします。
また、その画像に加えて、本来望んでいた結果をペイント等でも構わないので図示していただけると
「どのような結果を意図したが」「このような結果が得られた」ということがわかり、解決が
早くなるかと思います。
ラスタメニューの変換サブメニューの「ラスタのベクタ化 (polygonize)」ですが、ラスタの
ピクセルに対し、同一値は連結させつつ、ポリゴンを生成するもので、画像処理のように縁を
検出するものではなく、あくまで GIS で利用しているラスタデータをベクタ(ポリゴン)データに
形式変換するためのものです。
もし縁に沿ったポリゴンを得たいのであれば、そのような結果となるように、ラスタ計算機で
更に比較演算子等を使って、その「意図する縁」を同一のピクセル値にするといった工夫が
必要となるかもしれません。(比較演算子が真のときの評価値は1、偽のときは0となることを利用)
もしくはプロセシングメニューの GDAL → ラスタ変換 → バンドの再構成 でラスタの値の形式を
整数型( Int32 など)にすることによって整数丸め(四捨五入か切り捨てか未確認ですが)する
ことも前処理として有効かもしれません。