rtspで高ビットレートの動画を読み込むとノイズが発生する

[見原翔子]

いつもお世話になっております。
AMBLの見原です。

アプリ精度を高めるために、高ビットレートの映像を入力として推論をかけたいと考えています。しかし、12 Mbpsなど比較的高いビットレートの動画を入力すると、下記リンク先動画のようにノイズが発生します。

https://drive.google.com/drive/folders/1avn5iP4RmrMxmDKSxeOZ8u0czl9_FQRl?usp=share_link

この現象は弊社のアプリだけでなくEMISimpleRecorderアプリでも発生しているため、アプリが原因ではないと考えられます。
また、rtsp経由で入力する場合に発生し、ファイルパスを直接指定してローカルから読み込む場合は発生していません。

AIBoxではrtspで高ビットレートの動画を読み込めないでしょうか。
何か設定などありましたら教えていただけないでしょうか。

[ts...@edgematrix.com]

いつもお世話になっております。

動画を拝見したところ、ブロックノイズのような見え方になっていたので、

例えばH.264の場合は基準フレームが欠落してデコードが成功していないなど、

デコードのエラーが発生しているように見えます。

これは、エンコーダーの不具合、通信の問題、もし高温になっている場合はデコーダーの問題、などが考えられます。

> また、rtsp経由で入力する場合に発生し、ファイルパスを直接指定してローカルから読み込む場合は発生していません。

２通りご確認いただきまして、ありがとうございます。

確かにこの場合は発生していませんね。

> AIBoxではrtspで高ビットレートの動画を読み込めないでしょうか。

高ビットレートの動画、とのことですが、同じ動画を使用しても、

locationでlocal RTSPを使用する場合は発生し、file://で指定する場合は発生しない、

ということでしたでしょうか？

その場合ですが、local RTSPで使用している"bin/launch_local_rtsp.sh"を改めて確認したところ、

CPUのencoder（x264enc）を使用しているため、

Jetson内のバスがオーバーフローしているかもしれません。

local RTSPは何かと制約や不具合があるため、

Toolkitでもfile://かreal RTSPを利用するようにするか、

ハードウェアエンコーダーを使用したパイプラインへの改良を検討します。

2023年4月6日木曜日 13:42:06 UTC+9 shoko.m...@ambl.co.jp:

[見原翔子]

ご回答ありがとうございます。

>高ビットレートの動画、とのことですが、同じ動画を使用しても、
>locationでlocal RTSPを使用する場合は発生し、file://で指定する場合は発生しない、
>ということでしたでしょうか？

はい、その通りです。

>local RTSPは何かと制約や不具合があるため、

>Toolkitでもfile://かreal RTSPを利用するようにするか、

>ハードウェアエンコーダーを使用したパイプラインへの改良を検討します。

ご対応ありがとうございます。
よろしくお願いいたします。

サービスボックスで12 Mbps程度の映像を入力した場合、

同様にノイズが発生しますでしょうか。

2023年4月6日木曜日 14:22:12 UTC+9 ts...@edgematrix.com:

[ts...@edgematrix.com]

> サービスボックスで12 Mbps程度の映像を入力した場合、

> 同様にノイズが発生しますでしょうか。

local RTSPのCPUエンコーダーが問題だと考えられるため、

サービス構成の場合はカメラのエンコーダーに該当しますから、

問題ないはずです。

4K試験なども度々実施したことがありますが、

課題になったのはいつも安定配信できるネットワークの確保でした。

2023年4月6日木曜日 15:23:25 UTC+9 shoko.m...@ambl.co.jp: