この対応はないです、多分これは設定・操作上直感的じゃないのです。
キャッシュは動画に関連する情報を保持しているため動画がなくても何かしらのファイルがあります。
そしてそれは往々にして動画情報だったりサムネイルだったりしてキャッシュ機能に一役買ってるのであります。
特にサムネイルなんてサーバー貧弱なので永久保存状態です。
あとキャッシュ外の情報として動画に対する設定とか DMC 用のログとかいろいろあるのですよ(まぁこれは破棄してもいいかなぁと)。
ここいらのデータファイルは再生した際にがちゃがちゃ作られるので再生する前だと動画情報・サムネイルになるんですが、
うーん、あー、えーっと、今ソース見たら動画情報は永久に消えない作りですね、いいねこの実装わろりん。
あんまよくないけど、それはまぁいいとしてサムネイルの破棄って↑のサーバー負荷避けるため残したいのですよね。
今の動画情報は実装ミスって無期限保持ですがサムネイルに関しては意図的に消さない作りです。
なのでキャッシュディレクトリは消えないのです。
そいで気になるんですがキャッシュディレクトリ消えない場合なんか困りますか。
確かにディレクトリが多ければキャッシュ確認で線形に負荷は掛かるのですが現実問題そこまで負荷はないかなぁと。