「非線形性を積極的に利用する信号解析方法の提案」というタイトルで…

[SPRW]

　みなさま、お久しぶりでございます。
　こちらの掲示板に何度か投稿した内容に関して、MUS/EC研究会にて萌芽セッションというものがありましたので「非線形性を積極的に利用する信号解析方法の提案」というタイトルで参加してみることにしました。

報告集向け原稿
https://drive.google.com/file/d/1gEoxSFMQzWJIMQ4DsLclyqrm7XuH3HtD/view?usp=sharing
概要発表向け資料
https://drive.google.com/file/d/1V1Q1KPqnyxYGiLCpYybcbX0X329powsR/view?usp=sharing

　概要発表向けの資料は３枚程度（←私の部分）になってますので、今までの投稿よりはまとまっていると思います。良かったらご覧ください。

>>>>>>>>> 抜粋
>>　従来とは異なる「非線形性を積極的に利用する」信号解析の方法を提案する．将来的には音声，
>>音楽，その他の波形データに関連する各分野で役立ってほしいと考えている．
>>　信号源に非線形性が作用し各帯域間の独立性が無い場合（相互変調の状態）に，観測信号の局所
>>的な位相の進み遅れ量を用いて原信号を回復する．局所的な位相を用いることから，信号源とセン
>>サーの間に予め測定できない未知の（パワーに関する）伝達特性があってもバイパスされる．
>>　現状では，シミュレーション実験により，基本的な正しさを明らかにしている [1][2] ．また実
>>測データ（例えば， DCASE2020-task2-fan ）に対して，元々の正解が分からない状況の中で，あ
>>る程度説明可能な結果を得ている [3] ．
>>[1] https://sigprocrandwalk.hatenadiary.org/entry/20170722/1500751760
>>[2] https://sigprocrandwalk.hatenadiary.org/entry/2020/03/22/193447
>>[3] https://sigprocrandwalk.hatenadiary.org/entry/2020/12/16/101552
>>>>>>>>> 抜粋終わり


　昨今「非線形性」が注目されるようになった理由の一つに「情報幾何学」の存在があると思います。「情報幾何学」は、「線形代数を数学的な基盤とする情報処理（信号処理）」を、「曲がった空間」の中で使うための道具立てと言えます。また「曲がった空間」と「非線形性」には、次のような表裏の関係があります。

１）空間が曲がっている場合、その中で得られる個々の観測データには「非線形性」が作用したことになる
２）観測データに「非線形性」が作用してる場合、その原因は「空間の曲がり」とは限らない

　「情報幾何学」では「空間の曲がり」について次のようなメカニズムで対応します。

３）空間の各点について「空間の曲がり」に応じて接する「接空間」を考える
４）個々の「接空間」自体は曲がってない（接空間内では線形代数が使える）
５）「空間の曲がり」は「接空間」の連なりとして表される

　上の３）４）５）で示されるメカニズムについて、個人的にはとても正攻法なものと感じています。
　その上で「概要発表向け資料」の「４．機械学習や統計的分類手法との関係」には、「情報幾何学」とは異なるメカニズムで「非線形性」に対応する方法の一例について記載しました。便宜的に「白色雑音を搬送波とする変調・復調」と呼ぶことにします。異なるメカニズムとはどういうことか？　「白色雑音を搬送波とする変調・復調」には「情報幾何学」とは異なる場面と状況で役に立つ可能性があるということです。私は「白色雑音を搬送波とする変調・復調」が「情報幾何学」のオルタナティブ（次善の選択肢）として広く認知されてほしいなと考えています。きっと役に立つはずです。


園部和夫 [ aka SigProcRandWalk | SPRW , mailto : fuja2_at_bj8.so-net.ne.jp ]

[SPRW]

　お久しぶりでございます。

　最適化問題に関しては、その後も動向の確認を続けています。そんなところから当初考えていたより重要かもしれないと認識を改めつつあり（←当初の認識が不十分だったという話はありますが）、少し補足したいと思います…

　「概要発表向け資料」の「４．機械学習や統計的分類手法との関係」の中で極小解の問題（←最適化問題の重要な課題。経緯はリンク [2] に記載）について触れましたが、最適化問題に関する最近のトピックには「量子アニーリング」のように「アニーリング（焼き鈍し法）」の演算に「量子論的な素子（従来とは桁が異なる程の高速なハードウェア）」を用いることがあります。他方で、人間の脳のように大変優秀な最適化機械が実在するわけですが、その内部には「量子論的な素子」は存在しません。ということは「量子論的な素子」のように超高速なハードウェアが無くとも、処理アルゴリズムを工夫することで極小解の問題に対処できることの実例になっているわけです。
　深層学習のNTK（Neural Tangent Kernel）に関する検討では、極小解が存在しなくなることが示唆されていますが、「処理アルゴリズムの工夫」で実際に「量子アニーリング」と同じ土俵に上がれるとしたら、とても面白い状況のように思われます。また、その先には上の「処理アルゴリズムの工夫」そのものも含める形で「量子論的な素子」上で実行されるようになるのかもしれません。

　あと、個人的に私は「処理アルゴリズムの工夫」で鍵となるのは「ノイズ抑制」ではないかと考えていますが（NTKの検討では「最適解は乱数の近傍に存在する」と言われています。乱数の近傍で何らかの処理を繰り返すには、何らかの「ノイズ抑制」が必須になるはずです）、「ノイズ抑制」という技術には「セントラル・ドグマがしっかりと存在し、あとは論理的に展開できる」という面だけでなく、「実践的なノウハウの集合体」という面があります。そんなことから、常日頃から観測分野（の信号処理、画像処理）などに取り組み「ノイズ抑制」にも慣れてる方々が案外活躍するのではないかな、と想像しています。

ではでは。

園部和夫 [ aka SigProcRandWalk | SPRW , mailto : fuja2_at_bj8.so-net.ne.jp ]

2021年10月27日水曜日 9:34:44 UTC+9 SPRW:

[SPRW]

　以前の投稿から「アニーリング（焼き鈍し法）」と「深層学習のNTK（Neural Tangent Kernel）←個人的に私はその実体は『白色雑音を搬送波とする変調・復調』ではないかと考えてます-経緯は（＃１）のリンク[2]に記載 」を比べることになり、両者の違いについて考え込むことになりました。

１）「アニーリング（焼き鈍し法）」　　⇔　　「結晶の成長」を模している
　　・温度パラメータと温度管理の導入
　　・温度管理＝温度の下降と共に、よりゆっくりとした温度下降
　　・温度管理の分だけ本質的に処理に時間がかかる

２）「深層学習のNTK」　　　　　　　　　⇔　　「？？？」を模している
　　　　　　　　　　　　　　　　　　　　　　　・（おそらく）温度管理は不要
　　　　　　　　　　　　　　　　　　　　　　　・（「結晶の成長」と比べれば）瞬時に終わる「秩序の形成」？

　２）の「？？？」には一体何が入りますでしょうか。「結晶の成長」とは異なる何らかの「秩序の形成」なんでしょうかね。どういう場合に温度管理が不要になるのかも気になります。
　もしくは、「アニーリング（焼き鈍し法）」が「極小解が存在することを前提にして温度管理で対処しようとする」のに対して、「深層学習のNTK」の方は「極小解を発生させなくするための工夫」とも言え、元々方向性の違う話のようにも思えます。どうなんでしょうか。

　あと、一般に「アニーリング（焼き鈍し法）」は「最適化問題の極小解に対処できる方法」として認められてますが、「神経回路網」上で動作する「学習アルゴリズム」に組み込む形での利用はされていないようです。私が調べた範囲では見つけることが出来ませんでした。原理的に組み込むことが難しいのかもしれません。他方で「深層学習のNTK」の検討では「極小解が存在しなくなること」「最適解が乱数の近傍にあること」などが示唆されており、今現在は「神経回路網上で動作する機械学習」で「極小解に対処できること」が確認されつつある重要なタイミングなのかもしれません。

　
　今回の投稿、自分の中でも整理不足な内容になってしまい恐縮ですが、もし皆さんの今後のインスピレーションの一要素にでもなるのであれば幸いです。ではでは。

園部和夫 [ aka SigProcRandWalk | SPRW , mailto : fuja2_at_bj8.so-net.ne.jp ]

2022年5月21日土曜日 9:25:42 UTC+9 SPRW:

[SPRW]

　園部です。

　（＃１）に示した内容（「局所的位相シフト検出法」）について、実装をWindows上で動作する
exeファイル（実行形式）として配布しています。

URL: 　https://www.vector.co.jp/soft/dl/winnt/edu/se478190.html　[vector]
説明：「わぶメモ」　信号の周波数的な特徴を「探す」「検討する」ための支援ソフトウエア

　（＃１）のリンク[1]、[2]、[3]、に含まれる実験結果などは全て上の「わぶメモ」により計算
されています。
　「自分使い」用に便利に作ってるという面は否めませんが、少しでも皆さんの作業のお役に立てば
幸いです。
　通常のスペクトログラムを表示する為のツールとしてもお使いになれます。
　もし疑問点などあればメールにてお知らせ頂ければ対応いたします。またご要望などありまし
たら前向きに検討いたします。

園部和夫 [ aka SigProcRandWalk | SPRW , mailto : fuja2_at_bj8.so-net.ne.jp ]

On 2022/10/28 9:56, sonobe kazuo wrote:
##########（＃１）
「非線形性を積極的に利用する信号解析方法の提案」というタイトルで…

　すみません。すでに半年と少し前になってしまったんですが、
　こちらのメーリングリストに何度か投稿した内容に関して、MUS/EC研究会にて萌芽セッションというもの

がありました ので「非線形性を積極的に利用する信号解析方法の提案」というタイトルで参加してみることに

しました。

報告集向け原稿
https://drive.google.com/file/d/1gEoxSFMQzWJIMQ4DsLclyqrm7XuH3HtD/view?usp=sharing
概要発表向け資料
https://drive.google.com/file/d/1V1Q1KPqnyxYGiLCpYybcbX0X329powsR/view?usp=sharing

　概要発表向けの資料は３枚程度（←私の部分）になってますので、今までの投稿よりはまとまっていると思います。
良かったらご覧ください。

>>>>>>>>> 抜粋
>>　従来とは異なる「非線形性を積極的に利用する」信号解析の方法を提案する．将来的には音声，
>>音楽，その他の波形データに関連する各分野で役立ってほしいと考えている．
>>　信号源に非線形性が作用し各帯域間の独立性が無い場合（相互変調の状態）に，観測信号の局所
>>的な位相の進み遅れ量を用いて原信号を回復する．局所的な位相を用いることから，信号源とセン
>>サーの間に予め測定できない未知の（パワーに関する）伝達特性があってもバイパスされる．
>>　現状では，シミュレーション実験により，基本的な正しさを明らかにしている [1][2] ．また実
>>測データ（例えば， DCASE2020-task2-fan ）に対して，元々の正解が分からない状況の中で，あ
>>る程度説明可能な結果を得ている [3] ．
>>[1] https://sigprocrandwalk.hatenadiary.org/entry/20170722/1500751760
>>[2] https://sigprocrandwalk.hatenadiary.org/entry/2020/03/22/193447
>>[3] https://sigprocrandwalk.hatenadiary.org/entry/2020/12/16/101552
>>>>>>>>> 抜粋終わり


　昨今「非線形性」が注目されるようになった理由の一つに「情報幾何学」の存在があると思います。

「情報幾何学」は、 「線形代数を数学的な基盤とする情報処理（信号処理）」を、「曲がった空間」の

中で使うための道具立てと言えます。 また「曲がった空間」と「非線形性」には、次のような表裏の

関係があります。

１）空間が曲がっている場合、その中で得られる個々の観測データには「非線形性」が作用したことになる
２）観測データに「非線形性」が作用してる場合、その原因は「空間の曲がり」とは限らない

　「情報幾何学」では「空間の曲がり」について次のようなメカニズムで対応します。

３）空間の各点について「空間の曲がり」に応じて接する「接空間」を考える
４）個々の「接空間」自体は曲がってない（接空間内では線形代数が使える）
５）「空間の曲がり」は「接空間」の連なりとして表される

　上の３）４）５）で示されるメカニズムについて、個人的にはとても正攻法なものと感じています。
　その上で「概要発表向け資料」の「４．機械学習や統計的分類手法との関係」には、「情報幾何学」

とは異なる メカニズムで「非線形性」に対応する方法の一例について記載しました。便宜的に「白色雑音を

搬送波とする変調・復調」 と呼ぶことにします。異なるメカニズムとはどういうことか？　

「白色雑音を搬送波とする変調・復調」には「情報幾何学」 とは異なる場面と状況で役に立つ可能性がある

ということです。私は「白色雑音を搬送波とする変調・復調」が 「情報幾何学」のオルタナティブ（次善の選択肢）

として広く認知されてほしいなと考えています。きっと役に立つはずです。
##########（＃１）引用終わり

園部和夫 [ aka SigProcRandWalk | SPRW , mailto : fuja2_at_bj8.so-net.ne.jp ]

2022年9月7日水曜日 9:15:10 UTC+9 SPRW: