甘利俊一先生へのお手紙
甘利先生のご著書である「情報幾何学の新展開 新版」 （2019.11.25 発行）を拝読
しまして、今までの私の技術的な背景と合わさって、ぜひ先生にお伝えしたいと思える
話ができてきました。ただ私は先生の連絡先などを存じてないので、先生がエゴサーチ
なさることを期待しまして、次の一文をインターネット上に置くことにしました。
インターネットにアクセス可能な多くの皆様には、まずは内容について興味を持って
いただき、ご笑覧いただければ嬉しく思います。
園部和夫 - 2020.3.22.Sun.
//////////////////////////////////////////////////////////////////////////////////////
甘利俊一 先生
突然のお手紙をお許しください。
私は「信号処理・画像処理」の分野で技術者として働いております園部和夫と申します。
普段は学術的な世界とはあまり縁がないのですが、先生のご著書である「情報幾何学の
新展開 新版」 を拝読することで、記載されている Neural Tangent Kernel ( NTK ) と
その大元である深層学習に大変な興味を持つことができました。こんなに興味を持たせて
いただいたことにとても感謝しております。先生の文章から伝わる熱量に触発されたもの
と勝手ながら思わせていただいています。
NTK に関しまして、先生のご著書をきっかけに、ネット上にあるレジメや、原論文、
などにもなるべく目を通しました。そこで「 NTK に関する実験事実」を説明できる
「物理的な現象」が少なくとも一つありそうだということに思い当たりました。
内容として面白いと感じさせるものでしたので、先生にもぜひお知らせしたいと考えた
次第です。
内容の本文と説明用の図は以下です。
本文：中に「局所的位相シフト検出法」なる言葉が記載されてますが、
以下の「/// 背景となる話 ///」でご説明いたします。
URL : http://local-phase.com/others/etc/honbun-pdf.pdf
図 ：信号と白色雑音と最適解の一例を空間上にプロットした模式図
URL : http://local-phase.com/others/etc/ksonobe-graph1.pdf
キーとなる考え方は
「白色雑音を搬送波と見立てて行う『変調・復調』」
となります。
「白色雑音を搬送波と見立てて行う『変調・復調』」なる考え方が出てきた背景は次の
ようなものですが、もし「白色雑音を搬送波と見立てて行う『変調・復調』」を所与の
ものと考えていただけるようなら以下の話は無視していただいても結構と思います。
/// 背景となる話 ///
//
// 私は個人的に「局所的な位相の進み遅れ量」に注目して信号検出を行う方法
// を検討し、「局所的位相シフト検出法」と名前をつけて「特許の出願」（技術
// 資料として公開するという意味で出願しましたが、審査請求は行っていません）
// や「主に同業者（信号処理分野・画像処理分野に関わる方々）に向けての説明」
// などを行ってきました。論文などの発表は行っていませんので、査読を通じて
// のチェックなどは受けていないことになります。
// 「局所的位相シフト検出法」の検証実験の中に「白色雑音を搬送波と見立て
// て行う『変調・復調』」と同等と言って良いものが含まれていまして、個人的
// にはそこで「白色雑音を搬送波と見立てる」ことを強く意識しました。
//
// 「局所的位相シフト検出法」に関する資料は以下です。
//
// 資料１：同業者（信号処理分野・画像処理分野）への説明に用いたレジメ
// URL : http://local-phase.com/others/etc/siryo1-memo-20190729.pdf
// 資料２：「局所的位相シフト検出法」の概要
// URL : http://local-phase.com/others/etc/siryo2-gaiyou-2017-sonobekazuo.pdf
// 資料３：「局所的位相シフト検出法」の検証実験
// URL : http://local-phase.com/others/etc/siryo3-jikken-2017-sonobekazuo.pdf
// 資料４：「局所的位相シフト検出法」と「情報幾何学」を関連付けて考え
// 始め、読書会に参加した時の資料です。
// URL : http://local-phase.com/others/etc/siryo4-InfoGeo-20190605.pdf
//
/// 背景となる話、終わります ///
白色雑音（もしくは乱数。←今は両者を区別していません。NTKからの流れの話では
用語として乱数を用いてます）に着目した場合に、今後の深層学習がどういう風になるのか
以下で考えてみたいと思います。
NTKに関する全体の流れとしては、
１）大規模個数のデータセットに対応したい
２）多数のP（パラメータ）が必要
３）多数のPを使うと極小解が生じる可能性が高い
４）３）の状況を避けられる NTK という考え方
５）NTKの実験事実を説明できる「白色雑音を搬送波に見立てる変調・復調」という考え方？
６）白色雑音（及び変調済み白色雑音）を取り扱うとなれば、（神経回路網の）機械学習にも
今後はノイズ対策が必要になるのでは？
となりますが、最後の２項目が私が付け加えた項目で、まだ一般的な話ではありません。
NTK で重要視されてる実験事実に「乱数の空間的な近傍に最適解がある」があるわけですが、
これは「乱数の空間的な近傍でいろいろと処理することになる」ことを意味するので、
それだけで「ノイズ対策は大事である」に繋がる話と言えます。
更に「変調・復調」を念頭に置いて、白色雑音を取り扱う（NTKにおいては乱数の空間的な
近傍で何かをすることに相当）のであれば、適正なノイズ対策は必須です。それは間違いあり
ません（NTKとは方向の異なる話ではありますが「局所的位相シフト検出法」の検討では
実際に様々な工夫が必要になりました）。ですが、（神経回路網による）機械学習をメインに
検討してる方々は、ノイズ対策についてはまだあまり重要視してない（気にしてない）ように
見えます。
いずれにしても NTK 以降の実験事実を踏まえれば、「乱数」もしくは「白色雑音」の取り
扱いが重要になると思われます。
NTKの状況を見ていて、私は、深層学習の次の段階の課題は「ノイズ対策」で、解決される
のは
「大規模個数のデータセット（多数のPが必要）」で
「極小解問題は生じない状況を保って」かつ
「微少な差で行われる分類（など）」
のような問題ではないかと予想します。
現状の深層学習でまだあまり成果が上がってない分野を思い浮かべていただいて、その中の
幾つかについては解決されることになるのではないでしょうか。
ノイズ対策をこまごまと考えれば、処理の階層に応じていろいろありますが、
現状で自然に導入できそうなノイズ対策の一例も一応は次のように考えられます。
（「白色雑音を搬送波に見立てる変調・復調」を意味として受け入れると、
次のように自然に導入できる）
以下は、学習アルゴリズムの部分では特別なことは行わず、最もシンプルな方法と言えます。
「学習」と「分類の判断」を白色雑音Nnに対応してそれぞれに行い、分類の対象である
信号SigTに対する判断結果ResSigTｎを得ます。白色雑音の実体の数だけ複数の判断結果が
得られますので、最終的な判断結果を「投票」などで決めることができます。また判断結果の
分布が得られますので最終的な結果の確からしさも計算できます。
性能の向上（例えば原理的な分解能や検出能を上げる、など）に白色雑音（もしくは乱数）
を利用することは様々な分野で考えられてますが、以上はその一例になるのかなと思います。
↑最終的に「投票など」は行うが、それまでは並列処理が可能。神経回路網での実行にも
適してそう。
↑「白色雑音を搬送波と見立てて行う『変調・復調』」という考え方が念頭に無ければ
出てこない話ではある。
NTKの実験事実を説明できそうな一つの物理的な現象（「白色雑音を搬送波と見立てて
行う『変調・復調』」）に対して検討と説明を試みました。また、NTKの実験事実に現れる
乱数が重要な意味を持つ場合、もしくは「白色雑音を搬送波と見立てて行う『変調・復調』」
が正しい場合に、今後、深層学習のどの部分に改良が加えられていくのか予想してみました。
もし何かお気づきの点などがございましたら、お教えいただけると大変ありがたいです。
何卒よろしくお願い申し上げます。
背景の話用に用意した資料４については、「情報幾何学」の創始者である先生にお見せする
には稚拙で恥ずかしいとも思ったのですが、「『情報幾何学』によりいろいろなことが線形
から非線形に拡張されるのかもしれない」と最初に感激した時のものですので、あえて
同封することにいたしました。ご笑覧いただければ幸いです。
資料４を作成した時点での問題の捉え方は「信号検出方法としての『局所的位相シフト
検出法』を理解したい」だったのですが、一歩下がってみると解明されてない問題は実は
「変調・復調」なのか、とも考えるようになりました。「変調」はともかく「復調」の
方は、搬送波を「ピュアな単波長のサイン波」に限定した特別な場合でのみ実用化（ラジオ
やTVの放送）されてますし、その場合も手続き的なアルゴリズムとしての処理方法は
明確ですが、数学的な定式化はどうもはっきりしてません（あれだけ生活に密着し定着
した技術なのに驚きですが、自分が調べた範囲ではよくわかりませんでした）。
手続き的なアルゴリズムだけが判ってるという状況は「局所的位相シフト検出法」も同じな
ので他人事ではありません。「復調」の取り扱いの難しさは「変調」処理の非線形性に由来して
るように思えます。ですので「情報幾何学」の考え方を用いて整理できないかと愚考してると
ころです（私の能力的な問題もありまして、今のところは特に進捗のない状態ではありますが）。
資料４については上の話も含めて、一見枯れた技術に見える「変調・復調」について、先生に
少しでも興味を持っていただければ良いなと思っております。
園部和夫
//////////////////////////////////////////////////////////////////////////////////////
