韓太舜著「情報理論における情報スペクトル的方法」序文より（培風館，１９９８年刊）
１９９６年４月頃，九州大学の香田徹先生からその年の１０月に大学院で情報理論の集中講義をするようにとのお話があり，そのときは，１０月は大分先の事なので大丈夫だろうとタカを括ってお引き受けした．しかし，１０月はあっという間にやって来て，合計１０時間程の講義で一体何を話せばよいのか悩むはめになった．標準的な教科書に書いてあることを中心に据えてそれにadvanced course を加えたものにすべきか，それとも，標準的なことは一切省いて筆者の現在の研究に的を絞ったものにすべきか迷ったのである．しかし，最終的には，９０年代に入ってHan and Verd¥'uによって提唱され，その後も幾つかの新しい展開をみせていた「情報スペクトル理論」をこの時点で一応整理して話してみることにした．そこで，九州大学に出かける１週間ほど前に５０頁ほどの乱雑な手書きメモを作った．内容は，情報源符号化，乱数生成，通信路符号化，仮説検定に関するものであった．だが，それを基に講義を行ってみたところ，満足というより様々な不満が残った．講義の結果，定理の多くがばらばらに並んでいるだけでまとまりが無く，その証明も原著者の個人差に引きずられて統一性に欠け冗長で透明性から程遠いことが歴然として来たからである．
東京に戻った筆者はこれらの不満を解消すべく，それまで「情報スペクトル理論」に関して知られていた諸定理を１つの「統一的枠組」の中で論理的順序に従って並べなおし，それらの間の関連を明確にし，その証明も原著者によるもののほとんどすべてを捨てて一貫した方針に従って新しく書き直す作業を開始した．それが同年１０月末のことで，終了まで１，２ヵ月程を見込んでいた．
最初は作業はうまく行くように思えた．雑然とした感覚が少しずつとれて頭の中にある種のまとまりを描けるようになって来たからである．１ヵ月ほどで，すでに得られている諸定理は予想以上に整然と並べられた．それは誠に簡明で美しくもあった． しかし，しばらくして「うまく行った」という思いと同時に「これだけの結果なのか」という思いも募り始めた．「情報スペクトル的方法」と大袈裟に銘打ちながら，その結果得られる諸定理が「これだけなのか」という物足りなさと一種の失望感である．極めて見通しのよい広大な地平は開けた．そのことは諸々の事物を１つの統一的視点から眺めるための「一般理論」を再構成するためには確かに重要なことである．しかし， 「広大な地平」が眼下にただ横たわっているだけというのでは，眺望がいかに素晴しくとも「一般理論」としては何とも寂しいではないか．「論理的に深い」強固な建築物が要所要所にそびえ立っていればこその「広大な地平」であろう．そのようなことが直ちに実現され得ないにしても，少なくとも，それを確実に予感させるような礎だけは築いておきたいではないか．
このような思いに苛まれ行きつ戻りつしながらも，最初の「確かな手応え」を感じたのは１９９６年も暮れのことであった．
可算無限アルファベットを持つ一般情報源に対する固定長情報源符号化誤り確率の最適指数（すなわち，信頼性関数）を与える一般公式の導出に成功したのがそれである．これは望外の喜びであった．従来は，情報源アルファベットが有限でしかも情報源が定常無記憶の場合以外は，信頼性関数導出のための方法論が全くなかったからである．その日は「情報スペクトル的方法」の「初勝利」を祝って杯を挙げ心いくまで酔いしれた．翌日は余勢を駆って，同じ考え，すなわち「情報スペクトルの切り出し」という手法を仮説検定における第２種誤り確率の最適指数決定問題に試してみた．すると，これもまた面白いように求める一般公式が出て来たではないか．それならばと，さらに，通信路符号化の信頼性関数決定問題にも同じ手法を実行してみるとこれもあっさり行ってしまった．要するに，これらの問題は見かけは異なっていてもその根は同じだったのである．この頃には興奮もその極に達していて，誰彼となく掴えては「これがいかに素晴しいか」ブチまくった．
しかし，このことは，その後ずるずると結局１年間に亘って繰り広げられた修羅場の序曲に過ぎなかったのである．それは思えば奇妙で希有な１年間であった．真理の「玄妙さ」に魅了され，しかし凡俗の「非力」に絶望し，また未知への「不安」と「憧憬」に翻弄され続けた長い長い１年間であった．精神的には高揚の大波に襲われたかと思えば失意のどん底に突き落とされ，肉体的には何度も物理的限界を越えて憔悴の極に達し苦悩の挫折を繰り返した１年間だったのである．しかし，ここではそれらの１つ１つについて書き留めることは差し控えよう．それが本書の主旨ではないからである．そういう話は志を同じくする「我が友」と俗世を離れて一献傾けながら，研究生活３０年を振り返って『極道』を語らう時にでも取っておこうではないか．
さて，ここで「情報スペクトル的方法」の特質をなす幾つかの理論的要点について断片的に触れておこう．「断片的」というのは「情報スペクトル的方法」というものが，名前が先行してその「本体」が結局何なのか未だ全貌が掴めないからである．そういう意味では，本書の題は「情報スペクトル的方法を目指して」とでもいったものにした方がよいのかも知れない． それでも，今の所分かっている幾つかの特質を「断片的」にでも把握しておくことは，これから進むべき方向を模索するために無駄ではあるまい．
誤り確率の最適指数（信頼性関数）決定問題で「情報スペクトル的アプローチ」が一般的に有効であることは上で述べた通りである．これは今にして思えば， この種の問題に混在している「情報理論的側面」と「大偏差理論的側面」を徹底的に分離することによって，情報理論的定理の「一般性」を最大限に追及したものと解釈することができる．つまり，いままで渾然一体であった２つの側面を峻別することによって，どこまでが「情報理論」の守備範囲でありどこまでが「確率論」の守備範囲であるかを明確にしたものと言うことが出来るのである．そのことが予想外の「一般性」を引き出した要因に他ならなかった．ところで，上述の「情報スペクトルの切り出し」という概念は，情報理論ですでにその威力が実証済みのCsisz¥'ar and K¥"ornerによる「タイプ概念」の極めて自然な一般化と看做し得る．その一方では，後者が有限アルファベットの定常無記憶情報源だけに有効な「特殊概念」であるのに対し，前者は可算無限アルファベットのどのような（非定常でもよく，非エルゴードでもよく，また整合性条件を満たさなくてもよい）情報源にも適用できる「一般概念」であるという点にも注目されたい．また，「情報スペクトル」という立場からすれば， 後者がスペクトルの分布が１点に集中した「１点スペクトル」のみを扱っているのに対して，前者は 「広がりをもった任意のスペクトル」を扱っている．そういう意味では，両者はその視野の広さにおいて画然と異なっているのである．
次に，「混合情報源」および「混合通信路」という概念の情報理論的重要性について述べておこう．勿論，これらの混合情報源・混合通信路はこれまでの情報理論の歴史においても多くの研究者によって活発に研究されて来たものであるが，「情報スペクトル」という立場から見ると，その意味がより明確になるのである．つまり，従来の情報理論の殆どの定理が典型的にはエルゴード性や漸近等分割性に代表される「大数の法則」にその成立基盤を置いていたが，これは「情報スペクトル」の立場から言えば，いわば，広がりを持たない「１点スペクトル」に要約される性質である．巷間で「情報理論とは大数の法則なり」と言われた由縁である．その「唯一の例外」が混合情報源や混合通信路であった．しかし，それが「例外」であるということも，また，「どのように例外」であるかということも，情報理論研究者の間で明確に認識されていた訳ではない． たとえば，定常情報源と言えば情報理論のどの教科書にでも書かれている誠にありふれた情報源であるが，これが混合情報源の一種であること自体は既に知られていたものの，エルゴード情報源とは「質的に異なったもの」であるという明確な認識はなかった． 筆者自身もそのようなことを自覚的に認識したのは「情報スペクトル」の立場に立って眺めたときが初めてであった．すなわち，混合情報源や混合通信路は「１点スペクトル」ではない，つまり「大数の法則」で律することのできない，「広がりを持ったスペクトル」的構造によって特徴づけられる情報符号化システムであったのである．したがって，これらの符号化システムは，ごく自然に「情報スペクトル的方法」へと発展する芽を内包していたのである．このような理由から，本書では混合情報源や混合通信路に関する事項を要所要所で重点的に取り上げ，可能な限り一般的な形の定理を追及した．
以上で，「１点スペクトル」と「広がりを持ったスペクトル」という対比を強調したが，たとえ「広がりを持ったスペクトル」を有する情報源や通信路であっても，情報源の最適固定長符号化レートや通信路の通信路容量など情報理論固有の操作的量を規定するものは，実際には，「広がりを持ったスペクトル」の分布の形そのものではなく，「広がりを持ったスペクトル」の上端や下端の値だけであることが判明している．情報理論における種々の基本定理はこのような上端や下端の値だけを用いて極めて簡潔かつ一般的にしかも極めて美しく記述されるのである．Slepian-Wolf 情報源符号化や多重アクセス通信路などの多端子符号化システムもその例外ではない．これは「情報スペクトル的方法」の基本的成果であるといえよう．
それはそれで見事というべきであろう．しかし，情報理論ではいつでも「スペクトル」の上端や下端の値だけで用が済んでしまうというのであろうか．それならば，折角「広がりを持ったスペクトル」という概念に至っても，「スペクトルの分布の形」そのものは無用の長物ということになるのであろうか．それでは振り上げた拳のやり場に困るではないか．この疑問はかなり長い間筆者を苦しませた．
ところが，実は「スペクトルの分布の形」そのものは情報理論的に重要な意味を持っていたのである．この疑問に答える鍵は「乱数生成問題」の中にあった．「乱数生成問題」も古くから情報理論の１分野と看做されていたが，それは情報理論本流の問題というより，情報理論の手法が適用できる「関連した問題」といった扱いであった．そして，近年になって 「情報源符号化問題」との幾つかの関係が次第に指摘されるようにはなっていた．しかるに，ここでも「乱数生成問題」は「大数の法則」に成立基盤をおいた「１点スペクトル」の問題に限定されていたと言えよう．これに対して，「一般の分布」を持つ乱数を変換してもう１つのやはり「一般の分布」をもつ別の乱数を作り出す問題を考えると問題の性格が一変して，「広がりを持ったスペクトル」の「分布の形そのもの」が本質的意味を有するに至るのである．すなわち，「乱数生成問題」は「情報スペクトル的方法」の重要な適用対象の１つであることが判明したのである． ここでも，「情報スペクトルの切り出し」という操作が鍵となって一般理論の理論展開が可能になった． そのため，本書では「乱数生成問題」に関する一般定理の体系的記述に独立した１章を当てた． 「乱数生成問題」を「情報スペクトル」の立場から眺めてみると，色々のそれ自体興味ある定理に導かれるだけでなく，「情報源符号化問題」とのより深い内在的な関係も明らかになって来た．たとえば， 固定長情報源符号化の過程では情報源の「情報スペクトルそのものが保存される」ということに気がついたのがそれである．このことは従来にはなかった（「情報スペクトル」という概念自体がなかったのだから）全く新しい認識であって，その結果，情報源符号化問題と乱数生成問題との間を「情報スペクトル」という概念を媒介にして結びつける新たな定理が１つ得られたのである．さらに言えば，固定長情報源符号化の $¥vep$-符号化レートや通信路符号化の$¥vep$-通信路容量を求める問題でも，「情報スペクトルの分布」という立場から眺めて初めて「一般公式」を得ることが可能になったのであり，また，第３章の情報源・通信路結合符号化問題でも，「情報スペクトルの分布の形」そのものが本質的に重要な意味をもつことが判明したのである．とくに，第１章から第５章までを通じて随所に現われる「情報スペクトルの切り出し」という新技法は情報スペクトルが「広がりを持って分布している」ような場合にこそその本来の威力を発揮するテクニックであることを強調しておくべきであろう．
マルチメディアとの関連で，レート・歪み理論は近年ますます盛んに研究されるようになって来たが，レート・歪み理論は，歪み基準を最大歪みにとるか平均歪みにとるかで２つに分かれ，さらに固定長符号を用いるか可変長符号を用いるかで２つに分かれるので，合計４種類のレート・歪み関数を考える必要がある．情報源がエルゴードで歪み測度が加法的（あるいは，劣加法的）な場合に対する研究は歴史的に長い伝統もあり，その取り扱いについては「定石」があって何の問題もないのであるが，何の制限もない一般の情報源と一般の歪み測度を考えると，４種類のレート・歪み関数はすべて異なったものになり，事情は一変する．最初は，一般論を展開する必要性から情報源アルファベットの有限性を仮定せざるを得なかったが，これが全く不満であった．というのは，「連続」な情報源アルファベットに対する符号化理論としてこそレート・歪み理論の真の存在意義があったからである．それにもかかわらず「一般理論」などと喧伝しようと言うのでは，まるで「ガマの油売り」，「大道香具師の口上」のようなものではないか．ならば，レート・歪み理論の「一般論」などとほざくのは程々にせい，笑止千万，穴にでも入りたい心境であった．この苦境を脱すべく，もがきにもがいたけれども，これが全くの難物であった．しかし，救いは疲れ果てて放心状態に陥っていたときにやって来た．歪み測度の「一様可積分性」（平均歪みの場合）という「阿呆みたいな」アイデアがそれであった．しかし，これはそれまでのエルゴード情報源に対するレート・歪み理論でお馴染みの「reference letter」という仕掛けの非常な一般化になっていた．これで，レート・歪み理論の「一般論」に関する難問は直ちに雲散霧消して，情報源アルファベットも歪み測度も何でもよい「任意のもの」で良くなってしまったではないか．感ここに極まれりであった．レート・歪み理論においてもやはり「情報スペクトル」という観点が極めて有効で，しかも，可変長符号化の場合の一般公式の導出では，「情報スペクトルの切り出し」という必殺技がここでも決定的な役割を果たすことが分かったのである．やはり，「ホラ」は吹いて見るものである．辻褄を合わせるために四苦八苦もがいているうちに，それはいつか「現実」になるかも知れないのだから．とにかく，これで４種類のレート・歪み関数に対する「一般公式」がすべて出揃った．このような「一般公式」はそれ自体，符号化の理論的可能性と限界を提示してくれるという点で意味があるばかりでなく，現今のように世界中の研究者が血眼になってその「実現アルゴリズム」を追い求めている渦中にあって，それらの位置と座標を写し出す「姿鏡」の役割を果たしてくれる筈である．
今まで「情報スペクトル的方法」の幾つかの具体的事例について述べてきたが，この辺で，そもそも「情報スペクトル的方法」を考える端緒を与えたのがAhlswede and Dueck の「同定符号」であったことを指摘しておくべきであろう．「同定符号」とは通信路符号化での信頼性を多少緩和することによって，伝送可能な通報の個数がブロック長の２重指数関数になるという誠に驚くべき符号であった．この結果は従来の情報理論の常識に全く反するもので，情報理論の「伝統的枠組み」の中に「同定符号」をどう位置づければよいのか，凡俗の理解をはるかに超えていた．筆者も凡俗の１人として，その本質を何とか理解すべく悪戦苦闘したが，原著論文の証明はおよそ「証明」などといった生易しいものではなく，それはまるで著者の「哲学」の表明のようなものであった．丁度その頃， 米国Princeton 大学での在外研究の機会を得た筆者は研究の焦点を この「同定符号」の本質究明に絞ることにした．ところが，最初の半年間は，筆者のそれまでの情報理論的知識の集積（２０有余年にわたる研鑽の結果！）も「同定符号」という鉄壁にぶち当たってはことごとく粉砕されるという惨状の中で過ぎ去った．まことに無惨であった．しかし，そのような半年間があったればこそ，ようようにして「悟り」に至ることができたのである． すなわち，「同定符号」の本性とは，本来的に「非エルゴード」かつ「非定常」な情報構造の表現であって，それまでの「常識」であったエルゴード性に代表される「大数の法則」の世界とはまるで縁も縁りもない得体の知れない代物だったということである．そこで，気持ちを取り直しイチかバチかですべての常識を捨てて挑んだのが「同定符号の強逆定理」の証明であった．結論を言えば，この定理の証明を通じて初めて，本質的に「非定常非エルゴード」な未知の世界に歩み出すための術を辛うじて会得したといえようか．しかし， その本質がまさに「広がりを持った情報スペクトル」であるという明確な認識を獲得するには，通信路Resolvability （通信路出力の分布近似問題）に関する次の論文（Han and Verd¥'u）の執筆まで待たなければならなかった．この論文が結局，本書執筆の出発点になったのである．その意味でも，この論文は全く新しい未知の世界に筆者の眼を開いてくれた筆者にとっての「記念碑的論文」である．その当時は，ある高名な研究者が言ったように，「神は真理をびっしり書き込んだ書物のほんの１，２ページを気紛れに研究者に垣間見せてくれることがある」ということが本当にあるのかも知れないと本気で思ったりもしたものである． それはとにかく，そのような意味を持つ「同定符号と通信路Resolvability 」の記述に，「情報スペクトル的方法」と銘打った本書で，独立した１章を当てたのは当然といえば当然であろう．
これで「情報スペクトル的方法」に関する理論的要点は尽くしたつもりであるが，最後に強調しておきたいのは，「情報スペクトル的方法」に基づく「一般論」は，情報源の情報源アルファベットの有限性や通信路の入出力アルファベットの有限性を全く必要としないという点である．言い換えれば，「情報スペクトル的方法」は「任意」のどんなアルファベットにも適用可能である．このような「一般性」も「情報スペクトル的方法」の著しい特質の１つをなしている．
今はとにもかくにも，本書の執筆を終えていわば心の「平安」を しみじみ噛みしめている．これでついに「やり遂げた」という充実感と やっと「終わった」という虚脱感の間を漂う感覚である．しかし， 「やり遂げた」といっても，これはあくまでも一種の精神的高揚の余韻の中での主観的表明に過ぎない．「情報スペクトル理論」はまさしくその緒についたばかりであり，本格的展開はこれからに待たねばならない．その評価は読者諸賢のご批判に委ねるべきであろう．厳正な審判を待ちたい．
ここで，本書の成立に深く関わった人達の事について記しておかなければならない． 本書のような無計画極まりない書を完成させるためには，その過程で 周囲の深い理解と暖かい励ましが必要不可欠であることは言うまでもない．しかも「目的地」というものがまるで見えない当所なき航海を共にする覚悟が要求される．１年間という長期間に亘り，「スペクトル」に取り付かれて本書執筆に没頭し，家庭におけるあらゆる義務を放棄して来た「不良亭主」を許し続けた我が妻に心からの『感謝』を込めてこの書を捧げたい．彼女の協力なしには，この書は日の目を見ることはなかったであろう．
それでも，この１年間，執筆の途中で何回か危機的状況に見舞われた．そのようなときに，まるで我が事のように，まるで身内のように，親身になって時間と労力を惜しまず支え続けてくれたのが，小林欣吾教授と星守教授であった．慰めも助言も苦言も戴いた． このような得難き『朋友』に恵まれた幸せに感謝したい．それに加えて，電気通信大学IS独立大学院における同僚からの暖かい励ましを忘れてはな
また，筆者の研究室の院生D2の浜田充君による献身を記しておかなければならない．筆者が大量の手書き原稿を前にして，それをどうTeXにしようか途方に暮れていたとき，時間と労力の掛かるその膨大な仕事を「勉強のため」と自ら進んで引き受け，黙々とTeX打ちをやり遂げてくれたのが浜田君である．同君によるこの献身がなかったならば，本書の完成もいつのことやら見当すらつかなかったであろう． 浜田君の苦労を見るに見兼ねた同院生M2の猪股浩司郎君もTeX打ちの手伝いをしてくれた．さらに，同院生M2の林勝美君は図面描きを引き受け素晴らしい「絵」を仕上げてくれた．あわせて深謝したい．
最後に，長岡浩司助教授から受けた「学問的影響」に触れておかなければならない．同助教授は類まれなる学問的才能の持ち主で， 問題に対する透徹した洞察力と本質を最も簡明な形にして抉り出す明晰な展開力に秀でていた．身近で直接これらに触れて筆者は多大の影響を受けた．本書の第２章「乱数生成」にも 同助教授によるセンスの良い貢献が含まれている． その他の所でも貴重な示唆を多数いただいた． 筆者自身，つい４，５年前までは，「情報スペクトル理論」が果たしてどれ程のものであるのか見当すらつかなかったが，その当時から「情報スペクトル理論」の価値を見通して，「情報スペクトル理論」の執筆を筆者に慫慂し続けたのも同助教授であった．元来軽薄な筆者はその慫慂に疑問を呈しつつも実は確実に影響されていたのであろう．ここに，学問上の「良き理解者」を得た 喜びを込めて長岡浩司助教授に感謝を捧げたい．同助教授は現在， 米国Princeton 大学に滞在中で，２１世紀の情報理論といわれる「量子情報理論」の体系的構築に全情熱を傾け没頭している最中である．同氏の成功を祈ってこの序文を終わりにしたい．
IS新棟にて初秋の富士山を望みながら
韓太舜（Te Sun HAN） 記