韓 太舜 教授 (Prof. Te-Sun Han)

出版論文（査読付）の概要

Kron の Diakoptics の立場から回転電気機械に対する non- Riemannian dynamics の理論を構築し、torsion tensor によって 回転電気機械における整流作用が統一的に表現できることを示した．

聴音感覚は１次元ではなく、loudness, pitch,volume, brightness などから なる多元性を有することは、心理物理的実験により示された． 本論文は、これらの心理物理的実験データに基づき、その次元や空間構造を 明らかにしたものである．とくに、聴覚空間が二つの２次元射影空間を つないだ構造をもつことを定量的に示した．ここでは、実験的に得られた 等感覚曲線に基づいた解析が重要な役割を果たした．

相関をもつ多変数が与えられた時、任意の部分変数に対してエントロピーが 定義されるが、それらは同時分布の汎関数としてベクトルをなす． 本論文では、これらのベクトルがなすベクトル空間の線形構造を明らかにした． 特に、一次独立性や次元を明らかにした．

確率的多変数の２次形式の極小２次形式への分解を考え、これらの 極小２次形式はもとの確率的多変数が正規分布に従うとき、 一般化されたχ²分布に従うことを示した．また、変数に関して 対称な２次形式の極小２次形式への分解は統計学でよく知られた 分散分析に一致することを証明し分散分析の正当性を示した．

エントロピー空間の対称ベクトルからなる対称エントロピー空間の次元を示し、 その基底を構成した．その部分空間として非負ベクトルの全体をその凸結合として 表すための非負基底を一意的に構成した．これによって、多変数の間の対称な 相関を非負ベクトルの間の凸結合として一意的に表現することができた． また、多変数の間の関係をブール束として表し非負エントロピー間の双対性を示した．

多数の符号器と一個の復号器を有する多重アクセス通信路にあるクラスの 相関をもつ多重情報源がつながれたとき信頼性のある通信を可能にする 必要十分条件を求めた．それは、組み合わせ理論における polymatroid と co-polymatroidの間の整合条件として表されることが解かった． この結果は従来の定理の一般化である．

多数の符号器と一個の復号器を有する多元情報源符号化システムのおいて、 相関のある多数の情報源が一対一ではなくクロスに観測されるときの 信頼性のある復元を可能にするための必要十分条件を求めた． ここで、co-polymatroid の端点定理を用いることにより従来の特別の場合の 証明の正当性も示した．

多数の符号器と多数の復号器からなる各種の情報源符号化システムを 統一的な枠組みを設定して考察し、従来個々に研究されていた各システムの 符号化法に対する統一的証明法を確立した．

多変数確率データに対しては、McGill の意味での多重相互情報量が定義できる． 一方、多変数確率データは frequency data の形で表される． そこで、これらの二つの量の間の関係を求め、各種のデータの間の各種の独立性を 多重相互情報量をもちいて検定することができることを示した．また、これらの 統計量が一般化χ²-分布に漸近的に一致することを示した．

独立な多数の通信路からなるネットワークと相関を有する多元情報源を考え、 それに対する Slepian-Wolf-Cover の情報源圧縮定理を証明した． ここでは、ネットワークに対する Meggido の定理（最大流＝最小カット定理の 一般化）と polymatroid と co-polymatroid に対する端点定理を用いた．

多数の符号器とそれらに対応する多数の復号器を有する干渉型通信路に対する 許容伝送率領域を求めた．この許容伝送率領域は従来得られていた 許容伝送率領域を新しい符号化法を導入することにより拡張したものである． その後も、この許容伝送率領域を越える研究は発表されていない．

一個の符号器と多数の復号器からなる放送型通信路（何人もの人が一個の 符号器を使って同一の通信路上でそれぞれの相手にそれぞれの通報を送り届ける） が共通通報をもっている場合を考える．一般の放送型通信路に対する最適な 許容伝送率領域を求める問題は未解決であるが、本論文では、通信路が 非確率的である場合の最適な許容伝送率領域を決定した．

McGill の多重相互情報量が同時に取りうる値の集合を決定することは、 それまで研究されていなかったが、ここでは、任意に指定された非負の値の集合を 取りうること、３重以上の多重相互情報量は任意の負の値を取りうることを証明した．

Shannon は条件付きエントロピーによって距離（三角公理を満たす）が 定義できることをしめしたが、本論文では、Shannon の距離がある自然な条件の下で 一意的であることを 証明した．さらに、多変数の部分エントロピーの一次結合が 非負であるための一つの十分条件を与えた（これは３変数の場合には必要条件に なっていることも示した）．後者は対称エントロピーの一次結合が非負であるための 必要十分条件の一般化になっている．

本論文は多重アクセス通信路を介した情報源符号化の問題、とくに、 その情報源と任意の相関をもつもう一つの情報源が多重アクセス通信路の 他の符号器を通して補助情報として利用できる場合の情報源と通信路との 整合条件を求めた．ここでは、情報源の間の相関を保存する符号化という 新しい概念が重要な役割を果たしている．さらに、関連する種々の問題を解決した．

通常の通信路では送信者が受信者の通報を送るという一方方向の通信が 想定されているが、Shannon の考案した二方向通信路では二者が互いに しかも同時に通信をしあう．そのような二方向通信路に対する最適な 許容伝送率領域を求める問題は未だに未解決であるが、本論文では、 Shannon の与えた許容伝送率領域に対する内界を拡張するための 新しい符号化法を与えた．

情報理論では typical sequence という概念が基本的な役割を果たすが、 とくに、joint typical sequence が確率変数間の相関を表現するのに 適していることが知られているが、ここでは、 その拡張である partially joint typical sequence という概念を導入して 相関の指標である maximal rectangular subsets を決定した．

二つの情報源 X, Y が独立に符号化されるが、復号器の目的は X, Y を そのまま復元することではなく、ある関数 F(X, Y) の値を得ることである． このような問題は多元情報源符号化の新しい側面を定式化したものであるが、 本論文はそのための許容レート領域が Slepian-Wolf 領域に いつでも一致するための必要十分条件を決定したものである．

任意の相関をもつ通報を放送型通信路を通して送る問題を設定し、 信頼性のある送信のための情報源と通信路の整合条件を一つの十分条件として 与えた．これは、従来の Marton の定理の拡張である．

従来、情報源符号化と統計的推論の問題は相互に独立に研究されて来たが、 ここでは、多元情報源が許されたレートのもとでそれぞれ独立に圧縮され、 復号器がそれらの符号化された情報をもとに統計的仮説検定を最適に行なう問題を 考える．本論文は、第一種の誤り確率がある定数内に抑えられたときの達成可能な 第二種の誤り確率指数の下界を示し、それが Ahlswede-Csisz'ar の下界より 優れていることを証明した．

多元情報源からの情報が与えられたレートの範囲で独立に圧縮され、 復号器はそれらの符号化データのみを観測できる場合の統計的検定問題を論じた． ここでは、第一種の誤り確率がブロック長の指数関数で抑えられる場合の 第二種の誤り確率指数の下界を与えた．とくに、多元情報源からの情報が 各符号器によって１ビットに圧縮されるようなゼロ・レート問題に対する 最適な第二種の誤り確率指数を決定した．

単純仮説検定問題に対する Hoeffding の定理の双対問題を論じた． 第一種の誤り確率がブロック長の指数関数で抑えられる場合の指数関数の 指数がある値より大きいときは、第二種誤り確率は指数関数的に１に近づくが、 この収束速度を表す最適な指数を決定した．この結果は Blahut の部分的定理を 完成したものである．

多元情報源圧縮システムにおける仮説検定問題を微分幾何学的な立場から論じた． とくに、最適な検定力指数を定めることが微分幾何学における二種類の測地線 （即ち、＋１測地線とー１測地線）による射影を行なうことと等価であることを 示した．

可変長フイードバック符号の種々の性質を調べた．その中で、 可変長フイードバック符号の通信路容量はフイードバックをもたない 固定長符号の通信路容量に一致すること、通信路がある条件をみたすとき 可変長フイードバック符号の通信路容量は無誤り通信路容量に一致すること、 などを示した．さらに、多端 子通信路への一般化を証明した．

復号誤り確率の最適な誤り指数を決定する問題は通信路符号化における 長年の未解決問題の一つであるが、本論文では、ハミング空間における 二つの球の交わりの体積を球の距離と半径の関数として表現する新しい手法を 示し、それに基づいた誤り指数決定問題への新たな方法を提示した．

Ahlswede-Dueck は従来の Shannon による通信路伝送符号とは全く考え方の 違う identification 符号（＝ＩＤ符号）を考案したが、彼らは逆定理の証明に 問題を残した．本論文は、ＩＤ符号についても強逆定理が成立することを証明し、 さらに、ＩＤ符号の自然な結論としてアドレスと通報を重ねて送るＩＴ符号を 提案しその性能が優れていることを示した．

相関を有する多数の情報源を指定されたレート以内で符号化する問題は、 近年大いに盛んになっている分散信号検出・推定システムに対する研究のうちで 最も基本的な問題を成しているが、一般のレートが与えられたとき、その条件下で 最適な信号検出・信号推定を達成する符号器と復号器を設計することは未解決である． しかし、情報源と信号推定としてある条件を満たすものだけを考えると、 最適問題が完全に解ける場合がある．本論文では、情報源として最もよく現われる 同時 Gauss 分布（分散は同一）を仮定してその平均値を検定する問題を考え、 漸近的の無視できるレート（ゼロ・レートという）のもとでも情報源出力を 完全に利用できる場合と同等の信号検定が可能であることを示した．また、 そのためのアルゴリズムも与えた．

Shannon 以来の情報理論のほとんどすべては、定常情報源や定常エルゴード情報源を 仮定した上で、その場合に成立する大数の法則や漸近等分割性に立脚した論理展開が 行えることに論理的成立基盤があった．このことは情報源符号化ばかりでなく 通信路符号化に対しても言えることである．本論文では、 定常性やエルゴード性を 全く仮定しない最も一般の情報源として整合性をも満たさない「一般化情報源」に 対する符号化問題を研究した．そのために、「情報スペクトラム」という 新しい視点に基づいて、確率的上極限・確率的下極限という概念を導入し、 一般化情報源の符号化問題を解決した．次に、このような立場が乱数生成問題と本質 的な関係を有することを示し、通信路を通した乱数生成問題（出力分布の近似理論） を新たに提起した上でこの問題に回答を与えた．さらに、この問題と Ahlswede-Dueck による同定符号とが表裏一体の関係にあることを明らかにし、 強逆性を満たす任意の通信路の同定符号容量を決定した（強逆符号化定理の証明）． とくに、本論文で導入した resolvability は Shannon の通信路容量と 双対の関係にあり、強逆性を満たす通信路に対しては両者は一致することも示した． 以上を要するに、本論文は情報理論の適用対象を飛躍的に拡大し、そ の研究のための基本的武器を提供したものである．

離散定常無記憶通信路の各入力文字には条件付確率分布が定まる．これを１つの ベクトルと見なすと、すべての入力文字にわたるそのようなベクトルの集合の 階数が入力文字の個数に等しいとき、離散定常無記憶通信路は full-rank であると 言われる．本論文はこのような full-rank 離散定常無記憶通信路を考え、 その出力分布の近似問題を考察した．とくに、この場合には、一般の通信路とは 異なり、出力分布がほぼ一致するような２つの入力分布によって生起される 情報スペクトラムはほぼ一致するという著しい性質を持つことを証明した． また、入力ごとの通信路 resolbability も決定した．

定常性やエルゴード性を全く仮定しない最も一般の通信路（一般化通信路）の 通信路容量を与える公式を情報スペクトルの立場から導いたものである． そのための技術的な鍵は、符号化順定理の証明に使われる Feinstein の補題と 丁度双対な形をした符号化逆定理を導いたことにある．この逆定理は 情報スペクトルの立場からは極めて自然にしかも極めて簡単に証明される． また、ε-通信路容量を与える公式もこの立場から容易に導かれる． ここで導いた容量公式は極めて一般的なもので、原理的には、従来研究されてきた 様々な通信路モデルをすべて特別の場合として含んでいる．このように 一般的な通信路に対する容量公式が本論文によって確立されたことの意義は 大きいと思われる．

符号化の逆定理の証明に重要な役割を果たす Fano の不等式をより広い立場から 考察し種々の一般化を示した論文である．とくに、仮説検定やベイズ理論の立場から 導かれる諸性質に的を絞って議論を行っている．

相関を有する情報源に対する符号化問題は Slepian とWolf によって初めて 定式化され解決されたが、ここで情報源の生起確率は符号器・復号器にとって 既知であると仮定されていた．本論文は、この条件が満たされない場合に 提起されるユニバーサル符号化問題を扱ったものである．ここでは、符号化誤りの 指数決定に焦点を絞り、符号化レートが Slepian-Wolf 領域の中にある場合と 外にある場合の符号化誤り指数を定めた．とくに、外にある場合に、 正しく復号される確率の最小指数をレートの関数として完全に決定した．

相関を有する情報源のパラメータ族が与えられていてそれを指定されたレートで 符号化する状況を考える．ただし、実際に働いているパラメータ t の値は 符号器・復号器にとって未知であるとする．符号化の目的は復号器が パラメータ t の出来るだけ精度の良い（分散の小さい）推定量 ^t を 構成できるようにすることである．本論文は、この問題を解くための一般的な 枠組みを与えた上でデータ・タイプに基ずく最尤推定量を構成したものである． とくに、この仮定でデータ圧縮という操作が射影子として把握できることを 明らかにしており、この種の問題の理論的な出発点を与えている．

複数（有限個）の情報源がその事前確率とともに与えられたとき、情報源が 出力するデータを見て実際に働いている情報源を推定する状況を考える． 問題は推定の誤り確率の指数を決定することである．本論文はこの問題を解いた上で 事後分布の条件付エントロピーの値と推定の誤り確率の値が漸近的に一致することを 明らかにした．

情報源の確率分布が符号器・復号器にとって未知である場合の ユニバーサル符号化問題を考えると、符号器のレートが情報源のレート・ 歪み関数より小さい場合には、どのような符号化を行っても再生歪みが 指定された歪みより小さくなる確率は漸近的に 0 に近づいてしまうが、 本論文はこの確率の最小指数を決定した．

正の整数全体をアルファベットとする情報源の Huffman 符号化は一般には 不可能であるが、情報源の確率分布がある適当な条件をみたすときには、 それが可能であることがある．この種の問題は Gallager-van Voorhis 等によって 研究されたが、本論文では、これらとは異なる新しい形の確率分布を考えると、 それらに対しても Huffman 符号化が可能であることを示した．また、一般に 符号木が最適であるための条件を３つ示し、それらが互いに等価であることを 証明した．

万能チューリング機械のプログラムに対してその「コスト」というものを考え， 任意の出力系列に対してそれを出力するプログラムのコストのうちで最小のものを 出力系列のコスト付 Kolmogorov 複雑量と呼ぶ．そこで，任意の確率過程を考え， その長さが n の部分列に対する Kolmogorov 複雑量の期待値を考えるとこれは 部分列のエントロピーを定数（コストに依存して決まる定数でコスト容量と呼ばれる） で割ったものとある定数（長さ n によらない）以内で一致することを示した． これは Cover 等による等コストの場合の拡張になっている．また，任意の 計算可能な確率過程に対してそれをコスト付普遍確率として実現する チューリング機械が存在することも示した．

ある任意の確率分布をもつ一般化コインを独立に何回か振りながらある定められた 確率分布をもつ乱数を生成する問題を乱数生成問題というが、従来は乱数生成のための 一般的で能率の良いアルゴリズムは知られていなかった．本論文では、区間法という 極めて簡単で一般性のある乱数生成アルゴリズムを提案し、その性能に対する下界と 上界をコインと乱数のエントロピーを用いて記述した．さらに、区間アルゴリズムを 乱数列を生成する問題に適用するとそれが漸近的には最適であることを示した．

正の整数全体にたいする幾つかのユニバーサル符号化が Elias によって提案されたが、 本論文では、その内の ω 符号と ω* 符号のより精密な上界と下界を与え、 この上下界は非常に大きい整数に対しても数ビットの範囲に収まるような 良い上下界であることを数値実験によって明らかにした．また、ω 符号と ω* 符号に 対応する非有界な探索木の構造も明らかにした．さらに、Stout 符号についても 同様の考察を行った．

任意の情報源アルファベット（可算無限）とその中に値をとる任意の確率変数列から なる一般情報源に対する固定長符号化問題を考え，定常エルゴード情報源に対して 成り立つ「漸近等分割性」の一般化をおこなった．とくに，sub-entropic, super-entropic, strongly super-entropic, entropic, strongly entropic などの 基礎概念を定義しそれらの間の関係を論じたあと一般情報源に対して 「漸近等分割性」が成立するための必要十分条件を与えた．例として， 指数分布に従う情報源，ポアッソン分布に従う情報源，ランダム・ウオークなどを 取り上げている．

任意の確率変数列からなる一般情報源に対して一般の歪み測度に関する 符号化問題を情報スペクトルの立場から論じたもの．符号化としては 固定長符号化と可変長符号化の２つを考え，歪み測度としては平均歪みと 最大歪みの２種類を考えて，これら４種類の場合のそれぞれに対する レート・歪み関数を決定する公式を与えた．とくに，平均歪みの場合の一般公式を 導くために「歪み測度の一様可積分性」という概念を新たに導入して その有効性を示した．これらの４種類のレート・歪み関数は情報源が 定常エルゴードで歪み測度が劣加法的である場合にはすべて一致するが， 定常エルゴードとは限らない一般の場合にはこれらはすべて異なることを 混合情報源を例にとって示した．

This paper presents a survey of the literature on information-theoretic problems of statistical inference under multiterminal data compression with rate constraints. Significant emphasis is put on problems: 1) multiterminal hypothesis testing, 2) multiterminal parameter estimation, 3) multiterminal pattern classification, in either case of positive rates or zero rates. In addition, the paper includes three new results, i.e., the converse theorems for all problems of multiterminal hypothesis te¥ sting, multiterminal parameter estimation, multiterminal pattern classifi¥ cation at zero rate.

The paper deals with the capacity problems for the general multiple-access channel, where the channel transition probabilities are arbitrary for every block length n. The approach used here, which is called the information-spectrum approach, is quite different from the standard typycal-sequence and/or AEP techniques. The general formula for the capacity region for the general multiple-access channel is thus established. In order to examine the potentiality, we apply it to the mixed channel to obtain the formula for the capacity region. The case where input cost constraints are imposed is also considered.

It is shown that the set of deteministic random sequences (of symbols from a finite alphabet) with respect to a computable probability measure ¥mu, in Martin-L¥"of's sense, and the set of deterministic random sequences with respect to another computable probability measure ¥nu are disjoint if ¥mu and ¥nu are different and the measures are either i.i.d. or homogeneous finite-order irreducible Markov measures.

本論文では，3次元空間中に多数の点データが与えられたとき，その背景にある幾何学的図形を推 定する幾何学的モデル推定問題を考える．このような幾何学的モデル推定問題の解決としては，様々なものが考えられるが，金谷はAIC基準を拡張したとしていわゆる「幾何学的AIC基準」なるもの（本論文でほ，他の基準との区別をはっきりさせるために，これを「幾何学的KIC基準」と呼ぶことにする）を提唱し，その基準に基づくづくモデル推定を推奨した．これに対して，本論文ではMDL基準をかく乱母数のある場合に拡張した幾何学的MDL基準を導入し，これに基づくモデル推定を提案する．更にAIC基準の本来の考え方に沿って，それをごく自然に拡張した新しい「幾何学的AIO基準」も導入する．幾何学約モデル推定問題における情報量基準の構築においては，本来モデルそのものを指定することには関係のないパラメータ，すなわち“かく乱母数”を考慮しなけれぱならないという点で，通常の情報量基準の場合と異なっている．本論文では，このかく乱母数に（パラメータを含むある適当な）事前分布を与えることによって幾何学的MDL基準，幾何学的AIC基準の構築を行った．また，幾何学的MDL基準，幾何学的AIC基準による幾何学的モデルF選択の有効性及び金谷の幾何学的KIC基準によるモデル選択の当否を検証するためにシミュレーションを行った．

We show that an optimal source code with a cost function for code symbols can be regarded as a random number generator generating a random sequence (not necessarily a sequence of fair coin bits) as the target distribution in the sense that the normalized conditional divergence between the distribution of the generated codeword and the target distribution vanishes as the block length tends to infinity.

Given a general source ${¥b X}={X^n}_{n=1}^{¥infty}$, source coding is characterarized by a pair $(¥varphi_n, ¥psi_n)$ of encoder and decoder together with the probability of error $¥varepsilon_n$= Pr{¥psi_n(¥varphi_n(X^n)) neq X^n}$. If the length of the encoder output $¥varphi_n(X^n)$ is fixed, then it is called "fixed-length" source coding, while if the length of the encoder output $¥varphi_n(X^n)$ is variable, it is called "variable-length" source coding. Usually, in the context of fixed-length source coding the probability of error $¥varepsilon_n$ is required to asymptotically vanish, whereas in the context of variable-length source coding, the probability of error ¥ $¥varepsilon_n$ is required to be exactly zero (i.e.., $¥varepsilon_n = 0$ for all $n=1,2,...$). In contrast with these, we consider in the present paper the problem of variable-length source coding with asymptitically vanishing probability of error (i.e., $¥varepsilon_n ¥to 0$), and establish several fundamental theorems on this new subject.

In this paper we address variable-length intrinsic randomness problems (in the sense of Vembu and Verdu) for countably infnite source alphabet ${¥cal X}$ under the (unnormalized) divergence distance, the normalized conditional divergence distance, and the variational distance. It turns out that under all three kinds of approximation measures the variable-length intrinsic randomness still takes the same value, called the inf-entropy rate of the source.

The reliability function problems with fixed-lenfth source coding for the general source are studied for all rates $R$. Our fundamental philosophy in doing so is to convert all of the reliability function problems to the pertinent computation problems in the large deviation-probability theory. It turns out that this kind of new methodology, which waas recently developed by Han, enables us to establish quite compact general formulas of the reliability function for general sources including all nonstationary and/or nonergodic sources with countably infinite alphabet. Such general formulas are presebted from the information-spectrum point of view.

The asymptotically optimal hypothesis testing problem, with the general sources as the null and alternative hypothesise, is studied under exponential-type error constraints on the first kind off error probability. Our fundamental philosophy is to convert all of the hypothesis testing problems to the pertinent computation problems in the large deviation-probability theory. This methodologicaaly new approach enables us to establish compact general formulas of the optimal exponents of the second kind of error and correct testing probabilities for the general sources including all nonstationary and/or nonergogic sourcers with arbitrary abstract alphabet (countable or uncountable). These general formulas are presented from the information-spectrum point of view.

　In variable-length coding, the probability of codeword length 　per source letter being above (resp. below) a prescribed threshold is called the overflow (resp. underflow) probability. 　In this paper we show that the infimum achievable threshold given 　　the overflow probability exponent $r$ always coincides with 　 the infimum achievable fixed-length coding rate given the error exponent $r$, 　 without any assumptions on the source. In the case of underflow probability, we also show the similar results. From these results, we can utilize various theorems and]results on the fixed-length coding established by Han for the analysis of 　overflow and underflow probabilities. 　Moreover, we generalize the above results to the case with 　overflow and underflow probabilities of codeword cost.

韓・長岡研のホームページへ