1. 情報量に求められる性質

事象の起こる確率を $p$ とし，その情報量を $I(p)$ とする．

情報量には，独立な事象について

$$P(A\cap B)=P(A)P(B)$$

であることから，

$$I(pq)=I(p)+I(q)$$

が成り立つことを要求する．

これは，「独立な情報は足し合わせられる」という自然な要請である．

さらに，情報量は確率のわずかな変化で飛び跳ねないよう，連続関数であると仮定する．

---

2. 加法的関数の一般形

ここでは，まず連続関数 $f:\mathbb{R}\to\mathbb{R}$ が加法性

$$f(x+y)=f(x)+f(y)$$

を満たすとき，$f$ は $f(x)=cx$（$c$ は定数）の形のものに限ることを示す．¹

方針は次の二段階である．まず有理数上で $f(q)=cq$ となることを直接示し，次に連続性を使ってそれを実数全体へ拡張する．

(1) 有理数上での線形性

$c=f(1)$ とおく．

自然数のとき． まず加法性で $x=y=0$ とすると $f(0)=f(0)+f(0)$ より

$$f(0)=0.$$

任意の正の整数 $n\in\mathbb{N}$ に対しては，加法性を繰り返し用いて

$$f(n)=f(\underbrace{1+1+\cdots+1}_{n})=\underbrace{f(1)+\cdots+f(1)}_{n}=nc$$

を得る（厳密には $n$ に関する帰納法による）．

負の整数のとき． $f(x)+f(-x)=f(x+(-x))=f(0)=0$ より $f(-x)=-f(x)$ なので，正の整数の場合と合わせて，任意の整数 $n\in\mathbb{Z}$ について

$$f(n)=nc$$

が成り立つ．

有理数のとき． 任意の正の整数 $n\in\mathbb{N}$ に対し，$f(nx)=nf(x)$ が（自然数の場合と同様に）成り立つことに注意する．有理数 $q=\dfrac{m}{n}$（$m\in\mathbb{Z},\ n\in\mathbb{N}$）をとると，$nq=m$ なので

$$n\,f(q)=f(nq)=f(m)=mc.$$

両辺を $n$ で割ると

$$f(q)=\frac{m}{n}\,c=qc.$$

したがって，有理数上では

$$f(q)=cq$$

となる．

(2) 実数への拡張

ここで，関数 $g$ を

$$g(x)=f(x)-cx$$

で定めると，$g$ も連続かつ加法的であり，

$$g(q)=0 \qquad (q\in\mathbb{Q})$$

である．

有理数は実数全体で稠密なので，任意の実数 $x$ に対して有理数列 $q_n\to x$ を取ることができる．² このとき $g$ の連続性から，極限を関数の内側へ通すことができ，³

$$g(x) = g\!\left(\lim_{n\to\infty} q_n\right) = \lim_{n\to\infty} g(q_n) = 0.$$

よって

$$f(x)=cx$$

となる．

すなわち，連続な加法的関数は一次関数に限る．

なお，この結論で「連続性」は本質的である．連続性（あるいは可測性・単調性・局所有界性などの正則性）を一切仮定しなければ，選択公理を用いて $f(x+y)=f(x)+f(y)$ の 病的な（一次でない）解 を構成できることが知られている．⁴

---

3. 情報量への適用

情報量は

$$I(pq)=I(p)+I(q)$$

を満たす．

ここで，関数 $h$ を

$$h(x)=I(e^x)$$

で定める．また $x=\log p,\ y=\log q$ とおく．

$I$ が連続なので $h$ も連続であり，さらに

$$h(x+y) = I(e^{x+y}) = I(e^x e^y) = I(e^x)+I(e^y) = h(x)+h(y)$$

となるので，$h$ は連続な加法的関数である．

前節より

$$h(x)=cx$$

であるから，

$$I(e^x)=cx.$$

$p=e^x$ を代入すると

$$I(p)=c\log p.$$

さらに，確率が小さいほど情報量は大きくなるべきなので $c<0$ である．

そこで $k=-c>0$ とおけば，

$$\boxed{\,I(p)=-k\log p\,}$$

となる．

---

結論

情報量について

1. 独立な情報は加法的である

$$I(pq)=I(p)+I(q)$$

2. 情報量は連続である

という二つの自然な要請を課すと，

$$\boxed{\,I(p)=-k\log p \quad (k>0)\,}$$

以外の形は存在しない．

したがって，情報量として対数を用いることは自然であるだけでなく，連続性の下では本質的に一意である．⁵

---

参考文献

Footnotes

1. 関数方程式 $f(x+y)=f(x)+f(y)$ は Cauchy の関数方程式（Cauchy's functional equation） と呼ばれる．連続性などの正則性条件の下で解が $f(x)=cx$ に限られることの古典的議論は，A. L. Cauchy, Cours d'analyse de l'École Royale Polytechnique (1821) に遡る．体系的な扱いは J. Aczél, Lectures on Functional Equations and Their Applications, Academic Press (1966) を参照． ↩

2. 有理数が実数全体で稠密であること（$\mathbb{Q}$ の $\mathbb{R}$ における稠密性），およびそれゆえ任意の実数に収束する有理数列が取れることについては，有理数・無理数の稠密性の定義とその証明（数学の景色），有理数の稠密性｜実数の「アルキメデスの性質」から証明する（math-note） を参照．後者では稠密性の証明に用いたガウス記号による構成から，実数に収束する有理数列が少なくとも一つ存在することが示されている． ↩

3. 「$g$ が連続なら $q_n\to x$ のとき $g(q_n)\to g(x)$ となる（極限を関数の内側に通せる）」という性質は，$\varepsilon\text{-}\delta$ による連続性と点列連続（数列連続）が同値であることに基づく．証明は 関数の連続（極限）と数列連続（点列連続）の定義が同値であることの証明（趣味の大学数学） を参照． ↩

4. 正則性条件を課さない場合の不連続解（Hamel 基底による構成）については，G. Hamel, "Eine Basis aller Zahlen und die unstetigen Lösungen der Funktionalgleichung $f(x+y)=f(x)+f(y)$," Mathematische Annalen 60 (1905), pp. 459–462 を参照． ↩

5. 情報量・エントロピーを公理から特徴づける議論の原典は，C. E. Shannon, "A Mathematical Theory of Communication," Bell System Technical Journal 27 (1948), pp. 379–423, 623–656（一意性定理は Appendix 2）である． ↩