熱力学的エントロピーと情報エントロピーは同じものかどうか(2)

エントロピーはよく「乱雑さの尺度」と言われる。ただし、この「乱雑さ」という言い方には「でたらめな、無作為に(at random)」という意味で使われており、日本語としては少々乱暴な使い方に思える。 では、熱力学的エントロピーも情報エントロピーが同じかどうかを問うために、それぞれの「エントロピーとはいったい何なのか」を確認する必要がある。 定義的には情報エントロピーのほうが理解しやすいのであるが、ここでは歴史的経緯にしたがって、最初にエントロピーという用語が使われた熱力学的エントロピーから確認することとする。

エントロピーという用語は1865年にクラウジウスによってはじめて使われた。

熱力学的エントロピーとは、可逆過程において、熱の出入りで変化する状態量のことである。

数式で書くと、次のとおりとなる。

なお、状態量とは、気体の温度や分子の個数を決めれば量が一意に決まる量のことである。熱力学的エントロピーは絶対値は決まらず、変化する量のみが決まる。 （熱力学の第三法則を受け入れてエントロピーの基準点を絶対零度と決めれば別だが、熱力学的エントロピーが考案された1860年代にはわかっていなかったことだから ここでは踏み込まない。）

この説明でわかる人は凄い。説明している自分でもよくわからない。 この熱力学的エントロピー、非常にイメージがしづらく、直感的にわかりづらいものになっている。可逆過程でないと定義できない、また、絶対値がわからない等、 説明に困るのである。

次に、情報エントロピーであるが、確率変数がどの値をとるか言い当てにくさを示す量のことである。言い換えれば、不確定な状況を確定するのに要する平均情報量のことである。

こちらの説明も初見では?となるのだが、離散確率分布がわかっていると、ある確率変数で確率が1(確定)の場合に0となり、すべて等確率で起こる場合に最大となる量ということがわかる。 熱力学的エントロピーより、情報エントロピーのほうが理解しやすい。

情報エントロピーは単に確率論の世界であり、熱力学的エントロピーのように熱も温度もでてこない。定義からしてまったく違うので、まったく別物のように思える。では、なぜ同じものという考えがでてくるのか。

それには、熱力学的エントロピーと情報エントロピーの間に挟まるものを知る必要がある。統計力学的エントロピーである。

(統計力学的エントロピーの話題は自分の手に余るのでしばらく書かないと思います。つぎはエントロピー増大の法則かマクスウェルの悪魔あたりの話題を書く予定。)

ついでと言ってはなんですが、熱力学エントロピーをクラウジウス流に理解しようとすると次の本がわかりやすいと思います。ものぐさものにはカルノーサイクルを順序だてて追いかけるのがめんどくさくなるのです。

単位が取れる熱力学ノート (KS単位が取れるシリーズ)