熱力学的エントロピーと情報エントロピーは同じものかどうか(1)

その昔、確か大学生の頃に「エントロピー」という言葉を知った。その際、熱力学の分野で使われる「エントロピー」と情報理論の分野で使われる「エントロピー」という2種類の概念があることを知り、「それを表す式は似ているものの、違う概念である」と習った覚えがある。

この頃、大学の授業もあまりまじめに受けていなかったので（熱力学や統計力学はさっぱり勉強しなかった）、どのような概念かもあまり理解していなかった。ただ、この「エントロピー」という言葉は妙に頭にひっかかった。

それから何年かして、この「エントロピー」という言葉が出てくるものの本を読んでいると、「熱力学的エントロピーと情報エントロピーは同じものである。」と書いてある本に出くわした。どの本を最初に読んだのかは覚えていないのだが、例えば次のような本である。

『熱とはなんだろう温度・エントロピー・ブラックホール……』竹内薫著 (講談社ブルーバックス) P.127　より

それは、分子の状態や熱とともに考えてきたエントロピーという概念が、ここででてきた情報と結びつけられたエントロピー（ネゲントロピー）とまったく同じものなのか、それとも似ているだけで別のものなのか、という疑問である。よけいな混乱の元を断ち切るという意味で、最初に答えをいってしまうと、熱力学的（統計力学的）エントロピーと情報エントロピーは、まったく同じである。こんな風に断言すると、「いや、私は権威ある書物において、このふたつのエントロピーを混同しないように注意してあるのを読んだおぼえがある」と読者の猛反論を受けそうである。だが、もちろん、僕はそういう意見があることを重々承知のうえで、このように断言しているのである。

『エントロピ一入門』杉本大一郎著、中公新書、 P.94 より

現在の技術では、1ミクロン角のチップに 100 万ビットの情報量が記録される。これに対し、このチップが持っている熱力学的エントロピーは 1000 億ピットの程度である (ボルツマン定数の 0.693倍を単位にして測った熱力学的エントロピーは、情報と同じピット単位で表される )。 (中略)こうして、熱力学的エントロピーと情報エントロピーが同じものであるということは、原理的にはおもしろいことではあるが、実際問題では一緒に論じても役に立たないのである。 (中略)この意味で、「熱力学的エントロピーと情報エントロピーはまったく別物であって、情報にエントロピー概念を持ち込むのはけしからん」と言う一部の人たちの主張は間違っている。

『情報理論』甘利俊一著ちくま学芸文庫 P.44 より

つまり、統計力学におけるエントロピーは、微視的な状態がどうなっているのかわからなさの度合を示すもので、やはり対数目盛で計るのである。それゆえ、情報理論のほうで、このエントロピーという用語を借用したのである。両者はもちろん類似の性質をもつが、一応別物と考えてよい。ところで、両者は別物でなく、1つのまとまった物理像を示す統一概念であると、主張することもできる。

それぞれ割と長く引用させてもらったが、それぞれの本は私的には良い本なので、興味を持たれたら読んでいただければと思う。(著者のかた引用させてもらってごめんなさい。)

ちなみに、上記の主張のもとは、1950年代の物理学者レオン・ブリルアンの主張がもとになっている（と思う）。

上記の主張の根拠は、それぞれの本に書かれているのであるが、今一つすっきりしないところがある。少しエントロピーという概念をかじると、「情報エントロピーに温度や熱の概念は関係ないじゃん。どこに行ってしまったの?」とか「情報エントロピーにボルツマン定数はないじゃん。無視してしまっていいの?」とか疑問に思えてくるのである。

これらに答えようとすると、熱力学、統計力学、情報理論を一から勉強する必要があるが、数学的にそこそこ高度な知識が必要となり、一筋縄にはいかない。（少なくとも、私には。）

それをチートするわけではないのだが、簡潔にまとまっている答えらしきものが英語版のWikipediaに載っていた。

en.wikipedia.org

ちなみに日本語版のWikipediaにはない。このゴールデンウィーク、新型コロナウイルス感染症の外出自粛もあって、外に出られず、このWikipediaをdeepL翻訳の助けを借りながら読んでいた。一瞬、翻訳した記事を日本語版のWikipediaに載せようかとも思ったが、めんどくさそうなので止めた。それは置いておいて、このWikipediaの良いところは、「批判(criticism)」も載っていることである。

そんなわけで、もしかしたら足りない頭で理解した「熱力学的エントロピーと情報エントロピーは同じものかどうか」を続いてブログに載せるかもしれない。（ずぼらなので載せないかもしれない。）