悪魔の物理学 -情報熱力学入門-

www.youtube.com

YouTube見ていてたまたま見つけた、静岡大学サイエンスカフェの動画。2016年。

マクスウェルの悪魔を題材ににして、情報熱力学の概要を1時間で紹介。マクスウェルの悪魔を説明する前に、前提となる熱力学と統計力学の初歩を丁寧に説明して、初めて聴いても無理のない構成にしており好感が持てる。マクスウェルの悪魔の解決の説明に、シラードのエンジンもランダウアーの原理もでてこないけど、細かい説明は不要な場だからいいのかもしれない。相互情報量については、もう少し説明が欲しかったと思うのはないものねだりでしょうか。

統計検定2級

統計検定2級(CBT方式)に合格したので、その勉強について記録をしておく。本当は11月のマークシート式のほうを受験したいと思っていたのだが、コロナ禍で11月の試験は中止となっため、CBT方式のほうで受験した。

勉強期間は、なんとなく受験しようとおもってから6か月くらい。問題等を解いていたのは3ヶ月くらいかと。

まずは、教科書的なものを読む。ちょうどコロナ期間で街の書店もしまっていたのでAmazonで2級対策用の本を買おうと思ったのだが、なぜか軒並み売り切れていた。そのなかで買えたのが次の一冊。

単位が取れる統計ノート (KS単位が取れるシリーズ)

単位が取れる統計ノート (KS単位が取れるシリーズ)

  • 作者:西岡 康夫
  • 発売日: 2004/11/23
  • メディア: 単行本(ソフトカバー)

単位が取れるシリーズは物理本は何冊か買ったことがあり、わかりやすかったのでこれにした。ただ、内容的には良いのであるが、順列組み合わせやベイズの定理は載っていないので、別の本で補う必要がある。

確率論 講義ノート  場合の数から確率微分方程式まで

確率論 講義ノート 場合の数から確率微分方程式まで

  • 作者:徹, 大平
  • 発売日: 2017/03/18
  • メディア: 単行本(ソフトカバー)

この本はちょっと専門的で統計検定2級だと前半9章ぐらいまでが範囲となるのだが、抽象的すぎずほどよく具体的な例が載っていてわかりやすいと思う。

これらをひととおり読んだら、みんな大好きBelLCurve 統計学の時間をひととおり勉強。たぶん、1ヶ月くらい。

bellcurve.jp

無料でこれだけ内容充実しているのは凄い。

500円を寄付するつもりで、統計検定2級模擬問題集1を買ったけど、問題数も少ないので、統計学の時間の問題だけでも大差ないと思う。

つぎに、統計検定2級 過去問題集を2周した。2か月くらい。

日本統計学会公式認定 統計検定 2級 公式問題集[2017〜2019年]

日本統計学会公式認定 統計検定 2級 公式問題集[2017〜2019年]

  • 発売日: 2020/03/18
  • メディア: 単行本(ソフトカバー)

問題のパターンをみてどのような問題なのかを把握するためにも、過去問題集は必ず買ってやるべき。最初のうちは解法が思いつかないとかよくあるので、その場合は悩まずに答えをみる。たまに、こんなの無理という解法もあるが、そういうのは悩まずに飛ばす。本番では10割の正解は必要なく、6割でよいのだから。

あとは、仕上げに、Qiitaの統計検定2級チートシートを眺める。

qiita.com

qiita.com

期待値、分散、共分散、相関係数、変動係数、二項分布の期待値と分散の式などは暗記する。

あと、電卓は自分でよいとおもったものを買いましょう。

CBT方式の申し込みはホームページからなのだが、座席数が少ないのか、直近の試験は申し込めず、1ヶ月くらい先の試験を申し込んだ。申し込むと勉強のモチベーションも上がるので、1ヶ月間があいてよかったと思う。

本番は筆記具持ち込み不可ですが、紙と筆記具は用意されています。時間が不足しがちになるので、解ける問題を先にすすめるのがよいと思いました。確率あたりは解けたのですが、検定のところが苦手で「落ちたかも?」と思いながら解いてましたが、結果は76点で合格でした。

科学技術の社会史2冊

少し前に、「科学技術の社会史(ちくま学芸文庫)」を読み、しばらくして「科学技術の現代史(中公新書)」を読んだ。どちらも、歴史上の偉人が発明・発見したことをつづる科学技術史ではなく、その時代背景や社会状況との関連を俯瞰的に記したものである。前者がほぼルネサンスから第二次世界大戦までを記述しているのに対し、後者が第二次大戦から現在までを記述している。記述している時代は違うものの、目指しているスタイルは似ており、2冊セットで読むのが良いのではないかと感じた。私自身、科学技術史や科学技術社会論に興味があるのであるが、文章が読みやすくよくまとまっており、どちらも良書だと思う。

熱力学的エントロピーと情報エントロピーは同じものかどうか(4)

今回は前回計算した断熱自由膨張のエントロピーに関して、分子1個の場合を見ていきます。

f:id:guppi524:20200509122816p:plain
分子1個の断熱自由膨張(膨張前)

前回、真ん中に間仕切りのある箱で体積2倍の断熱自由膨張が起こったとき、熱力学的エントロピーはもとの状態の nR \log 2だけ増えることを見ました。分子1個の場合、 N=1なので、気体1モルの分子の個数(アボガドロ数)を  N_A とした場合、分子1個のとき体積2倍の断熱自由膨張は起こると  R/N_A \times \log 2 倍だけ増えることになります。 このときの  R/N_Aには記号と名前がついていて、 R/N_A = kのことをボルツマン定数と言います。意味は分子1個当たりの気体定数です。ボルツマン定数  k を使って熱力学的エントロピーの増分を表すと  k \log 2となります。

f:id:guppi524:20200509122921p:plain
分子1個の断熱自由膨張(膨張後)

ところで、分子1個の場合、箱の間仕切りを取り除いた前後で何の変化が起きたのでしょう。分子1個の運動エネルギーは変化しません。しかし、熱力学的エントロピーは変化しています。起こったことは、分子が存在する可能性のある場所が2倍となったことです。ここで思考の飛躍をともないますが、分子が存在する場所に対しての我々の知識が変化した、ということもできます。

さて、次に分子1個が箱の左右どちら側にあるかの存在確率について、情報エントロピーがどうなるかを考えます。断熱膨張前では、箱の左側にあることが確定していますので、箱の左側にある確率が1、箱の右側にある確率は0です。このときの情報エントロピーは、前々回のブログに記載した情報エントロピーの式  \displaystyle{ H = -\sum_i p_i \log p_i } から

\displaystyle{
H = -(1 \log 1 + 0 \log 0) = 0 
}

となります。(詳しくは書きませんが、確率0の時の情報エントロピーは0とされています。)

f:id:guppi524:20200509122931p:plain
分子が箱の左右どちら側にあるか

これが断熱膨張後だと、箱の左側にある確率が  1/2、箱の右側にある確率も  1/2となります。その結果、情報エントロピーは、

\displaystyle{
H = -( \frac{1}{2} \log \frac{1}{2}  + \frac{1}{2}  \log \frac{1}{2} ) = \log 2
}

となり、なんともとの状態から  \log2だけ増えることとなります。

さて、分子1個が存在する箱の体積が2倍になったとき、熱力学エントロピーの増分が  k \log 2 で、情報エントロピーの増分が  \log 2というのは何か関連があるのではないでしょうか? 同じように見えても、ボルツマン定数  kが違っているからやはり違うものなのでしょうか? そもそもボルツマン定数  kは分子1個あたりの気体定数のほかに意味があるのでしょうか? 今回はここまでにしたいと思います。(続きはもう書かないかも…)

このあたりの話ですが、「ファインマン計算機科学」の第5章 可逆計算と計算の熱力学に詳しく載っています。ファインマン計算機科学、しばらく絶版だったのですが、オンラインブックスで買えるようになりました。いい世の中になったものです。

ファインマン計算機科学 (岩波オンデマンドブックス)

ファインマン計算機科学 (岩波オンデマンドブックス)

  • 発売日: 2020/01/10
  • メディア: オンデマンド (ペーパーバック)

熱力学的エントロピーと情報エントロピーは同じものかどうか(3)

今回は、エントロピー増大の法則を見ていきます。熱力学的エントロピーは、熱の伝導や気体の拡散によって増えます。一度増えたエントロピーは、人為的に操作を加えない限りはもとに戻りません。

簡単な例として、気体の断熱自由膨張を考えます。

f:id:guppi524:20200506155229p:plain
断熱自由膨張前

断熱壁に覆われた箱があり、真ん中で間仕切りにより仕切られています。仕切られた左側には、体積V、温度T、物質量N(=nモルとします)の理想気体が入っているとします。もう一方の右側は、体積は同じVですが、真空でなにも入っていません。

この状態で、真ん中の間仕切りをなくすと、左側の気体は、右側に拡散します。

f:id:guppi524:20200506155304p:plain
断熱自由膨張後

ちなみに、この断熱膨張の前後では、温度Tはかわりません。膨張するもう一方が真空の場合、気体は内部エネルギー(運動エネルギー)が変化しないため、温度は変わらないのです。 この時のエントロピーの変化はどうなるでしょう。前回のブログで示した、熱力学エントロピーの式

 \displaystyle {
dS = \frac{d'Q}{T}
}

をみると、断熱変化なのだから  d'Q=0 dS=0となり、エントロピーは増えない・・・わけではありません。これは間違いです。なぜなら、このエントロピーの式は、可逆変化でしか使えない式だからです。今回は常識的に考えて、一方の部屋から拡散した気体はもとには戻らない不可逆変化であり、この式は使えないわけです。

では、どうするか。膨張前後の状態が決まっているのだから、この前後の等温可逆膨張を考えます。可逆過程なら、上記のエントロピーの式を使って計算できるのです。この場合、断熱過程である必要はありません。何か騙されている感じもしますが、熱力学的エントロピーは状態量であり、途中の過程は関係がないのでこういう計算の仕方ができるのです。

ここで少し熱力学の知識が必要です。使う式は、熱力学の第一法則の  d'Q = dU +pdV と気体の状態方程式  pV = nRTです。(このあたりの説明はすっとばしますので、詳しくは熱力学の教科書を見るか、ネットで検索してみてください。)。内部エネルギー dUは、定積モル比熱 C_vと温度 Tをつかって、 dU = C_v dTと書けますが、ここでは、等温膨張を考えていることから、  dT=0であり、それにより dU=0となります。(上に書いたとおり、内部エネルギーが変化しない=温度は変わらない。)その結果、


\begin{aligned}
d'Q = pdV 
       = \frac{nRTdV}{V} \\
\end{aligned}

となります。これを、エントロピーの式に代入すると、


\begin{aligned}
dS = \frac{nRdV}{V} \\
\end{aligned}

これを、両辺積分するのですが、体積がVから2Vになるので、


\begin{aligned}
S(膨張前後の差分) = \int_V^{2V} \frac{nRdV}{V} = nR \log 2 \\
\end{aligned}

です。等温可逆膨張を想定してエントロピーを計算しましたが、つまりは、断熱自由膨張で体積が2倍になったときは、エントロピー nR \log 2だけ増えるということです。これは正の数となりますので、断熱自由膨張によりエントロピーが増大していることがわかります。

熱力学の込み入った話になってきましたが、次回は、分子1個の場合のエントロピーを考えてみます。(続くのか?)

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

  • 作者:橋元 淳一郎
  • 発売日: 2005/06/22
  • メディア: 単行本(ソフトカバー)
今回もこの教科書にお世話になりました。ブログの内容で間違っている箇所がありましたら、コメント等で教えていただけるとありがたいです。

熱力学的エントロピーと情報エントロピーは同じものかどうか(2)

エントロピーはよく「乱雑さの尺度」と言われる。ただし、この「乱雑さ」という言い方には「でたらめな、無作為に(at random)」という意味で使われており、日本語としては少々乱暴な使い方に思える。 では、熱力学的エントロピーも情報エントロピーが同じかどうかを問うために、それぞれの「エントロピーとはいったい何なのか」を確認する必要がある。 定義的には情報エントロピーのほうが理解しやすいのであるが、ここでは歴史的経緯にしたがって、最初にエントロピーという用語が使われた熱力学的エントロピーから確認することとする。

エントロピーという用語は1865年にクラウジウスによってはじめて使われた。

熱力学的エントロピーとは、可逆過程において、熱の出入りで変化する状態量のことである。

数式で書くと、次のとおりとなる。

\displaystyle{
dS = \frac{d'Q}{T}
}

なお、状態量とは、気体の温度や分子の個数を決めれば量が一意に決まる量のことである。熱力学的エントロピーは絶対値は決まらず、変化する量のみが決まる。 (熱力学の第三法則を受け入れてエントロピーの基準点を絶対零度と決めれば別だが、熱力学的エントロピーが考案された1960年代にはわかっていなかったことだから ここでは踏み込まない。)

この説明でわかる人は凄い。説明している自分でもよくわからない。 この熱力学的エントロピー、非常にイメージがしづらく、直感的にわかりづらいものになっている。可逆過程でないと定義できない、また、絶対値がわからない等、 説明に困るのである。

次に、情報エントロピーであるが、確率変数がどの値をとるか言い当てにくさを示す量のことである。言い換えれば、不確定な状況を確定するのに要する平均情報量のことである。

\displaystyle{
H = -\sum_{i} p_{i} \log p_{i} 
}

こちらの説明も初見では?となるのだが、離散確率分布がわかっていると、ある確率変数で確率が1(確定)の場合に0となり、すべて等確率で起こる場合に最大となる量ということがわかる。 熱力学的エントロピーより、情報エントロピーのほうが理解しやすい。

情報エントロピーは単に確率論の世界であり、熱力学的エントロピーのように熱も温度もでてこない。定義からしてまったく違うので、まったく別物のように思える。では、なぜ同じものという考えがでてくるのか。

それには、熱力学的エントロピーと情報エントロピーの間に挟まるものを知る必要がある。統計力学エントロピーである。

(統計力学エントロピーの話題は自分の手に余るのでしばらく書かないと思います。つぎはエントロピー増大の法則かマクスウェルの悪魔あたりの話題を書く予定。)

ついでと言ってはなんですが、熱力学エントロピーをクラウジウス流に理解しようとすると次の本がわかりやすいと思います。ものぐさものにはカルノーサイクルを順序だてて追いかけるのがめんどくさくなるのです。

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

  • 作者:橋元 淳一郎
  • 発売日: 2005/06/22
  • メディア: 単行本(ソフトカバー)

熱力学的エントロピーと情報エントロピーは同じものかどうか(1)

その昔、確か大学生の頃に「エントロピー」という言葉を知った。その際、熱力学の分野で使われる「エントロピー」と情報理論の分野で使われる「エントロピー」という2種類の概念があることを知り、「それを表す式は似ているものの、違う概念である」と習った覚えがある。

この頃、大学の授業もあまりまじめに受けていなかったので(熱力学や統計力学はさっぱり勉強しなかった)、どのような概念かもあまり理解していなかった。ただ、この「エントロピー」という言葉は妙に頭にひっかかった。

それから何年かして、この「エントロピー」という言葉が出てくるものの本を読んでいると、「熱力学的エントロピーと情報エントロピーは同じものである。」と書いてある本に出くわした。 どの本を最初に読んだのかは覚えていないのだが、例えば次のような本である。

『熱とはなんだろう 温度・エントロピーブラックホール……』 竹内 薫 著 (講談社ブルーバックス) P.127 より

それは、分子の状態や熱とともに考えてきたエントロピーという概念が、ここででてきた情報と結びつけられたエントロピー(ネゲントロピー)とまったく同じものなのか、それとも似ているだけで別のものなのか、という疑問である。 よけいな混乱の元を断ち切るという意味で、最初に答えをいってしまうと、熱力学的(統計力学的)エントロピーと情報エントロピーは、まったく同じである。 こんな風に断言すると、 「いや、私は権威ある書物において、このふたつのエントロピーを混同しないように注意してあるのを読んだ おぼえがある」 と読者の猛反論を受けそうである。だが、もちろん、僕はそういう意見があることを重々承知のうえで、このように断言しているのである。

『エントロピ一入門』杉本大一郎 著、中公新書、 P.94 より

現在の技術では、1ミクロン角のチップに 100 万ビットの情報量が記録される。これに対し、このチップ が持っている熱力学的エントロピー は 1000 億ピ ットの程度である (ボ ルツマン定数の 0.693倍を 単位にして測った熱力学的エントロピーは、情報と同じピ ット単位で表される )。 (中略)こうして、熱力学的エントロピーと情報エントロピーが同じものであるということは、原理的にはおもしろいことではあるが、実際問題では一緒に論じても役に立たないのである。 (中略)この意味で、「熱力学的エントロピーと情報エントロピーはまったく別物であって、情報にエントロピー概念を持ち込むのはけしからん」と言う一部の人たちの主張は間違っている。

情報理論』甘利 俊一著 ちくま学芸文庫 P.44 より

つまり、統計力学におけるエントロピーは、微視的な状態がどうなっているのかわからなさの度合を示すもので、やはり対数目盛で計るのである。それゆえ、情報理論のほうで、このエントロピーという用語を借用したのである。両者はもちろん類似の性質をもつが、一応別物と考えてよい。 ところで、両者は別物でなく、1つのまとまった物理像を示す統一概念であると、主張することもできる。

それぞれ割と長く引用させてもらったが、それぞれの本は私的には良い本なので、興味を持たれたら読んでいただければと思う。(著者のかた引用させてもらってごめんなさい。)

ちなみに、上記の主張のもとは、1950年代の物理学者レオン・ブリルアンの主張がもとになっている(と思う)。

上記の主張の根拠は、それぞれの本に書かれているのであるが、今一つすっきりしないところがある。少しエントロピーという概念をかじると、「情報エントロピーに温度や熱の概念は関係ないじゃん。どこに行ってしまったの?」とか「情報エントロピーボルツマン定数はないじゃん。無視してしまっていいの?」とか疑問に思えてくるのである。

これらに答えようとすると、熱力学、統計力学情報理論を一から勉強する必要があるが、数学的にそこそこ高度な知識が必要となり、一筋縄にはいかない。(少なくとも、私には。)

それをチートするわけではないのだが、簡潔にまとまっている答えらしきものが英語版のWikipediaに載っていた。

en.wikipedia.org

ちなみに日本語版のWikipediaにはない。このゴールデンウィーク新型コロナウイルス感染症の外出自粛もあって、外に出られず、このWikipediaをdeepL翻訳の助けを借りながら読んでいた。 一瞬、翻訳した記事を日本語版のWikipediaに載せようかとも思ったが、めんどくさそうなので止めた。 それは置いておいて、このWikipediaの良いところは、「批判(criticism)」も載っていることである。

そんなわけで、もしかしたら足りない頭で理解した「熱力学的エントロピーと情報エントロピーは同じものかどうか」を 続いてブログに載せるかもしれない。(ずぼらなので載せないかもしれない。)

情報理論 (ちくま学芸文庫)

情報理論 (ちくま学芸文庫)