熱力学的エントロピーと情報エントロピーは同じものかどうか(4)

今回は前回計算した断熱自由膨張のエントロピーに関して、分子1個の場合を見ていきます。

f:id:guppi524:20200509122816p:plain
分子1個の断熱自由膨張(膨張前)

前回、真ん中に間仕切りのある箱で体積2倍の断熱自由膨張が起こったとき、熱力学的エントロピーはもとの状態の nR \log 2だけ増えることを見ました。分子1個の場合、 N=1なので、気体1モルの分子の個数(アボガドロ数)を  N_A とした場合、分子1個のとき体積2倍の断熱自由膨張は起こると  R/N_A \times \log 2 倍だけ増えることになります。 このときの  R/N_Aには記号と名前がついていて、 R/N_A = kのことをボルツマン定数と言います。意味は分子1個当たりの気体定数です。ボルツマン定数  k を使って熱力学的エントロピーの増分を表すと  k \log 2となります。

f:id:guppi524:20200509122921p:plain
分子1個の断熱自由膨張(膨張後)

ところで、分子1個の場合、箱の間仕切りを取り除いた前後で何の変化が起きたのでしょう。分子1個の運動エネルギーは変化しません。しかし、熱力学的エントロピーは変化しています。起こったことは、分子が存在する可能性のある場所が2倍となったことです。ここで思考の飛躍をともないますが、分子が存在する場所に対しての我々の知識が変化した、ということもできます。

さて、次に分子1個が箱の左右どちら側にあるかの存在確率について、情報エントロピーがどうなるかを考えます。断熱膨張前では、箱の左側にあることが確定していますので、箱の左側にある確率が1、箱の右側にある確率は0です。このときの情報エントロピーは、前々回のブログに記載した情報エントロピーの式  \displaystyle{ H = -\sum_i p_i \log p_i } から

\displaystyle{
H = -(1 \log 1 + 0 \log 0) = 0 
}

となります。(詳しくは書きませんが、確率0の時の情報エントロピーは0とされています。)

f:id:guppi524:20200509122931p:plain
分子が箱の左右どちら側にあるか

これが断熱膨張後だと、箱の左側にある確率が  1/2、箱の右側にある確率も  1/2となります。その結果、情報エントロピーは、

\displaystyle{
H = -( \frac{1}{2} \log \frac{1}{2}  + \frac{1}{2}  \log \frac{1}{2} ) = \log 2
}

となり、なんともとの状態から  \log2だけ増えることとなります。

さて、分子1個が存在する箱の体積が2倍になったとき、熱力学エントロピーの増分が  k \log 2 で、情報エントロピーの増分が  \log 2というのは何か関連があるのではないでしょうか? 同じように見えても、ボルツマン定数  kが違っているからやはり違うものなのでしょうか? そもそもボルツマン定数  kは分子1個あたりの気体定数のほかに意味があるのでしょうか? 今回はここまでにしたいと思います。(続きはもう書かないかも…)

このあたりの話ですが、「ファインマン計算機科学」の第5章 可逆計算と計算の熱力学に詳しく載っています。ファインマン計算機科学、しばらく絶版だったのですが、オンラインブックスで買えるようになりました。いい世の中になったものです。

ファインマン計算機科学 (岩波オンデマンドブックス)

ファインマン計算機科学 (岩波オンデマンドブックス)

  • 発売日: 2020/01/10
  • メディア: オンデマンド (ペーパーバック)

熱力学的エントロピーと情報エントロピーは同じものかどうか(3)

今回は、エントロピー増大の法則を見ていきます。熱力学的エントロピーは、熱の伝導や気体の拡散によって増えます。一度増えたエントロピーは、人為的に操作を加えない限りはもとに戻りません。

簡単な例として、気体の断熱自由膨張を考えます。

f:id:guppi524:20200506155229p:plain
断熱自由膨張前

断熱壁に覆われた箱があり、真ん中で間仕切りにより仕切られています。仕切られた左側には、体積V、温度T、物質量N(=nモルとします)の理想気体が入っているとします。もう一方の右側は、体積は同じVですが、真空でなにも入っていません。

この状態で、真ん中の間仕切りをなくすと、左側の気体は、右側に拡散します。

f:id:guppi524:20200506155304p:plain
断熱自由膨張後

ちなみに、この断熱膨張の前後では、温度Tはかわりません。膨張するもう一方が真空の場合、気体は内部エネルギー(運動エネルギー)が変化しないため、温度は変わらないのです。 この時のエントロピーの変化はどうなるでしょう。前回のブログで示した、熱力学エントロピーの式

 \displaystyle {
dS = \frac{d'Q}{T}
}

をみると、断熱変化なのだから  d'Q=0 dS=0となり、エントロピーは増えない・・・わけではありません。これは間違いです。なぜなら、このエントロピーの式は、可逆変化でしか使えない式だからです。今回は常識的に考えて、一方の部屋から拡散した気体はもとには戻らない不可逆変化であり、この式は使えないわけです。

では、どうするか。膨張前後の状態が決まっているのだから、この前後の等温可逆膨張を考えます。可逆過程なら、上記のエントロピーの式を使って計算できるのです。この場合、断熱過程である必要はありません。何か騙されている感じもしますが、熱力学的エントロピーは状態量であり、途中の過程は関係がないのでこういう計算の仕方ができるのです。

ここで少し熱力学の知識が必要です。使う式は、熱力学の第一法則の  d'Q = dU +pdV と気体の状態方程式  pV = nRTです。(このあたりの説明はすっとばしますので、詳しくは熱力学の教科書を見るか、ネットで検索してみてください。)。内部エネルギー dUは、定積モル比熱 C_vと温度 Tをつかって、 dU = C_v dTと書けますが、ここでは、等温膨張を考えていることから、  dT=0であり、それにより dU=0となります。(上に書いたとおり、内部エネルギーが変化しない=温度は変わらない。)その結果、


\begin{aligned}
d'Q = pdV 
       = \frac{nRTdV}{V} \\
\end{aligned}

となります。これを、エントロピーの式に代入すると、


\begin{aligned}
dS = \frac{nRdV}{V} \\
\end{aligned}

これを、両辺積分するのですが、体積がVから2Vになるので、


\begin{aligned}
S(膨張前後の差分) = \int_V^{2V} \frac{nRdV}{V} = nR \log 2 \\
\end{aligned}

です。等温可逆膨張を想定してエントロピーを計算しましたが、つまりは、断熱自由膨張で体積が2倍になったときは、エントロピー nR \log 2だけ増えるということです。これは正の数となりますので、断熱自由膨張によりエントロピーが増大していることがわかります。

熱力学の込み入った話になってきましたが、次回は、分子1個の場合のエントロピーを考えてみます。(続くのか?)

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

  • 作者:橋元 淳一郎
  • 発売日: 2005/06/22
  • メディア: 単行本(ソフトカバー)
今回もこの教科書にお世話になりました。ブログの内容で間違っている箇所がありましたら、コメント等で教えていただけるとありがたいです。

熱力学的エントロピーと情報エントロピーは同じものかどうか(2)

エントロピーはよく「乱雑さの尺度」と言われる。ただし、この「乱雑さ」という言い方には「でたらめな、無作為に(at random)」という意味で使われており、日本語としては少々乱暴な使い方に思える。 では、熱力学的エントロピーも情報エントロピーが同じかどうかを問うために、それぞれの「エントロピーとはいったい何なのか」を確認する必要がある。 定義的には情報エントロピーのほうが理解しやすいのであるが、ここでは歴史的経緯にしたがって、最初にエントロピーという用語が使われた熱力学的エントロピーから確認することとする。

エントロピーという用語は1865年にクラウジウスによってはじめて使われた。

熱力学的エントロピーとは、可逆過程において、熱の出入りで変化する状態量のことである。

数式で書くと、次のとおりとなる。

\displaystyle{
dS = \frac{d'Q}{T}
}

なお、状態量とは、気体の温度や分子の個数を決めれば量が一意に決まる量のことである。熱力学的エントロピーは絶対値は決まらず、変化する量のみが決まる。 (熱力学の第三法則を受け入れてエントロピーの基準点を絶対零度と決めれば別だが、熱力学的エントロピーが考案された1960年代にはわかっていなかったことだから ここでは踏み込まない。)

この説明でわかる人は凄い。説明している自分でもよくわからない。 この熱力学的エントロピー、非常にイメージがしづらく、直感的にわかりづらいものになっている。可逆過程でないと定義できない、また、絶対値がわからない等、 説明に困るのである。

次に、情報エントロピーであるが、確率変数がどの値をとるか言い当てにくさを示す量のことである。言い換えれば、不確定な状況を確定するのに要する平均情報量のことである。

\displaystyle{
H = -\sum_{i} p_{i} \log p_{i} 
}

こちらの説明も初見では?となるのだが、離散確率分布がわかっていると、ある確率変数で確率が1(確定)の場合に0となり、すべて等確率で起こる場合に最大となる量ということがわかる。 熱力学的エントロピーより、情報エントロピーのほうが理解しやすい。

情報エントロピーは単に確率論の世界であり、熱力学的エントロピーのように熱も温度もでてこない。定義からしてまったく違うので、まったく別物のように思える。では、なぜ同じものという考えがでてくるのか。

それには、熱力学的エントロピーと情報エントロピーの間に挟まるものを知る必要がある。統計力学エントロピーである。

(統計力学エントロピーの話題は自分の手に余るのでしばらく書かないと思います。つぎはエントロピー増大の法則かマクスウェルの悪魔あたりの話題を書く予定。)

ついでと言ってはなんですが、熱力学エントロピーをクラウジウス流に理解しようとすると次の本がわかりやすいと思います。ものぐさものにはカルノーサイクルを順序だてて追いかけるのがめんどくさくなるのです。

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

単位が取れる熱力学ノート (KS単位が取れるシリーズ)

  • 作者:橋元 淳一郎
  • 発売日: 2005/06/22
  • メディア: 単行本(ソフトカバー)

熱力学的エントロピーと情報エントロピーは同じものかどうか(1)

その昔、確か大学生の頃に「エントロピー」という言葉を知った。その際、熱力学の分野で使われる「エントロピー」と情報理論の分野で使われる「エントロピー」という2種類の概念があることを知り、「それを表す式は似ているものの、違う概念である」と習った覚えがある。

この頃、大学の授業もあまりまじめに受けていなかったので(熱力学や統計力学はさっぱり勉強しなかった)、どのような概念かもあまり理解していなかった。ただ、この「エントロピー」という言葉は妙に頭にひっかかった。

それから何年かして、この「エントロピー」という言葉が出てくるものの本を読んでいると、「熱力学的エントロピーと情報エントロピーは同じものである。」と書いてある本に出くわした。 どの本を最初に読んだのかは覚えていないのだが、例えば次のような本である。

『熱とはなんだろう 温度・エントロピーブラックホール……』 竹内 薫 著 (講談社ブルーバックス) P.127 より

それは、分子の状態や熱とともに考えてきたエントロピーという概念が、ここででてきた情報と結びつけられたエントロピー(ネゲントロピー)とまったく同じものなのか、それとも似ているだけで別のものなのか、という疑問である。 よけいな混乱の元を断ち切るという意味で、最初に答えをいってしまうと、熱力学的(統計力学的)エントロピーと情報エントロピーは、まったく同じである。 こんな風に断言すると、 「いや、私は権威ある書物において、このふたつのエントロピーを混同しないように注意してあるのを読んだ おぼえがある」 と読者の猛反論を受けそうである。だが、もちろん、僕はそういう意見があることを重々承知のうえで、このように断言しているのである。

『エントロピ一入門』杉本大一郎 著、中公新書、 P.94 より

現在の技術では、1ミクロン角のチップに 100 万ビットの情報量が記録される。これに対し、このチップ が持っている熱力学的エントロピー は 1000 億ピ ットの程度である (ボ ルツマン定数の 0.693倍を 単位にして測った熱力学的エントロピーは、情報と同じピ ット単位で表される )。 (中略)こうして、熱力学的エントロピーと情報エントロピーが同じものであるということは、原理的にはおもしろいことではあるが、実際問題では一緒に論じても役に立たないのである。 (中略)この意味で、「熱力学的エントロピーと情報エントロピーはまったく別物であって、情報にエントロピー概念を持ち込むのはけしからん」と言う一部の人たちの主張は間違っている。

情報理論』甘利 俊一著 ちくま学芸文庫 P.44 より

つまり、統計力学におけるエントロピーは、微視的な状態がどうなっているのかわからなさの度合を示すもので、やはり対数目盛で計るのである。それゆえ、情報理論のほうで、このエントロピーという用語を借用したのである。両者はもちろん類似の性質をもつが、一応別物と考えてよい。 ところで、両者は別物でなく、1つのまとまった物理像を示す統一概念であると、主張することもできる。

それぞれ割と長く引用させてもらったが、それぞれの本は私的には良い本なので、興味を持たれたら読んでいただければと思う。(著者のかた引用させてもらってごめんなさい。)

ちなみに、上記の主張のもとは、1950年代の物理学者レオン・ブリルアンの主張がもとになっている(と思う)。

上記の主張の根拠は、それぞれの本に書かれているのであるが、今一つすっきりしないところがある。少しエントロピーという概念をかじると、「情報エントロピーに温度や熱の概念は関係ないじゃん。どこに行ってしまったの?」とか「情報エントロピーボルツマン定数はないじゃん。無視してしまっていいの?」とか疑問に思えてくるのである。

これらに答えようとすると、熱力学、統計力学情報理論を一から勉強する必要があるが、数学的にそこそこ高度な知識が必要となり、一筋縄にはいかない。(少なくとも、私には。)

それをチートするわけではないのだが、簡潔にまとまっている答えらしきものが英語版のWikipediaに載っていた。

en.wikipedia.org

ちなみに日本語版のWikipediaにはない。このゴールデンウィーク新型コロナウイルス感染症の外出自粛もあって、外に出られず、このWikipediaをdeepL翻訳の助けを借りながら読んでいた。 一瞬、翻訳した記事を日本語版のWikipediaに載せようかとも思ったが、めんどくさそうなので止めた。 それは置いておいて、このWikipediaの良いところは、「批判(criticism)」も載っていることである。

そんなわけで、もしかしたら足りない頭で理解した「熱力学的エントロピーと情報エントロピーは同じものかどうか」を 続いてブログに載せるかもしれない。(ずぼらなので載せないかもしれない。)

情報理論 (ちくま学芸文庫)

情報理論 (ちくま学芸文庫)

W32TeXをWindows10にインストールした

ふと、TeXが利用したくなって、自宅のWindows 10のマシンにインストールした記録。

最初、TexLive 2020をインストールをしようとしたのだが、ネットワークインストールをはじめるとインストール時間が15時間以上とか表示されて断念。

W32TeXだと、6時間ほどだった。 家のマシンの都合上、 D:\32tex 配下にインストール。

  • エラー対処その1

インストールログを見て、インストール失敗しているツールを再インストール。 abtexinst_log.txt

pstricks.tar.xzのインストールに失敗
web2c-w32.tar.xzのインストールに失敗

abtexinst.exe を再度起動し、失敗しているパッケージのダウンロードとインストールにチェックして実行

  • エラー対処その2

エラーメッセージは忘れたが、 \bin64 にPATHがとおってなかった。 Windows環境変数のPathに D:\w32tex\bin64 を追加。

W32TeX - TeX Wiki に書いてあるとおり、 D:\32tex\bin より前にPATHが来るように設定。

  • エラー対処 その3

dvipdfmx.cfgが開けないとエラーがでる。

D:\Users\tkonishi\Documents\hogehoge>dvipdfmx 1-3

dvipdfmx:warning: Could not open config file "dvipdfmx.cfg".
1-3 -> 1-3.pdf

dvipdfmx:warning: Failed to load AGL file "pdfglyphlist.txt"...
dvipdfmx:warning: Failed to load AGL file "glyphlist.txt"...
[1
kpathsea: Running mktexpk --mfmode / --bdpi 600 --mag 0+555/600 --dpi 555 rml

The command name is D:\w32tex\bin64\mktexpk

kpathsea: Running mktexmf rml.mf

The command name is D:\w32tex\bin64\mktexmf
name = rml, rootname = rml, pointsize =
mktexmf: empty or non-existent rootfile!
Cannot find rml.mf .
I try ps2pk --> gsftopk --> ttf2pk --> hbf2gf.
Current font seems to be a Japanese one.
I give up to create a PK font.
kpathsea: Appending font creation commands to missfont.log.

dvipdfmx:warning: Could not locate a virtual/physical font for TFM "rml".
dvipdfmx:warning: >> There are no valid font mapping entry for this font.
dvipdfmx:warning: >> Font file name "rml" was assumed but failed to locate that font.
dvipdfmx:fatal: Cannot proceed without .vf or "physical" font for PDF output...

No output PDF file written.

本当は D:\w32tex\share\texmf-dist\dvipdfmx\config にあるらしいけど、ない。 適当にぐぐって、abtexinst.exe を再度起動し

dvipdfm-w32.tar.xz
win64/dvipdfm-w64.tar.xz
win64/luajittex-w64.tar.xz
win64/luatex-w64.tar.xz

を再インストールすると、 D:\w32tex\share\texmf-dist\dvipdfmx\config の下にdvipdfmx.cfgが作成された。

D:\Users\tkonishi\Documents\講義ノート\FarewalltoEntropy>dvipdfmx 1-3
1-3 -> 1-3.pdf

dvipdfmx:warning: Failed to load AGL file "glyphlist.txt"...
[1][2][3][4][5][6]
165642 bytes written

無事、PDFファイルが作成された。

  • エラー対処 その4

glyphlist.txtがない

dvipdfmx:warning: Failed to load AGL file "glyphlist.txt"...

無視しても良いらしいが、

lcdf-typetools-w32.tar.xz
win64/lcdf-typetools-w64.tar.xz

を再インストールすることで、Warningは解消された。

OCNメールのGWがRBLに登録されていた件

普段OCNメールを使っているのですが、メール送信したらエラーメールが返ってきた。

<hoge@hogehoge.com>: host hogehoge.com[xx.xx.xx.xx] said:
550-"JunkMail rejected - mogw1037.ocn.ad.jp [153.149.231.43]:43589 is in an
550 RBL, see Blocked - see http://www.spamcop.net/bl.shtml?153.149.231.43"
(in reply to RCPT TO command)

OCNのメールGWがRBL登録されている?

OCNのFAQをみてみる

support.ntt.com

対処方法をご案内します
時間を置いて送信する

ふーん。

5分後ぐらいに再送したら、エラーメールはなかったので送信できた模様。

冷静になって考えてみると、mogw1037.ocn.ad.jp以外のGWが使われたんじゃないか。