熱力学的エントロピーと情報エントロピーは同じものかどうか(2)
エントロピーはよく「乱雑さの尺度」と言われる。ただし、この「乱雑さ」という言い方には「でたらめな、無作為に(at random)」という意味で使われており、日本語としては少々乱暴な使い方に思える。 では、熱力学的エントロピーも情報エントロピーが同じかどうかを問うために、それぞれの「エントロピーとはいったい何なのか」を確認する必要がある。 定義的には情報エントロピーのほうが理解しやすいのであるが、ここでは歴史的経緯にしたがって、最初にエントロピーという用語が使われた熱力学的エントロピーから確認することとする。
エントロピーという用語は1865年にクラウジウスによってはじめて使われた。
熱力学的エントロピーとは、可逆過程において、熱の出入りで変化する状態量のことである。
数式で書くと、次のとおりとなる。
なお、状態量とは、気体の温度や分子の個数を決めれば量が一意に決まる量のことである。熱力学的エントロピーは絶対値は決まらず、変化する量のみが決まる。 （熱力学の第三法則を受け入れてエントロピーの基準点を絶対零度と決めれば別だが、熱力学的エントロピーが考案された1860年代にはわかっていなかったことだから ここでは踏み込まない。）
この説明でわかる人は凄い。説明している自分でもよくわからない。 この熱力学的エントロピー、非常にイメージがしづらく、直感的にわかりづらいものになっている。可逆過程でないと定義できない、また、絶対値がわからない等、 説明に困るのである。
次に、情報エントロピーであるが、確率変数がどの値をとるか言い当てにくさを示す量のことである。言い換えれば、不確定な状況を確定するのに要する平均情報量のことである。
こちらの説明も初見では?となるのだが、離散確率分布がわかっていると、ある確率変数で確率が1(確定)の場合に0となり、すべて等確率で起こる場合に最大となる量ということがわかる。 熱力学的エントロピーより、情報エントロピーのほうが理解しやすい。
情報エントロピーは単に確率論の世界であり、熱力学的エントロピーのように熱も温度もでてこない。定義からしてまったく違うので、まったく別物のように思える。では、なぜ同じものという考えがでてくるのか。
それには、熱力学的エントロピーと情報エントロピーの間に挟まるものを知る必要がある。統計力学的エントロピーである。
(統計力学的エントロピーの話題は自分の手に余るのでしばらく書かないと思います。つぎはエントロピー増大の法則かマクスウェルの悪魔あたりの話題を書く予定。)
ついでと言ってはなんですが、熱力学エントロピーをクラウジウス流に理解しようとすると次の本がわかりやすいと思います。ものぐさものにはカルノーサイクルを順序だてて追いかけるのがめんどくさくなるのです。
- 作者:橋元 淳一郎
- 発売日: 2005/06/22
- メディア: 単行本
熱力学的エントロピーと情報エントロピーは同じものかどうか(1)
その昔、確か大学生の頃に「エントロピー」という言葉を知った。その際、熱力学の分野で使われる「エントロピー」と情報理論の分野で使われる「エントロピー」という2種類の概念があることを知り、「それを表す式は似ているものの、違う概念である」と習った覚えがある。
この頃、大学の授業もあまりまじめに受けていなかったので（熱力学や統計力学はさっぱり勉強しなかった）、どのような概念かもあまり理解していなかった。ただ、この「エントロピー」という言葉は妙に頭にひっかかった。
それから何年かして、この「エントロピー」という言葉が出てくるものの本を読んでいると、「熱力学的エントロピーと情報エントロピーは同じものである。」と書いてある本に出くわした。 どの本を最初に読んだのかは覚えていないのだが、例えば次のような本である。
『熱とはなんだろう 温度・エントロピー・ブラックホール……』 竹内 薫 著 (講談社ブルーバックス) P.127 より
それは、分子の状態や熱とともに考えてきたエントロピーという概念が、ここででてきた情報と結びつけられたエントロピー（ネゲントロピー）とまったく同じものなのか、それとも似ているだけで別のものなのか、という疑問である。 よけいな混乱の元を断ち切るという意味で、最初に答えをいってしまうと、熱力学的（統計力学的）エントロピーと情報エントロピーは、まったく同じである。 こんな風に断言すると、 「いや、私は権威ある書物において、このふたつのエントロピーを混同しないように注意してあるのを読んだ おぼえがある」 と読者の猛反論を受けそうである。だが、もちろん、僕はそういう意見があることを重々承知のうえで、このように断言しているのである。
『エントロピ一入門』杉本大一郎 著、中公新書、 P.94 より
現在の技術では、1ミクロン角のチップに 100 万ビットの情報量が記録される。これに対し、このチップ が持っている熱力学的エントロピー は 1000 億ピ ットの程度である (ボ ルツマン定数の 0.693倍を 単位にして測った熱力学的エントロピーは、情報と同じピ ット単位で表される )。 (中略)こうして、熱力学的エントロピーと情報エントロピーが同じものであるということは、原理的にはおもしろいことではあるが、実際問題では一緒に論じても役に立たないのである。 (中略)この意味で、「熱力学的エントロピーと情報エントロピーはまったく別物であって、情報にエントロピー概念を持ち込むのはけしからん」と言う一部の人たちの主張は間違っている。
つまり、統計力学におけるエントロピーは、微視的な状態がどうなっているのかわからなさの度合を示すもので、やはり対数目盛で計るのである。それゆえ、情報理論のほうで、このエントロピーという用語を借用したのである。両者はもちろん類似の性質をもつが、一応別物と考えてよい。 ところで、両者は別物でなく、1つのまとまった物理像を示す統一概念であると、主張することもできる。
それぞれ割と長く引用させてもらったが、それぞれの本は私的には良い本なので、興味を持たれたら読んでいただければと思う。(著者のかた引用させてもらってごめんなさい。)
ちなみに、上記の主張のもとは、1950年代の物理学者レオン・ブリルアンの主張がもとになっている（と思う）。
上記の主張の根拠は、それぞれの本に書かれているのであるが、今一つすっきりしないところがある。少しエントロピーという概念をかじると、「情報エントロピーに温度や熱の概念は関係ないじゃん。どこに行ってしまったの?」とか「情報エントロピーにボルツマン定数はないじゃん。無視してしまっていいの?」とか疑問に思えてくるのである。
これらに答えようとすると、熱力学、統計力学、情報理論を一から勉強する必要があるが、数学的にそこそこ高度な知識が必要となり、一筋縄にはいかない。（少なくとも、私には。）
それをチートするわけではないのだが、簡潔にまとまっている答えらしきものが英語版のWikipediaに載っていた。
ちなみに日本語版のWikipediaにはない。このゴールデンウィーク、新型コロナウイルス感染症の外出自粛もあって、外に出られず、このWikipediaをdeepL翻訳の助けを借りながら読んでいた。 一瞬、翻訳した記事を日本語版のWikipediaに載せようかとも思ったが、めんどくさそうなので止めた。 それは置いておいて、このWikipediaの良いところは、「批判(criticism)」も載っていることである。
そんなわけで、もしかしたら足りない頭で理解した「熱力学的エントロピーと情報エントロピーは同じものかどうか」を 続いてブログに載せるかもしれない。（ずぼらなので載せないかもしれない。）
熱とはなんだろう―温度・エントロピー・ブラックホール… (ブルーバックス)
- 作者:竹内 薫
- 発売日: 2002/11/20
- メディア: 新書
エントロピー入門―地球・情報・社会への適用 (中公新書 (774))
- 作者:杉本 大一郎
- メディア: 新書
- 作者:甘利 俊一
- 発売日: 2011/04/08
- メディア: 単行本
W32TeXをWindows10にインストールした
ふと、TeXが利用したくなって、自宅のWindows 10のマシンにインストールした記録。
最初、TexLive 2020をインストールをしようとしたのだが、ネットワークインストールをはじめるとインストール時間が15時間以上とか表示されて断念。
W32TeXだと、6時間ほどだった。
家のマシンの都合上、 D:\32tex 配下にインストール。
- エラー対処その1
インストールログを見て、インストール失敗しているツールを再インストール。 abtexinst_log.txt
pstricks.tar.xzのインストールに失敗 web2c-w32.tar.xzのインストールに失敗
abtexinst.exe を再度起動し、失敗しているパッケージのダウンロードとインストールにチェックして実行
- エラー対処その2
エラーメッセージは忘れたが、 \bin64 にPATHがとおってなかった。
Windowsの環境変数のPathに D:\w32tex\bin64 を追加。
W32TeX - TeX Wiki に書いてあるとおり、 D:\32tex\bin より前にPATHが来るように設定。
- エラー対処 その3
dvipdfmx.cfgが開けないとエラーがでる。
D:\Users\tkonishi\Documents\hogehoge>dvipdfmx 1-3 dvipdfmx:warning: Could not open config file "dvipdfmx.cfg". 1-3 -> 1-3.pdf dvipdfmx:warning: Failed to load AGL file "pdfglyphlist.txt"... dvipdfmx:warning: Failed to load AGL file "glyphlist.txt"... [1 kpathsea: Running mktexpk --mfmode / --bdpi 600 --mag 0+555/600 --dpi 555 rml The command name is D:\w32tex\bin64\mktexpk kpathsea: Running mktexmf rml.mf The command name is D:\w32tex\bin64\mktexmf name = rml, rootname = rml, pointsize = mktexmf: empty or non-existent rootfile! Cannot find rml.mf . I try ps2pk --> gsftopk --> ttf2pk --> hbf2gf. Current font seems to be a Japanese one. I give up to create a PK font. kpathsea: Appending font creation commands to missfont.log. dvipdfmx:warning: Could not locate a virtual/physical font for TFM "rml". dvipdfmx:warning: >> There are no valid font mapping entry for this font. dvipdfmx:warning: >> Font file name "rml" was assumed but failed to locate that font. dvipdfmx:fatal: Cannot proceed without .vf or "physical" font for PDF output... No output PDF file written.
本当は D:\w32tex\share\texmf-dist\dvipdfmx\config にあるらしいけど、ない。
適当にぐぐって、abtexinst.exe を再度起動し
dvipdfm-w32.tar.xz win64/dvipdfm-w64.tar.xz win64/luajittex-w64.tar.xz win64/luatex-w64.tar.xz
を再インストールすると、 D:\w32tex\share\texmf-dist\dvipdfmx\config の下にdvipdfmx.cfgが作成された。
D:\Users\tkonishi\Documents\講義ノート\FarewalltoEntropy>dvipdfmx 1-3 1-3 -> 1-3.pdf dvipdfmx:warning: Failed to load AGL file "glyphlist.txt"... [1][2][3][4][5][6] 165642 bytes written
無事、PDFファイルが作成された。
- エラー対処 その4
glyphlist.txtがない
dvipdfmx:warning: Failed to load AGL file "glyphlist.txt"...
無視しても良いらしいが、
lcdf-typetools-w32.tar.xz win64/lcdf-typetools-w64.tar.xz
を再インストールすることで、Warningは解消された。
OCNメールのGWがRBLに登録されていた件
普段OCNメールを使っているのですが、メール送信したらエラーメールが返ってきた。
<hoge@hogehoge.com>: host hogehoge.com[xx.xx.xx.xx] said: 550-"JunkMail rejected - mogw1037.ocn.ad.jp [153.149.231.43]:43589 is in an 550 RBL, see Blocked - see http://www.spamcop.net/bl.shtml?153.149.231.43" (in reply to RCPT TO command)
OCNのメールGWがRBL登録されている？
OCNのFAQをみてみる
対処方法をご案内します 時間を置いて送信する
ふーん。
5分後ぐらいに再送したら、エラーメールはなかったので送信できた模様。
冷静になって考えてみると、mogw1037.ocn.ad.jp以外のGWが使われたんじゃないか。
