エントロピー

熱・統計力学から情報理論へ

スコープ

この講義では、目に見える程度の大きさの物体の熱的な振る舞いを学ぶことを第一の目的とする。その キーワードは「エントロピー」である。 エントロピーは情報理論にも現れる重要な概念だが,ここでは,まず蒸気機関の設計に関係して生まれた熱力学と呼ばれる理論からエントロピーを導入し,次に統計力学と呼ばれる理論からそれを見直す。 統計力学の立場から見たエントロピーは,情報理論の情報エントロピーと同じ形式の表現であり,対比して論じられることも多い。

講義ノート

No.01 エンジンの歴史 No.02 カルノーエンジン

No.03 温度と熱
No.04 気体の状態〜No.05 エンジンの効率 講義メモ

● クイズ(小試験例題)

問題
(答案)

No.06 エントロピー(1)
● クイズ(小試験例題)
(課題)クイズ
(答案)

No.07 気体分子運動論 ← プリント配布 No.08 自然に起きる変化, No.09 ミクロな状態
No.10 エントロピー(2), No.11 エントロピー(3)

No.12 自由エネルギー No.13 情報エントロピー(1) (2)
参考:ラグランジュの未定定数法
課題の4で,「金額の平均が固定された条件下でエントロピーを最大とする」計算がある。このような条件付き極値問題を解くための定石がラグランジュの未定定数法である。
たとえば,関数 f(x,y) が条件 g(x,y)=0 のもとで極値となるようなx,yの値を決定するには関数 h(x,y)=f(x,y)+λg(x,y) を導入し,連立方程式
∂h/∂x = 0 および ∂h/∂y = 0 
を解けばよい。ただし,これらは,それぞれ関数 h を x および y について偏微分(他の変数を固定し,指定された変数で微分)したものである。

● 小テスト/課題 エントロピー