情報理論
担当教員
授業の到達目標及びテーマ
情報の数学的定義および、エントロピーの概念、情報の圧縮の方法等を理解する。
授業の概要と方法
情報とは何か、情報はどのように数学的に定義されるかを学ぶとともに、情報の符号化、情報通信の基礎理論を理解する。授業の理解を深めるため、講義の後半に適宜課題を解く時間を設ける。
授業計画
| 回 | テーマ | 内容 |
|---|---|---|
| 1 | 情報の概念とエントロピー | 情報量の定式化、エントロピーの概念を理解する。 |
| 2 | 条件付きエントロピー・相互情報量 | 確率の基本的な性質の復習を行った後、条件付きエントロピー、相互情報量の概念を理解する。 |
| 3 | 情報源のモデル | 情報源のモデル(記憶のない情報源、定常情報源など)を理解する。 |
| 4 | クラフトの不等式 | 符号の瞬時復号可能性、一意復号可能性とクラフトの不等式について理解する。 |
| 5 | 平均符号長の限界 | 一意に復号可能な符号の平均符号長の限界について理解する。 |
| 6 | シャノン符号と情報源符号化定理 | 情報源符号化法であるシャノン符号と、情報源符号化定理について理解する。 |
| 7 | ファノ符号、ハフマン符号 | 重要な情報源符号化法であるファノ符号、ハフマン符号を理解する。 |
| 8 | 算術符号 | 算術符号と、情報圧縮に関する特許について理解する。 |
| 9 | 通信路の符号化のモデル | 通信路符号化のモデルについて理解する。 |
| 10 | 雑音のない通信路の符号化 | 雑音のない通信路の通信路容量と、シャノンの第一基本定理について理解する。 |
| 11 | 雑音のある通信路の符号化 | 雑音のない通信路の通信路容量と、シャノンの第二基本定理について理解する。 |
| 12 | 情報理論と暗号 | 暗号通信のモデルと、完全秘匿性を有する暗号方式について理解する。 |
| 13 | 情報理論とメッセージ認証 | 通信におけるメッセージ認証(正当性検証)のモデルと、方式について理解する。 |
| 14 | 公開鍵暗号 | 公開鍵暗号の概念と、RSA暗号について理解する。 |
| 15 | まとめ | 講義の内容をまとめる。 |
授業外に行うべき学習活動
前回までの学習内容を完全に把握しておくこと。
テキスト
Webからの配布による。
参考書
情報理論 ―基礎から応用まで―、中川聖一著 (近代科学社)
成績評価基準
試験と課題による。
情報機器使用
授業支援システムを利用する。
前年度の授業改善アンケートからの気づき
講義中に演習問題を提示することで理解を高める。