中正大學課程大綱
課程名稱(中文)： 消息理論 開課單位： 通訊工程研究所(Graduate Institute of Communications Engineering)
課程名稱(英文) Information Theory 課程代碼 4305087_01
授課教師： 翁健家 學分數 3
必/選修 選修 開課年級 研究所（大四同學可選修）
先修科目或先備能力：
Probability Theory, Linear Algebra, Principle of Communication Systems
課程概述：
本課程全英教學，提供通訊系從事理論研究同學一數學角度理解通訊系統運作。於消息理論範疇，學生將學習資料壓縮的極限效能分析與雜訊通道的最大可靠傳輸容量，並藉由理論分析窺見通訊系統的最佳設計概念。此外，本課程將介紹多類資料壓縮方法與基本錯誤更正機制，使學生能在理論外了解實務應用。

This is a graduate-level introduction to information theory and will be taught in English. We will cover classical topics, including information measures, lossless data compression, source coding theorem, channel coding theorem, and rate distortion theory.
學習目標：
1. Information Measures
2. Lossless Data Compression
3. Channel Coding Theorem
4. Rate-Distortion Theory
教科書：
Elements of Information Theory, T. Cover and J. Thomas, 2nd Ed., New Jersey: John Wiley & Sons ISBN : 9780471241959
請尊重智慧財產權，不得非法影印教師指定之教科書籍。
Please adhere to intellectual property rights and refrain from unlawfully reproducing textbooks prescribed by instructors.

課程大綱 分配時數 核心能力 備註
單元主題 內容綱要 講授 示範 隨堂作業 其他
Information Measures
Entropy, Relative Entropy, and Mutual Information
 6 1.11.21.32.12.23.13.24.14.24.34.4
Asymptotic Equipartition Property
Weak Law of Large Numbers and Data Compression
 6 1.11.21.32.12.23.13.24.14.24.34.4
Entropy Rates of a Stochastic Process
Markov Chains and Entropy Rates
 6 1.11.21.32.12.23.13.24.14.24.34.4
Data Compression
Example of Codes, Kraft Inequality, Optimal Codes, Source Coding Theorem, Huffman Codes, and Arithmetic Codes
 6 1.11.21.32.12.23.13.24.14.24.34.4
Channel Capacity
Examples of Channel Capacity, Symmetric Channels, Channel Coding Theorem, and the Source-Channel Separation Theorem
6 1.11.21.32.12.23.13.24.14.24.34.4
Differential Entropy
Entropy for Continuous Random Variables
 6 1.11.21.32.12.23.13.24.14.24.34.4
Gaussian Channels
Band-limited Gaussian Channels, Parallel Gaussian Channels, Water-filling Principle
 6 1.11.21.32.12.23.13.24.14.24.34.4
Rate-Distortion Theory
Quantization, Strong Typicality, and Blahut-Arimoto Algorithm
 6 1.11.21.32.12.23.13.24.14.24.34.4

教育目標
1.傳授學生通訊工程專業領域知識，並能進一步結合理論與實務進行研究。
2.訓練學生發掘與分析解決問題的能力。
3.訓練學生良好的溝通技巧，並培養團隊合作的能力。
4.培養學生瞭解國內外學術與產業之發展與需求，並理解工程倫理及社會責任。

核心能力
1.1.學習通訊工程相關領域之理論基礎。
1.2.瞭解通訊工程相關領域之實務技術。
1.3.訓練專業論文寫作與簡報的能力。
2.1.培養發掘與分析通訊工程特定領域專題研究之能力。
2.2.培養規劃與執行通訊工程特定領域專題研究之能力。
3.1.學習溝通與表達的能力。
3.2.運用個人專長，與團隊成員合作達成計畫目標。
4.1.瞭解國內外通訊工程特定領域產業現況。
4.2.理解工程倫理及社會責任。
4.3.培養良好的國際觀。
4.4.培養科技英文能力。

請尊重智慧財產權，不得非法影印教師指定之教科書籍

教學要點概述：
1. 教材編選(可複選)：自編簡報(ppt)教科書作者提供
2. 教學方法(可複選)：講述板書講述
3. 評量工具(可複選)：上課點名 0%, 隨堂測驗0%, 隨堂作業30.00%, 程式實作0%, 實習報告0%,
                       專案報告0%, 期中考25.00%, 期末考25.00%, 期末報告16.00%, 其他4.00%,
4. 教學資源：課程網站 教材電子檔供下載 實習網站
5. 教學相關配合事項：

課程目標與教育核心能力相關性        
請勾選：1.11.21.32.12.23.13.24.14.24.34.4
1.1 學習通訊工程相關領域之理論基礎。()
為何有關：
消息理論以數學觀點賦予通訊系統各項處理單元一模型，提供分析系統所需之基礎。Information theory provides communication systems with a mathematical perspective by endowing various processing components with mathematical models, thereby offering the foundational basis required for analyzing the system.
達成指標：
熟悉如何利用消息理論回答通訊效能極限問題。Familiar with how to apply information theory to address questions related to the limits of communications.
評量工具(可複選)：
作業與考試。Homework assignments and exams.
1.2 瞭解通訊工程相關領域之實務技術。()
為何有關：
消息理論提供的最佳編碼方法與概念已被大量用於實務編碼設計。The optimal coding methods and concepts provided by information theory have been extensively applied in practical coding design.
達成指標：
熟悉基本資料壓縮與錯誤更正機制。Familiar with basic data compression and error correction mechanisms.
評量工具(可複選)：
作業與考試。Homework assignments and exams.
2.1 培養發掘與分析通訊工程特定領域專題研究之能力。()
為何有關：
消息理論相關概念可用於通訊系統分析。Concepts from information theory can be applied to the analysis of communication systems.
達成指標：
能了解訊源壓縮、通道編碼、碼率失真理論三大定理背後所使用的數學原理。Understanding the mathematical principles underlying the three major theorems: source coding theorem, channel coding theorem, and rate-distortion theory theorem.
評量工具(可複選)：
作業與考試。Homework assignments and exams.
2.2 培養規劃與執行通訊工程特定領域專題研究之能力。()
為何有關：
消息理論相關概念可最佳化通訊系統設計。Concepts from information theory can be applied optimize system design.
達成指標：
能了解訊源壓縮、通道編碼、碼率失真理論三大定理的推導脈絡與精髓。Understanding the derivation context and essence of the three major theorems in information theory: source coding, channel coding, and rate-distortion theorems.
評量工具(可複選)：
作業與考試。Homework assignments and exams.
4.4 培養科技英文能力。()
為何有關：
本課程以全英方式授課，修課同學在學期末需繳交期末報告與口頭發表，可訓練同學科技英文的使用能力。The course will be conducted entirely in English. Students enrolled in the course are required to submit a final report and deliver an oral presentation at the end of the semester. This will help enhance students' proficiency in using technical English.
達成指標：
完成報告繳交與口頭演說。 Submit the final report and deliver the oral presentation.
評量工具(可複選)：
期末報告批改與口頭演說評分。Report and oral presentation markings.