هدف این درس، درک مفاهیم اصلی نظریه اطلاعات و آشنایی با کاربردهای این شاخه در دیگر بخش های ریاضی و علوم کامپیوتر است.

• احتمال و کاربردها

T.M.Cover and J.A.Thomas, Elements, of Information Theory, John Wiley, New York

تعریف آنتروپی شانون به عنوان پایه‌ای‌ترین مفهوم نظریه اطلاعات

ارتباط مفهوم آنتروپی با فشرده سازی اطلاعات - نامساوی کرافت - تولید دنباله‌های تصادفی با استفاده از سکه همگن

آنتروپی توأم و آنتروپی شرطی - قواعد زنجیره‌ای

لم شیرر و کاربردهای آن در ترکیبیات

آنتروپی گراف‌ها و ارتباط با عدد رنگی گراف

آنتروپی متقابل - نامساوی‌های ینسن - مجموع لگاریتمی - فانو و پردازش داده‌ها

نرخ آنتروپی یک فرآیند تصادفی، آنتروپی و قدم زدن تصادفی - نرخ آنتروپی فرایند مارکوف

اطلاعات متقابل - اطلاعات متقابل شرطی - قواعد زنجیره‌ای

کدگذاری بدون خطا و ظرفیت شانون گراف‌ها

خاصیت افراز مجانبی یکنواخت و کاربردهای آن‌ها - قضیه کدگذاری شانون و عکس قضیه کدگذاری

کاربردهای نظریه احتمالات در آمار، روش گونه‌ها - قضیه سانوف - قضیه چرنوف استین - قضیه اعداد بزرگ و نظریه انحرافات بزرگ

آنتروپی تفاضلی - AEP برای متغیرهای تصادفی پیوسته - ارتباط با متغیر‌های تصادفی گسسته

آنتروپی بیشینه - تخمین طیف - قضیه آنتروپی بیشینه برگ

ارزش‌یابی درس به شکل زیر صورت خواهد گرفت:

• تمرین نظری: 6 نمره
• آزمون میان‌ترم: 4 نمره
• آزمون پایان‌ترم: 10 نمره

در طول ترم ۴ سری تمرین نظری خواهیم داشت که هر یک بارم یکسانی برابر با ۱.۵ نمره خواهند داشت. در صورتی هر ۴ سری توسط LaTeX تایپ شده و تحویل داده شوند نیز، ۱ نمره امتیازی به دانشجویان اختصاص خواهد یافت. تعریف تمارین، پرسش و پاسخ در خصوص تمارین و همچنین تحویل آن‌ها از طریق سامانه درس‌افزار خواهد بود.

در جدول زیر تاریخ برگزاری، محل برگزاری و جزئیات مربوط به آزمون‌های درس قرار خواهند گرفت.