بهینه‌سازی محدب
Convex Optimization
| مقطع: تحصیلات تکمیلی | گرایش: هوش مصنوعی |
| نوع درس: نظری | تعداد واحد: ۳ |
| پیش‌نیاز: – | هم‌نیاز: – |
هدف کلی
بهینه‌سازی در بسیاری از مسائل مهندسی کامپیوتر و بالاخص هوش مصنوعی مطرح است. هدف اصلی این درس بررسی منسجم الگوریتم‌های بهینه‌سازی، آشنایی دانشجویان با روشهای مختلف و شرایط به‌کارگیری آن‌هاست. علاوه بر این هدف اصلی، اهداف فرعی دیگری از جمله تقویت پایه ریاضیاتی دانشجویان و آشنایی با مسائل کاربردی بهینه‌سازی در این درس دنبال می‌شود.
سرفصل‌ها
- معرفی بهینه‌سازی: هدف بهینه‌سازی و اهمیت آن، انواع مسائل بهینه‌سازی
- مقدمات ریاضی لازم در بهینه‌سازی: فضای برداری، آنالیز توابع چند متغیره، تجزیه طیفی و مقدار منفرد
- مجموعه‌ها و توابع محدب
- مسائل بهینه‌سازی محدب: شرایط بهینگی، بازنویسی مسائل غیرمحدب به فرم محدب، بهینه‌سازی چندهدفه
- تئوری دوگانی و شرایط بهینگی: مسئله دوگان، شروط KKT
- بهینه‌سازی نامقید: رویکردهای line search و trust region، روشهای سریع‌ترین کاهش، نیوتن، شبه‌نیوتن
- روش گرادیان مزدوج خطی و غیرخطی
- بهینه‌سازی با قیود تساوی: رویکرد حل مسئله دوگان، روش نیوتن تعمیم یافته، روش Primal-dual
- الگوریتم‌های بهینه‌سازی مقید: روشهای نقطه داخلی، رویکرد Primal-dual
- روش مسیر متناوب ضرایب ADMM
- کاربردهای بهینه‌سازی: رگرسیون، منظم سازی، هموارسازی، بهینه‌سازی مقاوم، تخمین، آشکارسازی، دسته‌بندی
- الگوریتم‌های بهینه‌سازی در یادگیری عمیق
ارزیابی پیشنهادی
- تمرین‌ها و پروژه: ۲۰ درصد نمره
- آزمون‌های میان‌ترم و پایانی: ۷۰ درصد نمره
- پروژه پژوهشی: ۱۰ درصد نمره
منابع پیشنهادی
- S. Boyed and L. Vandenberg. Convex optimization. Cambridge, 2004.
- J. Nocedal and S. J. Wright. Numerical Optimization. Springer, 1999.
- D. G. Luenberger and Y. Ye. Linear and Nonlinear Programming. 3rd Edition, Springer, 2008.
- Z. Lin, H. Li, and C. Feng. Alternating Direction Method of Multipliers for Machine Learning. Springer, 2022.