بهینه‌سازی محدب

Convex Optimization

مقطع: تحصیلات تکمیلی گرایش: هوش مصنوعی
نوع درس: نظری تعداد واحد: ۳
پیش‌نیاز: – هم‌نیاز: –

هدف کلی

بهینه‌سازی در بسیاری از مسائل مهندسی کامپیوتر و بالاخص هوش مصنوعی مطرح است. هدف اصلی این درس بررسی منسجم الگوریتم‌های بهینه‌سازی، آشنایی دانشجویان با روش‌های مختلف و شرایط به‌کارگیری آن‌هاست. علاوه بر این هدف اصلی، اهداف فرعی دیگری از جمله تقویت پایه ریاضیاتی دانشجویان و آشنایی با مسائل کاربردی بهینه‌سازی در این درس دنبال می‌شود.

سرفصل‌ها

  1. معرفی بهینه‌سازی: هدف بهینه‌سازی و اهمیت آن، انواع مسائل بهینه‌سازی
  2. مقدمات ریاضی لازم در بهینه‌سازی: فضای برداری، آنالیز توابع چند متغیره، تجزیه طیفی و مقدار منفرد
  3. مجموعه‌ها و توابع محدب
  4. مسائل بهینه‌سازی محدب: شرایط بهینگی، بازنویسی مسائل غیرمحدب به فرم محدب، بهینه‌سازی چندهدفه
  5. تئوری دوگانی و شرایط بهینگی: مسئله دوگان، شروط KKT
  6. بهینه‌سازی نامقید: رویکردهای line search و trust region، روشهای سریع‌ترین کاهش، نیوتن، شبه‌نیوتن
  7. روش گرادیان مزدوج خطی و غیرخطی
  8. بهینه‌سازی با قیود تساوی: رویکرد حل مسئله دوگان، روش نیوتن تعمیم یافته، روش Primal-dual
  9. الگوریتم‌های بهینه‌سازی مقید: روش‌های نقطه داخلی، رویکرد Primal-dual
  10. روش مسیر متناوب ضرایب ADMM
  11. کاربردهای بهینه‌سازی: رگرسیون، منظم سازی، هموارسازی، بهینه‌سازی مقاوم، تخمین، آشکارسازی، دسته‌بندی
  12. الگوریتم‌های بهینه‌سازی در یادگیری عمیق

ارزیابی پیشنهادی

منابع پیشنهادی

  1. S. Boyed and L. Vandenberg. Convex optimization. Cambridge, 2004.
  2. J. Nocedal and S. J. Wright. Numerical Optimization. Springer, 1999.
  3. D. G. Luenberger and Y. Ye. Linear and Nonlinear Programming. 3rd Edition, Springer, 2008.
  4. Z. Lin, H. Li, and C. Feng. Alternating Direction Method of Multipliers for Machine Learning. Springer, 2022.