پردازش زبان‌های طبیعی

هدف این درس آشنا نمودن دانشجویان با روش‌های ایجاد توانایی فهم زبان طبیعی در محیط کامپیوتر است. از سیستم‌های مبتنی بر پردازش زبان می‌توان به سیستم‌های پرسش و پاسخ، تحلیل احساس، استخراج اطلاعات، ترجمه ماشینی، و خلاصه‌سازی متون اشاره کرد. مهم‌ترین گام در راستای طراحی چنین سیستم‌هایی آشنایی با روش‌های پردازش زبان طبیعی است که بیشتر بر مبنای الگوریتم‌های آماری عمل می‌کنند. در این درس، به معرفی روش‌های پردازش زبان طبیعی از جمله برچسب‌زنی اجزای کلام، تجزیه نحوی زبان، تشخیص موجودیت‌های نامدار، تحلیل معنایی، برچسب‌گذاری نقش معنایی، و تشخیص موضوع پرداخته خواهد شد.

1. آشنایی با مفاهیم اولیه پردازش زبان طبیعی
2. پیش‌پردازش متن: واحدسازی، بهنجارسازی، ریشه‌یابی، بن‌واژه‌سازی، تصحیح خطای املایی
3. مدل‌های زبانی: مدل‌های زبانی احتمالاتی و عصبی، ارزیابی مدل‌های زبانی
4. بازنمایی متن: بازنمایی مبتنی بر واژه، بازنمایی ایستای کلمات مبتنی بر جبر خطی و شبکه عصبی
5. دسته‌بندی و خوشه‌بندی متن
6. مدل‌سازی دنباله‌ای متن: مدل مخفی مارکوف، میدان تصادفی شرطی، مدل‌سازی عصبی دنباله‌ای
7. برچسب‌زنی اجزای کلام و تشخیص موجودیت‌های نامدار
8. مدل‌های دنباله‌به‌دنباله: مدل‌های کدگذار-کدگشا، مکانیزم توجه، مبدلها
9. بازنمایی پویا مبتنی بر بافت و مدل‌های زبانی بزرگ
10. تجزیه نحوی زبان: تجزیه نحوی و آماری مبتنی بر سازه، تجزیه وابستگی
11. تحلیل معنایی متن: رفع ابهام معنایی کلمات، برچسب‌گذاری نقش معنایی
12. سامانه‌های کاربردی: تحلیل احساس، ترجمه و خلاصه‌سازی متون، پرسش و پاسخ، سامانه‌های مکالمه‌محور

• تمرین‌ها و پروژه: ۲۰ درصد نمره
• آزمون‌های میان‌ترم و پایانی: ۷۰ درصد نمره
• پروژه پژوهشی: ۱۰ درصد نمره