هدف این درس آشنایی با مفاهیم پیشرفته در پردازش و تولید زبان طبیعی می‌باشد. استفاده از ترنسفورها در پردازش زبان طبیعی با ساختارهای متفاوت کدگذار، کدگشا و کدگذار-کدگشا محور اصلی مطالب می‌باشد. بر همین اساس مدل‌های زبانی بزرگ که در حال حاضر مهم‌ترین بخش مدل‌های پیشرفته پردازش و تولید زبان طبیعی می‌باشند معرفی خواهند شد. جزئیات و اجزای هریک از مدل‌ها و همچنین چالش‌های مرتبط با داده‌های آموزش آن‌ها مورد بررسی قرار می‌گیرد.

1. مقدمه‌ای بر مدل‌های زبانی بزرگ
2. استراتژی‌های آموزشی: پیش‌آموزش و تنظیم دقیق، یادگیری انتقالی، یادگیری خودنظارتی، تقطیر دانش
3. مبدلها: مدل‌های کدگذار، مدل‌های کدگشا، مدل‌های کدگذار-کدگشا، کدگذار موقعیتی، واحدسازی زیرکلمه
4. داده‌ها در مدل‌های زبانی بزرگ: مقیاس‌پذیری، امنیت و حریم خصوصی، ملاحظات قانونی، انواع تمایلات، اهانت‌ها، تعصب‌ها و اطلاعات غلط در داده‌
5. ارزیابی مدل‌های زبانی بزرگ: چالش‌ها، معیارهای ارزیابی، ارزیابی انسانی، ارزیابی مبتنی بر شبکه مولد تقابلی
6. یادگیری تقویتی در پردازش زبان طبیعی: آموزش مدل‌ها با دستورالعمل، آموزش مدل‌ها با بازخورد انسانی
7. ساخت مدل‌های زبانی بزرگ: مدل‌سازی با مبدلها، پرامپت و یادگیری درون بافتی، آموزش مدل‌های بهینه محاسباتی، موازی‌سازی، انطباق، آموزش چندزبانه، آموزش چندوجهی
8. مدل‌سازی اطلاعات: گراف دانش، استخراج اطلاعات، مدل‌های زبانی بزرگ مبتنی بر بازیابی اطلاعات و دانش
9. وظایف فهم زبان طبیعی با مدل‌های زبانی بزرگ: تجزیه معنایی، چت‌بات‌ها، تشخیص بازنویسی، استنتاج و استدلال زبان
10. وظایف تولید زبان طبیعی با مدل‌های زبانی بزرگ: خلاصه‌سازی متن، تولید کد، تولید داستان، تولید متن از داده، تولید متن بازنویسی شده
11. شبکه‌های گراف برای پردازش زبان: رویکردهای مبتنی بر گراف برای پردازش متن، ساخت و آموزش بازنمایی گراف برای پردازش متن، مدل‌های کدگذار-کدگشای گراف برای پردازش متن

• تمرین‌ها و پروژه: ۳۰ درصد نمره
• آزمون‌های میان‌ترم و پایانی: ۵۰ درصد نمره
• پروژه پژوهشی: ۲۰ درصد نمره