هدف از این درس، آشنا نمودن دانشجویان با اصول بازشناسی گفتار و گوینده است. درس بعد از معرفی مقدمات، با روش‌های مبتنی بر مدل مخفی مارکوف شروع می‌شود. سپس مدل‌های ترکیبی HMM-DNN به همراه توضیح مسائل مختلف آن آورده می‌شود. در ادامه بعد از معرفی روش CTC، مدل‌های انتها به انتها برای بازشناسی گفتار شرح داده می‌شوند. سپس روش‌های مرسوم و جدید بازشناسی گوینده و نکات مهم این موضوع توضیح داده خواهند شد و در انتها نیز روش‌های پیش آموزش شبکه‌های عصبی و چندین مدل از آن‌ها برای بازشناسی گفتار و گوینده آموزش داده می‌شوند.

1. مقدمه: تعریف بازشناسی گفتار خودکار و گوینده، تاریخچه، آشنایی با پردازش سیگنال دیجیتال، استخراج ویژگی، واج‌شناسی، تولید و ادراک گفتار
2. مدل مخفی مارکوف (HMM) پیوسته و گسسته، مدل مخلوط گاوسی (GMM)، شبکه‌های عصبی، مدل‌های کدگذار و کدکشا، مدل مبدل و انواع استراتژی‌های آموزش
3. مدل‌های زبانی N-gram و مبتنی بر شبکه‌های عصبی در بازشناسی گفتار، بازشناسی گفتار بر مبنای HMM، مدل‌سازی مستقل و وابسته به بافت، بازشناسی کلمات مجزا و متصل
4. بازشناسی گفتار با واژگان بزرگ، ترکیب مدل‌زبانی با HMM، روش‌های کاهش پیچیدگی محاسباتی مثل هرس
5. مدل‌های آکوستیک بر مبنای DNN و بازشناسی گفتار ترکیبی HMM-DNN
6. کدگشایی وابسته به بافت، جستجوی شعاعی و تطبیق به گوینده، مبدل‌های حالت محدود وزن‌دار (WFST)
7. دسته‌بندی زمانی پیوندگرا (CTC) و بازشناسی گفتار انتها به انتها (E2E)، بررسی مدل‌های Deep Speech، LAS، RNN-T و Conformer
8. مدل‌های زبانی و شیوه استفاده از آن‌ها در مدل‌های انتها به انتها
9. بازشناسی گوینده و دسته‌بندی آن، معیارهای ارزیابی، مدل‌های مرسوم HMM و GMM-UBM، ابر بردار میانگین و SVM، تحلیل عامل مشترک (JFA) و بردار هویت (i-vector) و دسته‌بند PLDA
10. روش‌های استخراج بردار تعبیه گوینده با استفاده از شبکه‌های عصبی، روش‌های d-vector و x-vector، ویژگی‌های گلوگاهی، یادگیری معیارهای فاصله و توابع زیان
11. روش‌های مختلف جعل در سامانه‌های بازشناسی گوینده و روش‌های مقابله با آن‌ها، تقطیع گوینده
12. روش‌های مبتنی بر یادگیری خود نظارتی برای بازشناسی گفتار و گوینده، مدل‌های بر پایه یادگیری تباینی، مدل‌های چند وظیفه‌ای

• تمرین‌ها و پروژه: ۲۰ درصد نمره
• آزمون‌های میان‌ترم و پایانی: ۷۰ درصد نمره
• پروژه پژوهشی: ۱۰ درصد نمره