تحلیل داده‌های چند‌رسانه‌ای

Multi-Media Data Analysis

مقطع: تحصیلات تکمیلی گرایش: علم داده
نوع درس: نظری تعداد واحد: ۳
پیش‌نیاز: – هم‌نیاز: –

هدف کلی

در این درس دانشجویان با پردازش صدا و گفتار، فایل‌های چندرسانه‌ای، پردازش سیگنال چندوجهی، و بازیابی ویدئو در مقیاس بزرگ آشنا خواهند شد. دانشجویان جنبه‌های یک سیستم جستجوی چندرسانه‌ای پیشرفته را درک کرده و با الگوریتم‌های یادگیری ژرف برای بازیابی اطلاعات، تشخیص گفتار و پردازش صدا، پردازش تصویر و ویدئو آشنا شده و پیچیدگی‌های مدیریت حجم زیادی از داده‌های چندرسانه‌ای ناهمگن را تجربه خواهند کرد. آن‌ها تجربه عمیق و عملی با برخی از الگوریتم‌های درگیر در پردازش (تشخیص و یا سنتز) و همجوشی چندوجهی خواهند داشت.

سرفصل‌ها

  1. مقدمه و کاربردها؛ مشکلات و روش تحقیق چندرسانه‌ای
  2. معرفی ابزارهای مدل سازی و پردازش چندرسانه‌ای‌ها (صوت، متن، تصویر و ویدیو)
  3. پردازش تصویر و ویدئو در مقیاس بزرگ
  4. همجوشی داده‌های چندرسانه‌ای
  5. مقیاس پذیری چندرسانه‌ای
  6. چندرسانه‌ای در حقوق بشر، امنیت عمومی، و اخلاق
  7. یادگیری عمیق چندرسانه‌ای: خود نظارتی چندرسانه‌ای، ترانسفورماتورهای بصری
  8. سیستم‌های سوالات-پاسخ‌های چندرسانه‌ای
  9. جستجوی چندرسانه‌ای
  10. استفاده از بینایی و زبان برای تولید تصویر: شبکه متخاصم تولیدکننده متن به تصویر و ویدیو

ارزیابی پیشنهادی

منابع پیشنهادی

  1. S. Vrochidis, B. Huet, E. Y. Chang, and I. Kompatsiaris. Big Data Analytics For Large-Scale Multimedia Search. Wiley & Sons, 2019.
  2. E. Chang. Foundations of Large-Scale Multimedia Information Management and Retrieval. Springer, 2011.
  3. S. Zhao, M. Xu, Q. Huang, and B. W. Schuller. Introduction to the Special Issue on MMAC: Multimodal Affective Computing of Large-Scale Multimedia Data. IEEE Multimedia, 2021.