تحلیل کلان‌داده

برای داده‌هایی که با حجم و سرعت بالا تولید می‌شوند، روش‌های سنتی تحلیل و دست‌کاری داده‌ها قابل استفاده نیستند. هدف اصلی این درس معرفی نظریه‌ها و الگوریتم‌های پیشرفته‌ای است که در سال‌های اخیر در زمینه کلان داده‌ها ارائه شده‌ا‌ند و تحلیل، دستکاری و استخراج دانش از حجم انبوهی از داده‌ها را امکان‌پذیر نموده‌اند.

1. مقدمه: ویژگی‌ها و روش‌های ذخیره‌سازی کلان‌داده‌ها، سبک برنامه‌نویسی کاهش نگاشت.
2. مسئله استخراج الگوهای پرتکرار: کشف قواعد باهم‌آیی، الگوریتم apriori، الگوریتم‌های تصادفی کشف الگوهای پرتکرار.
3. مسئله پیدا کردن داده‌های مشابه در ابعاد بالا، درهم‌سازی min-hash، درهم‌سازی حساس به مکان (LSH)، تحلیل نظری درهم‌سازی حساس به مکان.
4. الگوریتم‌های پردازش جریان داده‌ها: نمونه‌برداری با نسبت ثابت، نمونه‌برداری با اندازه ثابت، پنجره لغزان، الگوریتم‌های تقریبی شمارش تعداد بیت‌های ۱ در یک جریان داده بیتی.
5. فیلتر کردن عناصر، شمارش تعداد عناصر متمایز، تخمین انحراف از معیار فرکانس عناصر، و کشف الگوهای پرتکرار در یک جریان داده.
6. مدل‌های یادگیری ماشین برای جریان داده‌ها: درخت هافدینگ، الگوریتم VFDT، الگوریتم CVFDT
7. الگوریتم‌های کاهش بُعد و تجزیه ماتریسی برای کلان‌داده‌ها: تجزیه مقدار‌های منفرد SVD، تجزیه CUR.
8. خوشه‌بندی داده‌های حجیم: معضل ابعاد بالا، خوشه‌بندی سلسله مراتبی، الگوریتم BFR - الگوریتم CURE.
9. سیستم‌های توصیه‌گر مقیاس‌بزرگ: سیستم‌های مبتنی بر محتوا، مبتنی بر پیمایش تعاملی، مبتنی بر عوامل پنهان، سیستم توصیه‌گر شرکت نتفلیکس.
10. اجمال‌سازی یا sketching: مبدل subsampled randomized Hadamard، مبدل CountSketch، اجمال‌سازی برای مسئله رگرسیون حداقل مربعات

• تمرین‌ها و پروژه: ۳۰ درصد نمره
• آزمون‌های میان‌ترم و پایانی: ۷۰ درصد نمره