سرفصل های دوره LLM

سرفصل های دوره LLM مدرسه مهارت هوش مصنوعی

دوره جامع مدل‌های زبانی بزرگ (LLM) و هوش مصنوعی مولد

آشنایی با مفاهیم بنیادی یادگیری عمیق و هوش مصنوعی
ساختار شبکه‌های عصبی مصنوعی:
- نورون مصنوعی
- لایه‌های ورودی، پنهان و خروجی
- وزن‌ها و بایاس
- توابع فعال‌سازی
بررسی معماری‌های رایج یادگیری عمیق:
- شبکه‌های MLP
- شبکه‌های CNN
- شبکه‌های RNN
- مقایسه کاربردها و تفاوت معماری‌ها
آموزش و بهینه‌سازی مدل‌های یادگیری عمیق:
- الگوریتم Backpropagation
- Gradient Descent و روش‌های بهینه‌سازی
- مفاهیم Overfitting و Regularization
انواع روش‌های یادگیری ماشین:
- یادگیری نظارت‌شده (Supervised Learning)
- یادگیری بدون‌نظارت (Unsupervised Learning)
- یادگیری تقویتی (Reinforcement Learning)
- مقایسه کاربردها
زیرساخت‌ها و ابزارهای توسعه مدل‌های هوش مصنوعی:
- نقش GPU در آموزش مدل‌ها
- آشنایی با TensorFlow و PyTorch
- معرفی زیرساخت‌ها، ابزارها و فریم‌ورک‌های مورد استفاده در توسعه مدل‌های یادگیری عمیق

سیر تکامل مدل‌های زبانی:
- از مدل‌های آماری و n-gram
- تا شبکه‌های عصبی و معماری Transformer
معماری Transformer و نقش مکانیزم Attention در مدل‌های زبانی بزرگ
مقیاس‌پذیری در LLM ها:
- داده
- تعداد پارامترها
- توان پردازشی و زیرساخت محاسباتی
قابلیت‌ها و محدودیت‌های مدل‌های زبانی بزرگ:
- تولید متن
- استدلال و درک زبان
- خطاها، Hallucination و چالش‌های دقت
آشنایی با کاربردهای LLM در صنعت و کسب‌وکار
روندهای آینده و مسیر توسعه فناوری‌های Generative AI

آشنایی با معماری و ساختار مدل‌های زبانی بزرگ
فرایند پیش‌آموزش (Pretraining) مدل‌های زبانی
تنظیم دقیق مدل‌ها (Fine-tuning) و آموزش مبتنی بر دستورالعمل (Instruction Tuning)
ارزیابی عملکرد و سنجش کیفیت مدل‌های LLM
آشنایی با APIها، پروتکل‌ها و ابزارهای توسعه مبتنی بر LLM
زیرساخت‌های پردازشی و نقش GPU در آموزش و استقرار مدل‌ها
مدیریت و بهینه‌سازی اجرای مدل‌های زبانی بزرگ
طراحی و ایجاد Knowledge Graph و گراف روابط با استفاده از LLM
بررسی سناریوهای واقعی استفاده از LLM در محصولات و سامانه‌های هوشمند