Трансформъри и големи езикови модели
Вниманието отвътре, блокът на трансформъра, BERT и GPT, токенизация, фина настройка, генериране, промптиране, RAG и ограничения.
15 урока · около 325 минIOAIНужно: Невронни мрежи от нулата, Обработка на естествен език
Първо завърши: Многослойни мрежи и обратно разпространение
- 1
Self-attention и трансформъри
Query, Key и Value, формулата на вниманието и разликата между BERT и GPT
40 мин Заключен
- 2
Query, Key и Value отблизо
Мащабиране с √d, маска и сметки на ръка
20 мин Заключен
- 3
Multi-head attention
Няколко вида внимание паралелно
20 мин Заключен
- 4
Позиционно кодиране
Как трансформърът знае реда на думите
20 мин Заключен
- 5
Блокът на трансформъра
Внимание, плътна мрежа, остатъчни връзки и LayerNorm
20 мин Заключен
- 6
BERT: разбиране на текст
Енкодер, маскирани думи и фина настройка за класификация
20 мин Заключен
- 7
GPT: предсказване на следващата дума
Декодер с каузална маска и мини езиков модел
20 мин Заключен
- 8
BPE токенизация
Как текстът се реже на парчета: алгоритъмът стъпка по стъпка
20 мин Заключен
- 9
Големи езикови модели
Предварително обучение, токенизация, fine-tuning и стратегии за генериране
30 мин Заключен
- 10
Фина настройка
Пълна настройка, LoRA и инструкции
20 мин Заключен
- 11
Генериране: температура, top-k и top-p
Как от вероятности става текст
20 мин Заключен
- 12
Промптиране
Ясни инструкции, примери, стъпки и формат на отговора
20 мин Заключен
- 13
RAG: отговори от твоите документи
Търсене + генериране
20 мин Заключен
- 14
Оценка на езикови модели
Перплексия, тестове с отговори и модел като съдия
20 мин Заключен
- 15
Ограничения и халюцинации
Защо езиковите модели грешат уверено и как да се пазиш
15 мин Заключен
Изпит на курса
Отключва се, когато завършиш всички уроци.