Обучение с утвърждение
Агенти, бандити и UCB, марковски процеси, Белман, value и policy iteration, Q-learning и SARSA, DQN, policy gradient и RLHF.
15 урока · около 340 минIOAIНужно: Python за напреднали, Вероятности и статистика, Визуализация на данни, Невронни мрежи от нулата, Трансформъри и големи езикови модели
Първо завърши: Вероятност, Класове и обекти, matplotlib: графики
- 1
Агент, среда и награда
Основните понятия, възвръщаемост и отстъпка
25 мин Заключен
- 2
Многоръки бандити
Изследване срещу използване и стратегията ε-greedy
25 мин Заключен
- 3
ε-greedy и UCB
Две стратегии за изследване при бандитите
20 мин Заключен
- 4
Марковски процеси на решение
Състояния, действия, преходи, награди и стратегия
20 мин Заключен
- 5
Стойностни функции
Колко е добре да си в състояние: V и Q
20 мин Заключен
- 6
Уравнението на Белман
Стойността днес = награда сега + отстъпена стойност утре
20 мин Заключен
- 7
Value iteration
Прилагаме Белман многократно, докато стойностите спрат да се менят
20 мин Заключен
- 8
Policy iteration
Оцени стратегията, подобри я, повтори
20 мин Заключен
- 9
Q-learning
Q-таблица, уравнението на Белман и агент в лабиринт
35 мин Заключен
- 10
SARSA
Учене от действията, които наистина правиш
20 мин Заключен
- 11
Изследване на средата
Намаляващо ε, оптимистични стойности, softmax и любопитство
20 мин Заключен
- 12
Deep Q-Network
Q с невронна мрежа: replay буфер и целева мрежа
20 мин Заключен
- 13
Policy gradient
Учим директно стратегията: REINFORCE
20 мин Заключен
- 14
RLHF: как се обучават асистентите
Модел на наградата от човешки предпочитания
20 мин Заключен
- 15
Проект: агент за игра
Q-learning агент за „ловец на съкровища“ и сравнение със случаен играч
35 мин Заключен
Изпит на курса
Отключва се, когато завършиш всички уроци.