Речник на означенията
Всеки символ от формулите в уроците: какво означава и в кои уроци се среща.
Един символ може да значи различни неща в различни теми, например n е брой примери, а понякога брой опити. Затова за всяко значение са дадени уроците, в които се използва. Търсиш дума, а не символ? Търсене в уроците.
479 от 479 означения
- ·
умножение: веригата от производни се умножава
вероятностите се умножават
- · V
претеглена сума от values с тези тегла
- (…)'
производната на израза в скобите
- (…)⁻¹
обратна матрица
- (1 − p)ᵏ⁻¹
първите k − 1 опита са неуспешни
- (1 − p)ⁿ⁻ᵏ
вероятността на останалите n − k неуспеха
- (A B)ᵢⱼ
елементът на ред i и колона j в резултата
- (Aᵀ)ᵢⱼ
елементът на ред i и колона j в Aᵀ
- (n − 1)!
същата задача, но за по-малко число
- (XᵀX)⁻¹
обратната на матрицата XᵀX
- (ŷᵢ − yᵢ)²
квадратът на грешката за пример i
- […]
1, ако условието е вярно, иначе 0
- [1, 0], [0, 1]
базисните вектори по осите x и y
- [aᵢ ≠ bⱼ]
1, ако буквите са различни (замяна), иначе 0
- ⌊…⌋
закръгляне надолу
- ⌊ ⌋
закръгляне надолу до цяло число
- ‖…‖²
квадратът на разстоянието
- ‖a‖
дължината (нормата) на вектора a
L2 дължината на a
дължината на вектора
дължина на вектора
- ‖a‖, ‖b‖
дължините на двата вектора
- ‖a‖∞
L∞ норма: най-голямата абсолютна стойност
- ‖a‖1
L1 норма: сума от абсолютните стойности
- ‖a‖2
L2 норма: евклидовата дължина
- ‖g‖
дължината (L2 нормата) на градиента
- ‖w‖
дължината на w
- ‖x − x'‖²
квадрат на разстоянието между двата примера
- ‖x − x̂‖²
квадратичната грешка при възстановяване
- ‖x − xᵢ‖
разстоянието между тях
- ‖Xw − y‖²
сумата от квадратите на грешките
- @
операторът за матрично умножение в Python
- ←
обновяваме, ако новият път през v е по-къс
„става“: заменяме старата стойност
присвояване: новата точка замества старата
„става“: заменяме старата стойност с новата
- ↦
„отива в“
- ⇔
„тогава и само тогава“
- ∂f/∂w1
частна производна по w₁: другите променливи се смятат за константи
- ∂f/∂x
наклонът по посока x
- ∂f/∂y
наклонът по посока y
- ∂L/∂u
колко L зависи от u (идва отдясно)
- ∂L/∂w
градиентът: колко се променя L, ако леко увеличим w
- ∂L/∂ŷ
как загубата зависи от изхода на мрежата
- ∂L/∂z
градиентът по логитите: накъде да се местят
- ∂u/∂x
локалната производна на стъпката
- ∂ŷ/∂z
как изходът зависи от входа на активацията
- ∂z/∂w
как сумата z зависи от теглото w (това е входът x)
- ∇w L
градиентът на загубата по теглата
- ∇f
градиентът (вектор)
градиент: посоката на най-бързо нарастване; тук ∇f = (2x, 8y)
- ∇L
градиентът на L (∇ се чете „набла“): векторът от всички частни производни
текущият градиент
- ∇L(wₜ)
градиентът на загубата в текущата точка
- ∇Lᵢ
градиентът на загубата за един пример
- ∇ₓ L
градиентът на загубата по входа (не по теглата)
- + 1
отместването (bias) на всеки филтър
- + b
отместването се добавя към всеки от N-те резултата (broadcasting)
- + m, + 1
отместванията (bias)
- + n
сливането на двете половини
- |
„при условие че“
- |…|
абсолютна стойност
абсолютна стойност: махаме знака на грешката
брой елементи
- |A|
броят пиксели в маската A
- |a − b|
абсолютната разлика между тях
- |A ∩ B|
броят пиксели, които са и в двете маски
брой пиксели, които са и в двете
- |aᵢ|
абсолютната стойност на i-тия елемент
- |d|, avgdl
дължината на документа и средната дължина
- |T|
брой листа
- |wⱼ|
абсолютната стойност (големината без знака) на теглото
абсолютна стойност на теглото
- |z| > 3
праг: по-малко от 0.3% от нормалните данни са толкова далеч
- ~
„е изтеглено от“ разпределението
- ~ N(0, I)
„е случайна стойност от“ стандартното нормално разпределение
- −
минусът прави резултата положителен
минусът отпред прави загубата положителна, защото log от число под 1 е отрицателен
- −∞
минус безкрайност (в кода −1e9): след softmax дава тегло 0
- √
квадратен корен
корен квадратен: връща RMSE в мерните единици на y
- √dk
делител, който пази числата в нормален мащаб
- ∝
„пропорционално на“: равно, умножено по общ множител
- ∫ₐᵇ
интеграл от a до b
площта под f от a до b
- ⊙
умножение елемент по елемент
- 0! = 1
базовият случай: отговорът е известен директно
- 1.96
множител за 95% при нормално разпределение
- 1 +
добавяме 1, за да работи и при y = 0
- 2 · T(n/2)
двете половини се сортират поотделно
- 2 / ‖w‖
ширината на марджа: по-къс w означава по-широк марж
- 24
бита за пиксел в оригинал: 3 канала по 8 бита
- 4
площта на четвърт кръга е π/4, а на квадрата 1
- 5
x, y, w, h и увереност за обект
- 64 × 64 × 4
размер на латентния код, в който работи дифузията
- брой(wᵢ₋1)
колко пъти се среща първата дума
- брой(wᵢ₋1 wᵢ)
колко пъти двойката думи се среща в текста
- гъстота
обратното на средното разстояние до k-те най-близки съседи
- дисперсия
колко се менят предсказанията при различни обучаващи набори
- наклон
колко се променя y, когато x се увеличи с 1
- не A
събитието да НЕ се случи
противоположното събитие
- отместване
колко средното предсказание (при много различни обучаващи набори) се различава от истината
- праг*
оптималният праг за вероятността p
- сиво
яркостта на сивия пиксел
- точки в кръга
точките с x² + y² ≤ 1
- шум
случайността в самите данни; никой модел не може да я премахне
- A
матрицата на трансформацията
матрицата с коефициентите пред неизвестните
квадратна матрица
събитие, например „пада се шестица“
наклон: с колко се променя y, когато x нарасне с 1
средното разстояние от точката до другите точки в нейния клъстер
изходът на неврона
пикселите, предсказани като обект
- â
единичният вектор в посоката на a
- a, b
двете дробни числа, които сравняваме
два вектора с по n числа
границите на равномерното разпределение
групи продукти (лява и дясна страна на правилото)
позицията вътре във филтъра (ред и колона)
двата правоъгълника: предсказан и истински
двете групи
- a, b, c
коефициентите на параболата
- a, b, c, d
четирите числа в матрицата 2 × 2 (горе вляво, горе вдясно, долу вляво, долу вдясно)
- a · b
скаларното произведение: резултатът е едно число
скаларното произведение
Скаларно произведение и ъгъл · Векторни представяния на думи
скаларно произведение на векторите
- a · b / b · b
колко пъти b се събира в сянката на a
- a'
действието, което агентът наистина ще избере в s' (с ε-greedy)
- A⁻¹
обратната матрица на A
- a − b
векторът на разликата: накъде и колко е от b до a
- A ∩ B
сечението: общата им част
- A ∪ B
обединението: всичко, покрито от поне един от тях
- A ≻ B
хората предпочитат A пред B
- aᵢ
i-тото число във вектора a
- aᵢ²
квадратът на i-тия елемент
- aᵢbᵢ
произведението на i-тите елементи
- Aᵢₖ
елементът на ред i и колона k в A
- Aⱼᵢ
елементът на ред j и колона i в A: индексите са разменени
- argmax
стойността на θ, при която изразът е най-голям
- Aᵀ
транспонираната матрица (чете се „A транспонирано“)
- Aᵀ = A
симетрична: елементът (i, j) е равен на (j, i)
- A x
умножение матрица по вектор: дава лявата страна на всяко уравнение
- b
в първата формула е вторият вектор, а във втората е отместването (едно число)
векторът с десните страни
матрицата с базисните вектори като колони
посоката, върху която проектираме
пресечната точка с оста y
размерът на batch-а (и самото множество от примери)
пресечна точка: стойността на y при x = 0
отместването: стойността на ŷ, когато всички признаци са 0
свободен член: предсказанието, когато всички признаци са 0
отместването
Метод на опорните вектори (SVM) · Неврон и функции на активация
брой дървета
средното разстояние до точките в най-близкия друг клъстер
векторът с отмествания: по едно за всеки неврон
брой примери в партидата
кутии (котви) на клетка
истинските пиксели на обекта
брой двойки в партидата; верните са по диагонала
базова линия (например средното G): намалява шума, без да мести посоката
- B, A
малките обучавани матрици
- b1
отместване, форма (h,)
- b1, b2
векторите на новия базис
- best[i][w]
най-добрата стойност с първите i предмета и капацитет w
- best[i−1][w]
не взимаме предмет i
- best[i−1][w − wᵢ] + vᵢ
взимаме го: остава капацитет w − wᵢ
- best[s]
най-малкият брой монети за сума s
- Bₖ(x)
k-тата базисна функция на сплайна: хълмче, ненулево само около един възел
- Bₖⱼ
елементът на ред k и колона j в B
- BP
наказание за краткост: e^(1 − r/c), ако преводът c е по-къс от еталона r
- bᵤ, bᵢ
отклонения: строг потребител, популярен филм
- c
стойността на последната използвана монета
обикновено число (скалар), с което умножаваме
константа (число, което не зависи от x)
ковариационната матрица (d × d): как се движат признаците заедно
максималната позволена норма (max_norm)
брой класове
брой канали
колко силно да изследваме
- cFN
цена на пропуснат положителен
- cFP
цена на фалшива тревога
- Cin
броят входни канали (3 за цветна снимка)
- Cin, Cout
брой входни и изходни канали
входни и изходни канали
- Cout
броят филтри, тоест изходни канали
- c(i)
номерът на клъстера, към който е точка i
- C(n, k)
броят избори на k от n обекта, когато редът няма значение
по колко начина може да се подредят k успеха в n опита
- c1, c2
координатите на x в новия базис
- c1 … cₖ
числа (коефициенти) в комбинацията
- Cⱼⱼ
по диагонала: дисперсията на признак j
- Cⱼₖ
ковариацията между признак j и признак k
- Cₖ
множеството от точки в клъстер k
- cos(a, b)
сходството: от −1 (противоположни) през 0 (без връзка) до 1 (еднаква посока)
- cos θ
косинусът на ъгъла: 1 при 0°, 0 при 90°, −1 при 180°
- cov(x, y)
ковариацията: дали x и y се движат заедно
- c̃ₜ
кандидат за ново съдържание: tanh(W[hₜ₋₁, xₜ] + b)
- D
диагонална матрица
броят признаци
брой признаци
брой входове на слоя
брой входове на слоя (fan_in)
документът
размер на embedding-а
d_model, размерът на токените
- dk
дължината на векторите query и key
дължина на векторите на заявките и ключовете
- dmodel
размер на токените; всяка глава работи с d_model / h
- d(a, b)
разстоянието между точките a и b
- D(x)
вероятност според дискриминатора, че x е истински
- d[v]
най-краткото известно разстояние от началото до v
- d1, d2
числата по диагонала: мащабите на всяка ос
- det
детерминантата: едно число, което казва дали има обратна матрица
- det A
детерминантата на A
- df(t)
в колко документа се среща думата
в колко документа се среща t
- DP
разлика в дела на одобрените
- dp[i][j−1] + 1
вмъкваме буква
- dp[i−1][j] + 1
изтриваме буква от първата дума
- E
множеството от ребра: двойки свързани върхове
числото на Ойлер, около 2.718
Експонента, логаритъм и сигмоида · Логистична регресия и метрики за класификация
остатък y − ŷ
матрицата на embedding-а, форма (N, d)
- Eπ
очаквано (средно) при следване на π
- E, D
енкодер и декодер
- E[gB]
очакването: средно оценката е вярна
- E[X]
очакването: средната стойност при много опити
- ezₖ
експонента от логита: винаги положително число
- e⁻¹
границата на израза при голямо n
- e⁻ᶻ
e на степен минус z
- e⁰ = 1
всяко число на нулева степен е 1
- eᵃ
e, умножено по себе си a пъти (за дробни a се дефинира плавно)
- eᵢ
вектор с 1 на позиция i и 0 навсякъде другаде
остатък (грешка) за i-тия пример
- EO
разлика в recall сред подходящите
- exp
обратната функция на log
експонента, същото като e на степен
експонента: връща от логаритъм обратно към обикновени числа
- f
името на функцията
функцията, която оптимизираме
функцията на активация
активация, прилага се елемент по елемент
всички признаци
- Fm−1(x)
предсказанието преди новото дърво
- Fm(x)
предсказанието след m дървета
- f, g
две функции
две функции на x
- f', g'
техните производни
- f''
втората производна: производната на производната (колко бързо се променя наклонът)
- f'(g(x))
производната на външната функция, сметната в точката g(x)
- f'(x)
производната на f в точката x (чете се „еф прим от x“)
- f(…)
външната функция, приложена върху g(x)
- f(n)
оценка на целия път през n; първо разглеждаме най-малкото f
- f(S)
предсказанието, когато знаем само признаците в S (останалите заменени със средни)
- f(t, d)
колко пъти думата t е в документа d
- f(x)
изходът за този вход
плътността: колко „гъсто“ са стойностите около x
два-три слоя (конволюция, нормализация, ReLU), които учат поправката
- f(x) dx
височина по ширина на безкрайно тънка лента
- f(x + h) − f(x)
колко се променя функцията при това отместване
- F1
хармонично средно на двете: високо е само ако и двете са високи
хармоничното средно на P и R
- F1ₖ
F1 за клас k (той е „положителен“, останалите са „отрицателни“)
- FFN
плътна мрежа d → 4d → d, приложена към всеки токен
- Fₘ
предсказанието след m дървета
- FN
пропуснати: клас 1, предсказани като 0
пропуснати положителни
- FP
фалшиви тревоги: клас 0, предсказани като 1
фалшиви тревоги
- FPR
каква част от отрицателните погрешно маркираме
- FPRA
дял фалшиви тревоги в група A
- fₜ, iₜ, oₜ
вратите за забравяне, вход и изход: σ(W[hₜ₋₁, xₜ] + b)
- G
графът
градиентът на загубата спрямо изхода на слоя Z, форма (B, h)
текущият градиент
всички градиенти, събрани в един вектор
възвръщаемостта: сумата от всички бъдещи награди
- ga
аналитичният (ръчно изведен) градиент
- gn
численият градиент
- g'(x)
производната на вътрешната функция
- g(n)
изминатото разстояние от началото до състояние n
- g(x)
вътрешната функция
- g(x) = 0
ограничението
- G(z)
генериран пример от шума z
- Gini
вероятността да сгрешим, ако дадем на случаен пример случаен етикет по дяловете във възела
- gₜ
текущият градиент
отстъпената сума от стъпка t до края
- h
малко отместване по x
малко отместване, например 1e-5
ентропия: средно колко бита информация са нужни за класа
скрит слой, форма (B, h)
брой изходи (неврони)
изходът на слоя: по едно число за всеки неврон
изходът на слоя
брой глави
височината (или ширината) на входа
- hm(x)
новото дърво: то предсказва оставащата грешка
- H, W
височина и ширина на изображението
- h(n)
евристика: оценка колко остава до целта (например права линия)
- H(p, q)
cross-entropy между тях
cross-entropy
- H(p)
ентропията на разпределението p
ентропията на p
- H0
нулевата хипотеза: „няма ефект“
- hash(ключ)
числото, което хеш функцията дава за ключа
- hᵢ
състоянието на енкодера за i-тата входна дума
- hₘ
m-тото дърво: обучено да предсказва текущите остатъци
- hₜ
скритото състояние след стъпка t
- i
номерът на примера: от 1 до N
единичната матрица
мярка за смесеност: Gini или ентропия
индекс: дума, потребител, категория
токенът, който „гледа“
номер на двойката координати
единичната матрица: градиентът винаги има пряк път
въглероден интензитет на електричеството (kg CO₂ на kWh)
- idf(t)
рядкост на думата: голяма за редки думи
- IQR
междуквартилен размах
междуквартилен размах: ширината на кутията
- j
токенът, към който гледа
колко пиксела от входа отговарят на една стъпка в текущата карта
очакваната обща награда, която искаме да увеличим
- j ≤ i
j е преди i или е самият той: разрешено
- k
колко слоя запазваме
наклонът на правата
броят успехи, за които питаме
броят събития, за който питаме (0, 1, 2, …)
номерът на опита, в който е първият успех
категорията, например един град
брой класове
Небалансирани класове · Много класове: softmax и one-vs-rest · Macro, micro и weighted метрики · Регуляризация в практиката
степента на полинома
брой съседи
колко съседи гласуват
keys: как се „представя“ всеки токен
ключове: какво предлага всеки токен, форма (T, d_k)
ядрото (например 3 × 3)
филтърът (ядрото), например 3 × 3 числа
размерът на филтъра
размер на ядрото
- k!
делим на него, защото всяка група от k е преброена k! пъти
k факториел
- K · K
теглата на филтъра за един канал
- K(x, x')
сходство между примерите x и x'
- k1, b
параметри: насищане (около 1.5) и сила на корекцията за дължина (около 0.75)
- KL
KL дивергенцията: колко се различават двете разпределения
разстояние на Кулбак–Лайблер: колко разпределението на енкодера се отклонява от стандартното нормално
- KL(p ‖ q)
колко се различава q от p
- Kᵀ
транспонираната матрица K (редовете стават колони)
- L
числото, към което се приближават стойностите на f
крайният резултат (загубата)
загубата, тук MSE
брой етикети
загубата binary cross-entropy
обикновената загуба (например cross-entropy)
- Lобщо
загубата, която минимизираме
- Lq
pinball загуба: наказва по-силно грешките под квантила
- L, R
лявото и дясното дете след разделянето
- Laplace(0, b)
случаен шум с разпределение на Лаплас и мащаб b
- lim
граница
граница: какво става, когато h става все по-близо до 0
- LN
Layer normalization по признаците на всеки токен
- ln(a · b)
логаритъм от произведение
- ln x
натурален логаритъм: на каква степен трябва да повдигнем e, за да получим x
- log
натурален логаритъм
натурален логаритъм (ln)
натурален логаритъм; log(1) = 0, log(малко число) е много отрицателно
- log(N / df(t))
IDF: голямо за редките думи, 0 за думите навсякъде
- log2
логаритъм при основа 2: дава резултата в битове
- log2 k
бита, нужни за номер на цвят от палитра с k цвята
- log2 n
колко пъти можем да разделим n на 2, докато остане 1
- log P(wᵢ | контекст)
логаритъм от вероятността на верния токен
- m
броят кофи в таблицата
най-големият логит
сила на изглаждането: колко „въображаеми“ реда с общото средно добавяме
средното на последните градиенти (като momentum)
случайна маска от 0 и 1; всяка единица с вероятност 1 − p
- m̂
поправеното средно на градиентите
- m, n
индекси в ядрото
- m̂, v̂
m и v, поправени в началото, когато още са близо до 0
- m × n
матрица с m реда и n колони
- max_{a'} Q*(s', a')
най-доброто, което можем да направим от следващото състояние
- maxₐ' Q(s', a')
най-добрата оценка от новото състояние
- MHA
multi-head внимание
- mod
остатък при деление
- mod 256
остатък при деление на 256: uint8 пази само стойности от 0 до 255
- mₜ
средното след стъпка t
- N
броят примери
Функции · Ковариационна матрица · Линейна регресия и градиентно спускане · Невронна мрежа от нулата
размерът на входа, например броят елементи в списъка
броят елементи
размерността: колко числа има векторът
степента
броят опити
броят стойности
размерът на извадката
общ брой примери
брой примери
брой примери във възела
броят документи
брой документи
броят токени в текста
брой парчета (токени)
- nc
брой примери от клас c
- Nk(x)
множеството от k-те най-близки обучаващи примера до x
- nL, nR
брой примери в лявото и дясното дете
- Nε(x)
точките в радиус ε около x
- n, k
колко обекта има и колко избираме
- n, m
броят входове и изходи на напълно свързания слой
- n!
n факториел: 1 · 2 · … · n
n факториел: произведението 1 · 2 · … · n
- N(0, I)
стандартното нормално разпределение (средно 0, отклонение 1)
- N(0, s²)
нормално разпределение със средно 0 и дисперсия s²
- N(a)
колко пъти сме дърпали автомат a (включително сега)
колко пъти е избрана ръчка a
- N(x | μ, Σ)
плътността на нормално разпределение със средно μ и ковариация Σ
- nₖ
брой редове с тази категория
брой истински примери от клас k
- O(…)
„от порядъка на“: как расте броят стъпки при голямо n
- O(1)
константно време: не зависи от n (достъп до елемент по индекс)
- O(log n)
логаритмично: двоично търсене
- O(n²)
квадратично: два вложени цикъла по данните
- onehot(i)
вектор с дължина N, с единица на позиция i
- out[i, j]
стойността в ред i и колона j на изхода
- p
вероятността за успех в един опит
Случайни величини и разпределения · Още дискретни разпределения
p-стойността
истинското разпределение (при класификация: 1 за верния клас)
вероятността примерът да е от клас 1
Логистична регресия и метрики за класификация · Логистична регресия отблизо
precision (прецизност)
векторът с вероятности от softmax
вероятността от изхода на мрежата
вероятност за изключване (например 0.5)
позицията на токена (0, 1, 2, ...)
padding: колко реда нули добавяме от всяка страна
padding от всяка страна
размер на парчето
мощност на хардуера (kW)
- p_{i, yᵢ}
вероятността, която мрежата дава на верния клас на пример i
- py
вероятността, дадена на верния клас y
- P, Q
векторите на потребителите и на обектите (по k числа)
- P(A)
вероятността събитието да се случи
колко е често A по принцип
вероятността за A
априорна вероятност: преди данните
- P(A | B)
вероятността за A, ако знаем, че B се е случило (чертата се чете „при условие“)
това, което търсим: вероятност за A, ако знаем B (например „болен, ако тестът е положителен“)
апостериорна вероятност: след данните
- P(a ≤ X ≤ b)
вероятността X да е в интервала
- P(A и B)
вероятността A и B да се случат заедно
- P(B)
вероятността за B
колко е често B по принцип
пълната вероятност за B
общата вероятност на данните (по формулата за пълна вероятност)
- P(B | A)
обратното, което обикновено знаем: „положителен тест, ако е болен“
вероятността за B, ако A се е случило
правдоподобие: колко добре A обяснява данните B
вероятността за B сред кошниците с A
- P(c)
колко е чест класът c по принцип
- P(c | x)
вероятността за клас c, ако виждаме признаците x
- P(n)
броят подредби на n обекта
- P(s' | s, a)
вероятност да стигнем s' от s с действие a
- P(w2 | w1)
вероятността за w₂, ако преди това е w₁
- P(X = x)
вероятността X да е равно на x
- P(x | c)
колко вероятни са тези признаци, ако класът е c
- P(xᵢ | c)
вероятността на признак i в клас c
- P(xᵢ | θ)
вероятността на пример i при тези параметри
- P(xₜ₊1 | …)
вероятността, която моделът дава на истинския следващ токен
- P(xₜ | x₍<ₜ₎)
вероятността на истинския токен при предишните
- p / (1 − p)
шансовете (odds): колко пъти клас 1 е по-вероятен от клас 0
- p − y
грешката: предсказана вероятност минус истинския клас (0 или 1)
- pᵢ
вероятността на изход i
вероятността за клас 1, която дава моделът
предсказаната вероятност за клас 1
- pᵏ
вероятността на k успеха
- pₖ
вероятността за клас k
Много класове: softmax и one-vs-rest · Многослойни мрежи и обратно разпространение
делът на примерите от клас k в групата
делът на примерите от клас k във възела
- Pₖ, Rₖ
precision и recall след първите k предсказания (сортирани по увереност)
- pₙ
дял на n-грамите от машинния превод, които са в човешкия
- PPL
перплексията
- precision
от маркираните като положителни, каква част наистина са
от предсказаните като положителни, каква част са верни
- projb(a)
проекцията на a върху b
- pᵤ
вектор на вкусовете на потребителя (например колко обича екшън, комедия)
- PUE
коефициент на ефективност на центъра: обща енергия / енергия за компютрите
- Q
ортогонална матрица (въртене или отражение)
предсказаното разпределение
желаният квантил, например 0.9
queries: какво търси всеки токен
заявки: какво търси всеки токен, форма (T, d_k)
- Q · Kᵀ
таблица T × T: колко си подхожда всяка двойка токени
- Q(a)
оценката за средната награда на автомат a
средната награда досега от ръчка a
- Q(s, a)
оценката за действие a в състояние s
- q(z | x)
разпределението на кода, което енкодерът дава за входа x
- Q1
първи квартил: 25% от данните са под него
- Q1
първи квартил: 25% от стойностите са под него
- Q3
трети квартил: 75% от данните са под него
- Q3
трети квартил: 75% от стойностите са под него
- qᵢ
вектор на филма в същото пространство
- QᵀQ = I
транспонираната е обратната матрица
- R
матрицата с оценки: ред за всеки потребител, колона за всеки обект
корелацията: между −1 и 1
recall (обхват)
рангът на поправката, например 8
зрителното поле досега (в пиксели от входа)
току-що получената награда
получената награда
- R, G, B
яркостта на червения, зеления и синия канал
- r(·)
моделът на наградата: число за качеството на отговор
- R(s, a, s')
наградата при този преход
- R(T)
грешката на дървото T на обучаващите данни
- r + γ · max…
целта: по-добрата оценка след стъпката
- r − Q(a)
изненадата: колко се различава наградата от очакваното
- recall
от истинските положителни, каква част хващаме
- ReLU
активацията max(0, z), приложена на всеки елемент
- ReLU(z)
0 за отрицателни z, самото z за положителни
- rₜ
наградата на стъпка t
получената награда на ход t
- r̂ᵤᵢ
предсказаната оценка на потребител u за обект i
предсказаната оценка на потребител u за филм i
- s
стандартното отклонение на извадката
stride: стъпката на филтъра
стъпка (stride)
размер на мрежата от клетки
суровият резултат на решението
група признаци без i
- Sнай-добър
най-добрият суров резултат на участник
- SНК
резултатът на решението на научния комитет
- Smin
резултатът на базовото решение от условието
- s, a
текущото състояние и избраното действие
- s'
новото състояние
- s(x)
оценката на модела (вероятност или произволно число)
- sign
знакът: +1 или −1
- sᵢⱼ
сходство между i-тата снимка и j-тия текст
- softmax
прилага се на всеки ред: превръща оценките в тегла със сума 1
- sₜ
състоянието на декодера на стъпка t
- sₜ, aₜ
състоянието и действието на стъпка t
- T
общ брой стъпки
думата
температурата
дължина на последователността (брой токени)
температура
брой токени в текста
това, което мрежата се учи да предсказва
номер на текущия ход
докъде сме по пътя от A до B
номерът на стъпката
време (часове)
- T(n)
времето за сортиране на n елемента
- tanh(z)
хиперболичният тангенс
хиперболичен тангенс: от −1 до 1
хиперболичен тангенс, стойности от −1 до 1
- tf(t, d)
делът на думата t в документа d
колко пъти думата t се среща в документ d
- TN
истински отрицателни: клас 0, предсказани като 0
вярно отхвърлени отрицателни
- TP
истински положителни: клас 1, предсказани като 1
вярно открити положителни
- TPR
каква част от положителните хващаме (recall)
- TPRA
дял хванати положителни в група A
- Tr
следа: сума на диагонала
- U
ортогонална матрица: посоките в изхода
междинна стойност в графа
- uc
векторът на истинска дума от контекста
- un
векторите на случайни „отрицателни“ думи
- uᵢ, vᵢ
i-тите колони на U и V
- V
множеството от върхове
собствен вектор (не е нулевият вектор)
собствен вектор: посоката на една главна компонента
„скоростта“: натрупаният градиент
средното на квадратите на градиентите: колко са големи
values: каква информация предава всеки токен
стойности: каква информация носи всеки токен, форма (T, d_v)
- v̂
поправеното средно на квадратите на градиентите
- vw
векторът на централната дума
- V(n, k)
броят подредени избора на k от n обекта
- V*(s)
оптималната стойност на състояние s
- v1 … vₖ
векторите
- Var[X]
дисперсията: колко варира броят успехи
- Vₖ
оценката на стойностите след k итерации
- Vᵀ
ортогонална матрица: посоките във входа
- w
векторът с тегла
векторът с d тегла
теглата, които търсим
Системи уравнения и обратна матрица · Метод на най-малките квадрати
теглата, които дават най-малка MSE
векторът с тегла: сочи перпендикулярно на границата
матрица d × k: колоните са главните компоненти
матрицата с тегла: по един ред за всеки неврон в слоя
замразена матрица на модела, d × k
сила на насочването (guidance scale), обикновено 3–10
- wc
теглото на грешките от клас c
- WO
изходна матрица d_model × d_model
- WQ, WK, WV
три матрици с тегла, които мрежата научава
- Wx, Wh
тегла за входа и за предишното състояние, еднакви за всички стъпки
- w·x
скаларно произведение: w₁x₁ + w₂x₂ + …
- w · x + b = 0
границата: всички точки, за които сумата е 0
- w(v, u)
дължината на реброто от v до u
- w ± h·eᵢ
теглата, в които сме променили само i-тото
- W1
тегла на първия слой, форма (d, h)
- w1, …, wₙ
думите (токените) в текста
- w1, w2
двете променливи
- w1 … wd
теглата: с колко се променя ŷ, ако признакът се увеличи с 1
теглата: влиянието на всеки признак
- ways[i]
броят начини да стигнем до стъпало i
- ways[i − 1]
пристигаме с крачка от 1 стъпало
- ways[i − 2]
пристигаме с крачка от 2 стъпала
- wᵢ
теглото на i-тия пример (после се нормират да дават сума 1)
- wᵢ, vᵢ
теглото и стойността на предмет i
- wⱼ
теглото на признак j
- wₖ
тегло на k-тото хълмче, научено от линейната регресия
- wₜ
теглата на стъпка t
- x
векторът с признаци
матрицата с данни: N реда (примери) и d колони (признаци)
векторът с неизвестните (x, y)
матрицата с признаци (с колона от единици за отместването)
входът (аргументът)
случайната величина, например числото на зара
една възможна стойност на X
оригиналната стойност
матрицата с данни (N × d)
стойността на признака
матрица n × d: всеки ред е пример, всяка колона е признак (плюс колона от единици)
новият пример
входовете на неврона
входна партида, форма (B, d)
входният вектор (признаците или изходът на предишния слой)
матрицата с векторите на токените: по един ред за всеки токен
входното изображение
входът, например изображение
чистият пример
- x̂
възстановеният пример
възстановеният вход
възстановеният пример от декодера
- x̄
средното на n наблюдения
средното на извадката
- xсъсед
един от k-те му най-близки съседи от същия клас
- Xc
центрираните данни: от всяка колона е извадено средното
- xt
изображението след t стъпки шум
- x, y
две произволни точки
- x̄, ȳ
средното на x и средното на y (чертата отгоре означава средно)
- x, y, w, h
центърът и размерът на истинската кутия
- x → a
x се приближава до a (без задължително да е равно на a)
- x⁺, x⁻
случаен положителен и случаен отрицателен пример
- x0
кандидат за минимум или максимум
оригиналното изображение
чистият пример
- x1 … xd
признаците на примера, например площ и брой стаи
признаците на един пример (площ, стаи, етаж...)
- xₐ, yₐ, wₐ, hₐ
центърът и размерът на котвата
- xᵢ
точката, в която мерим височината на правоъгълник i
i-тата стойност в данните
признакът на пример i
обучаващ пример i
пример от малкия клас
точка i
- xᵢ − μ
колко е далеч стойността от средното
- xᵏ
признакът, повдигнат на степен k (нова колона)
- xₜ
входът на стъпка t (например embedding на думата)
t-тият токен
- Xᵀ
транспонираната матрица с данни
транспонираната X
транспонираната матрица на признаците
- Xᵀ G
форма (d, B) @ (B, h) = (d, h), като W
- XᵀX w = Xᵀy
нормалните уравнения: система, която решаваме за w
- y
истинската стойност
вектор с истинските стойности
one-hot векторът на верния клас: 1 на мястото на верния клас и 0 на останалите
верният клас (0 или 1)
условието: клас, текст или картинка
- ŷ
предсказанието на модела
векторът с N предсказания: по едно за всеки ред
предсказанието на модела (чете се „игрек с шапка“)
Графики за машинно обучение · Линейна регресия и градиентно спускане
предсказаният клас
- ȳ
средното на всички истински стойности
общото средно на целта
средното на целта за примерите във възела
- yonehot
истинският клас като вектор от нули с една единица
- Y[i, j]
изходът в позиция (i, j)
- y = 1
кандидатът наистина е подходящ
- ŷ = 1
моделът одобрява
- yᵢ
верният отговор за пример i
истинската стойност на i-тия пример
верният клас на пример i: 0 или 1
истинският клас: 0 или 1
истинският брой пилета на снимка i (сумата на истинската карта)
- ŷᵢ
предсказанието за пример i (чете се „игрек с шапка“)
предсказанието за i-тия пример
предсказанието за пример i
предсказанието на модела за i-тия пример
предсказаният брой (сумата на предсказаната карта)
- yᵢ, yⱼ
one-hot етикетите на двете снимки
- Yᵢⱼ
1, ако пример i има етикет j
- ȳₖ
средното на целта за тази категория
- z
входът: произволно число
стандартизираната стойност: на колко σ е от средното
логитите
на колко стандартни отклонения е стойността от средното
мащабираната стойност
трансформираната цел, върху която учим
претеглената сума на признаците (може да е всяко число)
кодът: k числа вместо d
претеглената сума
логитите (изходът преди softmax)
латентният код: кратко описание на x
шум: разнообразието при едно и също условие
- ẑ
предсказанието на модела в логаритмичния мащаб
- zA, zB
кодовете на двата примера
- z2
входът на изходния неврон преди сигмоидата
- zᵢ
логитът на токен i
Езикови модели и n-грами · Генериране: температура, top-k и top-p
- zᵢ − m
всички стават ≤ 0, затова експонентите са между 0 и 1
- zₖ
оценката (logit) за клас k: wₖ·x + bₖ
логитът (суровата оценка) за клас k
- α
learning rate: размерът на стъпката
learning rate
Градиентно спускане в детайли · Оптимизатори: SGD, momentum и Adam · Q-learning
learning rate: колко голяма стъпка правим (например 0.1)
сила на регуляризацията (в sklearn: alpha)
сила на наказанието: по-голямо α, повече нулеви тегла
обща сила на наказанието (alpha)
цена на всяко листо (ccp_alpha в sklearn)
малък наклон за отрицателните стойности, например 0.01
скорост на обучение
- ᾱt
колко от оригинала остава: 1 в началото, почти 0 накрая
колко от оригинала е останал на стъпка t (пада от 1 към 0)
- αₜ
тежестта на гласа на t-тия модел
- αₜᵢ
колко внимание обръща стъпка t на входна дума i (сумата по i е 1)
- β
колко помним (0.9 означава около 10 стъпки)
колко помним от старата скорост (около 0.9)
тежест на KL частта
- β1, β2
колко помним (0.9 и 0.999)
- γ
gamma: голямо γ = влияние само съвсем наблизо (сложна граница)
коефициентът на отстъпка (гама), между 0 и 1
отстъпка: колко ценим бъдещите награди (0 до 1)
отстъпката
- γ, β
научени мащаб и отместване
- γᵏ
отстъпка за наградата след k стъпки
- γᵗ
γ на степен t: колкото по-далеч е наградата, толкова по-малко тежи
- δ
праг: над него грешката се смята за аномалия (в sklearn: epsilon, мащабиран)
чувствителност: колко най-много може да промени резултата един човек
- Δx
ширината на всеки правоъгълник
- ε
малък допуск, например 1e-9 (0.000000001)
малко число против деление на 0
радиус на околността (eps)
малко число (1e-8), за да не делим на 0
малко число (например 1e-5), за да не делим на 0
колко вероятност разпределяме равномерно (например 0.1)
добавеният шум
случаен шум
истинският добавен шум
стандартен нормален шум
бюджет на поверителността: по-малко ε = повече шум = по-голяма защита
колко голяма е промяната на всеки признак (пиксел)
- εθ
мрежата, която предсказва шума
- εθ(xt, t)
шумът, който мрежата предсказва (θ са теглата ѝ)
- ε(x, ∅)
предсказаният шум без условие
- ε(x, y)
предсказаният шум с условие
- εₜ
претеглената грешка на t-тия модел
- η
скорост на обучение: колко голяма е стъпката
learning rate (чете се „ета“), например 0.1
скорост на обучение (learning_rate), обикновено 0.01–0.3
- ηmax, ηmin
началната и крайната скорост
- ηt
скоростта на обучение на стъпка t
- θ
ъгълът между векторите (гръцка буква „тета“)
параметрите на модела
теглата на мрежата, които се учат
- θ*
най-добрите параметри
- θ⁻
теглата на целевата мрежа: старо копие, обновявано на N стъпки
- λ
собствена стойност (гръцка буква „ламбда“): колко пъти се разтяга v
множител на Лагранж
средният брой събития за интервала
колко събития средно на единица време
колко силно наказваме големите тегла (λ = 0 значи без наказание)
случайно число между 0 и 1: къде по отсечката е новата точка
собствена стойност: дисперсията на данните по тази посока
колко силно наказваме големите тегла
тегло между 0 и 1, обикновено от Beta(α, α)
- λf(x) + (1 − λ)f(y)
височината на отсечката между двете точки на графиката
- λᵢ / Σ λ
делът на дисперсията, който компонента i обяснява
- λx + (1 − λ)y
точка между тях (λ е делът)
- μ
средната стойност (гръцка буква „мю“)
средното на признака
истинското очакване
средното на признака в обучаващите данни
средната оценка изобщо
средното на данните
- μB, σ²B
средното и дисперсията на неврона в текущата партида
- μc(i)
центърът на този клъстер
- μg, Σg
същото за генерираните
- μr, Σr
средно и ковариация на признаците на истинските снимки
- μ, σ
средното и стандартното отклонение на колоната
- μ*
очакваната награда на най-добрата ръчка
- μₖ
центърът (средното) на клъстер k
- μₖ, Σₖ
центърът и формата (ковариационната матрица) на клъстер k
средно и ковариация на компонент k
- Π
произведение по всички примери
произведение: като Σ, но умножаваме вместо да събираме
теглата на компонентите
- π(a | s)
стратегията: вероятност да изберем a в s
- πₖ
теглото на клъстер k: каква част от данните е от него (сумата е 1)
- ρ
дял на L1 наказанието (l1_ratio), от 0 до 1
корелация между дърветата
- Σ
„сума“: събираме израза за всички примери
диагонална матрица със сингулярните стойности σ₁ ≥ σ₂ ≥ … ≥ 0
сигмоидата (гръцка буква „сигма“)
стандартното отклонение (гръцка буква „сигма“)
стандартното отклонение на признака
стандартното отклонение на едно наблюдение
сума по всички примери
стандартното отклонение в обучаващите данни
сигмоидата: функцията, която „смачква“ z между 0 и 1
сигмоида: превръща всяко число в стойност между 0 и 1
сигмоида
- σ'(z)
производната на сигмоидата
- σ(z)
сигмоидата
сигмоида: от 0 до 1
сигмоида 1 / (1 + e^−z)
- σ/√n
стандартното отклонение на средното (стандартна грешка)
- σ²
дисперсията: средният квадрат на отклонението от средното
дисперсия на едно дърво
- Σₐ Σb
събираме по всички позиции на филтъра
- σᵢ
i-тата сингулярна стойност: колко е важен този слой
- Σⱼ ezⱼ
сумата от експонентите за всички класове j
- Σⱼ wⱼ²
сума от квадратите на всички тегла (L2 норма на квадрат)
- Σₖ
сума по k: по всички n позиции
- Σ pₖ²
сумата от квадратите на дяловете на всички класове
- Σ w²
сумата от квадратите на всички тегла
- Σ wⱼ²
сумата от квадратите на всички тегла
- σₓ, σᵧ
стандартните отклонения на x и y
- τ
температура: колко „остър“ е softmax
температура: голяма = почти случайно, малка = почти алчно
- φᵢ
приносът на признак i за това предсказание