Границы принятия решений (Decision Boundaries)
Разделительные линии (в двумерном пространстве) или гиперплоскости (в многомерном пространстве), которые модель машинного обучения выстраивает для разделения данных на классы или категории в процессе классификации.
Представьте, что вы раскладываете фрукты по корзинам: в одну — яблоки, в другую — апельсины. Ваш «критерий сортировки» (например, цвет и форма) и есть аналог границы принятия решений: вы мысленно проводите линию, за которой один фрукт однозначно отличается от другого.
В машинном обучении модель «учится» проводить такие линии на основе обучающих данных — чтобы для нового, ранее не встречавшегося объекта можно было уверенно сказать: «Это яблоко» или «Это апельсин».
Исторический контекст
Исторически понятие границ принятия решений восходит к ранним алгоритмам классификации. Один из первых и самых наглядных примеров — линейный классификатор (например, перцептрон, предложенный Фрэнком Розенблаттом в 1957 году). Перцептрон ищет прямую линию (в 2D) или гиперплоскость (в N‑мерном пространстве), которая максимально чётко разделяет два класса. С развитием методов появились и более сложные границы — нелинейные, которые могут принимать причудливые формы (например, в методах опорных векторов с ядерными функциями или в нейронных сетях).
Отличие от смежных понятий
Важно отличать границы принятия решений от смежных понятий:
- Функция потерь — это мера ошибки модели, а не разделительная линия. Границы строятся так, чтобы минимизировать функцию потерь, но сами по себе они описывают геометрию разделения классов.
- Признаковое пространство — это пространство, где лежат данные; границы принятия решений — это подмножества этого пространства, разделяющие классы.
- Решающие деревья тоже разделяют пространство, но делают это не гладкими гиперплоскостями, а набором прямоугольных областей (разбиений по порогам признаков).
Примеры использования
- В логистической регрессии граница принятия решений — это гиперплоскость, заданная уравнением $w·x + b = 0$, где $w$ — веса признаков, $x$ — вектор признаков объекта, $b$ — смещение.
- В методе опорных векторов (SVM) граница строится так, чтобы максимизировать зазор (margin) между классами; при использовании ядерных функций граница может быть нелинейной.
- В нейронных сетях границы принятия решений формируются совокупностью нелинейных преобразований в скрытых слоях; для двухклассовой задачи с двумя признаками их можно визуализировать как сложные кривые на плоскости.
- В задачах компьютерного зрения (например, классификация изображений) границы принятия решений работают в высокоразмерном пространстве пикселей или признаков, извлечённых свёрточными слоями.