Линейная модель (Linear Model)

В основе линейной модели лежит простое, но мощное предположение: зависимость между входными данными (признаками) и целевой переменной можно аппроксимировать прямой линией (в двумерном случае) или гиперплоскостью (в многомерном). Модель ищет оптимальные веса для каждого признака, чтобы минимизировать ошибку предсказания на обучающей выборке. Формально предсказание $\hat{y}$ для вектора признаков $x$ выглядит так:

$$\hat{y} = w_0 + w_1x_1 + w_2x_2 + \ldots + w_nx_n,$$

где $w_i$ — веса (параметры модели), $w_0$ — сдвиг (bias).

Аналогия

Представьте, что вы пытаетесь предсказать стоимость квартиры, зная её площадь, этаж и расстояние до метро. Линейная модель — это как опытный риелтор, который мысленно «взвешивает» каждый фактор: «За каждый квадратный метр добавлю 100 000 рублей, за каждый этаж сверху сниму 10 000, за каждый километр до метро сниму 50 000». В итоге он складывает все поправки и выдаёт итоговую оценку. Модель делает то же самое, только веса подбираются автоматически на основе данных.

Исторический контекст

Линейные модели — одни из старейших и наиболее изученных в статистике и машинном обучении. Метод наименьших квадратов, лежащий в основе обучения линейных моделей, был разработан ещё в начале XIX века (Карлом Фридрихом Гауссом и Адриеном Мари Лежандром). В контексте машинного обучения линейные модели стали фундаментом для более сложных подходов: например, логистическая регрессия (линейная модель для классификации) активно использовалась уже в 1940–1950‑х годах. Сегодня линейные модели остаются популярными благодаря простоте, интерпретируемости и скорости обучения.

Смежные понятия

• Нелинейные модели (например, нейронные сети, деревья решений) могут улавливать сложные, непрямые зависимости между признаками и целевой переменной. В отличие от них, линейные модели предполагают строго линейную связь.
• Обобщённые линейные модели (GLM) расширяют классические линейные модели, позволяя использовать разные функции связи (например, сигмоиду в логистической регрессии).
• Регуляризация (L1, L2) часто применяется к линейным моделям, чтобы избежать переобучения и отобрать наиболее важные признаки.

Примеры использования

• Линейная регрессия — для предсказания непрерывных величин (цена дома, температура, продажи).
• Логистическая регрессия — для бинарной классификации (спам/не спам, болезнь/здоровье).
• Метод опорных векторов (SVM) с линейным ядром — для классификации и регрессии, где граница решения — гиперплоскость.
• Линейные модели в ансамблях — например, в градиентном бустинге над линейными моделями (LightGBM с boosting_type='gbdt' и линейными базовыми моделями).

Популярные реализации

• В библиотеке scikit-learn (Python): LinearRegression, LogisticRegression, SGDRegressor.
• В TensorFlow/PyTorch линейные слои (Dense с линейной активацией) часто служат базовыми блоками для более сложных сетей.
• В R — функции lm() и glm().