Зона поиска решений (Search Area for Solutions)
Область в пространстве параметров модели машинного обучения, где осуществляется поиск оптимальных значений весов, гиперпараметров или иных регулируемых величин для достижения заданной цели (минимизации функции потерь, повышения точности и т. д.).
Представьте, что вы ищете клад на большом острове. Весь остров — это пространство всех возможных решений, но вы знаете, что клад точно спрятан в определённой долине (например, по карте или подсказкам). Эта долина и будет «зоной поиска решений»: вы не тратите время на обследование всего острова, а целенаправленно исследуете ограниченный участок, где вероятность найти клад максимальна.
В контексте машинного обучения и нейронных сетей идея зоны поиска решений возникла не как отдельный формальный термин, а скорее как интуитивное представление в рамках задач оптимизации. Уже в ранних работах по градиентному спуску (1960–1970‑е годы) исследователи понимали, что не нужно «перебирать» все возможные значения параметров — достаточно двигаться в направлении, где функция потерь убывает. С развитием методов гиперпараметрической оптимизации (например, Grid Search, Random Search, Bayesian Optimization в 2000–2010‑х годах) понятие зоны поиска стало более явным: пользователь задаёт диапазоны значений для гиперпараметров (скорость обучения, размер батча, количество слоёв и т. п.), и алгоритм ищет оптимум именно в этих границах.
Важно отличать зону поиска решений от:
- пространства параметров — это всё множество возможных значений параметров модели, тогда как зона поиска — его подмножество, где ведётся активный поиск;
- области сходимости алгоритма — это теоретическая зона, в которой алгоритм гарантированно сойдётся к оптимуму; зона поиска может быть шире или уже этой области и задаётся пользователем эвристически.
Примеры использования:
- при настройке гиперпараметров свёрточной нейронной сети (CNN) для классификации изображений зона поиска может включать диапазоны: скорость обучения от 0,001 до 0,1, количество фильтров в свёрточных слоях от 16 до 256, размер ядра от 3×3 до 7×7;
- в алгоритме оптимизации Adam зона поиска решений для параметра $\beta_1$ (коэффициент затухания первого момента) обычно задаётся в интервале (0,9; 0,999);
- при поиске архитектуры нейронной сети (Neural Architecture Search, NAS) зона поиска может включать типы слоёв (свёрточные, полносвязные, attention), способы соединения слоёв, количество слоёв и т. п. — всё это задаётся в виде «пространства поиска» (search space), которое и является зоной поиска решений для алгоритма NAS.