OpenAI развивает модели ИИ для решения математических задач и создания агентов
Вскоре после того как Хантер Лайтман присоединился к OpenAI в качестве исследователя в 2022 году, он стал свидетелем запуска ChatGPT — одного из самых быстрорастущих продуктов в истории. Тем временем Лайтман тихо работал в команде, обучавшей модели OpenAI решать задачи математических соревнований для старшеклассников.
Сегодня эта команда, известная как MathGen, считается ключевым элементом усилий OpenAI по созданию моделей ИИ, способных рассуждать: основной технологии, лежащей в основе агентов ИИ, которые могут выполнять задачи на компьютере, как человек.
«Мы пытались сделать так, чтобы модели лучше справлялись с математическими рассуждениями, что в то время у них не очень хорошо получалось», — рассказал Лайтман TechCrunch, описывая раннюю работу MathGen.
Модели OpenAI далеки от совершенства — новейшие системы ИИ компании всё ещё допускают ошибки, а её агенты борются со сложными задачами. Но её передовые модели значительно улучшили свои способности к математическим рассуждениям. Одна из моделей OpenAI недавно завоевала золотую медаль на Международной математической олимпиаде — соревновании для самых ярких старшеклассников мира.
OpenAI считает, что эти способности к рассуждению можно применить и к другим областям, и в конечном итоге создать универсальных агентов, о которых компания всегда мечтала.
Генеральный директор OpenAI Сэм Альтман говорит, что в будущем люди смогут просто попросить компьютер о том, что им нужно, и компьютер выполнит все эти задачи за них. «Эти возможности часто обсуждаются в области ИИ как агенты. Преимущества этого будут огромными», — сказал Альтман на первой конференции разработчиков OpenAI в 2023 году.
Пока неизвестно, достигнут ли агенты видения Альтмана, но OpenAI шокировала мир, выпустив свою первую модель ИИ, способную рассуждать, под названием o1, осенью 2024 года. Менее чем через год 21 исследователь, стоявший за этим прорывом, стал самым востребованным талантом в Силиконовой долине.
Марк Цукерберг нанял пятерых исследователей o1 для работы в новом подразделении Meta, занимающемся сверхинтеллектом, предложив некоторым пакеты компенсаций на сумму более 100 миллионов долларов. Один из них, Шэнцзя Чжао, недавно был назначен главным научным сотрудником Meta Superintelligence Labs.
Подъём моделей рассуждений и агентов OpenAI связан с техникой обучения машинному обучению, известной как обучение с подкреплением (RL). RL предоставляет модели ИИ обратную связь о том, были ли её выборы правильными или нет в имитируемых средах.