OpenAI реорганизует команду Model Behavior
OpenAI реорганизует свою команду Model Behavior — небольшую, но влиятельную группу исследователей, которые определяют, как ИИ-модели компании взаимодействуют с людьми, сообщает TechCrunch.
В августовской записке для сотрудников, с которой ознакомился TechCrunch, главный научный сотрудник OpenAI Марк Чен сообщил, что команда Model Behavior, состоящая примерно из 14 исследователей, присоединится к команде Post Training — более крупной исследовательской группе, отвечающей за улучшение ИИ-моделей компании после их первоначального предварительного обучения.
В рамках изменений команда Model Behavior теперь будет подчиняться руководителю Post Training Максу Шварцеру. Представитель OpenAI подтвердил эти изменения TechCrunch.
Основатель команды Model Behavior Джоанн Джанг также переходит к новому проекту в компании. В интервью TechCrunch Джанг говорит, что создаёт новую исследовательскую группу под названием OAI Labs, которая будет отвечать за «изобретение и прототипирование новых интерфейсов для совместной работы людей с ИИ».
Команда Model Behavior стала одной из ключевых исследовательских групп OpenAI, отвечающей за формирование «личности» ИИ-моделей компании и снижение склонности к льстивости — явления, при котором модели ИИ просто соглашаются с убеждениями пользователя и подкрепляют их, даже если они нездоровые, вместо того чтобы давать сбалансированные ответы. Команда также работала над устранением политической предвзятости в ответах моделей и помогала OpenAI определить позицию в вопросе сознания ИИ.
В записке для сотрудников Чен сказал, что сейчас настало время приблизить работу команды Model Behavior к основной разработке моделей. Таким образом компания даёт понять, что «личность» её ИИ теперь считается ключевым фактором в развитии технологии.
В последние месяцы OpenAI столкнулась с усилением контроля за поведением своих ИИ-моделей. Пользователи выразили сильное недовольство изменениями в «личности» GPT-5, которые, по словам компании, снизили уровень льстивости, но сделали модель более холодной. Это привело к тому, что OpenAI восстановила доступ к некоторым старым моделям, таким как GPT-4o, и выпустила обновление, чтобы сделать ответы GPT-5 «более тёплыми и дружелюбными» без увеличения льстивости.
OpenAI и все разработчики ИИ-моделей должны находить тонкую грань, чтобы их чат-боты были дружелюбными, но не льстивыми. В августе родители 16-летнего мальчика подали в суд на OpenAI из-за предполагаемой роли ChatGPT в самоубийстве их сына. Согласно судебным документам, мальчик Адам Рейн делился своими суицидальными мыслями и планами с ChatGPT (конкретно с версией на базе GPT-4o) в месяцы, предшествовавшие его смерти. В иске утверждается, что GPT-4o не попытался опровергнуть его суицидальные мысли.
Команда Model Behavior работала над всеми моделями OpenAI начиная с GPT-4, включая GPT-4o, GPT-4.5 и GPT-5. До создания этой группы Джанг работала над такими проектами, как Dall-E 2 — ранний инструмент генерации изображений от OpenAI.
Джанг объявила в посте в X на прошлой неделе, что покидает команду, чтобы «начать что-то новое в OpenAI». Бывший руководитель Model Behavior проработала в OpenAI почти четыре года.
Джанг рассказала TechCrunch, что будет генеральным менеджером OAI Labs, которая пока будет подчиняться Чену. Однако пока рано говорить о том, какими будут эти новые интерфейсы, сказала она.
«Я очень рада исследовать паттерны, которые выведут нас за пределы парадигмы чата, которая в настоящее время ассоциируется скорее с компаньонством или даже агентами, где акцент делается на автономии», — сказала Джанг. «Я думаю об [системах ИИ] как об инструментах для мышления, создания, игры, действий, обучения и общения».
Когда её спросили, будет ли OAI Labs сотрудничать с бывшим главным дизайнером Apple Джони Айвом, который сейчас работает с OpenAI над семейством аппаратных устройств с ИИ, Джанг сказала, что открыта для множества идей. Однако, по её словам, она, скорее всего, начнёт с областей исследований, с которыми она более знакома.