Стоимость обучения новой модели ИИ от Anthropic

Итан Моллик получил разъяснение от PR-отдела Anthropic, в котором говорится, что Sonnet 3.7 не считается моделью с 10^26 флопс и стоила «несколько десятков миллионов долларов». Однако будущие модели будут гораздо больше.

TechCrunch обратился к Anthropic за подтверждением, но на момент публикации ответа не получил.

Если предположить, что обучение Claude 3.7 Sonnet действительно обошлось всего в «несколько десятков миллионов долларов», не учитывая сопутствующие расходы, это свидетельствует о том, что выпуск современных моделей становится относительно дешёвым. Как сообщил генеральный директор Anthropic Дарио Амодей в недавнем эссе, предшественник Sonnet, Claude 3.5, также обошёлся в несколько десятков миллионов долларов при обучении.

Эти суммы довольно выгодно отличаются от цен на обучение ведущих моделей 2023 года. По словам генерального директора OpenAI Сэма Альтмана, для разработки своей модели GPT-4 OpenAI потратила более 100 миллионов долларов. Тем временем Google потратил около 200 миллионов долларов на обучение своей модели Gemini Ultra, как оценило исследование Стэнфордского университета.

Однако Амодей ожидает, что будущие модели ИИ будут стоить миллиарды долларов. Конечно, затраты на обучение не учитывают такие работы, как тестирование безопасности и фундаментальные исследования. Более того, поскольку индустрия ИИ внедряет модели «рассуждения», которые работают над задачами в течение длительных периодов времени, вычислительные затраты на запуск моделей, вероятно, будут продолжать расти.