ByteDance, владелец TikTok, начала предобучение новой языковой модели, размер которой может достичь 10 триллионов параметров. Если компания доведет проект до заявленного масштаба, модель станет одной из крупнейших в мире, передает Tech-news.
По данным Financial Times, итоговое количество параметров пока не определено и будет зависеть от результатов обучения. Для сравнения, китайская открытая модель Kimi K3 насчитывает 2,8 трлн параметров, а размер флагманской модели Anthropic Mythos 5 отраслевые оценки ставят примерно на уровне 8 трлн.
Проект развивает подразделение ByteDance Seed, которое уже занимается языковыми, графическими и видеомоделями. Самым заметным продуктом компании стала Seedance — один из наиболее известных генераторов видео. Версия Seedance 2.0, вышедшая в феврале, привлекла внимание роликами с Томом Крузом, Брэдом Питтом и персонажами голливудских франшиз. После этого ByteDance столкнулась с критикой из-за возможного нарушения авторских прав.
Теперь компания расширяет ставку на большие языковые модели. В Seed работают около 2 тыс. специалистов, а ByteDance последние годы активно инвестирует в дата-центры и вычислительные ускорители.
Из-за американских ограничений на поставки передовых чипов часть вычислительных ресурсов компания размещает за пределами Китая. В частности, в Малайзии ByteDance получила доступ к крупному кластеру на ускорителях Nvidia B200.
Такие мощности понадобятся для нового проекта: по данным Financial Times, только предварительное обучение модели может занять от трех до шести месяцев.
При этом количество параметров само по себе не определяет возможности модели. На ее качество влияют архитектура, обучающие данные и методы обучения. Поэтому 10 трлн параметров еще не гарантируют превосходства над конкурентами.
ByteDance начинает гонку в момент, когда разработчики ИИ все активнее ищут способы повышать возможности моделей без пропорционального увеличения вычислительных затрат. Подходы DeepSeek и других компаний показывают, что масштаб модели остается лишь одним из факторов в соревновании за производительность ИИ.
