Китайский технологический гигант Alibaba разработал инновационный метод, позволяющий существенно снизить затраты на обучение больших языковых моделей (LLM). Новая технология, получившая название ZeroSearch, по утверждению компании, способна сократить расходы на сбор данных до 88% по сравнению с традиционными подходами, основанными на использовании внешних поисковых сервисов.
Как передает Oxu.Az, об этом сообщает издание South China Morning Post (SCMP).
Обучение мощных моделей искусственного интеллекта (ИИ) требует колоссальных ресурсов, включая высокопроизводительное оборудование, огромные объемы данных и значительные финансовые вложения. Одним из дорогостоящих этапов является сбор и подготовка обучающих датасетов, часто требующий обращения к поисковым системам.
Суть подхода ZeroSearch заключается в том, что генерация необходимых для обучения новых моделей данных поручается уже существующим, хорошо обученным LLM компании. Эти модели эффективно имитируют процесс поиска и сбора информации, но делают это внутренне, без необходимости платить за доступ к сторонним API или использовать внешнюю инфраструктуру поиска.
Экономический эффект оказывается весьма значительным. Alibaba приводит пример: обработка 64 000 запросов через стандартный поисковый API может стоить разработчикам порядка 586.70 долларов. В то же время, использование внутренней ИИ-модели с 14 млрд параметров для выполнения той же задачи обходится всего в 70.80 долларов. Таким образом, достигается более чем восьмикратное снижение затрат на этом этапе.
По мнению разработчиков, такой прорыв в сокращении расходов сделает разработку и совершенствование систем ИИ более доступным, особенно для небольших компаний и исследовательских групп, не располагающих крупными бюджетами или собственной обширной инфраструктурой. Сама Alibaba уже активно применяет гибридные подходы, комбинируя возможности своих передовых моделей семейства Qwen с традиционными поисковыми технологиями для повышения точности и релевантности ответов на сложные запросы пользователей.
