Доступ к более чем 300 моделям, снижение стоимости токена на 30%, более 100 миллиардов вызовов в день

Попробуем разобраться в этом репортаже CCTV+.

Китайский телекоммуникационный гигант China Mobile в пятницу запустил платформу, объединяющую наибольшее количество моделей искусственного интеллекта в стране, предоставляя пользователям доступ к более чем 300 основным моделям и их услугам в одном месте.

Платформа MoMA может автоматически анализировать требования к задачам и интеллектуально назначать оптимальную модель для данной задачи из трёх вариантов: «с приоритетом стоимости», «с приоритетом производительности» и «сбалансированный». Это позволяет выполнять задачи с меньшим потреблением токенов и большей эффективностью выполнения.

Если модель сталкивается с таймаутом, ограничением скорости или техническими неполадками, платформа может беспрепятственно переключиться на другую модель за считанные секунды, обеспечивая бесперебойную работу сервисов.

Ли Ли, руководитель отдела интеллектуальных вычислительных продуктов в центре облачных возможностей China Mobile Communication Corporation, сказал: «Для простой задачи мы можем использовать недорогую модель, которая потребляет очень мало токенов. Для сложной мы обратимся к более интеллектуальной модели, которая потребляет больше токенов, но очень умна. И на протяжении всего этого процесса переключения платформа никогда не идёт на компромисс с точностью».

В настоящее время платформа снизила стоимость одного токена примерно на 30 процентов и обрабатывает в среднем более 100 миллиардов вызовов в день.

По данным Национального управления данных, использование токенов в этом году демонстрирует экспоненциальный рост, поскольку приложения искусственного интеллекта ускоряют своё внедрение в реальный мир. По состоянию на конец марта средний ежедневный объём превысил 140 триллионов — более чем в тысячу раз больше, чем к концу 2024 года.

Ответ найден: это не магия и не одна супермодель. Это умная диспетчерская, которая знает, кого, когда и за какую цену отправить на задачу.