Большинство современных моделей искусственного интеллекта (ИИ) страдают «катастрофическим забыванием»: при обучении на новых данных они начинают путать или полностью стирать старые знания. Для решения этой критической проблемы, которая мешает постоянному и надежному обновлению ИИ в бизнес-задачах, Google представила новый подход — Nested Learning (Вложенное обучение) и его прототип, архитектуру Hope.

Google предлагает рассматривать обучение ИИ не как единый непрерывный процесс, а как иерархическую систему вложенных задач, каждая из которых обновляется с разной частотой.

• Верхний уровень (Медленный): Собирает устойчивые, фундаментальные знания, которые меняются редко (например, грамматика или базовые концепции).

• Нижний уровень (Быстрый): Состоит из небольших компонентов, которые можно быстро переобучить, чтобы они впитывали ежедневные изменения и свежую информацию.

В этом подходе оптимизаторы работают как ассоциативная память, помогая модели запоминать, какие исправления были внесены ранее, чтобы избежать повторного забывания.

Прототип Hope и его преимущества

Прототип этой технологии, архитектура Hope, уже показал многообещающие результаты в экспериментах. Hope продемонстрировала лучшую точность в языковом моделировании и устойчивость на задачах с длинным контекстом по сравнению с классическими трансформерами.

Если технология окажется успешной, бизнес получит возможность создавать более надежных ИИ-агентов, которые:

• Доучиваются «на лету» во время диалога.

• Экономно работают с длинным контекстом, так как не требуют повторного анализа всех старых данных при каждом запросе.

В Google подчеркивают, что Hope является только прототипом, и для подтверждения ее жизнеспособности необходимы независимые тесты.

ORIENT