ИИ: Система «бесконечной» памяти от Google
Компания Google анонсировала новую парадигму искусственного интеллекта под названием Nested Learning (Вложенное обучение). Этот подход призван решить ключевую проблему современных нейросетей — «катастрофическое забывание», когда новая информация стирает ранее приобретенные знания. Nested Learning позволяет моделям учиться непрерывно и сохранять накопленный опыт, имитируя поэтапный и адаптивный процесс человеческого обучения.
В отличие от классических моделей, Nested Learning рассматривает ИИ как многоуровневую иерархию вложенных задач обучения, а не как единый процесс. Эта система основана на концепции Continuum Memory System (CMS), где память разделена на модули с разной частотой обновления:
Медленные модули: Аккумулируют устойчивые, фундаментальные знания, которые не меняются со временем.
Быстрые модули: Легко адаптируются и интегрируют новую информацию (контекст) без перезаписи старых навыков.
Такая структура позволяет модели сохранять предыдущие умения, гибко адаптироваться к новым задачам и лучше понимать контекст своей работы.
В качестве прототипа нового подхода Google представила архитектуру HOPE.
В тестах HOPE показала лучшие результаты по языковому моделированию и задачам с длинным контекстом, значительно превосходя обычные трансформеры.
Nested Learning открывает путь к созданию ИИ, который может:
Учиться бесконечно, постоянно интегрируя новую информацию.
Эффективно управлять памятью, не стирая старые, но важные данные.
ORIENT
