Сгенерированная ошибка и честное признание астрофизика об излишнем доверии к ИИ
Даже самые выдающиеся умы поддаются искушению ускорить работу с помощью искусственного интеллекта, забывая, что алгоритмы созданы не для поиска истины, а для того, чтобы создавать убедительную иллюзию правдоподобия. О своем драматичном опыте в статье для издания Nautilus честно рассказал известный астрофизик и популяризатор науки Пол Саттер, выступавший научным советником и консультантом для проектов NASA. А популярный американский ресурс Futurism, посвященный научным открытиям, технологическим инновациям и будущему человечества, пересказал ее в своей публикации.
Ученый дорабатывал алгоритм для обнаружения «пустот» между галактиками. Чтобы ускорить написание кода, он прибег к активным консультациям с ИИ-ассистентом. Новый алгоритм работал в десять раз быстрее, справлялся с колоссальными объемами данных и казался безупречным.
Однако на 10-й минуте презентации перед коллегами один из присутствующих заметил ошибку: ИИ «галлюцинировал» при обработке крайних значений данных. Ошибка была тонкой, но полностью искажала все математические выводы.
«Это была не опечатка и не пропущенная ссылка. Это было незаметно, но фундаментально неверно. И я поделился всем этим в комнате, полной людей, которые мне доверяли. Инструмент программирования ИИ звучал так, будто он всё понимает, хотя на самом деле это просто сложный предсказатель следующего слова», — признался Саттер.
Астрофизик сравнил нынешний бум ИИ с алхимией — донаучной эрой, когда люди закрывали тигель и верили в магию. «Сейчас мы находимся в дохимической эре ИИ», — заявил Саттер. Он также подметил, что беглость речи нейросетей — это не разум, а «черта, которую мы сами вывели в них, как когда-то вывели из волков собак, смотрящих нам в рот в ожидании лакомства». Главный вывод ученого: никогда не доверять ИИ без строжайшего ручного аудита.
Ирония ситуации проявилась в финалe: когда редакторы Futurism прогнали саму исповедь Саттера через детектор текстов Pangram, программа заявила, что статья Саттера на 56% сгенерирована ИИ.
Эта история — жесткое напоминание: если уж ученые с мировым именем и колоссальным багажом знаний поддаются «магии» ИИ и попадают в ловушку доверчивости, то насколько уязвимыми перед убедительной ложью нейросетей оказываются обычные люди? В эпоху «вайб-технологий» критическое мышление становится единственным средством защиты.
