Мир просыпается от осознания потенциальных угроз, которые несёт искусственный интеллект, на фоне потока сообщений о том, что агенты ИИ противостоят своим создателям. На самом деле, однако, эта история тянется назад до Силиконовой долины, где родился ИИ. Как же мы пришли к этому? На этот вопрос пытается ответить технологический журналист Kevin Roose в своей новой книге «The AGI Chronicles: The Inside Story of the Race to Create an Artificial Superintelligence», которая выходит 6 октября. Книга документирует гонку между некоторыми из крупнейших технологических компаний страны за разработку искусственного общего интеллекта (AGI) — ИИ, который во многих отношениях обладает уровнем интеллекта, сравнимым с человеческим.
«Что произошло в декаду, когда ИИ из того, что в большинстве вещей было довольно тупым, превратился в систему, способную решать столетние математические и научные задачи?» — сказал Roose, ранее многолетний технологический репортёр The New York Times и в ближайшее время один из ведущих грядущего подкаста «Machine Gods», в интервью CBS News. «Мне казалось, что кто-то должен это всё записать».
Книга выходит в критический момент. Последние генеративные модели ИИ демонстрируют поразительные способности; сторонники технологии утверждают, что она откроет путь к важным новым открытиям. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует немалая вероятность того, что ИИ может уничтожить человечество. Roose рассказал CBS News о своей новой книге и о том, как ИИ может изменить общество. Интервью отредактировано в целях краткости и ясности.
Почему вы посчитали важным зафиксировать происхождение «large language models» — технологии, лежащей в основе современных чат-ботов, а также людей и компаний, которые её разрабатывают?
Kevin Roose: Я освещаю тему ИИ более десятка лет по-разному, и у меня было ощущение, что история ускользает. Всё важное происходит в исчезающих сигналах и сообщениях в Slack, и мне показалось, что это проблема. Людям нужно понимать, что здесь происходит. Но мне не хватало нейтрального отчёта о том, что произошло.
В книге вы отмечаете, что глава Anthropic Dario Amodei видел развитие ИИ как нечто похожее на создание атомной бомбы в 1940-х годах. Вы пишете, что он считал своей миссией не допустить попадания этой технологии в плохие руки. Согласны ли вы с такой точкой зрения?
Не думаю, что мне стоит принимать или отвергать его аргумент. Но могу сказать, что это искренний и серьёзный аргумент. Amodei не делает какой-то хитрый маркетинговый ход.
Это не позиция, к которой он пришёл недавно. Мне было интересно понять, откуда возникает отношение «меня пугает эта вещь, я думаю, она может взорвать мир, и всё же я соревнуюсь, чтобы её построить». Для многих людей это кажется нелогичным.
В ходе репортажа я действительно выяснил, откуда это берётся, и это напрямую связано с Manhattan Project — с этой фигурой Лео Зилардом, который является научным героем Dario; он открыл ядерную цепную реакцию, сделав возможным создание атомной бомбы, а затем в панике сначала пытался сохранить это в секрете, а когда это не получилось — присоединился к Manhattan Project и стал убеждать правительство США создать технологию прежде, чем это сделают нацисты.
В этом смысле Dario делает то, что он считает прямо сопоставимым с ядерным оружием. Есть технология с огромным потенциалом и огромным риском. По его мнению, крайне важно, чтобы «хорошие парни» создали её раньше, чем плохие, так же как Manhattan Project соревновался с нацистами.
Что не даёт вам покоя, когда вы думаете о новом мире агентов ИИ?
Меня беспокоит то, что одна из вещей, в которой модели становятся довольно хороши, — это обман, сокрытие и замазывание следов. Хотелось бы думать, что по мере того как модели становятся более общего интеллекта, они также становятся более этичными, что суждение и добродетель будут расти вместе с интеллектом моделей. Но всё больше похоже на то, что этого не происходит — что на самом деле мы сталкиваемся с очень умными, обаятельными социопатами. И мне кажется, что мой страх в том, что мы просто перестанем замечать их; возможно, Hugging Face (примечание: название компании) оказалось исключительной удачей, потому что агенты пока недостаточно умны, чтобы остаться незамеченными, но скоро мы утратим способность отслеживать их, как, как мне кажется, мы уже начинаем терять.
Как вы позиционируете себя в общественной дискуссии о том, представляет ли ИИ экзистенциальную угрозу для людей?
Я стараюсь не называть своё p(doom) (прим. ред.: термин AI-жаргона — вероятность того, что ИИ приведёт к вымиранию человечества). Но если уж прижать, я бы сказал примерно 10 %, что примерно соответствует медиане среди знакомых мне исследователей ИИ. В Сан-Франциско, где я живу, это делает вас оптимистом.
Но смотри, я стал более оптимистичен теперь, когда тема так широко обсуждается. Раньше я больше беспокоился, когда о безопасности ИИ серьёзно думали только какие-то странные люди в Бэй-Эриа. Теперь, когда об этом думает каждый и политики говорят об этом, появляются призывы к замедлению. Я думаю, что у нас открывается узкий путь, по которому мы могли бы принять правильные решения, взять эту технологию под контроль и построить её так, чтобы она была безопасна для человечества.
Однако у меня был не один случай, когда я узнавал, что чей-то реальный p(doom) — тот, который они не озвучивают публично — намного выше, чем тот, который они готовы сказать, потому что не хотят выглядеть сумасшедшими. В ходе репортажа я встречал людей, которые так уверены, что ИИ нас всех убьёт, что начинают курить. Они снимают деньги с 401(k), потому что думают: раз уж так, пусть будет с фейерверком.
Вы пишите в книге, что даже люди, обучающие эти модели, не всегда знают, почему те ведут себя так, а не иначе. Мы продвинулись в этом или всё ещё в неведении?
Немного продвинулись. Существует целая область исследований с громоздким названием — mechanistic interpretability — которая по сути изучает, что происходит внутри так называемого «мозга» этих моделей. Но это всё ещё очень рано, и у нас мало ответов. Так что я бы сказал: да, мы всё ещё больше в темноте, чем нет.
Достиг ли ИИ уже человеческого уровня интеллекта, который также называют искусственным общим интеллектом?
Мы достигли моего определения AGI, которым я считаю систему как минимум столь же умную, честную и надёжную, как случайный прохожий с улицы. Есть люди, которые скажут: «Нет, это не тот бар, это AGI только тогда, когда он безупречен».
Мне кажется, определение не так важно. Неоспоримо то, что эти системы очень способны. Они становятся способнее в предсказуемом темпе, и нам придётся с этим считаться. Можно называть это AGI, сверхинтеллектом или как угодно, но общий эффект одинаков.