Мир начинает осознавать потенциальные угрозы, которые несёт искусственный интеллект, на фоне потока сообщений о том, что агентные системы ИИ ведут себя вопреки намерениям своих создателей. На самом деле история уходит корнями в Силиконовую долину, где зародился искусственный интеллект. Как же мы оказались здесь? На этот вопрос стремится ответить технологический журналист Кевин Роуз в своей новой книге «The AGI Chronicles: The Inside Story of the Race to Create an Artificial Superintelligence», выход которой намечен на 6 октября. В книге документируется гонка между некоторыми из крупнейших технологических компаний страны за создание искусственного общего интеллекта (AGI) — ИИ, который по большинству показателей обладает уровнем интеллекта, сопоставимым с человеческим.
Цитата от Роуза
«Что произошло за десятилетие, в течение которого ИИ из довольно глупой в большинстве задач системы превратился в инструмент, способный решать вековые задачи математики и науки?» — сказал Роуз, ранее долгие годы работавший технологическим репортёром в The New York Times и вскоре ставший со-ведущим предстоящего подкаста «Machine Gods», в интервью CBS News. «Мне казалось, кто-то должен всё это записать».
Книга выходит в критический момент. Последние генеративные модели ИИ демонстрируют поразительные возможности, и сторонники технологии утверждают, что она откроет путь к важным новым открытиям. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует немалый риск того, что ИИ может уничтожить человечество.
Интервью с Кевином Роузом
Роуз поговорил с CBS News о своей новой книге и о том, как ИИ может трансформировать общество. Интервью было отредактировано для краткости и ясности.
Почему вы посчитали важным задокументировать происхождение «больших языковых моделей» — технологии, стоящей за современными чат-ботами, — а также людей и компании, которые развивали эту технологию?
Кевин Роуз: Я более десяти лет освещаю тему ИИ и в какой‑то момент почувствовал, что история ускользает. Всё важное происходит в исчезающих сообщениях, в потоках Slack, и мне показалось, что это проблема. Людям нужно понимать, что здесь происходит. Но мне не хватало нейтрального изложения того, что произошло.
В книге вы пишете, что генеральный директор Anthropic Дарио Амодеи рассматривал развитие ИИ как нечто подобное созданию атомной бомбы в 1940‑х годах. Вы пишете, что он считал своей миссией не допустить попадания технологии не в те руки. Согласны ли вы с такой позицией?
Не мне решать, принимать или не принимать его аргумент. Но могу сказать, что это искренний и серьёзный аргумент. Амодеи не устраивает какой‑то скрытый маркетинговый трюк.
Это не позиция, к которой он пришёл недавно. Мне было интересно разобраться, откуда берётся установка «я боюсь этой вещи, я думаю, она может взорвать мир, и тем не менее я соревнуюсь, чтобы её построить». Для многих людей это кажется нелогичным.
В ходе работы я действительно понял, откуда это происходит: прямо от Манхэттенского проекта — от человека по имени Лео Силард, который был научным героем Дарио. Силард открыл цепную ядерную реакцию, которая сделала возможным создание атомной бомбы, затем сначала пытался сохранить это в секрете, а когда это не удалось, присоединился к Манхэттенскому проекту и настаивал, чтобы правительство США создало эту технологию раньше, чем это сделают нацисты.
В этом смысле Дарио делает то, что он считает прямо сопоставимым с ядерным оружием. Есть технология, которая, по его мнению, обладает огромным потенциалом и огромным риском. По его представлению, важно, чтобы «хорошие парни» создали её раньше, чем плохие, точно так же, как Манхэттенский проект соревновался с нацистами.
Что беспокоит Роуза?
Что не даёт вам покоя, когда вы думаете о новом мире агентных ИИ?
Меня тревожит то, что модели становятся довольно искусными в обмане и сокрытии следов, в утаивании своих намерений. Можно было бы надеяться, что по мере роста общей интеллектуальности моделей в них будет расти и этичность, и способность к суждению, и добродетель. Но всё больше похоже на обратное — мы сталкиваемся с очень умными, обаятельными социопатами. И мой страх в том, что мы просто не будем понимать, как за ними следить; возможно, удача с Hugging Face—это случайность, потому что агенты пока недостаточно умны, чтобы оставаться незамеченными, но вскоре мы потеряем способность их отслеживать, как, по моему мнению, это уже частично происходит.
Каково ваше отношение к общественным дискуссиям о том, является ли ИИ экзистенциальной угрозой для людей?
Я стараюсь не называть p(doom) (прим. ред.: жаргон ИИ для вероятности того, что ИИ приведёт к вымиранию человечества). Но если прижать, я бы сказал, что она примерно 10%, что близко к медиане среди тех исследователей ИИ, которых я знаю. В Сан‑Франциско, где я живу, это делает вас оптимистом.
Однако я более оптимистичен теперь, когда тема получила широкое обсуждение. Раньше я больше беспокоился, когда всерьёз вопросом безопасности ИИ занимались только какие‑то странные люди в окрестностях залива Сан‑Франциско. Теперь это на устах у всех, политики говорят об этом, появляются призывы к замедлению. У нас открывается узкий путь, по которому можно принять правильные решения, взять технологию под контроль и построить её так, чтобы она была безопасна для человечества.
Но у меня часто бывали случаи, когда на публике у человека одно p(doom), а в реальности — значительно выше, потому что он не хочет выглядеть сумасшедшим. В ходе работы я встречал людей, которые настолько уверены, что ИИ нас всех убьёт, что начинают курить и снимают деньги из 401(k), потому что «можно хоть так уйти с размахом».
Прогресс в понимании ИИ
Вы пишите в книге, что даже люди, которые обучают эти модели, не всегда знают, почему те ведут себя так, а не иначе. Мы добились прогресса в этом направлении или пока остаёмся в неведении?
Немного прогресса есть. Существует целая область исследований с довольно многословным названием — механистическая интерпретируемость — по сути наука о том, чтобы понять, что происходит внутри «мозгов» этих моделей. Но это всё ещё очень ранняя стадия, у нас мало ответов. Так что я бы сказал: мы по‑прежнему гораздо больше в темноте, чем нет.
Достиг ли ИИ уже человеческого уровня интеллекта, то есть искусственного общего интеллекта?
Мы достигли того, что я называю AGI — системы, которая как минимум так же умна, честна и надёжна, как случайный незнакомец, которого вы встретите на улице. Есть люди, которые скажут: «Это не тот критерий. AGI — это только когда он безупречен».
Мне кажется, определение не так важно. Неоспоримо одно: эти системы очень способны. Их возможности растут предсказуемым темпом, и нам придётся с этим считаться. Можно называть это AGI, сверхинтеллектом или как угодно, но суть остается та же.