Если это приведёт к какому-то варианту по-настоящему стабильного тоталитаризма, возможно, жизни людей станут намного хуже на чрезвычайно долгий период времени, то есть, ИИ может привести к довольно пугающему развитию событий. А с развитием ИИ война, вполне вероятно, станет выглядеть совсем иначе — из-за распространения летального автономного оружияуже существует. Хочется верить, что мы учтём возможность такого поведения и сможем его обнаружить. Однако поймать на обмане достаточно развитый ИИ, кажется, будет сложнее, чем поймать на лжи человека, что не всегда просто. Например, не исключено, что достаточно развитый ИИ окажется способен заставить нас поверить, что мы решили задачу “как распознать обман со стороны ИИ”, хотя на самом деле мы её не решили.

И кажется очевидным, что если технологии и дальше будут развиваться с той же скоростью, это значительно повлияет на общество. Как минимум, подешевеет выполнение задач, которые будут автоматизированы, и это может привести к стремительному экономическому росту (возможно даже сравнимому с ростом во время промышленной революции). Модели машинного обучения берут какие-то данные на вход и выдают какие-то данные на выход, причём результат зависит от параметров модели, которые получаются в результате автоматического обучения, а не задаются программистами. Если вы думаете, что некая новая технология приведёт к серьёзным последствиям (а возможно даже к исчезновению человечества), но все, кто реально работают над этой технологией, считают ваши опасения беспочвенными, то, вероятно, вы что-то упускаете.

Даже если бы ИИ развивался медленнее, мы бы всё равно беспокоились по этому поводу — подавляющее большинство аргументов о том, какие риски таит в себе ИИ (мы рассмотрим эти аргументы ниже), не связаны со скоростью его развития. Эрнандес и его команда также проверили, сколько нужно вычислительных ресурсов, чтобы обучить нейронную сеть, у которой будет такая же эффективность, какая была у AlexNet (одного из ранних алгоритмов распознавания картинок). И как мы увидим в следующем разделе, есть свидетельства, что значительной автоматизации можно достигнуть благодаря масштабированию уже имеющихся технологий. И, наконец, если говорить про политику, то многие уже озабочены тем, что автоматизированные алгоритмы социальных сетей увеличивают политическую поляризацию. А некоторые эксперты предупреждают, что в ближайшие годы на политику могут значительно повлиять улучшающиеся способности ИИ создавать реалистичные фото и видео, а также автоматизированные кампании, направленные на изменение общественного мнения. Не всегда удаётся предугадать, что именно станет технологией общего назначения.

Люди могут ошибаться по поводу того, насколько такие системы опасны, или пойти на небольшой риск для всего мира ради больших выгод. В конце концов, на то, чтобы заниматься всем сразу, у нас не хватит времени. Поэтому правильно выбрав проблему, над которой вы будете работать, вы, возможно, принесёте значительно больше пользы. Когда существуют настолько существенные угрозы, кажется разумным, чтобы многие люди сосредоточили свои усилия на предотвращении наиболее опасных сценариев. Это особенно верно для систем с амбициозными целями — а именно такие цели ассоциируются с гипотетическими мощными ИИ будущего, — и, следовательно, именно такие цели мы скорее всего захотим дать продвинутым планирующим системам.

Вполне вероятно, что мы создадим системы, способные строить сложные планы

А наблюдение, что люди обычно не ищут огромное количество Валютный рынок власти, можно объяснить тем, что обычно ради этого нужно приложить слишком уж много усилий. Кроме того, если на создание трансформационного ИИ у нас уйдёт много времени, у нас также будет много времени на то, чтобы понять, как сделать его безопасным. Судя по всему, риск гораздо выше, если трансформационный ИИ появится в ближайшие десятилетия.

Всё это звучит очень абстрактно. Как на самом деле может выглядеть экзистенциальная катастрофа, вызванная ИИ?

Поэтому мы считаем, что эта проблема относительно решаема, хотя и сильно неуверены в этом — как мы уже говорили, существуют очень разные оценки того, насколько реально сделать ИИ безопасным. Несомненно, некоторые люди увлеклись темой безопасности ИИ, потому что они любят компьютеры и научную фантастику. Как и в любой области, здесь есть люди, которые тут работают не потому, что они считают, что это важно, а потому что они считают, что это круто. Возможно, ИИ радикально изменит нашу жизнь — и тем самым принесёт огромные деньги компаниям и государствам, которые его разработают. Потенциальная прибыль здесь может быть гораздо выше, чем в случае ядерного оружия или исследований “приобретения функций”, и это создаст соответствующую мотивацию. Однако, как мы уже говорили, существуют стимулы создавать системы, которые умеют планировать (и реализовывать свои планы), а также стимулы использовать такие системы — даже если мы не уверены, что они заалайнены.

Аннотация научной статьи по наукам об образовании, автор научной работы — Valerii S. Efimov, Alla V. Laptevа

И, возможно, эти оценки занижены, поскольку они не учитывают, что с тех пор, как они были сделаны, прогресс идёт быстрее, чем ожидалось. Если эта гипотеза верна, то наблюдая за скоростью увеличения вычислительных мощностей, доступных для fte full form in company обучения моделей, мы сможем предсказывать, как будут расти возможности искусственного интеллекта. Более того, судя по всему, увеличение размера моделей (и количества вычислительных ресурсов, используемых для их обучения) приводит к даже более сложному поведению. Например, модели вроде GPT-3 начинают выполнять задачи, решать которые их не обучали. Снижение рисков катастрофы, связанной с ИИ, выглядит довольно сложной задачей. Но данная область только начинает развиваться, и в ней есть много направлений для дальнейших исследований.

1. Если у нас действительно получится запереть развитый ИИ в “песочнице” — то есть, ограничить его обучающим окружением без доступа к реальному миру до тех пор, пока мы не будем очень уверены в том, что он не причинит вреда, — то это значительно поможет нам снизить риски со стороны ИИ.
2. Некоторые утверждают, что ИИ будет менять наше будущее постепенно и влиять на человечество менее заметным образом, но это всё равно приведёт к экзистенциальной катастрофе.
3. Однако, как мы уже упоминали, даже если мы успешно построим ИИ, который делает именно то, что мы хотим (т.е. решим проблему алайнмента), мы, тем не менее, можем потребовать от него сделать что-то плохое!
4. Не всегда удаётся предугадать, что именно станет технологией общего назначения.
5. Как мы уже обсуждали, системы будущего — не обязательно сверхинтеллект или абсолютно универсальный интеллект, а системы, которые умеют хорошо планировать и способны накапливать власть, — судя по всему, способны представлять угрозу для существования всего человечества.
6. Ведь у большинства людей всё же появляется мотивация накапливать разные виды влияния с помощью богатства, статуса, высоких должностей и так далее.

В двух из ведущих лабораторий по созданию ИИ (DeepMind и OpenAI) есть специально выделенные команды, которые работают над технической безопасностью ИИ. Исследователи из упомянутых институтов и лабораторий помогали нам с этой статьёй. В интернете можно встретить в какой-то степени карикатурные описания рисков со стороны ИИ, в которых ИИ даются цели, которые уж точно никому не интересны. Например, вряд ли кто-то по-настоящему хочет “создать как можно больше скрепок”. Поэтому может показаться, что проблем, описанных выше, легко избежать, если просто давать ИИ лишь те цели, которых мы на самом деле хотим достичь.

Так мы максимизируем наши шансы на хорошее будущее с продвинутым ИИ вместо экзистенциальной катастрофы. Однако мы считаем, что если экзистенциальные риски от ИИ достаточно высоки, то работать над ними гораздо важнее, чем над рисками со стороны современных систем. Одна из возможных причин этого заключается в том, что его никогда и не будет. Некоторые утверждают, что создать сильный искусственный интеллект в принципе невозможно.

1. Я по-прежнему сильно не уверен в оценке общего количества ЭПЗ, задействованных для предотвращения катастрофы, связанной с ИИ, но достаточно уверен, что это число достаточно мало, чтобы говорить о том, что проблема в целом является сильно недооценённой.
2. Однако, раз эти системы регулярно строят планы, которые позволяют им достигать целей, наверное, можно сказать, что у них в каком-то смысле есть цели.
3. Кроме того, даже если мы не сможем использовать глубокое обучение для создания трансформационного ИИ, возможно, мы просто придумаем новые методы.
4. Однако мы постепенно изучили аргументы, упомянутые выше (чтобы разобраться, как мы можем принести больше всего пользы), и со временем стали лучше разбираться в вопросах ИИ.
5. Сегодня ML-системы могут выполнять лишь очень малую долю задач, которые способны решать люди.
6. Также возможна проблема, что даже если у одной группы действительно получится дать ИИ лишь “правильные” цели, у других групп это может не получиться, и в итоге мы всё равно столкнёмся с очень способным искусственным интеллектом, рвущимся к власти.

Как и в случае других исследовательских проектов на ранней стадии, мы не знаем, насколько сложно решить проблему алайнмента (или другие проблемы ИИ, которые могут нести риски). Кто-нибудь может посчитать, что хотя значительные риски со стороны машинного интеллекта действительно есть, однако вряд ли дополнительные исследования или работа над регулированием чем-то помогут, поэтому лучше работать над чем-нибудь другим. Однако в целом это наивысшие оценки величины экзистенциального риска среди всех вопросов, которые мы исследовали (например, пандемии искусственного происхождения, конфликт сверхдержав, изменение климата или ядерная война). И, как мы уже объяснили, мы считаем, что доводы в пользу настолько высоких оценок довольно убедительны. Поэтому, с нашей точки зрения, очень вероятно, что риски со стороны ИИ — это самая важная проблема, стоящая перед человечеством.

Эти результаты я использовал, чтобы рассчитать общее число вспомогательного персонала, исходя из предположения, что количество сотрудников распределено логнормально, а оценка упомянутых соотношений — нормально. В итоге у меня получилось от 2 до 2357 ЭПЗ (доверительный интервал 90%) при среднем значении 770 ЭПЗ для вспомогательного персонала. Однако кажется, что возможность скорого появления интеллекта, соперничающего с человеческим, — это как минимум повод задуматься. Тезис о том, что искусственный интеллект превзойдёт человеческий до конца этого века, сам по себе не является сильным или достаточным аргументом в пользу того, что ИИ станет чем-то очень важным, или что он является для нас угрозой. Даже в исследовательских организациях примерно половина персонала занимается вспомогательными задачами, которые необходимы, чтобы организация работала как можно более продуктивно. Если вам хочется узнать больше про техническую безопасность ИИ как область исследований — то есть про различные методы, направления мысли и модели угроз — мы в первую очередь рекомендуем курс по техническому алайнменту от “AGI Safety Fundamentals”.

Если мы не хотим, чтобы созданная нами система ИИ отобрала у нас власть, то такой исход будет особо опасным вариантом отсутствия алайнмента. Общая вероятность экзистенциальной катастрофы, вызванной ИИ, вероятно, ещё выше, потому что есть и другие сценарии, ведущие к возможной катастрофе — например те, что упомянуты в предыдущем разделе. Хотя мы предполагаем, что эти другие сценарии приводят к экзистенциальной катастрофе с гораздо меньшей вероятностью.

И можно вспомнить примеры из других областей, как люди разрабатывали очень опасные системы. ИИ уже помогают во многих отраслях медицины, управляют беспилотными автомобилями на дорогах и автоматизируют работу по дому. Например, когда мы изучаем другие культуры или этические системы, у нас совсем не всегда появляется желание следовать их этике. Специалист по довоенному Югу США может очень хорошо понимать, почему рабовладельцы XIX века считали себя высокоморальными людьми, но вряд ли он будет защищать рабовладение. Достаточно развитое стратегическое мышление будет включать в себя прекрасное понимание мира.