Скорее всего, это будет означать и прекрасное понимание человеческой этики. Однако вряд ли из этого следует, что такая система будет и действовать этично. Уже сейчас чрезвычайно сложно запретить людям или компьютерам запускать какое-либо программное обеспечение. Начиная с 1950-х годов кто-нибудь постоянно говорит, что ещё чуть-чуть и у нас появится искусственный интеллект, превосходящий человека. И в целом именно из-за подобных точек зрения мы не до конца уверены, что каждый шаг наших доводов целиком верен. Чем больше у нас времени до появления трансформационного ИИ, валютные пары тем меньше причин работать над этой проблемой прямо сейчас.

Итак, насколько вероятна катастрофа, связанная с ИИ?

И даже если ни у одного ИИ нет всех этих свойств сразу, тем не менее возможно, что лишить власти человечество смогут системы, составленные из “специализированных” ИИ. Если рассмотреть получившуюся систему как единое целое, то можно заметить, что она способна строить и выполнять планы для достижения какой-то цели, и, возможно, у неё также есть развитые способности в тех областях, которые помогают накапливать власть. Поэтому даже для системы из многих взаимодействующих друг с другом ИИ риск остаётся.

1. Решить проблему алайнмента — это не то же самое, что полностью исключить экзистенциальный риск со стороны ИИ, поскольку заалайненный ИИ всё равно может привести к плохим последствиям — например, в руках авторитарного правительства.
2. И даже если ни у одного ИИ нет всех этих свойств сразу, тем не менее возможно, что лишить власти человечество смогут системы, составленные из “специализированных” ИИ.
3. Например, ИИ, способный придумать план действий для увеличения прибыли компании (фактически, ИИ, выполняющий роль генерального директора), скорее всего принесёт много денег тем, кто будет им владеть — а это сильный стимул создать такой ИИ.
4. Поэтому даже для системы из многих взаимодействующих друг с другом ИИ риск остаётся.
5. И, как мы уже объяснили, мы считаем, что доводы в пользу настолько высоких оценок довольно убедительны.
6. Важно заметить, что для участия в исследованиях в области безопасности ИИ не обязательно быть учёным или экспертом в ИИ или безопасности ИИ.

И мы полагаем, что в результате появятся системы, обладающие всеми тремя упомянутыми свойствами. Чтобы действия этих систем в самом деле влияли на мир, нужно, чтобы они не просто умели планировать, но также хорошо умели делать всё, что необходимо для реализации их планов. В число знаменитых экономистов, которые считают, что ИИ, скорее всего, станет технологией общего назначения, входят Мануэль Трахтенберг и Эрик Бринолффсон.

Почему у опасного ИИ нельзя просто выдернуть вилку из розетки?

Сложно сказать, продолжатся ли эти тенденции, однако они говорят о том, что за последние десять лет границы возможного при помощи машинного обучения существенно расширились. Они обнаружили, что количество вычислительных ресурсов, требуемых для получения той же производительности, падает экспоненциально — уменьшается вдвое каждые 16 месяцев. GPT-3, выпущенная OpenAI в июне 2020 года, по мнению многочисленных СМИ стала значительным шагом вперёд в возможностях систем глубокого обучения.

1. Я рассчитал среднее значение этих соотношений и доверительный интервал, исходя из среднеквадратического отклонения.
2. Способность ИИ ускорить развитие новых технологий может значительно повлиять на нашу экономику, но при этом увеличивает риск потенциального появления опасной новой технологии.
3. Хорошее регулирование в области ИИ может помочь работе над технической безопасностью.
4. Например, вряд ли кто-то по-настоящему хочет “создать как можно больше скрепок”.
5. Например, когда мы изучаем другие культуры или этические системы, у нас совсем не всегда появляется желание следовать их этике.
6. Они обнаружили, что после 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей ИИ росло экспоненциально — удваивалось каждые 3,4 месяца.

Но разве ИИ не может также сделать много добра?

Глубокое обучение требует огромного количества вычислительных ресурсов, чтобы обучить модель выполнять определённые задачи. Также есть зависимость между количеством вычислительных ресурсов, требуемых для обучения модели, и количеством ресурсов, требуемых для её использования. И если гипотеза о масштабировании верна, нам следует ожидать, что производительность модели будет предсказуемо улучшаться с увеличением вычислительных мощностей. Эти наблюдения привели к гипотезе о масштабировании, которая гласит, что мы можем просто строить всё большие и большие нейронные сети и в итоге будем получать всё более и более мощный искусственный интеллект и таким образом дойдём до интеллекта человеческого уровня и дальше. И таким образом с 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей, выросло больше чем в миллиард раз.

Польза от трансформационного ИИ может быть огромна, и над его разработкой работают множество различных действующих лиц в разных странах, поэтому предотвратить его появление, вероятно, было бы довольно сложно. Мы можем лишь опираться на доводы вроде тех, что мы привели выше, и на менее релевантные данные, вроде истории технологических достижений. Если мы сможем предотвратить поведение, направленное на получение власти, мы значительно снизим этот экзистенциальный риск. Например, старшеклассник, задумывающийся о своей карьере, может решить, что учёба в университете поможет ему в будущем получить работу. Мы не уверены, создают ли эти системы планы “чтобы достигнуть целей ради самих целей” — мы вообще не уверены, что именно означает высказывание, что у кого-то или чего-то “есть цель”.

Это может произойти из-за состояния “гонки”, в котором люди будут пытаться запустить свой ИИ раньше, чем это сделает кто-то ещё. Здесь мы тоже видим незаалайненную систему, которая работает как минимум несколько иначе, чем нам бы хотелось. Как мы поговорим ниже, мы считаем, что проблемы с целями у систем ИИ могут привести к особенно плохим последствиям. Есть причины считать, что продвинутые планирующие системы такого рода будут “незаалайненными”. Это означает, что они будут стремиться делать то, чего мы бы от них не хотели.Шапиро и Шехтер, 2002). Однако, как уже упоминалось, мы ожидаем, что в этом веке системы ИИ будут улучшаться и дальше.

Дело в том, что если одно из государств поверит в то, что у их противников появились новые ядерные возможности, этого может оказаться достаточно, чтобы нарушить хрупкий баланс средств сдерживания. Не у всех систем ИИ есть цели, и не все из них строят планы, чтобы достигать своих целей. Однако про некоторые (например про системы ИИ, играющие в шахматы) можно рассуждать в рамках такой модели.

Поэтому нам следует беспокоиться не fte full form in company только о стимулах для систем ИИ, но и о мотивации использующих их людей. Этот ИИ позволяет значительно быстрее распознавать и предсказывать действия людей, за которыми следит агентство. И наконец, если какая-то из сторон создаст особенно мощный ИИ, это может быть расценено как “решающее стратегическое преимущество”. Например, США может создать планирующий ИИ, достаточно разумный для того, чтобы не позволить России или Китаю больше никогда использовать ядерное оружие.

Другие считают, что это возможно, но вряд ли это произойдёт, и уж точно не с помощью современных методов глубокого обучения. Тем не менее, у многих людей нет стремления к власти, и поэтому напрашивается мысль, что, в принципе, исследования в области алайнмента, направленные на предотвращение стремления ИИ к власти, могут увенчаться успехом. По крайней мере мы сами, ” часов”, всё равно хотим помогать решать проблему безопасности ИИ — например, создавая такие статьи, как эта — даже если шансы на успех кажутся низкими (хотя мы на самом деле настроены довольно оптимистично).