Искусственный интеллект: необъяснимый, непредсказуемый, неконтролируемый. Роман Ямпольский. Саммари

Оригинальное название:

AI: Unexplainable, Unpredictable, Uncontrollable

Автор:

Roman Yampolskiy

www.smartreading.ru

Эта история стара как мир. Юноша находит в песках пустыни старую лампу и освобождает всемогущего джинна. Средневековый алхимик стремится познать самые сокровенные тайны природы, и это не ускользает от внимания высших сил. Праведный раввин, движимый самыми благородными намерениями, вызывает к жизни голема, но очень скоро существо выходит из-под контроля хозяина. Тот, кто был (или казался) помощником, стал господином.

Да, такой сюжет существует многие столетия, но только в наши дни он стал реальностью. В XXI веке люди создали сущность, которая умнеет с каждым часом и которую они все еще считают искусственной.

Искусственному интеллекту (ИИ) посвящены тысячи статей и сотни книг, его созданием и изучением занимается множество людей в разных странах. Но едва ли 1 % специалистов всерьез озабочены вопросом: а можем ли мы контролировать ИИ и в какой степени он нам подвластен?

Мы не знаем ответа на этот вопрос. Зато видим, что чем умнее ИИ, тем более необъяснимы с человеческой точки зрения, непроверяемы и непредсказуемы его решения.

Как AlphaZero удалось одержать победу в го? Этого не знают даже те, кто его разработал. Виртуальному игроку была поставлена задача и дан карт-бланш в рамках имеющихся у него возможностей. С прочими формами ИИ человек сегодня заключает тот же контракт.

Это выглядит очень рискованно даже в тех случаях, когда цель перед ИИ поставлена благая или хотя бы безобидная. Футуролог Ник Бостром еще в 2003 году предложил мысленный эксперимент, в котором перед ИИ была поставлена одна-единственная задача – увеличить производство канцелярских скрепок. Эксперимент заканчивался тем, что в скрепки была переработана вся Вселенная. Цель не всегда оправдывает средства – мы это знаем, а ИИ – нет.

Момент, когда ИИ превзойдет интеллектуальные возможности человечества, называется переходом в сингулярность. Все, что будет происходить на Земле и во Вселенной в сингулярности, доступно нашему пониманию в той же мере, как то, что происходило до Большого взрыва.

Но главный вопрос, конечно, в том, чего будет хотеть сверхинтеллект. Тут важна разница между конечными и инструментальными целями. Первые могут оказаться какими угодно, а вот инструментальные цели, как заключает Ямпольский, «можно свести к одному стимулу любых агентов – стать самым умным агентом, что в качестве побочного эффекта может породить сверхсознание, воздействие которого на поведение агента сделает его еще менее предсказуемым для нас».

Словом, сверхинтеллект не будет спрашивать у нас, как ему половчее насоздавать триллионы новых скрепок.