Скопирую сюда свой комментарий из фейсбука Алексея Цветкова, из дискуссии о возможных рисках от развития сверхразумного искусственного интеллекта. Цветков комментирует книгу Ника Бострома "Superintelligence":

Я уже писал, что читаю Superintelligence Николаса Бострома, и вот наконец дошел до самого интересного места - до обещанного анализа мотивов, по которым AI покончит с нами и примется переустраивать мир по своему разумению. [...] Об этих мотивах у Бострома написано совершенно невнятно. Допустим, расхожий вариант бунта (метафора конечно): мы создаем сверхразумную машину, которая изготовляет конторские скрепки. Она сама себя совершенствует и принимается делать эти скрепки из всего, что ей попадется под руку, в том числе из нас, превращать всю ткань вселенной в скрепки. Если это сверхразум, то вы меня извините. Но заметьте, что мотив, которым она руководствуется, изначально вложен в нее нами, он не возник сам по себе.

Бостром, конечно, не так прост, он предусматривает вариант, в котором машины сами меняют свои мотивировки, в том числе на такие, которых нам не угадать. Но тут возникает парадокс: изменение мотива само по себе предполагает мотив, а любой мотив предполагает наличие того, что мы подразумеваем под волей. Воля сама по себе не возникает, она привносится извне.

Я попытался прояснить, как я понимаю этот аргумент об опасности "бунта сверхразума":

Мне кажется, можно говорить отдельно о "воле" и "целеполагании". Воля - это сознательно стремление добиться какой-то цели, целеполагание - сознательное формулирование этой цели.

У программ, которые мы сегодня пишем, нет по сути ни того ни другого; они выполняют некую цель, но она не находится под их сознательным контролем или хотя бы сознательно ими осознается, потому что у них нет "сознания" в таком смысле, в каком это слово понимаем мы. Но мы обсуждаем создание программ, которые настолько автономны, что можно говорить о "сознании", хоть и можно много спорить (и по-моему нет реальных данных для решений этих споров) о том, чем оно будет отличаться от человеческого сознания.

Без воли такая программа просто будет сидеть и ничего не делать, в тех рамках, в каких у нее будет свобода так поступать. Каким-то образом проблему "воли", побуждения к действию, нам придется решить. Возможно, сработают грубые решения (людей можно мотивировать на очень сложные поступки примитивными ударами палки), возможно нет. Но когда эта проблема так или иначе будет решена, останется вопрос целеполагания - к какими именно целям будет стремиться эта программа?

И тут мне кажется аргумент Бострома идр. (я не читал конкретно его книгу, читал другие рассуждения в этой области) опирается на то, что разумное мышление и целеполагание это разные и необязательно связанные вещи. Они связаны у людей, потому что и то и другое вместе было воспитано миллиардами лет эволюции. Но можно себе представить, что мы создаем программу, способную к разумному мышлению, но не разумному целеполаганию.

У людей между мышлением и целеполаганием есть каналы обратной связи. Когда мы ставим перед собой какую-то цель, мы всегда готовы ее изменить или отменить, если обстоятельства покажут, что она приходит в противоречие с другой более важной целью или некими мета-принципами, которые для нас супер-важны, но мы даже не задумывались о них, когда формировали цель. Эта сложная сеть крупных и мелких целей, важных и не очень принципов, вместе с постоянным сознательным и бессознательным контролем над ценностью и выполнимостью "текущих" целей, очень сложна, и мы и близко не подходим к пониманию того, как она у нас работает. Более того, мы не знаем, насколько корни этой сети, особенно важные мета-принципы в ней, "заточены" под нашу биологию и физиологию. Что если мы сможем создать программу, умеющую мыслить не хуже нас, но неспособную к такой упругой и надежной сети целеполагания, или способной, но легко прорывающейся сквозь ее границы, потому что у программы нет физиологических ограничителей?

Тут есть две разные опасности. Или у программы не будет гибкой и упругой сети целеполагания, подвластной мыслительному контролю самой программы, как у людей; и тогда все, что мы сможем сделать - это дать ей фиксированную цель, типа "максимизируй количество скрепок" и программа использует весь свой интеллект на то, чтобы все вещество, из которого состоит планета, перевести на скрепки; мы можем постараться вставить в фиксированную цель много оговорок, но вполне возможно, что-то пропустим. Или у нее будет такая сеть, и она сможет мыслить и ставить цели и менять их, как люди, но из-за того, что не будет ограничителей, которые у нас ставит природа, или они будут, но недостаточно хитрые, чтобы закрыть все лазейки, программа сможет "перепрограммировать" себя на новые цели, не имеющие вообще ничего общего с нашими мета-принципами и нашими желаниями; это вовсе необязательно будет "убить всех людей", но что бы это ни было, может оказаться для нас весьма неприятным сюрпризом.
Подробнее https://avva.livejournal.com/3329020.html?me...