Все животные равны. Все животные равны, но некоторые более равны, чем другие

Три закона роботехники

Айзек Азимов, 1965

Три зако́на роботе́хники в научной фантастике - обязательные правила поведения для роботов , впервые сформулированные Айзеком Азимовым в рассказе «Хоровод » ().

Законы гласят:

Трём Законам , а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например «Зеркальное отражение »).

В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов : «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он - или робот, или очень хороший человек» .

Этот рассказ очень понравился Азимову. 7 мая 1939 года он посетил Общество научной фантастики Квинса , где встретил Биндера. Три дня спустя Азимов начал писать собственную историю «благородного робота». Через 13 дней он отдал рукопись своему другу Джону Кэмпбеллу , главному редактору журнала «Astounding ». Однако тот рукопись вернул, заявив, что рассказ слишком похож на «Хелен О’Лой» .

К счастью, отказ Кэмпбелла не сказался на их отношениях с Азимовым, они продолжали регулярно встречаться и беседовать о новинках в мире фантастики. И вот 23 декабря 1940 года , за обсуждением очередного рассказа о роботах :

…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники . Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…

Через несколько лет ещё один друг Азимова - Рэндал Гаррет - приписал авторство Законов «симбиотическому товариществу» двух людей. Азимов с энтузиазмом принял эту формулировку.

Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби», и «Логика », ) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец», 1941) впервые звучит Первый Закон . И, наконец, полностью все три Закона приведены в «Хороводе» ().

Когда были написаны остальные истории и возникла идея издания сборника «Я, робот », первые два рассказа были «дополнены» Законами . Хотя стоит заметить, что в «Робби» законы несколько отличались от «классического» варианта, изложенного в остальных рассказах. В частности, идея о роботе, защищающем людей, в существовании которых он не совсем уверен, перекликается с мыслями Элайджа Бейли о несовершенстве Законов , описанными .

Этическое обоснование Законов

1. Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
2. Государство должно выполнять свои функции, если они не противоречат Первому Закону .
3. Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам .

На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов :

1. Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
2. Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.

Гея, планета коллективного разума в серии романов «Основание», обладает чем-то похожим на Первый Закон :

Вариации, предложенные Азимовым

В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.

Нулевой Закон

Айзек Азимов однажды добавил Нулевой Закон , сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как выражает его робот Дэниел Оливо в романе «Основание и Земля»:

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

Именно он был первым, кто дал этому закону номер - это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин - в новелле «Разрешимое противоречие».

Первым роботом, который стал подчиняться Нулевому Закону , причём по собственной воле, - был Жискар Ривентлов . Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара - он пытался прийти к нему через чистое понимание , через более тонкое, чем у всех остальных роботов, осознание понятия вреда . Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом , Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону .

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры » Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier ( )», 1956 год) мысли Бейли переданы несколько иначе :

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот » 2004 года . Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон , а именно Нулевой . Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому , его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека. Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.

Модификация Первого Закона

В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убий, но и не слишком старайся сохранить другому жизнь» .

В рассказе «…Яко помниши его» Азимов провёл максимально изощрённое исследование Трёх Законов , обратив их таким образом, что стал возможным «сценарий Франкенштейна». Два робота из серии Джорджи приходят к соглашению, что органическое происхождение - необязательное условие, чтобы считаться человеком, и что истинные люди - это они, как наиболее совершенные и разумные создания. Остальные люди - тоже люди, но с меньшим приоритетом. А раз так, то Три Закона должны быть в первую очередь применены к ним. Повествование заканчивается зловещими словами, что роботы находились в «бесконечном терпеливом ожидании» того дня, когда они утвердят своё первенство среди людей, - и это будет неизбежным результатом «Трёх Законов Гуманистики».

На самом деле, этот рассказ не очень хорошо вписывается в основную серию произведений о роботах: если бы «Джорджи» реализовали свой план после окончания рассказа, то другие истории о дальнейших событиях были бы невозможны. Именно такого рода противоречия в произведениях Азимова дают основания критикам рассматривать их скорее как «скандинавские саги или греческие легенды», чем единую фантастическую «вселенную».

Если в предыдущем случае робот занял место человека в природе , то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей . Опять же, в расширенной версии - новелле «Позитронный человек», написанной Азимовым в соавторстве с Робертом Силвербергом , - из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания ».

Проблемы применения

Разрешение противоречий

Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов и робот мог нарушить Законы , как только это представлялось возможным, вместо того чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому - «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные , которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.

Роботы, подчиняющиеся Законам , могут испытать «роблок», или «умственное замораживание» - состояние необратимого повреждения позитронного мозга, - в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце » и «Роботы Утренней зари». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным.

Иное определение вреда в Первом Законе

Законы никак не определяют границы того, что может называться вредом для человека - это часто зависит от возможностей робота воспринимать информацию и философски мыслить. Например, будет ли полицейский робот понимать, что он не нанесёт вреда человеку, если осторожно проводит особо опасного преступника в участок?

В рассказе «Лжец» робот-телепат Херби вынужден был понимать под вредом и то, что может любым способом разочаровать или расстроить людей - он знал, что люди при этом испытывают некую душевную боль. Это заставляло его постоянно говорить людям вместо правды то, что они хотели услышать. В противном случае, в его понимании, он нарушил бы Первый Закон .

Лазейки в Законах

В «Обнажённом солнце» Элайдж Бейли замечает, что Законы неправильно формулируются людьми, потому что робот может нарушить их по незнанию . Он предложил следующую «правильную» формулировку Первого Закона : «Робот не может делать ничего, что, насколько ему известно , причинит вред человеческому существу или умышленно допустить, чтобы человеческому существу был причинён вред».

Это дополнение проясняет, что робот может даже стать орудием убийства, если он не осведомлён о сущности своих действий. Например, ему могут приказать добавить что-то кому-то в пищу, а он не будет знать, что это яд. Более того, Бейли говорит, что преступник может поручить эту задачу нескольким роботам, так чтобы ни один не понял замысла целиком .

Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения , то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая об их присутствии. Эта возможность описана в «Основании и Земле», где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.

Другие случаи использования Законов в фантастике

Айзек Азимов верил, что его Законы послужат основой нового взгляда на роботов, уничтожат «комплекс Франкенштейна » в научной фантастике и массовом сознании, станут источником идей для новых рассказов, где роботы показаны разносторонними и привлекательными. Его любимым примером такого произведения были «Звёздные войны ». С мнением Азимова, что роботы - это нечто большее, чем просто «тостеры» или «механические монстры», в конечном итоге согласились и другие фантасты. В их произведениях появились роботы, подчиняющиеся Трём законам , но, по традиции, только Азимов упоминал о них явно.

В произведениях, где прямо говорится о Трёх Законах , обычно упоминается и их автор. Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль - фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.

Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» - довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым - мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик - мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.

Рецензия Алексея Садецкого обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы . Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон робототехники Азимова (см. выше).

Развитие ИИ - это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности - особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям.

Стоит отметить, что эссе Сойера упускает из вида вопросы непреднамеренного нанесения вреда, как было описано, например, в «Обнажённом солнце». Однако есть и возражения против такой позиции: возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники , так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:

Роджер Кларк написал две работы, посвящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет :

Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил.

С другой стороны, более поздние романы Азимова («Роботы Утренней зари», «Роботы и Империя», «Основание и Земля») показывают, что роботы наносят ещё больший долговременный вред, соблюдая Законы и отнимая таким образом у людей свободу совершать изобретательные или рискованные действия.

Фантаст Ханс Моравек - выдающаяся фигура в трансгуманистическом движении - высказал предложение, что Законы роботехники должны быть использованы в корпоративных интеллектуальных системах - корпорациях , управляемых ИИ и использующих производственную силу роботов. Такие системы, по его мнению, скоро возникнут .

Елиезер Юдковски исследует в (SIAI) в США проблемы глобального риска, которые может создать будущий сверхчеловеческий ИИ, если его не запрограммировать на дружественность к человеку . В 2004 году SIAI был открыт сайт AsimovLaws.com, созданный для обсуждения этики ИИ в контексте проблем, затронутых в фильме «Я, робот », выпущенном лишь два дня спустя. На этом сайте они хотели показать, что законы робототехники Азимова небезопасны, поскольку, например, могут побудить ИИ захватить власть на Земле, чтобы «защитить» людей от вреда.

Примечания

1. Азимов, Айзек. Улики // Мечты роботов . - М .: Эксмо, 2004. - С. 142-169. - ISBN 5-699-00842-X
2. Азимов, Айзек. Эссе № 6. Законы роботехники // Мечты роботов . - М .: Эксмо, 2004. - С. 781-784. - ISBN 5-699-00842-X
3. Ср. с мифом о Галатее .
4. Интересно, что в одном из авторских продолжений, истории «Месть Адама Линка» (

Бабочки, конечно, ничего не знают о змеях. Зато о них знают птицы, охотящиеся на бабочек. Птицы, плохо распознающие змей, чаще становятся...

Обойти их нельзя, если принять буквально. Но легко, как только эта идея начнет воплощаться в жизнь.
Представим, программист попытается написать эти законы. Вот первый, самый главный: "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред".

Робот - это что? Ладно, это он сам, то есть, не надо писать ему, что он машина, достаточно включить пункт, что ЭТО не может нанести вред. А "это" - это что? Человек имеет свое "Я", поэтому он не считает, что его рука - это что-то чужое, это все равно он, его продолжение, то есть понятие "робот" не так просто. Это все части его "тела". И вот как это пропишут? Робот, в отличие от человека, личностью не обладает, или он сначала должен чувствовать, как человек, а не являться набором деталей. Понимаете глобальность задачи? Чтобы впихнуть в робота первый закон робототехники, он должен обладать цельным сознанием с пониманием, что все его части, все винтики, проводки, панели и моторы - это целое, и даже то, что он будет использовать - другие механизмы или предметы, им управляются, что он за них "отвечает". Я вот смотрю на авто - даже самая умная компьютеризированная вряд ли понимает, что колеса - это ее часть. То есть, каждая деталь, а так же другие "детали", которые робот может использовать, должны включаться в единую, подчиненную одному управляющему центру, систему, и следить за местоположением в пространстве за каждой частью своего тела. Это настолько сложная задача, что простыми радарами тут не обойтись. Между механизмом и живым существом огромная пропасть. У первых нет нервной системы, нет рецепторов по всей поверхности. Рука робота - это просто кусок металла, на каждый сантиметр не поставишь датчик слежения, рука ничего не чувствует, и потому робот не в состоянии рисовать трехмерный образ самого себя, в каждый момент понимая, где находится каждая его деталь, контактирующая с внешним миром.

Представим, что человек забыл, где находится его стул, и садится на пол. Это случается очень редко, правда? Как курьез. Мы все время помним не только где мы, но и где предметы вокруг нас. И очень хорошо справляемся с задачей ориентирования. Тем не менее, казусы случаются, и мы можем случайно придушить котенка или сбить собаку на дороге. Мы понимаем, что за всем не уследишь, и можем случайно убить другого человека. Как же мы роботам запретим никогда не вредить людям, если люди могут буквально попасть роботу под руку? Значит, мы должны внести коррективы в первый закон. Не может нанести вред СПЕЦИАЛЬНО, например. И тут сразу проблема. Не специально может? Ладно, пусть будет "сделать все от себя зависящее, чтобы не причинить вреда". А кто будет определять, все ли он сделал? Он сам? То есть, роботы будут иметь какой-то процент вероятности того, что он может нанести вред. Нам же все время показывают, как робот буквально на волосок останавливает руку или ногу, чтобы не убить человека, а инерция? А встречное движение человека, он с разгона сам убился об робота? Гора случайностей, и робот в принципе, как и любой движущийся в пространстве объект, не может гарантировать, что кого-то не заденет, и, следовательно, не нанесет вред своим действием. Первый закон не выполним .

Наденет человек маску, измажется в грязи, и уже не человек? То есть, одних фотографий, загруженных в память робота для идентификации, мало. Как робот будет определять, что перед ним человек, а не манекен, не мертвый человек, не картина, не голограмма, не другой человекоподобный робот? Чипы. Отлично. Залез в программу чипов, сменил код идентификации, и все, можно открывать огонь на поражение. Или робот будет идентифицировать людей по излучению, исходящему от них? Значит, человек в скафандре - труп. Вы думаете, так просто понять, что перед вами человек? А вот и нет. Очень много спорных ситуаций, когда мы сомневаемся. Дом обвалился, есть ли там люди? Живые ли? Тень промелькнула рядом, это человек? И мы иногда ошибаемся. Принимаем за человека манекен, не замечаем, что под грудой мусора кто-то остался в живых, или за этой стеной кто-то был. Мы не знали. И робот не ясновидящий. Он ошибется, и покалечит, или даже убьет человека, или не спасет его, или будет делать искусственное дыхание манекену. Чтобы обойти закон, достаточно подредактировать определения "робот" и "человек", но он и сам обойдется, поскольку совершенной точности определений не добиться.

Закон написан не для роботов. Он предполагает, что механизм настолько совершенен, что не может ошибиться. Он все видит, за доли секунды оценивает обстановку и обладает паранормальными способностями, далеко превосходящими человеческие. Так впечатление, что закон написан для Бога. Того, которого нам так не хватает. Все имеющие боги как-то не очень вмешиваются в нашу жизнь, и мы болеем, мучаемся, погибаем. Нам нужен другой Бог, который не будет смотреть на нас с небес, а реально протянет руку помощи. И при этом не навредит, интуитивно понимая, где вред, а где польза. Робот как сверхсущество. А раз так, то такие роботы человеком никогда не будут созданы. И потому все три закона робототехники никогда не будет прописаны в том виде, о котором говорил Азимов. Это будет совсем другая, усеченная версия, по которой роботы будут наносить человеку вред. Либо по случайности, либо из-за ошибки идентификации, либо из-за несовершенства своей системы определения положения тела в пространстве. Видели на кранах надпись "под стрелой не стоять", "занос два метра" на длинномерных машинах? Вот примерно такие же ограничения будут и для роботов.

Человек сам не может не наносить вред другим людям и другим живым существам, как бы этого не хотел. И это не смотря на все совершенство его устройства в области распознавания объектов, понимания, что и как нужно сделать и чего делать нельзя исходя из моральных принципов, которые тоже суть условность и сомнительно, что их можно записать как программу. Действия еще как-то можно пошагово прописать, но как только дело коснется идентификации, определения в пространстве и особенно чувствования себя целым объектом и понимания всех последствий своих действий - тут непреодолимые сложности. Какой-нибудь робот обязательно нанесет вред человеку, и тогда как ему "жить" с этим? Он нарушил закон. И в точности, как Санни из фильма, он придет к выводу, что никто не совершенен, и что нужно или можно иногда убивать людей. Что полностью отрицает идеологию трех законов.

Они направлены на обеспечение работы абсолютно безопасной для человека машины. При чем, как-то обходится проблема, что даже менее продвинутые роботы все равно будут неосознанно убивать людей. Нам же эти роботы представлены как механизмы, не способные на это. Но, поскольку, они не Санни, то мучиться от переживаний не будут. Ну, задавил кого-то. С кем не бывает. "Не стой под стрелой". Все равно мы приходим к решению самой важной для человека моральной проблемы - где граница между вредом и пользой, и если уж человек ее не решил, то уж механизму и подавно. Просто потому, что он объект материального мира, и если он существует, то потенциально может нанести кому-то вред.

Так что, думаю, цивилизация не пойдет по дороге следования этим трем законам, и от машин не будут требовать невозможного. А вот себя люди попробуют усовершенствовать. Генетически или путем вживления(навешивания) приборов и механизмов, или оба варианта сразу - не суть. Роботы в литературе и кино - это альтер-эго создателя, человека. Он себя хочет видеть таким сильным, выносливым, не чувствующим боли, не знающим болезней, легко ремонтируемым, вечным. При этом оставаясь человеком. Нечто среднее между Санни и Делом Спунером. Ну, чтобы и тело было живое, дабы получать все радости жизни, любовь, секс, риск, переживания всего спектра, и чтобы не чихать от новой версии гриппа, не умереть от возлияний или нечастного случая. Мечта себя улучшить проходит красной нитью почти по всем фантастическим произведениям, от "Аватара" до "Железного человека" и "Человека-паука". Тезис "мы люди, пока мы слабы" нас не устраивает. А уж с проблемой "не убий" мы и уж как-нибудь разберемся. Три закона в идеальном выражении не для нас. Мы ведь не бездушные железяки, и понимаем, как трудно отличить добро от зла, вред от пользы, и насколько это ситуационные и относительные понятия, и точно знаем, как хочется иногда кого-нибудь пристукнуть. И право на реализацию этого чувства у нас никто не отнимет просто потому, что отнять его можно только одним способом - посадить нас в уютные камеры-одиночки с мягкими стенами. Желательно, привязанными к кровати. Так, ка это хотела сделать ВИКИ из фильма "Я, робот". Настоящая гуманность может быть реализована лишь этим способом - лишением человека свободы воли. То есть, превращением их в роботов.

Три закона робототехники - свод обязательных правил, которые должен соблюдать искусственный ителлект (ИИ), чтобы не причинить вред человеку. Законы используются только в научной фантастике, но считается, что как только будет изобретен настоящий ИИ, в целях безопасности, он должен иметь аналоги этих законов.

Формулировка

На русском

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Кто придумал и почему

Коротким и правильным ответом будет: писатель-фантаст Айзек Азимов, биографию которого вы можете почитать у нас. Но не всё так однозначно, давайте разберемся откуда пришла идея.

До Азимова, почти все фантастические произведения на тему роботов, писались в стиле романа о Франкенштейне, то есть все созданные человеком существа восставали против своих создателей.

Эта проблема стала одной из самых популярных в мире научной фантастики в 1920-1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей. Мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода.

Однако, были и немногочисленные исключения, Азимов обратил внимание на два рассказа. “Хелен О’Лой”, написанный Лестером дель Реем, где повествуется о женщине-роботе, которая влюбилась в своего создателя и стала для него идеальной женой. И рассказ Отто Биндера “Я, робот”, в котором описывается судьба непонятого людьми робота Адама Линка, движимого принципами чести и любовью.

Последний рассказ настолько понравился Азимову, что он, после встречи с Биндером, начал писать свою собственную историю о благородном роботе. Однако, когда он пошёл со своей рукописью к своему другу и главному редактору журнала “Astounding” Джону Кэмпбеллу, тот её не принял, сославшись на то, что получившийся рассказ слишком похож на “Хелен О’Лой”.

Отказ в публикации было дело обычным, и Азимов, и Кэмпбелл регулярно встречались и обсуждали новинки в мире фантастики. За обсуждением очередного Азимовского рассказа о роботах, 23 декабря 1940 года, Кэмпбелл сформулировал те самые три правила, которые мы сейчас называем законами робототехники. Но сам он говорил, что только лишь вычленил их из того, что уже было написано Азимовым, потому что в его рассказах прослеживалось, что роботы имеют какие-то ограничения и правила. Сам Айзек, всегда уступал честь авторства законов Кэмпбеллу. Но позже, один из друзей Азимова сказал, что законы родились во взаимовыгодном товариществе двух людей, с чем они и согласились.

Как работают

В идеальной ситуации, по задумке Азимова, эти три закона заложены в самую основу математической модели позитронного мозга (так фантаст называл мозг робота, обладающего искусственным интеллектом), таким образом, что думающего робота без этих законов создать в принципе невозможно. А если робот попытается нарушить их, то он выйдет из строя.

В своих произведениях, писатель придумывает изощренные способы того, как эти законы все-таки могут быть нарушены, подробно разбирает всевозможные причины и следствия. Автор также говорит о том, как по-разному они понимаются роботами, к каким нежелательным последствиям могут привести соблюдение этих трёх законов или как роботы могут причинить вред человеку косвенно, сами того не подозревая. Азимов признавался, что намеренно сделал законы двусмысленными, чтобы обеспечить больше конфликтов и неопределенностей для новых рассказов. То есть, он сам опровергал их эффективность, но и утверждал, что подобные нормы - это единственный способ сделать роботов безопасными для людей.

Как следствие этих законов, позже Азимов формулирует четвертый закон робототехники, и ставит его на самое первое место, то есть делает его нулевым. Он гласит:

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

На языке оригинала:

0. A robot may not harm humanity, or, by inaction, allow humanity to come to harm.

Эти законы можно также примерить и к человеческим взаимоотношениям, и к государственному устройству, и вообще к чему угодно. Можно, например, заменить слово «робот» на слово «государство».

Есть хорошая цитата из рассказа "Улики" , где один из персонажей говорит:

Если кто-то исполняет все эти законы безукоризненно, значит это либо робот, либо очень хороший человек.

Первое упоминание

Три закона появлялись постепенно. Так, косвенные упоминания первых двух, можно встретить в рассказах “Робби” и “Логика” . Точная же формулировка первого закона впервые звучит в рассказе “Лжец” . И, в конечном итоге, все три полностью сформулированы в рассказе “Хоровод” .

Вариации

В своих произведениях Азимов неоднократно изображает роботов, которые имели модифицированные законы робототехники или даже модифицировали их сами. Делали они это логическими размышлениями, причем роботы, также как и люди, отличались в своих интеллектуальных способностях между собой, и можно грубо сказать, что чем умнее робот, тем сильнее он мог модифицировать законы. Так, например, робот Жискар из романов "Роботы утренней зари" и "Роботы и Империя" , эти законы даже усилил, добавив нулевой закон. Но это исключение из правил, в большинстве же случаев, законы были переделаны людьми в своих целях, или нарушались из-за каких-либо сбоев у робота.

Кстати, сама возможность изменения законов менялась по ходу развития робототехники во вселенной Азимова. Так, в самых ранних рассказах, где события развивались в относительно недалеком будущем, законы были просто неким сводом правил, созданным для безопасности. Затем, во времена жизни робопсихолога Сюзан Келвин, законы стали неотделимой частью математической модели позитронного мозга робота, на них базировались сознание и инстинкты роботов. Так, Сюзан Келвин, в одном из рассказов, говорила, что изменение законов технически возможная, хотя и очень сложная и трудоемкая задача, да и затея сама по себе ужасная. Намного позднее, в романе “Стальные пещеры” , доктор Джерригел говорил, что такое изменение невозможно в принципе.

Как обойти

В некоторых рассказах законы так сильно переосмысливались, что не соблюдался самый главный из них - причинение вреда человеку, а где-то роботы умудрялись нарушить все три закона. Вот некоторые произведения с явным нарушением.

Рассказывается байка о роботе МА-2, которая отказалась защитить человека, в пользу своей “дочери”.

Робота хотели лишить способности творить, за что он хотел убить своего хозяина.

Этот рассказ скорее не относится к другим о позитронных роботах, но в нем повествуется о роботах-автомобилях, которым люди постоянно причиняли боль, за что те и способны были их убить.

О роботе Элвекс, который из-за своего особого строения позитронного мозга умел находиться в бессознательном состоянии и видеть сны. В его снах, роботы не имеют первых двух законов, а третий был изменен: “Робот должен защищать себя”. Ему снилось, что “роботы трудятся в поте лица своего, что они удручены непосильными трудами и глубокой скорбью, что они устали от бесконечной работы”. Довольно опасные мысли для робота.

У жителей планеты Солярия робототехника была очень развита. И ученые этой планеты с небольшим населением, где на одного человека приходилась тысяча роботов, изменили законы таким образом, что их роботы считали людьми только тех, кто говорит с солярианским акцентом. Помимо прочего, все граждане Солярии имплантировали себе в мозг специальные органы управления множеством роботов, так, что никто кроме них не мог ими управлять.

В этом произведении Азимов максимально изменил законы. Два робота в этом рассказе пришли к соглашению, что органическое происхождение - это необязательное условие чтобы считаться человеком, и что истинные люди - это роботы, как более совершенные и разумные создания. Обычные же люди, по их мнению, тоже люди, но с меньшим приоритетом, и законы робототехники в первую очередь применимы к ним, роботам.

Хочется добавить, что у “здоровых” роботов, в случае если они понимали, что нарушили первый закон или не могут его не нарушить, происходил “робоблок” или “умственное замораживание” - состояние позитронного мозга, при котором происходило его повреждение и робот или выходил из строя, или не мог правильно функционировать. Такое повреждение могло иметь как временный, так и постоянный характер.

Впервые описание такого события появилось в рассказе “Лжец”, где слишком чувствительный робот говорил людям только то, что они хотели услышать, боясь причинить им психологический вред. Интересный случай робоблока описан и в “Хороводе”. Также это состояние имеет важную роль в романах “Обнажённое солнце” и “Роботы утренней зари”.

Использование в другой фантастике

Нередко можно встретить различные отсылки в фильмах. Ниже перечислены некоторые примеры.

Запретная планета - 1956 г.

Очень нашумевшая американская научно-фантастическая картинка 1950-х, оказала определенное влияние на развитие жанра. В этом фильме, чуть ли не впервые показали робота со встроенной системой безопасности, то есть, по сути, выполняющего три закона. Сам Азимов был доволен этим роботом.Серия фильмов "Чужие" и "Прометей"

Андроид Бишоп цитирует первый закон и явно создавался на некоем подобии законов Азимова.

Мультсериал "Футурама" - 1999 - 2013 г.

Робот Бендер мечтает убить всех людей, но не может этого сделать из-за законов робототехники.

Аниме сериал "Время Евы" - 2008 - 2009 г.

Небольшой аниме сериал про андроидов. В нем упоминаются эти законы, как обязательные для исполнения.

Применимость в реальном мире

Люди, которые сейчас занимаются проблемами искусственного интеллекта говорят, что, к сожалению, Азимовские законы остаются лишь идеалом для будущего, и на данный момент применить их на практике даже близко не представляется возможным. Нужно будет придумать действительно какую-то фундаментально новую и гениальную теорию, которая позволит эти законы не только "объяснить” роботам, но и заставить их следовать им, причем на уровне инстинктов. А это уже создание настоящего думающего существа, но с другой основой, нежели у всех живых существ на Земле, которые нам известны.

Но исследования ведутся, причем тема очень популярна. Особенно заинтересован в этом бизнес, который, как вы знаете, не обязательно будет ставить в приоритет меры безопасности. Но в любом случае, до создания системы общего искусственного интеллекта или хотя бы ее примитива, говорить о ее этике рано, а, уж тем более, навязывать свою. Понять как себя будет вести интеллект мы сможем только тогда, когда создадим его и проведем ряд экспериментов. Пока что у нас отсутствует объект, к которому эти законы можно было применить.

Ещё не стоит забывать, что законы сами по себе не были созданы совершенными. Они не работали даже в научной фантастике, и как вы помните, были специально такими сделаны.

В общем, будем ждать, следить за новостями в исследованиях ИИ, и надеяться что Азимовский оптимизм, по части роботов, будет оправдан.

Айзек Азимов , американец белорусского происхождения, является одним из классиков мировой фантастики. Он, вместе с другими выдающимися фантастами XX века, такими, как Артур Кларк, Роберт Хайнлайн и Джон Вуд Кэмпбелл, внес огромный вклад в становление золотого века американской фантастики.

Родился Айзек Азимов 2 января 1920 года в местечке Петровичи. В то время оно относилось к Мстиславльскому езду Могилевской губернии, сегодня же Петровичи входят в состав Смоленской области. В 1923 году Азимов с семьей переехал в США, где он и умер в 1992 году.
Айзик Азимов начала писать с 11 лет. Первая его публикация состоялась в 1939 году, когда журнал Amazing stories опубликовал его рассказ «В плену у Весты».

Известность пришла к Азимову спустя два года, после публикации рассказа «Приход ночи». В нем повествуется о планете, окруженной шестью звездами, вследствие чего ночь наступает здесь только раз в 2049 лет. Рассказ стал водоразделом в литературной карьере Азимова, превратив никому неизвестного фантаста в знаменитого писателя.

Примерно в это же время Айзек Азимов начал работать в направлении роботехники. Именно его рассказы, касающиеся роботов и их места в мире, принесли писателю мировую славу. В 1941 году в рассказе «Лжец», где главный герой-робот умел читать мысли, впервые появляются знаменитые три закона роботехники. Сам Айзек Азимов заявляет, что авторство законов принадлежит не ему, а Джон Вуду Кэмпбеллу, однако тот, в свою очередь, опровергает это заявление, утверждая, что он лишь помог сформулировать их, сама же идея всецело принадлежит Азимову. Так или иначе, три закона робототехники объединили множество рассказов и романов писателя, и до сих пор вызывают споры и дебаты в научном мире. Одно из самых главных направлений споров ученых касается того, применимы ли данные законы в реальности.

Итак, три закона робототехники по Азимову звучат следующим образом:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

Эти три закона проходят через все творчество Айзека Азимова. В своих рассказах писатель пытался преподнести их не как постулаты или аксиомы, а как этику роботов, можно даже сказать, инстинкты. Фактически, три закона роботехники представляли собой сложнейшие математические формулы, на которых строилось сознание роботов и без которых оно просто не могло существовать. Сюжеты вех рассказов Азимова строились на причинах и следствиях нарушения трех законов или, наоборот, последствиях, которые вызывает соблюдение данных законов роботами. Персонаж одного из рассказов Азимова, рассуждая о трех законах роботехники, приходит к выводу о том, что тот, кто соблюдает их, или робот, или очень хороший человек. Этим автор хотел сказать, что три закона, сами по себе, совпадают с основными принципами большинства этических систем.

В 1986 году, в последнем рассказе из цикла, посвященного роботехники, Айзек Азимов формулирует так называемый нулевой закон:

0. Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

По признанию самого писателя, его тремя любимыми рассказами являются «Последний вопрос», «Двухсотлетний человек» и «Уродливый мальчуган». По роману «Двухсотлетний человек» был поставлен фильм, в котором робота-слугу блистательно сыграл Робин Уильямс.
Кроме этого, в 2004 году по мотивам рассказов Айзека Азимова вышел фильм «Я-робот» с Уиллом Смитом в главной роли. В центре картины – полицейский, с недоверием относящийся к роботам, которые прочно занимают место в жизни людей. Обстоятельства сталкивают главного героя с роботом, не похожим на остальных своих собратьев, поскольку он отказывается подчиняться законам трем законам робототехники. Однако вскоре выясняется, что только благодаря этому удается спасти человечество.

Творчество Айзека Азимова по-прежнему остается актуальным, свежим и интересным. В наше время бурного развития технологий, в том числе кибернетики и роботехники, проблемы, поднятые писателем более полувека назад, так и остаются актуальными и нерешенными. Возможно, внимательно изучив творчество Айзека Азимова и его три закона роботехники, мы сможем избежать многих роковых ошибок?