3 zakona robotike u naučnoj fantastici. Asimovljev kulturni kod: Kako su tri zakona robotike stvorila istoriju

Ne mogu se zaobići, ako se shvate doslovno. Ali to je lako kada se ova ideja počne ostvarivati.
Zamislite da programer pokušava da napiše ove zakone. Evo prvog, najvažnijeg: "Robot ne može nauditi osobi ili svojim nečinjenjem dozvoliti da osoba bude ozlijeđena."

Robot - šta je to? Dobro, ovo je on, odnosno ne treba da mu pišete da je mašina, dovoljno je ubaciti klauzulu da OVO ne može štetiti. I šta je "ovo"? Čovjek ima svoje "ja", pa ne vjeruje da je njegova ruka nešto drugo, svejedno je on, njegov nastavak, odnosno koncept "robota" nije tako jednostavan. Sve su to delovi njegovog "tela". I kako je napisano? Robot, za razliku od osobe, nema ličnost, ili se prvo mora osjećati kao osoba, a ne kao skup detalja. Razumijete li obim zadatka? Da bi prvi zakon robotike ugurao u robota, on mora imati integralnu svijest sa razumijevanjem da su svi njegovi dijelovi, svi vijci, žice, ploče i motori jedna cjelina, pa čak i ono što će koristiti - drugi mehanizmi ili objekti da on kontroliše, da je odgovoran za njih. Gledam auto - čak i najpametniji kompjuterizovani teško da razume da su točkovi deo njega. Odnosno, svaki dio, kao i ostali "dijelovi" koje robot može koristiti, moraju biti uključeni u jedinstven sistem podređen jednom kontrolnom centru, te pratiti lokaciju u prostoru za svaki dio njegovog tijela. To je tako težak zadatak da su jednostavni radari ovdje neophodni. Postoji ogroman jaz između mehanizma i živog bića. Prvi ne nervni sistem, na cijeloj površini nema receptora. Robotska ruka je samo komad metala, ne možete postaviti senzor za praćenje na svaki centimetar, ruka ne osjeća ništa, pa samim tim robot nije u stanju da nacrta trodimenzionalnu sliku sebe, razumijevajući svaki trenutak kada je svaki njegov detalj u kontaktu sa vanjskim svijetom.

Zamislite da je osoba zaboravila gdje mu je stolica i sjedne na pod. To se dešava veoma retko, zar ne? Kao kuriozitet. Uvek se sećamo ne samo gde se nalazimo, već i gde se nalaze objekti oko nas. I mi radimo veoma dobar posao u orijentaciji. Međutim, incidenti se dešavaju, pa možemo slučajno zadaviti mače ili pregaziti psa na cesti. Razumijemo da ne možete pratiti sve i možemo slučajno ubiti drugu osobu. Kako možemo zabraniti robotima da nikada ne povrijede ljude ako ljudi bukvalno mogu pasti u ruku robota? Dakle, moramo izvršiti prilagodbe prvog zakona. Ne može štetiti POSEBNO, na primjer. I tu je problem. Možda ne namerno? U redu, neka bude "učinite sve što je u vašoj moći da ne nanesete štetu." A ko će odrediti da li je sve uradio? Je li on sam? Odnosno, roboti će imati određeni postotak vjerovatnoće da može uzrokovati štetu. Stalno nam se pokazuje kako robot bukvalno za dlaku zaustavlja ruku ili nogu, da ne ubije čovjeka, već inercija? A što je s nadolazećim pokretom osobe, da li se ubio od robota od ubrzanja? Planina nesreća, a robot, u principu, kao i svaki objekt koji se kreće u svemiru, ne može garantirati da neće nekoga povrijediti, pa stoga neće naškoditi svojim djelovanjem. Prvi zakon nije ispunjen.

Hoće li osoba staviti masku, razmazati se po blatu i više neće biti osoba? Odnosno, neke fotografije učitane u robotovu memoriju za identifikaciju nisu dovoljne. Kako će robot utvrditi da je ispred njega osoba, a ne maneken, ne mrtvac, nije slika, ne hologram, nije još jedan humanoidni robot? Čips. Odlično. Ušao sam u program za čipove, promijenio identifikacioni kod i to je to, možeš otvoriti vatru da ubiješ. Ili će robot identificirati ljude po zračenju koje iz njih izlazi? Dakle, čovjek u odijelu je leš. Mislite li da je tako lako shvatiti da je osoba ispred vas? A ovdje nije. Mnogo je kontroverznih situacija kada sumnjamo. Kuća se srušila, ima li ljudi? Jesu li živi? Sjenka je proletjela, je li to osoba? I ponekad griješimo. Uzimamo maneken za osobu, ne primjećujemo da je ispod gomile smeća neko preživio, ili je neko bio iza ovog zida. Nismo znali. A robot nije vidovit. Pogriješit će i osakatiti, ili čak ubiti osobu, ili je neće spasiti, ili će dati umjetno disanje lutki. Da bi se zaobišao zakon, dovoljno je urediti definicije "robot" i "čovek", ali će se on sam snaći, jer se ne može postići savršena tačnost definicija.

Zakon nije pisan za robote. On pretpostavlja da je mehanizam toliko savršen da se ne može pogriješiti. On sve vidi, procijeni situaciju u djeliću sekunde i posjeduje paranormalne sposobnosti daleko superiorniji od ljudskih. Dakle, utisak je da je zakon napisan za Boga. Onaj koji nam toliko nedostaje. Sve što imamo bogove nekako se baš i ne miješaju u naše živote, a mi se razbolijevamo, patimo, umiremo. Potreban nam je drugi Bog koji nas neće gledati s neba, već će nam zapravo pružiti ruku pomoći. A u isto vrijeme, neće štetiti, intuitivno razumijevajući gdje je šteta, a gdje korist. Robot kao superbiće. A ako je tako, onda takve robote nikada neće stvoriti čovjek. I stoga, sva tri zakona robotike nikada neće biti izrečena u formi o kojoj je govorio Asimov. Bit će to potpuno drugačija, skraćena verzija, prema kojoj će roboti naštetiti ljudima. Ili slučajno, ili zbog greške u identifikaciji, ili zbog nesavršenosti njegovog sistema za određivanje položaja tijela u prostoru. Jeste li vidjeli na dizalicama natpis "ne stajati ispod grane", "klizati dva metra" na dugim mašinama? To su otprilike ista ograničenja za robote.

Sam čovjek ne može a da ne naudi drugim ljudima i drugim živim bićima, ma koliko to želio. I to uprkos svom savršenstvu njegovog uređaja u oblasti prepoznavanja objekata, razumevanja šta i kako treba raditi, a šta ne raditi na osnovu moralnih principa, koji su takođe konvencionalni i sumnjivo je da se mogu napisati kao program. Radnje se nekako mogu propisivati ​​korak po korak, ali čim dođe do identifikacije, definiranja u prostoru, a posebno osjećaja kao cjelovitog objekta i razumijevanja svih posljedica svojih radnji, nastaju nepremostive poteškoće. Neka vrsta robota će sigurno naštetiti čovjeku, a kako onda da "živi" sa ovim? Prekršio je zakon. I baš kao i Sani u filmu, doći će do zaključka da niko nije savršen i da je potrebno ili u redu ponekad ubijati ljude. Što potpuno negira ideologiju tri zakona.

Oni su usmjereni na osiguranje rada mašine koja je apsolutno sigurna za ljude. U isto vrijeme, problem se nekako zaobilazi da će čak i manje napredni roboti i dalje nesvjesno ubijati ljude. Nama se ti roboti predstavljaju kao mehanizmi koji za to nisu sposobni. Ali, pošto nisu Sunčani, neće patiti od iskustava. Pa, zdrobio je nekoga. To se dešava svima. "Nemoj stajati ispod strijele." U svakom slučaju, dolazimo do rješenja najvažnijeg moralnog problema za čovjeka - gdje je granica između štete i koristi, a ako je čovjek nije riješio, onda je mehanizam još veći. Jednostavno zato što je objekt materijalnog svijeta, i ako postoji, potencijalno može nekome naškoditi.

Dakle, mislim da civilizacija neće ići putem slijeđenja ova tri zakona, a od mašina se neće tražiti nemoguće. Ali ljudi će pokušati da se poboljšaju. Genetski ili ugradnjom (visi) uređaja i mehanizama, ili obje opcije odjednom - nije poenta. Roboti u književnosti i kinu su alter ego kreatora, čovjeka. Želi da vidi sebe kao snažnog, izdržljivog, ne osjeća bol, ne poznaje bolesti, lako popravljivog, vječnog. Dok ostaje čovek. Nešto između Sunny i Del Spoonera. Pa da telo bude živo, da prima sve radosti života, ljubavi, seksa, rizika, iskustva celog spektra, a ne da kihne od nova verzija gripa, nemojte umrijeti od libacija ili nezgoda. San o poboljšanju sebe provlači se kao crvena nit kroz gotovo sva fantastična djela, od "Avatara" do " čelični čovjek"i "Spajdermen". Teza "ljudi smo dok smo slabi" nam ne odgovara. A problemom "ne ubij" ćemo se nekako pozabaviti. Tri zakona u idealnom smislu nisu za nas. Mi nismo komadi gvožđa bez duše i razumemo koliko je teško razlikovati dobro od zla, štetu od koristi i koliko su to situacioni i relativni pojmovi, a znamo tačno kako ponekad želite nekoga da udarite.A niko neće oduzeti nam pravo na ostvarivanje ovog osjećaja samo zato što postoji samo jedan način da ga oduzmemo - smjestiti nas u udobne samice sa mekim zidovima, po mogućnosti vezane za krevet.osoba slobodne volje, tj. pretvarajući ih u robote.

Tri zakona robotike, koja zauzimaju veoma značajnu ulogu u naučnoj fantastici, jednostavno su neophodna u pravilima ponašanja robota. U početku su bili uključeni u priču "Okrugli ples", poznatog pisca Isaka Asimova.

Zauzvrat, ovi zakoni glase:

• Robot nikada neće moći da naudi čovečanstvu. Ali postoji alternativna varijacija: robot nije u stanju donijeti loš čovjek dok je neaktivan.
• Robot jednostavno ne može a da ne slijedi naredbe koje osoba daje. Ali i ovdje postoje izuzeci: ako su naređenja suprotna Prvom zakonu, onda ih je nemoguće izvršiti.
• Također, robot ne može a da ne brine o vlastitoj sigurnosti u mjeri u kojoj se ne suprotstavlja zakonu prve i druge kategorije.

Sva ova tri zakona, koji sadrže i uzroke i posljedice njihovog neispunjavanja, posvećena je i objavljena čitava zbirka priča autora Asimova, a sve govore o robotima.

Postoje i druge priče koje se bave fazom u kojoj se ne mogu predvidjeti posljedice implementacije sva tri zakona od strane robota. Na primjer, takva priča se može smatrati "Odrazom ogledala".

U jednoj od svojih priča, autor je stavio tačku na osnovu, koja je bila etički okvir Tri zakona. Prema njegovim riječima, robot koji ispunjava sva tri zakona je kao takav robot, odnosno vrlo dobra osoba. Na kraju krajeva, moral je čovjeku dat tako da ga slijedi. U određenoj mjeri, osoba, koja ispunjava veliki broj raznih uslova, zakona, je i robot. Pa zašto ovo gvozdeno "stvorenje" ne može dobiti titulu "ljudi"?!

Nulti zakon za robote

Davne 1985. godine, u jednom od svojih brojnih romana o robotima, autor se usudio spomenuti i o Zero law, čija je suština bila sljedeća: Robot nikada neće nanijeti štetu i štetu osobi, a ni svojim nečinjenjem neće dozvoliti štetu.

U principu, treba napomenuti da u svim navedenim zakonima postoji dio onoga o čemu treba razmišljati. Svijet ne miruje, a ne zna se šta još mogu očekivati ​​takvi genijalci - danas budućnost pripada mladoj generaciji koja ima stotine najrazličitijih ideja u glavi.

Može se reći i da su tema za sva tri zakona robotike fantastične ideje Asimov. Ovo uključuje i ciklus, koji je vrlo usko povezan sa cijelom temom posvećenom robotima.

Šta je moral Tri zakona

Nemoguće je proći bez pominjanja obrazloženja etičkog plana. U jednoj od priča pod nazivom "Dokazi", autor je vrlo dobro razložio obrazloženje morala sva tri zakona. Po pravilu, osoba ne želi da povrijedi drugu osobu, već se jednostavno pokušava suzdržati od ovih djela. Ali postoje izuzeci, kao i svako pravilo. U ratu ovo opravdanje jednostavno ne funkcionira.

Osećajući odgovornost prema društvu, osoba sledi uputstva onih ljudi koji su predstavnici lekara, nastavnika i tako dalje. Ovdje dolazi do manifestacije drugog zakona.

Činjenica da se osoba brine i štiti apsorbuje Treći zakon. Dakle, svi ovi zakoni su međusobno veoma povezani i jednostavno ne mogu postojati jedan bez drugog. Može se desiti da će prvi zakon proraditi, a onda može glatko da pređe u Drugi, a zatim u Treći zakon. Ovdje moralnost i elementi fikcije idu ruku pod ruku.

Što se tiče budućnosti, jedini problem, što može biti, ovo je nivo fantazije, koji se u svakom trenutku može pretvoriti u stvarnost. Što više tehnologija napreduje, to više manje problema sa njima nastaje u ljudima u budućnosti.

Tri zakona robotike

Isak Asimov, 1965

Tri zakona robotike u naučnoj fantastici obavezujuća pravila ponašanja za robote, koje je prvi formulirao Isaac Asimov u priči "Okrugli ples" ().

zakoni kažu:

Tri zakona, kao i mogući razlozi i posljedicama njihovog kršenja, posvećen je ciklus Asimovljevih priča o robotima. Neki od njih, naprotiv, smatraju nepredviđene posljedice usklađenost roboti Tri zakona(na primjer "Odraz u ogledalu").

U jednoj od priča u ciklusu, Asimovljev lik dolazi do zaključka o etičkoj osnovi Tri zakona: „... ako dobro razmislite, tri zakona robotike se poklapaju sa osnovnim principima većine etičkih sistema koji postoje na Zemlji... jednostavno rečeno, ako Byerly ispunjava sve zakone robotike, on je ili robot, ili vrlo dobar čovjek» .

Asimovu se ova priča veoma dopala. 7. maja 1939. posjetio je Društvo naučne fantastike u Queensu, gdje je upoznao Bindera. Tri dana kasnije, Asimov je počeo pisati svoju priču o "plemenitim robotu". Nakon 13 dana, dao je rukopis svom prijatelju Johnu Campbellu, glavnom uredniku časopisa Astounding. Međutim, vratio je taj rukopis, navodeći da je priča previše slična Helen O'Loy.

Na sreću, Kembelovo odbijanje nije uticalo na njihov odnos sa Asimovom, nastavili su da se redovno sastaju i pričaju o novitetima u svetu naučne fantastike. I evo 23. decembra 1940., raspravljajući o drugoj priči o robotima:

...Kempbel je formulisao ono što je kasnije postalo poznato kao Tri zakona robotike. Campbell je kasnije rekao da je jednostavno izolovao Zakoni iz onoga što je Asimov već napisao. Sam Asimov je uvijek ustupao čast autorstva Tri zakona Campbell...

Nekoliko godina kasnije, drugi prijatelj Asimova - Randal Garrett - pripisuje autorstvo zakoni"simbiotsko partnerstvo" dvoje ljudi. Asimov je sa oduševljenjem prihvatio ovu formulaciju.

Uopšteno govoreći, izgled Tri zakona u Asimovljevim radovima događalo se postepeno: prve dvije priče o robotima („Robi“ i „Logika“) ne sadrže njihovo eksplicitno pominjanje. Međutim, oni već impliciraju da roboti imaju neka inherentna ograničenja. U sljedećoj priči ("Lažljivac", 1941) prvi put zvuči Prvi zakon. I konačno sve tri zakon su dati u "Okruglom plesu" ().

Kada su napisane ostale priče i nastala ideja o izdavanju zbirke "Ja, robot", prve dvije priče su "dopunjene" Zakoni. Iako je vrijedno napomenuti da su u "Robbieju" zakoni bili nešto drugačiji od "klasične" verzije iznesene u ostatku priča. Konkretno, ideja o robotu koji štiti ljude za koje nije sasvim siguran da postoje odražavaju misli Elijaha Baileyja o nesavršenosti. zakoni opisano.

Etičko opravdanje zakona

1. Država ne smije naštetiti ljudima ili svojim nečinjenjem dozvoliti da im se nanese šteta.
2. Država mora obavljati svoje funkcije, ako nisu u suprotnosti Prvi zakon.
3. Država mora voditi računa o svojoj sigurnosti, ako to nije u suprotnosti Prvo i Drugi zakon.

Na osnovu Prvi zakon Jeff Raskin je formulirao zakone ljudi orijentiranih interfejsa:

1. Kompjuter ne može oštetiti podatke korisnika ili, neradom, dozvoliti nanošenje štete podacima.
2. Kompjuter ne bi trebao gubiti vaše vrijeme ili vas prisiljavati da radite stvari izvan onoga što je potrebno.

Gaia, planeta uma košnice u seriji romana Foundation, ima nešto slično Prvi zakon:

Asimovljeve varijacije

U svojim radovima Isaac Asimov ponekad dovodi do Tri zakona razne modifikacije i opovrgava ih, kao da testira Zakoni"snage" u različitim okolnostima.

Zero Law

Isaac Asimov je jednom dodao Zero Law, što ga čini višim prioritetom od prva tri. Ovaj zakon navodi da robot mora djelovati u interesu cijelog čovječanstva, a ne samo pojedinca. Ovako Daniel Olivo, robot, to izražava u Ground and Earth:

0. Robot ne može nauditi čovječanstvu ili svojim nečinjenjem dopustiti da se čovječanstvu nanese šteta.

On je bio taj koji je ovom zakonu prvi dao broj - to se dogodilo u romanu "Roboti i carstvo", međutim, sam koncept je još ranije formulirala Suzan Calvin - u pripoveci "Rješiva ​​kontradikcija".

Prvi robot koji je poslušao Zero Law, štaviše, svojom voljom, - bio je Giscard Riventlov. Ovo je opisano u jednoj od završnih scena romana "Roboti i carstvo", kada je robot morao da ignoriše nalog jedne osobe zarad napretka čitavog čovečanstva. Zero Law nije bio ugrađen u Giscardov pozitronski mozak - pokušao je doprijeti do njega čisto razumevanje, kroz suptilniju od svih ostalih robota svijest o konceptu šteta. Međutim, Giscard nije bio siguran koliko je to korisno za čovječanstvo, što je negativno utjecalo na njegov mozak. Budući da je bio telepata, Giscard je svoje telepatske sposobnosti prenio na Daniela prije nego što je izašao iz akcije. Tek mnogo hiljada godina kasnije, Daniel Olivo je bio u stanju da se potpuno prilagodi pokornosti. Zero Law.

Francuski prevoditelj Jacques Brecard je nesvjesno formulirao Zero Law prije nego što je Asimov to eksplicitno opisao. Pred kraj čeličnih pećina, Elijah Bailey to primjećuje Prvi zakon zabranjuje robotu da naudi osobi, osim ako je sigurno da će mu to biti od koristi u budućnosti. U Francuski prevod("Les Cavernes d'acier ( )", 1956.) Bejlijeve misli su prenesene nešto drugačije:

Važno je napomenuti da logičan razvoj Prvi zakon prije Zero koji su predložili kreatori filma I, Robot iz 2004. Kada superkompjuter V.I.K.I. odluči da ograniči slobodu stanovnika planete kako ne bi nehotice naškodili jedni drugima i svojoj budućnosti, to ne čini Prvi zakon, naime Null. Još je interesantnije da na ovaj način film pokazuje kontradikciju Zero Law Prvo, to je neetično. Zaista, kada je u pitanju dobrobit čovječanstva, sistem ne može posmatrati ljude odvojeno, što znači da ga ništa ne sprječava da krši prava i slobode bilo koga ili čak svima osoba. Tokom ratova, a često i u miran život, ljudi štete sebi, drugima, svojoj kulturi. Dakle, na osnovu Zero Law Sasvim je logično držati ljude pod stalnim starateljstvom, ne slijedeći naredbe tako nerazumnih stvorenja.

Izmjena Prvog zakona

Asimovljeve autobiografske bilješke govore da je drugi dio Prvi zakon pojavio se zbog satirične pjesme Arthura Hugha Clowa "Posljednji dekalog", gdje postoji stih: "Ne ubij, ali ne trudi se previše da spasiš tuđi život."

U priči "...Kao da ga se sećam" Asimov je sproveo najsofisticiranije istraživanje Tri zakona, preokrenuvši ih na takav način da je "Frankenštajnov scenario" postao moguć. Dva robota iz serije Georgie se slažu da organsko porijeklo nije neophodan uslov da bi se smatrali čovjekom, te da pravi ljudi- to su oni, kao najsavršenija i najinteligentnija stvorenja. I ostali ljudi su ljudi, ali sa nižim prioritetom. A ako je tako, onda Tri zakona prvo treba primijeniti na njih. Narativ završava zloslutnim riječima da su roboti "beskonačno strpljivo čekali" dan kada će ostvariti primat među ljudima - a to će biti neizbježan rezultat "Tri zakona humanizma".

Zapravo, ova priča se ne uklapa dobro u glavnu seriju robota: da je "Georgie" izvršio svoj plan nakon završetka priče, druge priče o daljim događajima ne bi bile moguće. Upravo ova vrsta kontradikcije u Asimovljevim djelima daje kritičari razlog da ih smatraju više „skandinavskim sagama ili grčkim legendama“ nego jedinstvenim fantastičnim „svemirom“.

Ako je u prethodnom slučaju robot zauzeo mesto čoveka u prirodi, zatim u The Bicentennial Man, Asimov opisuje suprotnu sudbinu: robot oslobođen od Tri zakona i spoznaje sebe kao osobu, pridružio ljudskoj zajednici. Opet, u proširenoj verziji - pripovetci "Pozitronski čovek", koju je napisao Asimov u saradnji sa Robertom Silverbergom, - zbog sličnih etička pitanja ljudi su potpuno napustili ideju stvaranja mislećih robota. Ovakav razvoj događaja potpuno je suprotan slici budućnosti opisanoj u svjetovima "Fondacije".

Problemi sa aplikacijom

Rješavanje kontradikcija

Obično su slijedili najnapredniji modeli robota Zakoni prema prilično lukavom algoritmu koji je izbjegao neke probleme. U mnogim pričama, na primjer u "Okruglom plesu", u pozitronskom mozgu, potencijali moguće radnje i ishodi i robot bi se mogao pokvariti Zakoništo je pre moguće, umesto da ništa ne uradite. Na primjer, Prvi zakon nije dozvolio robotu da vodi hirurške operacije, jer za to treba da "povredite" osobu. Međutim, robotski hirurzi se mogu naći u Asimovljevim pričama (Dvastogodišnji čovjek je odličan primjer za to). Činjenica je da robot, ako je dovoljno savršen, može odmjeriti sve alternative i to razumjeti on sam nanijet će mnogo manje štete nego da je operaciju izveo ljudski hirurg ili se ona uopće ne bi dogodila. U Evidence Susan Calvin čak kaže da bi robot mogao da bude tužilac, jer on lično nikome ne nanosi štetu: osim njega postoji i porota koja utvrđuje krivicu, sudija koji izriče kaznu i krvnik koji je izvršava. .

Roboti koji slušaju Zakoni može doživjeti "roblox" ili "mentalno zamrzavanje" - stanje nepovratan oštećenje pozitronskog mozga, - u slučaju da ne mogu poslušati Prvi zakon ili otkriju da su ga slučajno prekršili. To je moguće, na primjer, ako robot promatra scenu ubistva osobe, ali je predaleko da bi je spasio. Prvi slučaj takvog "zamrzavanja" javlja se u "Lažljivcu"; ovo stanje igra važnu ulogu i u radnji romana "Golo sunce" i "Roboti jutarnje zore". Nesavršeni modeli robota mogu postati blokirani ako im se da zadatak da se povinuju dvije suprotstavljene naredbe. "Zamrzavanje" može biti trajno ili privremeno.

Druga definicija štete u prvom zakonu

Zakoni ne definišu granice onoga što se može nazvati šteta za osobu - često zavisi od sposobnosti robota da percipira informacije i filozofski razmišlja. Na primjer, hoće li policijski robot shvatiti da neće nauditi osobi ako nježno otprati posebno opasnog kriminalca do stanice?

U priči "Lažljivac", telepatski robot Herbie je morao da razume šteta i nešto što može na bilo koji način razočarati ili uznemiriti ljude - znao je da ljudi doživljavaju neku vrstu heartache. To ga je natjeralo da stalno govori ljudima ono što žele da čuju umjesto istine. U suprotnom bi, po njegovom shvatanju, prekršio Prvi zakon.

Rupe u zakonima

U Golom suncu, Elijah Bailey to primjećuje Zakoni ljudi su pogrešno formulisali jer ih robot može slomiti iz neznanja. Predložio je sljedeću "ispravnu" formulaciju Prvi zakon: "Robot ne može ništa da uradi, koliko on zna nanijeti štetu ljudskom biću ili namjerno dozvoliti da ljudska bića budu povređena."

Ovaj dodatak jasno daje do znanja da robot može čak postati i oružje za ubistvo ako nije svjestan prirode svojih radnji. Na primjer, može mu se narediti da nekome doda nešto u hranu, a on neće znati da je to otrov. Štaviše, Bejli kaže da počinitelj može da dodeli ovaj zadatak nekoliko robota, tako da nijedan od njih ne razume celu ideju.

Bailey tvrdi da će Solariani jednog dana moći koristiti robote čak i u vojne svrhe. Ako je svemirski brod izgrađen sa robotskim mozgom i bez ljudske posade ili sistema za održavanje života, onda inteligencija ovog broda može pogrešno pretpostaviti da je na sve svemirski brodovi nemaju ljude. Takav bi brod bio lakši za manevrisanje, brži i možda bolje naoružan od onog kojim upravljaju ljudi. Ali što je najvažnije, on će moći uništiti ljude, nesvjestan njihovog prisustva. Ova mogućnost je opisana u "Fondaciji i Zemlji", gdje se također otkriva da Solarijanci imaju izuzetno moćnu vojsku robota, koji samo starosjedioce Solarije shvataju kao "ljude".

Druge upotrebe zakona u fikciji

Isaac Asimov je vjerovao da je njegova Zakoni poslužiće kao osnova za novi pogled na robote, uništiti "Frankenštajnov kompleks" u naučnoj fantastici i masovna svijest, postat će izvor ideja za nove priče, gdje se roboti prikazuju kao svestrani i atraktivni. Njegov omiljeni primjer takvog djela bili su Ratovi zvijezda. Sa Asimovljevim mišljenjem da su roboti više od "tostera" ili "mehaničkih čudovišta", složili su se i drugi pisci naučne fantastike. Roboti su se pojavili u njihovim radovima, poslušni tri zakona, ali ih je, po tradiciji, eksplicitno pomenuo samo Asimov.

U radovima koji direktno govore o Tri zakona , obično se spominje i njihov autor. Postoje izuzeci: na primjer, u njemačkoj TV seriji iz 1960-ih "Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion" ("Svemirska patrola - fantastične avanture svemirskog broda Orion"), odnosno u njenoj trećoj epizodi "Hüter des Gesetzes" („Zakon o slugama“), Asimov Zakoni snimljeno bez navođenja izvora.

Suprotno kritikama i nekim povratnim informacijama publike koje sam slučajno čuo, "Ja, Robot" je prilično smiješan fantastični akcioni film. … Kada… želimo da uživamo u Asimovu, čitamo Asimova. A kada želimo da gledamo fantastičan akcioni film, gledamo fantastičan akcioni film. "Ja, Robot" kao akcioni film nas je prilično zadovoljio.

Recenzija Alekseja Sadetskog skreće pažnju na činjenicu da je film, koji se malo udaljio od Asimova, sam po sebi pokrenuo dva nova socio-filozofska problema. Treba napomenuti da je film doveo u pitanje kasnije Nulti zakon robotike Asimov (vidi gore).

Razvoj veštačke inteligencije je posao, a biznis je notorno nezainteresovan za razvoj fundamentalnih bezbednosnih mera – posebno onih filozofskih. Evo nekoliko primjera: duhanska industrija, automobilska industrija, nuklearna industrija. Nikome od njih u početku nije rečeno da su neophodne ozbiljne sigurnosne mjere i svi su spriječili ograničenja nametnuta spolja, a niko od njih nije donio apsolutnu uredbu protiv nanošenja štete ljudima.

Vrijedi napomenuti da Sawyerov esej previđa pitanja nenamjerne štete, kao što je opisano, na primjer, u Golom suncu. Međutim, postoje zamjerke na takav stav: možda će vojska htjeti primijeniti što više mjera opreza za robote, a samim tim i ograničenja slična Zakoni robotike, na ovaj ili onaj način će se primijeniti. Fantast i kritičar David Langford ironično je primijetio da bi ta ograničenja mogla biti sljedeća:

Roger Clarke je napisao dva rada o analizi komplikacija u implementaciji zakona, ako bi se jednog dana mogli primijeniti u tehnologiji. Piše:

Asimovljevi zakoni robotike postali su uspješan književni alat. Možda ironično, a možda je to bio majstorski potez, ali u cjelini, Asimovljeve priče pobijaju tačku od koje je počeo: Nemoguće je pouzdano ograničiti ponašanje robota izmišljanjem i primjenom nekih pravila.

S druge strane, kasniji Asimovljevi romani (Roboti zore, Roboti i carstvo, Fondacija i Zemlja) pokazuju da roboti nanose još više dugotrajne štete, poštujući Zakone i na taj način lišavajući ljude njihove slobode da se bave inventivnim ili rizičnim aktivnostima.

Fantast Hans Moravec - istaknuta ličnost u transhumanističkom pokretu - je to sugerirao Zakoni robotike treba koristiti u korporativnim inteligentnim sistemima - korporacijama koje kontroliše AI i koje koriste proizvodnu snagu robota. Takvi sistemi će se, po njegovom mišljenju, uskoro pojaviti.

Eliezer Yudkowsky istražuje u (SIAI) u SAD globalna pitanja rizika koja bi budući nadljudski AI mogao predstavljati ako nije programiran da bude prijateljski nastrojen prema ljudima. Godine 2004. SIAI je pokrenuo AsimovLaws.com, sajt dizajniran da raspravlja o etici AI u kontekstu pitanja postavljenih u I, Robot, objavljenom samo dva dana kasnije. Na ovoj web stranici željeli su pokazati da Asimovljevi zakoni robotike nisu sigurni, jer, na primjer, mogu navesti AI da preuzme Zemlju kako bi "zaštitili" ljude od zla.

Bilješke

1. Asimov, Isak. Dokazi // Robot Dreams. - M.: Eksmo, 2004. - S. 142-169. - ISBN 5-699-00842-X
2. Asimov, Isak. Esej # 6. Zakoni robotike // Dreams of Robots. - M.: Eksmo, 2004. - S. 781-784. - ISBN 5-699-00842-X
3. Wed sa mitom o Galateji.
4. Zanimljivo, u jednom od autorovih nastavaka, priča "Osveta Adama Linka" (

Po mom mišljenju, koncepti dobra i zla su, zauzvrat, usko povezani sa konceptom smisla života. Nemoguće je reći da li je određena ljudska akcija za dobro ili za zlo, sve dok se ne zna šta bi uopšte trebalo da bude cilj ljudskog ponašanja.

Međutim, u okviru Asimovljeve robotike to se može riješiti jednostavno do vulgarnosti.
Jedan od njegovih romana opisuje kako je humanoidnom robotu dato kolo želje za pravdom – definirajući pravdu kao puku poslušnost. državni zakoni. "A ako je zakon nepravedan?" - "Nepravedan zakon", odgovori robot, "ovo je terminološka kontradikcija."

Ako se ponašate na tako vulgaran način, onda lako možete definirati pojam štete, ali od takvih robota neće biti malo koristi...

Odgovori

Kao što uvaženi učesnici znaju, razvoj najnovije tehnologije, a još više u oblasti robotike, prvo je dizajniran da zadovolji potrebe "odbrambene industrije", a tek onda ostatka čovječanstva. Mislim da je jasno da će u takvim uslovima Prvi zakon biti značajno izmenjen. A ne u pravcu sveopšte pacifikacije.

Odgovori

• Sjetite se riječi poznatog pisca Kurta Voneguta: "Bez obzira na čemu naučnik radi, on završava s oružjem."
  Vjerovatno sa sličnom pretpostavkom, koja vlada ljudskom psihologijom (i ne samo među naučnicima), Zemlja nema budućnost... kao što je nisu imali ni oni koji su živjeli prije nas. Općenito, naša želja za destrukcijom i samouništenjem je prirodan obrazac...sve teži ravnoteži (do pozitivne entropije), samo svako tijelo i esencija u prirodi to radi na svoj način. “Zvijezda stari i eksplodira, dok čovjek, dostigavši ​​granicu znanja, izgara na 10.000 stepeni Celzijusa u sekundi u kotlu nuklearnog rata.
  Razmislite o drenerimskom aforizmu - "Svaka nacija je dostojna svog vladara!.." Zašto hiljadama godina ljudima vladaju trogloditi sa toljagama, zar ne zato što imamo snagu u časti, u kojoj mozak nije potreban?
  Ali najgore je kada mozak, da bi opstao u svijetu troglodita, počne služiti tim trogloditima. Jer "Sila" malo zanima mišljenje mozga, već samo rezultati: na primjer, smrtonosniji oblik sjekutića na batini...

  Odgovori

  • Implementacija navedenih zakona od strane robota je još uvijek perspektiva vrlo daleke budućnosti... (Ako do nje uopće dođe!)
    Od najnovijih inteligentnih sistema koji se danas stvaraju na bazi vještačkih neuronskih mreža izdvaja se RRS-EX model (Rezoning Robotic sistems - Exployer). Ova struktura je što je moguće bliža bioničkim neurološkim strukturama... ali! Intelekt sposoban da analizira konfiguraciju objektiva koji se brzo mijenja okruženje RRS-EX jednostavno ne radi. Sve počiva na algoritamskoj granici binarnosti ("DA-NE" i u intervalu "NE ZNAM"). Da bi se robot naučio da razmišlja i ekstrapolira svoje zaključke, potreban je neki strani segment slučajnosti, inače nazvan "Intuitivni pristup za umjetnu inteligenciju" ili drugačije (privatno, individualno). Da bi se to postiglo, potrebno je izaći iz standardne teorije matematičkih algoritama, koja je sposobna samo da postavi program akcija i asocijacija za AI sisteme, ali ne može ovim sistemima dati metode privatnih veza u neuronskim krugovima, od kojih postoji milijarda milijardi u biološkom mozgu, plus transverzalni uticaji i impulsi (svesnost refleksa). Ukratko, AI sistemima je potrebna matrica individualnosti kako za samoučenje, tako i za sposobnost da na adekvatan način odražavaju ne samo činjenice, već i naknadno, kao i da donose vlastite odluke na osnovu prethodno postavljenih (obuka, obrazovanje) logička dominanta (logika dobrote ili logika zla). Više nije moguće ograničiti AI sisteme na tri zakona. Ako je ipak moguće ugurati ova tri zakona u sistem, tada će polje za individualno razmišljanje biti zatvoreno, dakle, objekt vođen ovim zakonima neće biti ništa drugo do glupa mašina za računanje. I svaki daroviti haker će sažvakati i ispljunuti ove zakone kao sjemenke... Jeste li primijetili? Sve je kao da ljudi imaju OBRAZOVANJE i TRENING! Inače, ispada jednostavan kompjuter...

    Odgovori

    • Uopšte se ne slažem s tobom, ljubitelju nauke. Zašto ih ima toliko, prilično pametni ljudi ponekad izražavaju, naravno, mišljenje da je intuicija nekako povezana sa slučajnošću?

      Intuicija (kasnolat. intuitio - kontemplacija, od lat. intueor - buljim), sposobnost da se shvati istina kroz njenu direktnu diskreciju bez potkrepljivanja uz pomoć dokaza. Nesvjesno pronalaženje rješenja, uvid.

      Po mom mišljenju, intuicija ni na koji način nije povezana sa slučajnošću i može se u potpunosti odrediti. Kao i ponašanje potpuno razumnog "živog" bića (AI). Ovaj determinizam može biti specificiran programom. Ili kažete da većina vaših postupaka nije razumna i nasumična? Da li lažu?

      Izjava o nemogućnosti:

      >> Više nije moguće ograničiti AI sisteme na >>tri zakona. Ako je, međutim, moguće ugurati ova tri >>zakona u sistem, tada će polje za individualno razmišljanje biti zatvoreno, >>dakle, objekt vođen ovim zakonima neće biti ništa drugo do >>glupa računska mašina.

      Smatram to neosnovanim. Iako je pitanje svakako kompleksno. Mislim da bi takve izjave bile dobro argumentovane u detalje.

      Odgovori

Mislim da je vrijedno dodati ovom članku da je Isaac Asimov prva osoba koja je izgovorila riječ Robot! upravo on je osnivač ove kulture među piscima naučne fantastike. Osim toga, ne slažem se sa aftorom članka o "fikciji bogate slike" jer je to svojevrsni kanon za rad robotskog mozga u ljudskom okruženju. i što je najvažnije, zapamtite da se čak i Sir Yesak Newton svojevremeno nazivao šarlotom, a zakoni koje je on "izdao" bili su besmislica ili u blagi oblik"fikcije bogate mašte"...

Odgovori

Želim da pojasnim da riječ "Robot" nije izmislio Asimov. Godine 1920., Karel Čapek, češki pisac, upotrebio je ovu reč u drami "R.U.R.";.
http://ru.wikipedia.org/wiki/Chapek
Isak Asimov rođen je tek 1920. godine, što ni na koji način ne umanjuje vrijednost njegovih djela.
http://en.wikipedia.org/wiki/Asimov%2C_Isaac

Odgovori

da li su zablude:
Naš intelekt je nadgradnja koja štiti i pridržava se interesa tijela (funkcionisanje, umnožavanje).
Za intelekt, čini mi se, glavna stvar je motivacija - glavni cilj. Ovaj cilj će biti temelj za samoučenje i druge stvari.
Dobro i zlo su samo "+" i "-" za intelekt, odnosno "korist" i "šteta" u najzamršenijim zamršenostima kombinacija i raznih lanaca poput "ja-porodica-društvo" (korist - približavanje glavnom cilj ili pridržavanje načina da se on postigne). Recimo da je glavni cilj preživjeti...

Odgovori

Cisco je najavio stvaranje Linksys Developer Community. Uključiće stručnjake koji kreiraju aplikacije za nove Linksys Smart Wi-Fi rutere. Zajednica će postati dio popularne Cisco® Developer Network, koja povezuje Cisco sa vanjskim proizvođačima hardvera i softvera. Kao rezultat zajednički rad U ovoj mreži se pojavljuju testirana interoperabilna rješenja za uobičajene korisnike. Cisco, pionir kućnog umrežavanja, prodao je više od 70 miliona Linksys rutera širom svijeta i posvećen je jačanju svog vodstva pomoću rješenja za kućno umrežavanje sljedeće generacije.
Linksys Smart Wi-Fi ruteri imaju jedinstvenu arhitekturu zasnovanu na oblaku koja omogućava programerima da kreiraju aplikacije za elektronske uređaje bilo kog korisnika. Da bi se pojednostavio razvoj, zajednici će biti ponuđen jednostavan i praktičan komplet za razvoj softvera (SDK), edukativni materijali i primjeri programskih kodova.
„Na pragu smo velike promene pružajući korisnicima kućne mreže usluge o kojima nisu ni sanjali. Nova softverska platforma i Linksys Developer Community nude zaista neograničene mogućnosti za programere,” rekao je Vikas Butaney, direktor Cisco proizvoda za kućno umrežavanje. – Radeći sa bilo kojom uslugom, od najjednostavnijih, kao što je daljinsko praćenje stana, do najsloženijih, programeri mogu doprinijeti stvaranju vrijednih i korisna rješenja za krajnje korisnike“.
Neki programeri su već iskoristili platformu Linksys Developer Community, SDK i druge Cisco alate kako bi ubrzali i pojednostavili razvoj aplikacija. Rezultat je šest aplikacija koje su kreirali Axentra Corporation, Fresh Consulting LLC, Gemini Solutions Inc., PacketVideo Corporation, Stratedge Adroitent J.V. i Xoriant Corporation. Nove aplikacije imaju jednostavno povezivanje uređaja (jedan klik), poboljšanu kontrolu pristupa i nove mogućnosti dijeljenja medija. Ove aplikacije su prvi korak u otključavanju punog potencijala Linksys Smart Wi-Fi rutera za krajnje korisnike.
Programeri zainteresirani za pridruživanje Linksys zajednici programera mogu posjetiti http://referati.do.am da se registruju i započnu kreiranje novih aplikacija za Linksys Smart Wi-Fi rutere. Cisco pruža tehničke, marketinške i prodajne resurse programerima, podržavajući članove zajednice tokom poslovnog i razvojnog procesa.

Isaac Asimov

Tri zakona robotike

Ljudi i roboti

Roboti se vekovima bune u književnosti. Džin i Efrit su se pobunili arapske priče, pobunio se Golem - glinena zamisao lukavog Bena Bezalela. Pa čak su i pravi roboti, koje je stvorio genij Karel Čapek, izmakli kontroli, jedva su stigli da se rode iz pera pisca. Situacija je postala toliko ozbiljna da je problem pobunjenih robota migrirao sa stranica fikcija na stranicama naučnih članaka i monografija. Sam Norbert Wiener je smatrao da je potrebno upozoriti čovječanstvo na to moguće posljedice pretjerana autonomija robota.

Spas je došao iz neočekivane strane. Američki pisac i naučnik Isaac Asimov formulisao je svoja čuvena tri zakona robotike (u stvari, ispravnije bi bilo reći „robotologija“ ili, kako je moderna nauka utvrdila, „robotika“, ali sada je prekasno da se ispravi ova netačnost prevoda). Asimovljeve zakone je primio zaista fantastičnom brzinom svjetsko priznanje, i od tada ni jedan robot nije napustio montažnu traku, odnosno iz bubnjeva štamparske mašine, a da mu u mozak nisu položena zloglasna Tri zakona (imajte na umu da robot mora imati mozak!) Konačno, čovečanstvo je moglo slobodno da diše. Buduća koegzistencija s legijama poslušnih robota izgledala je prilično ružičasto.

A šta o tome misli tvorac Zakona robotike? Najbolji odgovor na ovo pitanje može se dobiti čitanjem zbirke koja se nudi čitatelju.

Počnimo s prvom pričom iz serije "Ja, robot". Djevojčica ima robota dadilju. Djevojčica se vezala za robota, ali, prema riječima njene majke, ta vezanost je štetna odgovarajuće obrazovanje dijete. I iako tata ima drugačije mišljenje, nakon dugih porodičnih razgovora, robot se vraća u fabriku. Djevojka je tužna, postoji opasnost od ozbiljnog mentalne traume, a robot se vraća (Robijeva priča).

Pravi zaplet, zar ne? Ali upravo ta jednostavnost razbija Prvi zakon robotike, koji je Asimov formulirao na sljedeći način: „Robot ne može nauditi osobi ili svojim nečinjenjem dopustiti da se čovjeku nanese šteta“. Kako robot može shvatiti šta je štetno, a šta korisno ako roditelji sami ne mogu odlučiti o ovom pitanju u odnosu na vlastito dijete!

U priči „Okruglo“, kao rezultat nejasno formulisane indicije, prvi i treći zakon su se međusobno sukobili. Prema Trećem zakonu, "robot mora brinuti o vlastitoj sigurnosti, sve dok nije u suprotnosti sa Prvim i Drugim zakonom." Robotu je data komanda, ali nije naznačen stepen štete koja bi bila nanesena osobi ako se ne izvrši. A sada robot kruži duž granice opasnog područja, ne zalazi duboko u njega (Treći zakon to sprječava) i istovremeno ne ide daleko (ovo sprječavaju Prvi i Drugi zakon). Situacija poznata svakom programeru modernih računara. To se zove "petlja". Inače, svaki manje-više iskusan programer u program stavlja posebne komande prema kojima se, nakon što završi tri ili četiri kruga, računar zaustavlja i traži daljnje upute od osobe.

U priči "Okruglo" sve se dešava drugačije. Tamo da razbijem začarani krug ljudi uspijevaju samo riskirajući svoje živote i istovremeno koristeći svu svoju domišljatost i uz pomoć stručnjaka za psihologiju robota. Inače, jedan od lajtmotiva koji objedinjuje većinu priča u zbirci je borba između robota i ljudske robotske psihologinje Susan Calvin.

Ili druga priča - "Kako se robot izgubio." Iznerviran, mladi radnik kaže robotu: "Odlazi i ne pokazuj se da te više ne vidim." Robot doslovno slijedi upute osobe, nakon čega je cijelo osoblje vanplanetske Hyperbaze prisiljeno napustiti važan posao i tražiti nestalog robota cijelu sedmicu.

Opet smo namjerno odabrali priču sa jednostavnim zapletom, jer se, po našem mišljenju, upravo u jednostavnosti rađa uvjerljivost kojom Asimov razotkriva Drugi zakon robotike koji je sam stvorio.

U čemu je stvar? Da li je zaista potrebno priznati da je duh izašao iz boce i ljudima ne preostaje ništa drugo nego da pasivno čekaju posljedice? Podsjetimo, međutim, da autor priča nije samo pisac, već i naučnik koji je u stanju da sa svom logičnom strogošću analizira situaciju. I nije uzalud odabrao ovu formu: prvo je formulirao zakone koji na prvi pogled izgledaju besprijekorni i po sadržaju i po formi, a zatim je te zakone pokazao na djelu.

Da, duh je izašao iz boce, i to jako, jako davno. Uzevši štap u ruke, čovjek je stvorio prvog robota, a naišao je na pobunu robota kada je ovaj štap slučajno ispustio na noge. I od tada se ništa kvalitativno novo nije dogodilo. Problem pobune robota postavlja se i rješava u tehnologiji već nekoliko desetljeća. AT engleski jezik postoji čak i poseban izraz “foolproof” – “zaštita od budale”. Dakle, gas u gasnoj koloni se ne zapali ako voda ne teče, a presa neće raditi ako postoji strani predmet, kao što je ljudska ruka.

Ali od tehnologije ne bi trebalo zahtijevati da umjesto čovjeka odlučuje šta mu ide na štetu, a šta u njegovu korist. I ne treba misliti da će pojava "mislećih" mašina, odnosno mašina sposobnih da samostalno analiziraju situaciju i na osnovu te analize donose odluke, uvesti nešto suštinski novo.

Vratimo se, međutim, pričama iz zbirke. Čini se da nema potrebe čitaocima predstavljati njihovog autora. Isaac Asimov je jedan od najpoznatijih američkih pisaca naučne fantastike, autor mnogih naučno-popularnih knjiga i članaka koji su objavljeni u zasebnim zbirkama. Ali prije svega, Asimov je talentovan umjetnik, i to je tajna njegove popularnosti. Mnoga djela ovog pisca prevedena su na ruski jezik. Posebno su bile poznate njegove priče o robotima koje su objavljivane kao zasebne zbirke (ciklus „Ja, robot”) ili uključene u druge tematske zbirke. Lijepo je što se mnoge od njih, iako ne sve, sada ponovo izdaju kao jedna zbirka.

Čitalac - koji je upoznat sa Asimovljevim radom i po prvi put prepoznaje njegove robote - susreće sjajne, odlično nacrtane likove. Evo testera nova tehnologija Pauel i Donovan, koji se, prateći sve kanone avanturističkog žanra, u svakoj priči nađu u teškim, ponekad bezizlaznim situacijama, ali iz njih uvek izlaze časno. Evo "trusta mozga" kompanije "U.S. Robots and Mechanical Man Corporation" Bogert i Lanning, koji se bori za moć. A robo-psihologinja Susan Calvin se nadvija nad svima, prezirući sujetu biznismena. A iza kulisa - moderna kapitalistička Amerika u svoj svojoj "sjaji". Pred čitaocem su slike konkurentske borbe između firmi, predizbornih političkih mahinacija, rasne diskriminacije. Ali treba napomenuti da Asimov, prikazujući svoje robote kao vitezove bez straha i prijekora, obdarujući ih metalnim tijelom i pozitronskim mozgom, izbjegava akutne društvene probleme.