Чому майбутнє нас не потребує?

Найпотужніші технології 21-го століття — робототехніка, генна інженерія і нанотехнології загрожують зникненню людства.

Відколи я беру участь у створенні нових технологій, їхні етичні виміри стосуються й мене, проте лише восени 1998 року я з тривогою усвідомив масштаби небезпеки, що постала перед нами у 21-у столітті. Я можу датувати початок мого занепокоєння днем, коли зустрів Рея Курцвейла, заслужено відомого винахідника першого пристрою для читання для незрячих та інших дивовижних речей.

Ми з Реєм були доповідачами на конференції у «George Gilder’s Telecosm», і я натрапив на нього випадково у кафе готелю після завершення наших засідань. Я сидів із Джоном Серлом, філософом із Берклі, що вивчав проблеми свідомості. Під час нашої бесіди підійшов Рей і розпочалась розмова, тема якої переслідує мене й досі.

Я не був присутній під час доповіді Рея і подальшої дискусії, на якій були Рей із Джоном, і зараз вони власне повернулися до тієї розмови, коли Рей сказав, що швидкість вдосконалення технологій зросте і що нам доведеться стати роботами, кіборгами або чимось на кшталт цього, а Джон заперечив, що це неможливо, адже роботи не здатні усвідомлювати.

Коли я чув такі розмови раніше, мені завжди здавалося, що розумні роботи можливі лише у науковій фантастиці. Натомість зараз я почув від людини, яку поважав, вагомий аргумент на користь реальної можливості такої ситуації найближчим часом. Я оторопів, зокрема враховуючи добре знану здатність Рея передбачати і творити майбутнє. Я вже знав, що такі нові технології як генна інженерія і нанотехнологія дали нам можливість переробляти світ, але реалістичний та невідворотний сценарій щодо розумних роботів мене вразив.

Від таких досягнень можна й очманіти. Майже щодня ми чуємо у випусках новин про якийсь технологічний чи науковий прорив. Проте у даному випадку це не було звичайним прогнозуванням. У кафе готелю Рей вручив мені уривок зі сигнального примірника своєї книжки «Епоха духовних машин», що готувалася до друку, в якій наголошувалося на утопії, яку він передбачав, — утопії, в якій люди впритул підійшли до безсмертності, ставши один цілим із роботами. Читаючи її, моє занепокоєння тільки зросло: я був певен, що Рей повинен применшувати небезпеки, применшувати вірогідність сумного фіналу на цьому шляху.

Я вкрай захвилювався через можливість нового антиутопічного сценарію

Короткий відступ (початок 2000-х)

Біологічні види практично ніколи не виживають, коли стикаються із сильнішими конкурентами. Десять мільйонів років тому Південна і Північна Америка були розділені затонулим Панамським перешийком. Південна Америка, як і сучасна Австралія, була заселена сумчастими ссавцями, включно із подібними до сумчастих щурами, оленями і тиграми. Коли перешийок, що з’єднував Північну і Південну Америку, піднявся, знадобилося лише декілька тисяч років, щоб північні плацентарні види з більш ефективним метаболізмом і репродуктивною та нервовою системою замінили й усунули більшість південних сумчастих.

В абсолютно вільному ринковому середовищі роботи, завдяки своїй перевазі, звісно, витіснили б людей, як північноамериканські плацентарні витіснили південноамериканських сумчастих (і як люди витіснили численні біологічні види). Роботизовані індустрії завзято б конкурували між собою за матерію, енергію і простір, між іншим, виводячи їхню вартість поза межі людської досяжності. Нездатні задовільняти свої життєві потреби, біологічні люди виявилися б витісненими із буття.

Проте, ймовірно, певний вихід все ж існує, оскільки ми не живемо у цілковито вільному ринковому середовищі. Влада змушує до неринкової поведінки, зокрема збираючи податки. Розсудливий урядовий примус міг би якнайдовше підтримувати людську популяцію на високому рівні завдяки плодам праці роботів.

Підручник з антиутопії і Моравец лише ятрять рану. Він продовжує розмірковувати про те, що нашим основним завданням у 21-му столітті буде «гарантовано тривала кооперація роботозованих індустрій», яку буде ухвалено на законодавчому рівні, і продовжує описувати, наскільки небезпечною може стати людина, «трансформована одного дня у надрозумного робота».

Айзек Азімов у книжці «Я — робот», яка видана 1950 року, у своїх Трьох Законах Робототехніки описав те, що згодом стало найвідомішим кодексом етичних правил поведінки робота:

1.Робот не може нашкодити людині чи допустити шкоду внаслідок своєї бездіяльності.

2. Робот повинен підкорятися наказам людини, за винятком тих випадків, коли такі накази суперечать Першому Законові.

3. Робот повинен захищати власне існування, допоки такий захист не суперечитиме Першому чи Другому Законам.

Моравец вважає, що врешті роботи перевершать нас — і людство постане перед загрозою зникнення.

Я вирішив, що настав час поговорити зі своїм другом Денні Гіллісом. Денні прославився як співзасновник «Thinking Machines Corporation», яка розробляла надпотужний суперкомп’ютер для паралельних обчислень. Не зважаючи на те, що моя поточна посада звучить як головний науковий співробітник у компанії «Sun Microsystems», я радше є комп’ютерним архітектором, аніж науковцем, і я поважаю освіченість Дена у галузі інформаційних та фізичних наук більше, ніж інших. Денні також є високошанованим футурологом, який мислить далекоглядно — чотири роки тому він розпочав «Long Now Foundation», яка розробляє годинники, розраховані на наступні 10 000 років, намагаючись привернути цим увагу до мізерно короткого інтервалу існування нашого суспільства6Див. «Test of Time», Wired 8.03, С. 78..

Тому я полетів до Лос-Анджелеса власне щоб пообідати з Денні і його дружиною Паті. Я скористався своїм уже відточеним методом, щоб представити ідеї та підходи, які видавались мені надто тривожними. Відповідь Денні, базована саме на сценарію Курцвейла про злиття людей з роботами, не забарилася і дуже здивувала мене. Він буквально сказав, що зміни відбуватимуться поступово, і ми до них звикнемо.

Гадаю, я все таки не був цілковито заскоченим. Я бачив цитату Денні у книжці Курцвейла, де той казав: «Я люблю своє тіло, як і кожен, але якщо моє тіло може стати силіконовим, я це прийму». Видавалося, що він змирився з цим процесом і можливими ризиками, натомість​ я — ні.

Розмовляючи і розмірковуючи про Курцвейла, Качинського і Моравеца, я раптом пригадав роман, який читав майже 20 років тому, «Біла Чума» Франка Ґерберта, в якому молекулярного біолога доводить до божевілля беззмістовне вбивство його сім’ї. Щоб помститися, він створює і поширює нову дуже заразну хворобу, яка вбиває повсюдно, але вибірково. (На щастя, Качинський був математиком, а не молекулярним біологом.) Я також пригадав собі расу борґів із «Зоряного шляху», цей вулик напівбіологічних і напівроботизованих істот, яким притаманна надмірна агресивність. Стихійні лиха, схожі до тих, які спричиняли борґи — це основа наукової фантастики, тож чому раніше такі роботизовані антиутопії мене не тривожили? Чому й інших людей не хвилювали ці жахливі сценарії?

Частково відповідь можна знайти у нашому відношенні до нового — у миттєвій прихильності і безсумнівному прийнятті. Звикнувши до майже щоденного співіснування з великими науковими відкриттями, ми все ж повинні визнати той факт, що найвидатніші технології 21-го століття — робототехніка, генна інженерія і нанотехнологія — становлять дещо іншу загрозу, ніж попередні технології. Безперечно, роботи, штучні істоти і наноботи є фактором посиленої небезпеки: вони здатні до самовідтворення. Бомба зірветься лише раз, але один робот може відтворити себе і швидко вийти з-під контролю.

Значна частина моєї роботи протягом останніх 25 років була присвячена комп’ютерним мережам, де надсилання і отримання сигналів створює умови для неконтрольованої реплікації7копіювання, відтворення — прим.пер.. У комп’ютері чи комп’ютерній мережі реплікація може завдати неприємностей або в гіршому випадку призведе до​ поломки машини чи завалить мережу або її сервіси. Натомість неконтрольована самореплікація у вищезгаданих новітніх технологіях більш ризикована: йдеться про ризик суттєвої загрози для фізичного світу.

Кожна з цих технологій також пропонує невимовні перспективи: нами керують фантазії можливої безсмертності, яку Курцвейл бачить у своїх робототехнічних мріях; генна інженерія здатна незабаром забезпечити лікування — якщо попросту не вилікувати — більшості хворіб; а нанотехнологію і наномедицину можна застосувати до ще більшої кількості захворювань. Спільно вони могли б суттєво збільшити середню тривалість нашого життя і покращити його якість. У цьому ланцюжку інновацій кожна ланка виглядає невеликим проривом, який сам по собі  є доволі корисним і сприятливим, але в підсумку все це призводить до накопичення величезної потуги і, відповідно, величезної небезпеки.

Що змінилося у 20-у столітті? Звісно, технології, що лежать в основі зброї масового ураження (ЗМУ) — ядерної, біологічної і хімічної (ЯБХ) — були потужні і надзвичайно небезпечні. Але розробка ядерної зброї вимагала, принаймні певний час, доступу до рідкісної — насправді, фактично недоступної — сировини і надійно захищеної інформації; програми біологічних і хімічних озброєнь, як правило, вимагають великомасштабних заходів.

Технології 21-го століття — генетика, нанотехнологія і робототехніка (ГНР) — настільки потужні, що здатні породжувати абсолютно нові типи аварій і збоїв. І найбільш небезпечним є те, що вони вперше стали широко поширеними для окремих індивідів чи маленьких груп. Цим технологіям не потрібне громіздке обладнання чи рідкісна сировина. Достатньо застосувати знання якоїсь однієї людини.

Таким чином, ми стоїмо перед можливістю застосування не лише зброї масового ураження, але й знання, що сприяє масовому знищенню (ЗМЗ), деструктивність якого неймовірно зростає завдяки силі самореплікації. Гадаю, без перебільшення можна сказати, що ми стоїмо на порозі подальшого вдосконалення екстремального зла – зла, чия можливість поширилася далеко за межі, які зброя масового ураження визначила національним державам, на диво і жах екстремістів, які цьому потурають.

Ніщо на цьому шляху, яким я прийшов до комп’ютерів, не натякало, що мені доведеться зіткнутися з вищезгаданими проблеми. Моїм життям керувала глибока потреба запитувати і шукати відповідей. У трирічному віці я вже вмів читати, тому мій батько віддав мене у початкову школу, де я сидів на колінах вчителя і читав йому оповідання. Я пішов до школи у ранньому віці, згодом пропустив один клас і втік у світ книг — я був неймовірно вмотивований вчитися. Я багато запитував, чим часто докучав дорослим.

У підлітковому віці я дуже зацікавився наукою і технікою. Хотів стати радіоаматором, але не мав грошей на купівлю обладнання. Аматорське радіо було тогочасним Інтернетом — зацікавленням, дуже захопливим і доволі усамітненим. Пошук грошей моя мати обрубала при корені, тому не судилося мені стати радіоаматором, хоча я і так був доволі асоціальним.

Можливо у мене й не було надто багато близьких друзів, але у мене було безліч ідей. У середній школі я відкрив для себе великих авторів наукової фантастики. Зокрема я пам’ятаю «Маю скафандр — можу мандрувати» Гайнлайна і «Я — робот» Азімова з його Трьома Законами Робототехніки. Мене зачарували описи космічних подорожей, я хотів телескоп, щоб дивитися на зірки; але поки в мене не було грошей, щоб купити чи зробити це самому, я вишукував у бібліотеці книжки по виготовленню телескопів і просто читав їх. Я літав у своїх фантазіях.

Щочетверга ввечері мої батьки грали в боулінг і ми, діти, залишалися самі вдома. І одного такого вечора я познайомився з оригінальною версією «Зоряного шляху» Джина Родденберрі, що справило на мене неабияке враження. Я був готовий сприйняти його ідею про те, що в людей є майбутнє в космосі, подібно до вестернів: з великими героями і пригодами. Уявлення Родденберрі про прийдешню епоху пов’язувалися із суворими моральними цінностями, втіленими у кодексах на кшталт Головного Декрету: не втручатися у розвиток менш технологічно розвинених цивілізацій. Це неймовірно привабило мене; етичні люди, не роботи, домінували у такому майбутньому, і я сприйняв мрію Родденберрі як власну.

У середній школі я досяг значних успіхів у математиці, і коли поступив на технічний факультет Мічіганського університету, обрав розширений навчальний план математичної спеціальності. Вирішення математичних проблем було захопливим викликом, але коли я виявив існування комп’ютерів, то знайшов собі щось набагато цікавіше: машина, в яку можеш вкласти програму, що шукає вирішення проблеми, а знайшовши, здатна оперативно перевірити результат. Комп’ютер мав чіткі уявлення правильного і неправильного, правдивого і хибного. Чи мої ідеї правильні? Машина могла відповісти мені. Це було дуже спокусливо.

Мені пощастило отримати роботу, програмуючи перші суперкомп’ютери, і я виявив дивовижну здатність великих машин у цифровому форматі моделювати передові проекти. Коли я навчався в аспірантурі Каліфорнійського університету в Берклі в середині 1970-х, то почав засиджуватися допізна, часто на всю ніч, винаходячи нові світи в комп’ютерах. Вирішував проблеми. Писав коди, які просто вимагали, щоб їх написали.

В «Агонії та екстазі», біографічному романі Ірвінга Стоуна про Мікеланджело, Стоун дуже яскраво описав те, як Мікеланджело вивільняв статуї із каменю, «розвіюючи мармурові чари», вирізуючи згідно зі своїми уявленнями. Мікеланджело написав сонет, який починається так:

«Найкращий художник не додумався показати,
як виглядає неотесаний камінь у своїй зайвій шкаралупі
не поміщений; щоб розвіяти мармурові чари
потрібна лиш рука, що служить мозку.»

Стоун описує процес: «Він не працював згідно зі своїми рисунками чи глиняними зразками; Він їх усіх сховав. Він вирізав згідно зі своїх уявлень. Його очі та руки знали, де повинна з’явитися кожна лінія, крива, маса і як глибоко в серці каменя творити барельєф»8The Agony and the Ecstasy. Doubleday, 1961: 6, 144..

У моменти мого величезного натхнення, програми для комп’ютерів виникали так само. Одразу, коли в мені виникав певний образ, я бачив його уже там, в машині, він лише очікував, коли його вивільнять. Нічні чування були невисокою ціною супроти того, щоб дати цим речам свободу — щоб надати ідеї завершеної форми.

Після кількох років, проведених у Берклі, я почав надсилати деяке програмне забезпечення, яке я написав, — інструкції в мові Паскаль, додатки для Unix і текстовий редактор «vi» (який, на мій превеликий подив, ще досі широко застосовують, хоча минуло вже більше 20 років) — іншим власникам схожих мікрокомп’ютерів, невеликих PDP-11 і VAX. Врешті ці пригоди із програмним забезпеченням стали «версією Берклі» операційної системи Unix, яку я називаю моєю «успішною трагедією» — стільки людей хотіло її отримати, що я не завершив свою дисертацію. Натомість я виконав завдання для DARPA9Defense Advanced Research Projects Agency — Агентство передових оборонних дослідницьких проектів – прим.пер., яке стосувалося приєднання Unix Берклі до Інтернету, налаштовуючи її захист і можливість ефективно керувати великими дослідницькими додатками. Це було і великою розвагою, і водночас дуже корисно. І зізнаюся, ні там, ані деінде я не бачив жодних роботів.

Проте перед початком 1980-х я почав іти на дно. Випуски Unix були дуже успішні і мій невеликий проект незабаром отримав гроші і невеликий штат, але проблемою Берклі завжди були не гроші, а місце для офісу — не було кімнати для потреб проекту. Тож коли з’явилися інші фундатори із «Sun Microsystems», я вхопився за шанс приєднатися до них. У «Sun» протягом перших днів години видавались довгими, і я отримував задоволення, беручи участь у створенні провідних мікропроцесорів та інтернет-технологій на кшталт Java і Jini.

Із вище сказаного, гадаю, зрозуміло, що я не луддит. Я радше глибоко вірив у цінність наукового пошуку істини і в здатність великої техніки сприяти матеріальному поступу. Індустріальна Революція безмежно покращила загальний рівень життя за останні кілька століть, і я завжди очікував, що моя діяльність полягає у вартих уваги вирішеннях реальних проблем, у вирішенні кожної проблеми в часі.

Я не розчарувався. Моя діяльність мала набагато більший вплив, аніж я міг сподіватися, і поширилась значно дальше, аніж я міг логічно припустити. Протягом останніх 20 років я намагався з’ясувати, як зробити комп’ютери такими надійними, якими б я хотів їх бачити (що й досі залишається недосяжним), і як зробити їх простими у користуванні (ця мета була ще менш успішною). Незважаючи на певний прогрес, проблеми, що залишилися, видаються навіть більш бентежними.

Але коли я усвідомив наявність моральних дилем навколо технологічних результатів у галузях на кшталт розробки озброєнь, я й гадки не мав, що протистоятиму таким проблемам у контексті власної діяльності, чи радше не очікував, що це настане так швидко.

Ймовірно, завжди складніше помітити той значний вплив, коли сам перебуваєш у вирі змін. Нездатність розуміти наслідки наших винаходів, коли ми перебуваємо в екстазі відкриття і вдосконалення, видається спільною помилкою науковців і технологів; тривалий час ми йшли на повідку всеоправданої жаги знати — що власне є природним для наукового пошуку — а тому й не змогли зауважити, що рух до щораз нових і могутніших технологій може забрати життя як таке.

Я вже давно зрозумів, що значний прогрес інформаційних технологій відбувається не завдяки діяльності вчених-комп’ютерників, комп’ютерних архітекторів чи інженерів-електриків, а завдяки вченим-фізикам. Фізики Стівен Вольфрам і Бросл Хасслакер на початку 1980-х ознайомили мене з теорією хаосу і нелінійних систем. У 1990-х я дізнався про складні системи, спілкуючись із Денні Гіллісом, біологом Стюартом Кауфманом, нобелівським лауреатом і фізиком Маррі Гелл-Маном та іншими. А нещодавно розуміння неймовірних можливостей молекулярної електроніки мені відкрили Хасслакер та інженер-електрик і прикладний фізик Марк Тростнік.

Працюючи як співдизайнер трьох архітектур мікропроцесора — SPARC10scalalable processor architecture — масштабована процесорна архітектура, тобто архітектура процесорів зі змінною продуктивністю —прим.пер., picoJava і MAJC — і як проектувальник кількох їхніх імплементацій, мені довелося ґрунтовно ознайомитися із законом Мура. Протягом багатьох десятиліть закон Мура точно передбачав швидкість вдосконалення напівпровідних технологій. Ще раніше я вважав, що закон Мура може справджуватися приблизно до 2010 року, коли дійдемо до певних фізичних меж. Для мене не було очевидним, що нові фізичні можливості, які б підтримували бажану продуктивність нових технологій, виникатимуть своєчасно.

У зв’язку із нещодавнім швидким і радикальним проривом молекулярної електроніки — де індивідуальні атоми і молекули заміняють літографічно витягнуті транзистори, а отже й у масштабованих до нано-рівня технологіях, ми зможемо, згідно із законом Мура, витримувати темп, а то й перевищувати протягом наступних 30 років швидкість вдосконалень. Ймовірно, що до 2030 року ми зможемо конструювати машини, в мільйон раз потужніші, ніж сучасні персональні комп’ютери, а цього достатньо для втілення мрій Курцвейла і Моравеца.

Оскільки ця величезна обчислювальна сила пов’язана з маніпулятивними успіхами фізичних наук і з новими серйозними відкриттями у сфері генетики, це розв’язує руки величезній трансформаційній силі. Згадані комбінації відкривають можливість цілковито перепроектувати світ — на кращий чи гірший: реплікація та еволюційні процеси, які належали виключно до природного світу, увійдуть у сферу людської діяльності.

Під час проектування програмного забезпечення і мікропроцесорів я ніколи не відчував, що розробляю розумний механізм. Програмне і апаратне забезпечення настільки тендітні, а здатність машини «мислити» настільки очевидно відсутня, що такі речі видавались можливими хіба що у далекому майбутньому.

Але зараз, із тридцятилітньої перспективи комп’ютерної потуги людського рівня, напрошується нова ідея: що можливо я працюю над створенням нових інструментів, які дозволять побудувати технології, здатні замінити нас як біологічний вид. Що я відчуваю при цьому? Великий дискомфорт. Професійно борючись за те, щоб створювати надійні системи програмного забезпечення, мені здається більш ніж ймовірним, що таке майбутнє не можливе у такому вигляді, як дехто може собі уявляти. Власний досвід дозволяє припустити, що ми надто переоцінюємо наші проектувальні можливості.

Враховуючи неймовірну силу цих нових технологій, невже нас не хвилює, чи зможемо ми якнайкраще з ними співіснувати? А якщо наше зникнення є вірогідним чи навіть можливим результатом нашого ж технологічного розвитку, то хіба ми не повинні бути максимально обережними?

Мрія про роботів полягає передусім у тому, що розумні механізми зможуть замість нас виконувати нашу роботу, щоб ми жили безтурботно і повернулися в Едем. Джордж Дізон у своїй історії про схожі ідеї «Дарвін серед машин» все таки попереджає: «У грі «життя і еволюція» за столом три гравці: люди, природа і машини. Я, безумовно, на боці природи. Але підозрюю, що природа — на боці машин». Як бачимо, Моравец з цим погоджується, вважаючи, що ми можемо не пережити зіткнення з тими видами роботів, які нас перевершують.

Коли ж може з’явитися такий розумний робот? Зростаючий прогрес обчислювальної потужності дозволяє припустити таку можливість до 2030 року. Поява розумного робота одразу стане маленьким кроком до робота як виду — до розумного робота, який зможе створювати вдосконалені копії самого себе.

Друга мрія про роботів полягає в тому, що ми поступово замінимо себе робототехнікою, яка наближатиме нас до безсмертя, завантажуючи собі нашу свідомість; саме цей процес має на увазі Денні Гілліс, говорячи, що ми поступово звикнемо до цього, і саме цей процес детально описав Рей Курцвейл в «Епосі духовних машин». (Натяки на вище сказане ми починаємо бачити в імплантації комп’ютерних пристроїв у людське тіло)

Але якщо ми завантажимо себе в нашу техніку, то яка вірогідність того, що опісля ми залишимося собою чи бодай людськими істотами? Мені видається найбільш ймовірним, що роботизоване існування жодним чином не буде схожим на людське, і що ми усвідомлюємо, що роботи ніяк не можуть бути нашими дітьми, що врешті цей шлях заведе нас до втрати нашої людської природи.

Генна інженерія обіцяє реконструювати сільське господарство, збільшуючи плодоносність рослин при зменшенні використання пестицидів; створювати десятки тисяч нових різновидів вірусів, бактерій, рослин і тварин; замінювати репродуктивність або поєднувати її з клонуванням; створювати ліки проти багатьох захворювань, збільшуючи тривалість і якість нашого життя і багато іншого. Сьогодні ми певні невідворотності цих серйозних змін у біологічній науці, які стають викликом усім нашим уявленням про життя.

Такі технології як клонування людини особливо загострили наше розуміння глибини етичних і моральних проблем, перед якими ми постали. Якщо, наприклад, ми перепроектували себе на декілька окремих і нерівнозначних видів, використовуючи можливості генної інженерії, то під загрозою опиняється поняття рівності, яке є важливим наріжним каменем нашої демократії.

Нікого не здивує твердження, що, враховуючи неймовірні можливості генної інженерії, при її використанні виникає серйозна проблема щодо безпеки. Нещодавно мій товариш Еморі Ловінс разом з Гантером Ловінсом написав статтю, в якій подав роз’яснення стосовно деяких із цих небезпек з погляду екології. Однією із таких небезпек є те, що «нова ботаніка розглядає розвиток рослин виключно з огляду на їх економічний, а не еволюційний успіх»11Див. «Розповідь про двох ботаніків», С.247. Професійна діяльність Еморі тривалий час була зосереджена на розгляді енергетичної і ресурсної ефективності в контексті комплексності систем, створених людиною; такий підхід до системи загалом часто знаходить прості мудрі вирішення проблем, які при іншому підході виглядали б складними, і може бути корисним у даному випадку.

Після прочитання статті Ловінса я натрапив у «Нью-Йорк Таймс»(19 листопада 1999 р.) на колонку Грега Істербрука про генетично модифіковані зернові культури із заголовком: «Їжа майбутнього: коли-небудь в рис вбудують вітамін А. Якщо луддити не переможуть».

Чи Еморі і Гантер Ловінси є луддитами? Звісно, ні. Я вважаю, що ми всі погодимось, що золотий рис із вбудованим вітаміном А є, мабуть, добрим, якщо створений із відповідною обережністю і врахуванням можливих небезпек, пов’язаних із рухом генів через міжвидові межі. Усвідомлення небезпек, притаманних генній інженерії, зростає, що можна зауважити в статті Ловінса. Широкий загал знає і переймається генетичними змінами харчових продуктів і, здається, не пристає на те, щоб такі харчові продукти не мали спеціальних позначок.

Але технологія генної інженерії нестримно розвивається. Як зазначає Ловінс, USDA вже ухвалив необмежену реалізацію приблизно 50 генетично модифікованих зернових культур; більш ніж половина світового виробництва сої і третина соєвого зерна містять тепер гени, взяті з інших форм життя. Попри існування безлічі важливих проблем, головний об’єкт мого занепокоєння щодо генної інженерії є дещо вужчим: незалежно чи у військових цілях, випадково чи як наслідок навмисного терористичного акту, але це дозволяє створити «Білу Чуму».

Багато чудес нанотехнології на початках передбачав Нобелівський лауреат, фізик Річард Фейнман у своїй промові 1959 року, опублікованій згодом під назвою: «Там внизу багато місця». Книга, яка вразила мене в середині 1980-х, — «Двигуни творіння» Еріка Дрекслера, в якій він прекрасно описав, як маніпулювання матерією на рівні атомів могло б створити утопічне майбутнє достатку, де майже все можна виготовити дуже дешево, а майже кожну можливу хворобу чи фізичну проблему вирішити завдяки нанотехнологіям та штучному інтелекту.

Наступна книжка «Майбутнє без перешкод: нанотехнологічна революція», яку Дрекслер написав у співавторстві, пропонує уявити певні можливі зміни у світі, в якому ми отримали б доступ до асемблерів молекулярного рівня. Вони б уможливили неймовірно дешеву сонячну енергію, лікування раку і нежиті зусиллями людської імунної системи, максимальне очищення навколишнього середовища, відродження зниклих біологічних видів і напрочуд недорогі кишенькові суперкомп’ютери (фактично, будь-який товар, виготовлений за допомогою асемблерів, не буде перевищувати вартість виготовленого із деревини  космічний політ виявиться доступнішим, ніж сьогоднішні трансатлантичні подорожі).

Не забуду свого позитивного ставлення до нанотехнологій після прочитання «Двигунів творіння». Як технолога це мене заспокоїло — тобто, нанотехнології показали нам, що надзвичайний прогрес можливий чи радше неминучий. Якщо нанотехнології — це наше майбутнє, то я не відчував гнітючої потреби вирішувати стільки проблем у теперішньому. Я міг би вчасно потрапив в утопічне майбутнє Дрекслера; також я міг би більше насолоджуватися життям тут і тепер. Згідно з його баченням, не було сенсу постійно засиджуватися допізна.

Дрекслерові візії надихали мене й на всілякі веселощі. Час до часу я міг описувати дива нанотехнології тим, які про це нічого не чули. Трішки подразнивши їх тим, я вигадував для них домашнє завдання: «Використати нанотехнології, щоб створити вампіра; а додатково ще створити протиотруту».

Разом з цими дивами виникли й відверті небезпеки, які я чітко усвідомлював. Тому під час нанотехнологічної конференції 1989 року я заявив: «Ми не можемо лише займатися нашою наукою, не зважаючи при цьому на етичні проблеми»12Перша Прогностична Конференція Нанотехнологій, жовтень 1989 року; назва доповіді «Майбутнє обчислень» Опублікована в: Crandall, B. C. and James Lewis, editors. Nanotechnology: Research and Perspectives. MIT Press,1992:269. Див.також:www.foresight.org/Conferences/MNT01/Nano1.html, але подальші розмови з фізиками переконали мене, що нанотехнології наразі не працюють — чи бодай не запрацюють найближчим часом. Згодом я переїхав у Колорадо, де мене чекала паскудна робота, тож я перевів свою діяльність на програмне забезпечення для Інтернету, зокрема на ідеї Java і Jini.

А торік влітку Бросл Хасслакер повідомив мені, що наномасштабна молекулярна електроніка стала тепер доступною. Принаймні для мене це було новиною, хоча і для багатьох людей також — і це кардинально змінило мою думку про нанотехнології. Довелось повернутися до «Двигунів творіння». Перечитуючи працю Дрекслера через більш ніж 10 років, я занепокоївся, бо усвідомив, наскільки мало запам’ятав із його великого розділу «Небезпеки і сподівання», включно із обговоренням, як нанотехнології можуть стати «двигунами руйнації». Справді, під час перепрочитання цього застереження сьогодні я вражений наївністю деяких Дрекслерових пропозицій щодо обережності, і дивуюся, наскільки більше я думаю про небезпеку тепер, аніж тоді. (Передбачаючи і описуючи численні технічні і політичні проблеми щодо нанотехнологій, Дрекслер у кінці 1980-х створив Інститут Прогнозування, «щоб допомогти підготувати суспільство до приходу передових технологій» — і до найважливіших з них — нанотехнологій.)

Суттєвий прорив, який приведе до асемблерів-конструкторів, доволі ймовірний протягом наступних 20 років. Молекулярна електроніка — нова підгалузь нанотехнології, де схеми формують окремі молекули, стає надзвичайно прибутковою і драйвером залучення інвестицій у всі сфери нанотехнології. На жаль, як і в ядерній технології, набагато простіше знайти руйнівне застосування для нанотехнології, аніж конструктивне. Нанотехнологія має очевидні військові і терористичні цілі використання, і не потрібно бути самогубцем, щоб випустити нанотехнологічний пристрій масового ураження — можна сконструювати пристрій вибіркового ураження, наприклад, ураження певної географічної зони чи групи людей із генетичною особливістю.

Безпосередній наслідок угоди з Фаустом — отримання дуже потужної нанотехнології — надзвичайно ризикований для нас: йдеться про ризик знищити біосферу, від якої залежить ціле життя. Дрекслер так пояснює: «Рослини» з «листям» вже не є ефективнішими ніж сучасні рукотворні сонячні елементи, при чому останні — поза конкуренцією у порівнянні із справжніми рослинами, які лише переповнюють біосферу своїм неїстівним листям. Стійкі всеїдні «бактерії» поза конкуренцією щодо справжніх бактерій: вони можуть поширюватися, як пилок у повітрі, стрімко розмножуватися і за лічені дні зрівняли б біосферу із землею. Небезпечні реплікатори13організми, які безперестанку розмножуються — прим.пер. легко можуть стати неймовірно стійкими, маленькими і поширюватися настільки швидко, що їх неможливо зупинити — принаймні якщо ми не будемо до цього готові. Нам уже вистачає неприємностей із контролем багатьох вірусів і плодових мушок.

Серед знавців нанотехнології ця загроза відома як проблема «сірої слизі» (gray goo). Хоча маса неконтрольованих реплікаторів не завжди сіра чи клейка, термін «сіра слизь» наголошує, що здатність реплікаторів знищувати життя є чимось набагато неприємнішим, ніж здатність липкої рослини-росички ловити і поїдати комах. Так, у контексті еволюції вони можуть мати суттєві переваги, проте це не додає їм вартості.

Загроза «сірої слизі» прояснює одну річ: ми не можемо дозволити собі випадкового клонування асемблерів. Безперечно, «сіра слизь» стала б сумним завершенням нашого людського перебування на Землі, набагато жахливішим, ніж звичайна загибель від вогню чи льоду; одним із тих випадків, що трапляються у лабораторіях. Курт Воннеґут у своєму романі «Колиска для кішки» 1963 року описав нещасливий випадок, аналогічний до «сірої липучки», коли форма льоду, яку він назвав лід-9, затверділа при значно вищій температурі ніж звичайно і заморозила океани.

Сила деструктивного самовідтворення в генетиці, нанотехнології і робототехніці (ГНР) найперше змусила б нас замислитись. Самореплікація — це принцип роботи генної інженерії, яка використовує клітинні механізми для копіювання своїх моделей, і також це головна небезпека, що лежить в основі «сірої слизі» в нанотехнології. Історії оскаженілих роботів на кшталт борґів, які копіюють себе або видозмінюються, щоб уникнути етичних обмежень, накинених їм їхніми творцями, прекрасно описані в наших науково-фантастичних книгах і фільмах. Більше того, самореплікація можливо є більш фундаментальною, ніж ми гадали, а отже нею важче чи взагалі неможливо управляти. Нещодавня стаття у «Nature» Стюарта Кофмана «Самореплікація: навіть пептиди це роблять» обговорює відкриття, що пептид із 32 амінокислотами може «автокаталізувати власний синтез». Ми не знаємо, наскільки поширена ця здатність, але Кофман звертає увагу на те, що вона може стати натяком «на шлях до самовідтворення молекулярних систем на більш широких засадах, ніж спільні засади Уотсона-Кріка»14Kauffman, Stuart. «Self-replication: Even Peptides Do It». Nature, 382, August 8, 1996: 496. Див.: www.santafe.edu/sfi/People/kauffman/sak-peptides.html.

Чесно кажучи, протягом багатьох років перед нашим носом лежали очевидні застереження щодо небезпек, типових при поширені знань про ГНР-технології — можливість отримання таких знань кимось одним дозволяє знищити багатьох. Але ці застереження не були винесені на широкий загал; суспільного обговорення було б явно недостатньо. Яка користь від розголошення небезпек?

Ядерна, біологічна і хімічна (ЯБХ) технології, які у 20-му столітті застосовувалися для виробництва зброї масового ураження, здебільшого були і залишаються військовими, створеними в урядових лабораторіях. Натомість у 21-му столітті ГНР-технології застосовуються у комерційних цілях і розвиваються переважно у корпораціях. В епоху тріумфу меркантильності, технологія — спільно зі своєю слугинею наукою — представила нам низку майже магічних винаходів, які виявились феноменально прибутковими у порівнянні зі всім, що ми будь-коли бачили. Ми наполегливо слідуємо обіцянкам цих нових технологій в межах тепер уже безсумнівної системи глобального капіталізму і його численних фінансових стимулів і конкуренції.

Це — перший випадок в історії нашої планети, коли певний біологічний вид власними добровільними діями створив небезпеку як для себе, так і для багатьох інших видів. Можливо, відома нам послідовність​ подій існує і в інших світах: нещодавно створена планета спокійно обертається довкола своєї зірки; життя повільно формується; калейдоскопічно вибудовується еволюційний розвиток істот; виникає інтелект, який принаймні до якогось моменту є надзвичайно важливим для виживання; і тоді виникає технологія. Стає зрозумілим, що є такі речі, як закони природи; у свою чергу, ці закони можна виявити експериментальним методом, а знання цих законів можна використати як для порятунку, так і для позбавлення життя — і те, й інше в безпрецедентних масштабах. Отже наука надає величезних повноважень. В одну мить створюються механізми, що змінюють світ. Окремі цивілізації проглядають свій шлях, через який їм треба пройти і на цьому шляху встановлюють межі для того, що можна, а що не слід робити, і саме тому безпечно переживають час небезпек. Інші, не такі везучі чи розсудливі, гинуть.

Карл Саган у 1994 році у своїй книжці «Бліда блакитна цятка» описав своє бачення майбутнього людства в космосі. Я лише зараз розумію, якою глибокою була його проникливість, і як мені не вистачає і не вистачатиме його голосу. Попри його красномовство, внесок Сагана цінний з огляду на банальний здоровий глузд — ознаку, якої, поряд зі смиренням, здається, бракує багатьом провідним захисникам технологій 21-го століття.

Пригадую зі свого дитинства, що моя бабуся була категорично проти зловживання антибіотиками. Вона працювала медсестрою ще до початку Першої світової війни і вважала, що лікування антибіотиками без крайньої необхідності є шкідливим для людини.

І не тому, що вона була ворогом прогресу. Протягом майже 70-річної медичної практики, вона була свідком багатьох досягнень медицини; мій дідусь, діабетик, отримав полегшення від прогресивних методів лікування, які ставали щораз доступнішими протягом цілого його життя. Але вона, як і більшість врівноважених людей, мабуть, зараз би вважала надто зухвалим те, що ми розробляємо роботизований «замінник людини», і в той же час неспроможні справитися з багатьма значно простішими завданнями, зокрема, не завжди здатні розуміти самих себе.

Тепер я розумію, що вона усвідомлювала природу гармонії життя, потребу жити згідно з цією гармонією і поважати її. Ця повага вимагає певного смирення, якого нам, із нашою зухвалістю на початку 21-го століття, бракує — на наш страх і ризик. Здоровий глузд, що ґрунтується на такій повазі, часто більш істинний, ніж наукові докази. Очевидна недовговічність і неефективність людських систем, які ми будували, змушує нас задуматись; недовговічність систем, над якими я працював, звісно, мене упокорює.

Створення першої атомної бомби і завершення гонки озброєнь мали б слугувати для нас уроком. Тоді ми вчинили не надто добре, а схожіть до нашої теперішньої ситуації викликає тривогу.

Спроба зробити першу атомну бомбу бпочалася з ініціативи блискучого фізика Джуліуса Роберта Оппенгеймера. Він, звісно, не мав політичних інтересів, але болісно усвідомлював, що серйозна загроза західній цивілізації зі сторони Третього Рейху є справді серйозною, адже Гітлер міг отримати ядерну зброю. Це занепокоєння спонукало його застосувати свій могутній інтелект, пристрасть до фізики і харизматичні навики лідера в Лос-Аламосі й завдяки оперативним та успішним зусиллям товариства неймовірно великих умів, не зволікаючи, винайти бомбу.

Вражає те, що ці зусилля тривали ще доволі довго, хоч стартового ентузіазму вже не було. Незадовго після Дня перемоги в Європі158 травня 1945 — прим.пер. під час зустрічі з деякими фізиками, які відчували, що проект, можливо, варто зупинити, Оппенгеймер наполягав на його продовженні. Причина, яку він озвучив, видається доволі дивною: не через занепокоєння численними втратами від вторгнення в Японію, а через те, що Організація Об’єднаних Націй, яка незабаром повинна була сформуватися, повинна мати уявлення про атомну зброю. Більш вірогідною причиною продовження проекту було очікуване випробування першої атомної бомби «Трійця» (Trinity), яке було вже не за горами.

Ми знаємо, що фізики таки перейшли до підготовки цього першого атомного випробування, незважаючи на численні можливі небезпеки. Спершу вони хвилювалися, беручи до уваги розрахунки Едварда Теллера, що атомний вибух може підпалити атмосферу. Перегляд обрахунків зменшив ризик знищити світ до шансу «три на мільйон». (Теллер говорить, що згодом він міг взагалі відхилити перспективу атмосферного загоряння.) Однак Оппенгеймер був доволі занепокоєний наслідками «Трійці», тому вжив заходів щодо можливої евакуації південно-західної частини штату Нью-Мексико. І звісно, була очевидна небезпека початку гонки ядерних озброєнь.

Протягом місяця після першого успішного випробування дві атомні бомби знищили Хіросіму і Нагасакі. Деякі вчені пропонували лише продемонструвати бомбу, а не кидати на японські міста, мовляв, таким чином можна збільшити можливість контролю над озброєнням після війни, але марно. Після трагедії Перл-Гарбора, про яку ще не забули американці, президентові Трумену було б доволі складно віддавати наказ демонструвати зброю, а не застосувати її, що він і зробив — бажання якнайшвидше завершити війну і зберегти життя, які були б втрачені після будь-якого вторгнення в Японію, було дуже сильним. Проте знехтувана істина була, мабуть, дуже проста: як згодом сказав фізик Фрімен Дайсон, «єдиною причиною, чому її скинули, було лише те, що не знайшлося мужньої чи завбачливої людини, яка б сказала «ні».

Важливо зрозуміти, наскільки враженими були фізики після бомбардування Хіросіми 6 серпня 1945 року. Вони описують, як їх переповнювали емоції: спершу відчуття виконаного обов’язку, що бомба спрацювала, потім жах щодо всіх людей, які загинули, і врешті відчуття впевненості, що друга бомба в жодному разі не повинна бути скинена. Проте другу бомбу, звісно, скинули — на Нагасакі — всього лише через три дні після бомбардування Хіросіми.

У листопаді 1945 року, через три місяці після атомних бомбардувань, Оппенгеймер був непохитним щодо позиції вчених, говорячи, що «неможливо бути вченим, якщо не вважаєш, що знання світу і сила, яку отримуєш від них, — це речі, які є сутнісною цінністю людства, і що використовуєш їх, щоб допомагати поширювати знання, усвідомлюючи власну відповідальність за наслідки».

Як повідомив Ечісон-Лілієнталь, Оппенгеймер продовжував працювати з іншими, які, як написав Річард Роудс у своїй нещодавно опублікованій книжці «Бачення технології», «знайшли спосіб як запобігти таємній ядерній гонці озброєнь, не звертаючись до озброєного світового уряду»; їхня пропозиція стосувалася передачі напрацювань у сфері ядерної зброї від національних держав до міжнародного агентства.

Ця пропозиція призвела до Плану Баруха, який представили Організації Об’єднаних Націй у червні 1946 року, але так і не прийняли (можливо тому, що, як припускав Роудс, Бернард Барух «наполіг на ускладнені плану узгодженими санкціями», що було неминучим вироком навіть попри те, що «в будь-якому випадку сталінська Росія його відхилить»). Інші зусилля спонукати до розумних кроків стосовно інтернаціоналізації ядерної енергії, щоб запобігти гонці озброєнь, натикались або на американську політику і внутрішню недовіру, або на недовіру совєтів. Можливість уникнути гонки озброєнь була втрачена і то дуже швидко.

Через два роки, 1948 року, Оппенгеймер наче досяг нового рівня у своїх роздумах, кажучи: «У певному сенсі, якого повністю не зможе затерти жодна вульгарність, жоден гумор, жодне перебільшення, фізики пізнали гріх; і це те знання, яке вони не можуть втратити». 1949 року совєти підірвали атомну бомбу. До 1955 року і США, і Радянський Союз перевіряли водневі бомби, придатні для транспортування літаком. Таким чином почалась ядерна гонка озброєнь.

Майже 20 років тому в документальній стрічці «День після Трійці» Фрімен Дайсон підсумовував наукові позиції, через які ми опинилися над ядерною безоднею: «Я відчув це на собі. Блиск ядерної зброї. Вона нездоланна, якщо ставишся до неї як науковець. Відчути, що вона у твоїх руках, вивільняти її енергію, якою живляться зірки, змушувати виконувати твої накази. Творити нею чудеса, підіймати в небо мільйони тонн каміння. Це те, що дає людям ілюзію безмежної влади, і до певної міри є причиною всіх наших проблем — те, що можна назвати технічною зарозумілістю, яка надимає людей, коли вони бачать те, що вони можуть зробити своїм розумом»16Jon. The Day After Trinity: J. Robert Oppenheimer and The Atomic Bomb.

Зараз, як і тоді, ми — творці нових технологій і зірок омріяного майбутнього (тільки цього разу стимулами є фінансова винагорода і глобальна конкуренція) — не зважаючи на очевидні небезпеки, навряд чи здатні оцінити, як це – жити у такому світі, який виникне внаслідок наших теперішніх дій та уявлень.

Починаючи від 1947 року «Бюлетень вчених-атомників» почав виносити на свої обкладинки Годинник Судного дня. Протягом більш ніж 50 років він показував рівень ймовірності ядерної небезпеки, перед якою ми постали, відображаючи зміну міжнародних обставин. Годинник переводили 15 разів і сьогодні, показуючи 9 хв. до півночі, це свідчить про те, що реальна небезпека ядерної загрози нікуди не ділася. Нещодавнє внесення Індії і Пакистану в список ядерних держав збільшило загрозу провалу зусиль щодо нерозповсюдження ядерної зброї, і ця небезпека відобразилася 1998 року у переведенні стрілок ще ближче до півночі.

Зі скількома небезпеками ми зіткнулися зараз, і не лише стосовно ядерної зброї, але й беручи до уваги інші технології? Наскільки високими є ризики нашого зникнення?

Філософ Джон Леслі дослідив це питання і дійшов висновку, що ризик зникнення людства становить щонайменше 30% [note]Ці оцінки можна знайти в книжці Леслі «Кінець світу: Наука і етика людського зникнення», в якій автор звертає увагу на те, що вірогідність зникнення суттєво вища, якщо ми приймаємо Аргумент Судного Дня Брендона Картера, суть якого полягає в тому, що «ми повинні мати певне небажання вважати, що ми є настільки ранніми сотворіннями, що наприклад, належимо до перших 0,001 відсотка всіх людей, які коли-небудь житимуть. Частково це дає привід думати, що людству не доведеться боротись за своє існування протягом ще багатьох століть, не кажучи вже про колонізацію галактики. Аргумент Судного Дня Картера не виводить жодних окремих оцінок ризику. Це аргумент переоцінки, яку ми проводимо при розгляді різноманітних потенційних небезпек»17Routledge, 1996: 1, 3, 145., натомість Рей Курцвейл вважає, що в нас є «щось більше, ніж просто шанс пройти через це», застерігаючи, що його «завжди звинувачували в надмірному оптимізмі». Ці підрахунки не лише не надихають, але й не враховують ймовірності багатьох жахливих наслідків, які приховує в собі недалеке зникнення.

Зіткнувшись з такими оцінками, декотрі серйозні люди уже пропонують нам якнайшвидше рухатись за межі Землі. Ми б колонізували галактику, використовуючи дослідження фон Неймана, перестрибуючи від однієї зоряної системи до іншої, паралельно дублюючи самих себе. Цей крок майже напевно знадобиться через 5 мільярдів років (або й раніше, якщо нашій сонячній системі загрожуватиме зіткнення нашої галактики з Туманністю Андромеди протягом найближчих 3 мільярдів років), але якщо ми беремо до уваги слова Курцвейля і Моравеца, це може знадобитися вже в середині цього століття.

Які з цього випливають моральні наслідки? Якщо ми повинні швидко переміститися за межі Землі задля виживання виду, то хто буде відповідальним за долю тих (врешті, більшості нас), хто залишиться? І навіть якщо ми розсіємося поміж зірок, хіба ми не можемо захопити зі собою й наші проблеми чи виявити згодом, що вони слідували за нами? Доля нашого виду на Землі і наша доля в галактиці видаються нерозривно пов’язані між собою.

Інша ідея полягає в тому, що потрібно встановити ряд щитів, щоб захиститися від кожної небезпечної технології. Стратегічна Оборонна Ініціатива, запропонована адміністрацією Рейгана, була спробою спроектувати такий щит від загрози ядерного нападу зі сторони Радянського Союзу. Але як помітив Артур Чарльз Кларк, який був причетним до обговорення проекту: «Хоча й можливо було зробити із великими затратами локальні захисні системи, які могли б відхилити «лише» незначний відсоток балістичних ракет, надто розрекламована ідея про національну парасолю була нісенітницею. Луїс Альварес, мабуть найбільший експериментальний фізик цього1820-го – прим.пер. століття, сказав мені, що захисники таких схем були «дуже яскравими хлопцями без клепки в голові».

Кларк продовжує: «Я підозрюю, що повний захист справді можливий через століття чи десь біля цього. Але побічним результатом розробки технології, яка б це забезпечила, може стати настільки небезпечна зброя, що такі примітивні речі як балістичні ракети, вже нікого не будуть хвилювати»19Clarke, Arthur C. Presidents, Experts, and Asteroids. Science, June 5, 1998. Перевидано як Science and Society, in Greetings, Carbon-Based Bipeds! Collected Essays, 1934-1998. St. Martin’s Press, 1999: 526.

У «Двигунах творіння» Ерік Дрекслер запропонував будувати активний нанотехнологічний щит — як форму імунної системи біосфери, щоб захиститися від усіляких небезпечних реплікаторів, які могли б втекти з лабораторії або, були б створені із злочинними намірами. Але запропонований ним щит сам по собі буде надзвичайно небезпечним — ніщо не заважатиме йому розвивати автоімунні механізми і напасти безпосередньо на біосферу20Як пропонує Девід Форест у своїй статті «Регулювання розвитку нанотехнологій», доступної на www.foresight.org/NanoRev/Forrest1989.html: «якщо б ми застосовували сувору відповідальність як альтернативу контролю, то для будь-якого розробника було б неможливим прийняти ціну ризику (руйнування біосфери), і тоді теоретично діяльність щодо розвитку нанотехнологій ніколи б не здійснювалася». Аналіз Фореста залишає нам як захист лише державне регулювання, — невтішна думка.

Аналогічні труднощі виникають і при створенні щитів від робототехніки і генної інженерії. Ці технології надто потужні, щоб їх обмежувати в рамках певних інтересів; навіть якщо б захист такого типу був можливим, то побічні ефекти їхнього розвитку були б щонайменше такі ж небезпечні, як і власне технології, від яких ми намагаємося захиститися.

Таким чином, всі ці можливості або небажані, або недосяжні, або те й інше. Єдиною реальною альтернативою, як мені здається, є дати задній хід: потрібно обмежити розвиток технологій, які є дуже небезпечні, обмежуючи тим самим наше прагнення певних знань.

Так, я знаю, що знання — це добре, як і пошук нових істин. Ми шукали знання ще з давніх часів. Аристотель почав свою «Метафізику» звичайним твердженням: «Всі люди за своєю природою прагнуть знань». Ми давно погодились щодо цінності відкритого доступу до інформації як наріжного каменю нашого суспільства і визнаємо проблеми, які випливають зі спроб обмежити доступ і розвиток знань. Останнім часом ми почали глибоко поважати й наукове знання.

Але попри вагомі історичні прецеденти, якщо відкритий доступ до знання і його необмежений розвиток в подальшому ставить нас всіх перед загрозою зникнення, то здоровий глузд вимагає, щоб ми ще раз перевірили навіть ці базові, давно закорінені переконання.

Ніцше в кінці 19-го століття попередив нас не лише про те, що Бог помер, але й що «віра в науку, яка, попри все, безсумнівно існує, не зобов’язана своїм походженням вирахуваній корисності; вона мусила виникнути навіть всупереч тому факту, що так звані «прагнення істини» та «істина будь-якою ціною» самі по собі є беззмістовними і шкідливими, що неодноразово було доведено». Віра в науку і є тією майбутньою небезпекою, перед якою ми постали лоб в лоб — як наслідок нашого пошуку істини. Істину, якої шукає наука, звісно, можна вважати небезпечною заміною Бога, якщо вона (що цілком ймовірно!) веде нас до вимирання.

Якщо ми, як вид, могли б зійтись на тому, чого хочемо, куди варто рухатися і чому, тоді ми змогли б влаштувати наше майбутнє менш небезпечним, адже зрозуміли б, від чого можемо і повинні відмовитися. Інакше, легко уявити собі гонку озброєнь, що розвивається завдяки ГНР — технологіям, як це відбулося у 20-му столітті із ЯБХ-технологіями. Можливо, це величезний ризик, бо розпочавши таку гонку одного дня, дуже важко її завершити. Цього разу, на відміну від Мангеттенського Проекту, ми не перебуваємо у стані війни, опинившись перед невблаганним ворогом, що загрожує нашій цивілізації; натомість нами керують наші звички, наші бажання, наша економічна система і наша гонитва за знаннями.

Думаю, що всі ми хочемо, аби наш курс визначався нашими спільними цінностями, етикою і мораллю. Якщо б ми здобули більше колективної мудрості протягом останніх тисячу років, то наш теперішній діалог був би більш практичним, і неймовірна сила, яку ми збираємося вивільнити, можливо, нас би так не тривожила.

Здавалося б, ми здатні дійти до такого діалогу завдяки нашому інстинкту самозбереження. Індивіди, очевидно, цього прагнуть, та все ж наша поведінка як виду загалом, видається, працює не на нашу користь. Наприклад, щодо ядерної загрози ми часто були нещирими зі собою і одне з одним, таким чином збільшуючи ризики. Чи це було з політичних мотивів, чи ми не хотіли думати про майбутнє, чи, зіткнувшись із такими серйозними загрозами, ми діяли абсурдно через страх, — я не знаю, але все це не обіцяє нічого доброго.

Нові скриньки Пандори — генетики, нанотехнології і робототехніки — практично відкриті, і видається, ми цього майже не помічаємо. Ідеї неможливо повернути в ящик; на відміну від урану чи плутонію, їх не потрібно видобувати і очищати, і їх можна вільно копіювати. Одного разу відкривши їх, ми відкрили їх безповоротно і назавжди. Черчилль зауважив у відомому незграбному компліменті, що американці і їхні лідери «постійно чинять правильно після того, коли використають всі інші можливості». Однак у цьому випадку ми повинні діяти прозорливіше, щоб врешті вчинити правильно, інакше, можливо, ми взагалі втратимо шанс що-небудь зробити.

Як сказав Торео: «Не ми їдемо по залізничній колії; вона їде по нас»; і це те, з чим нам слід боротися сьогодні. Питання полягає в тому, хто є господарем ситуації? Чи переживемо ми наші технології?

Ми входимо у це нове століття без плану, без контролю, без гальм. Чи не задалеко ми зайшли стежкою вниз, щоб змінити курс? Я так не вважаю, хоч ми навіть не намагаємося цього зробити, а останній шанс встановити контроль – ця точка неповернення — швидко наближається. Ми маємо перших улюбленців-роботів, комерційно доступні методи генної інженерії, активно розвиваємо нанотехнології. Хоча розвиток цих технологій проходить через безліч етапів, зовсім не обов’язково, щоб останній етап — підтвердження технології, був таким складним, як, наприклад, це трапилося із Мангеттенським Проектом і випробуванням «Трійці». Ривок до бурхливої самореплікації, генної інженерії чи нанотехнології може трапитись раптово, знову викликаючи таке ж здивування, як тоді, коли ми дізналися про клонування ссавців.

Я все-таки вважаю, що насправді ми маємо вагомий привід надіятися. Наші спроби якось зарадити із зброєю масового ураження у минулому столітті, подають нам яскравий приклад — односторонню, без жодних умов, відмову США від розвитку біологічної зброї. Ця відмова випливає з усвідомлення, що, вклавши значні зусилля для створення цієї жахливої зброї, її​ можна буде легко відтворити і вона потрапить у руки легковажних націй чи терористичних угрупувань. Очевидним висновком є те, що ми, прагнучи отримати цю зброю, створимо додаткові загрози для себе, і що ми були б у більшій безпеці не прагнучи цього. Ми припинили створення біологічної і хімічної зброї згідно з Конвенцією про біологічну зброю (КБЗ) 1972 року і Конвенцією про хімічну зброю (КХЗ) 1993 року. 

Що стосується все ще актуальної небезпеки від ядерної зброї, з якою ми співіснуємо вже понад 50 років, то нещодавнє відхилення у Сенаті США Договору про всеосяжну заборону ядерних випробувань свідчить, що припинення ядерних озброєнь на політичному рівні не відбудеться легко. Але після завершення холодної війни ми отримали унікальну можливість запобігти багатополярній гонці озброєнь. Ґрунтуючись на КБЗ і КХЗ обмеженнях, успішна відмова від ядерної зброї може допомогти нам виробити звичку відмови від небезпечних технологій. (Справді, позбувшись всього, крім сотні ядерних зарядів по всьому світу (що приблизно дорівнює повній нищівній силі Другої світової війни) ми б значно спростили собі завдання по усуненню небезпеки бути знищеними)21Див: Doty, Paul. The Forgotten Menace: Nuclear Weapons Stockpiles Still Represent the Biggest Threat to Civilization. Nature, 402, December 9, 1999: 583.

Випробовування відмовою буде важкою проблемою, але вирішити її можна. Нам вже вдалося зробити чимало у контексті КБЗ та інших договорів. Наше головне завдання полягає у застосуванні цього до технологій, які за своїй природою є більш комерційними, аніж військовими. Суттєва потреба при цьому — забезпечення прозорості, позаяк складність перевірки прямо пропорційна складності розрізнення діяльності, від якої слід відмовитися, від тієї, яка ведеться легітимно.

Я щиро вважаю, що ситуація 1945 року була простіша, аніж та, в якій ми опинилися сьогодні: ядерні технології були раціонально розділені на комерційне і військове застосування, і контролю сприяли природа ядерних досліджень і простота, з якою можна було вимірювати радіоактивність. Дослідження стосовно можливості військового застосування могли проводитись у національних лабораторіях Лос-Аламосу, а результати могли б якнайдовше зберігатися у таємниці.

ГНР-технології неможливо чітко розділити щодо використання як комерційні і військові; беручи до уваги їхній ринковий потенціал, важко уявити, що розробляти їх будуть виключно у національних лабораторіях. З огляду на комерційні цілі, процес відмови вимагатиме приблизно такого ж режиму верифікації, як для біологічної зброї, але в безпрецедентно більшому масштабі. Це неминуче спровокує напругу поміж недоторканістю всього особистого і вимогами розкривати приватну інформацію задля спільної безпеки. Ми неодмінно станемо перед сильним спротивом щодо цієї втрати конфіденційності і свободи дій.

Перевірка відмови від деяких ГНР-технологій повинна відбутися у кіберпросторі, а також на фізичних об’єктах. Важливість проблеми повинна змусити досягти необхідної прозорості, прийнятної у світі, звиклому до приватності, очевидно, забезпечуючи нові форми захисту інтелектуальної власності.

Підтвердження згоди також вимагає від учених та інженерів прийняття суворого етичного кодексу поведінки, аналогічно до Клятви Гіппократа, а також мужності стати стукачем, якщо потрібно, незважаючи на власне добре ім’я. Відповіддю на цей виклик через 40 років після Хіросіми – може стати принцип Нобелівського лауреата Ганса Бете, одного з найстарших членів, що вижили після Мангеттенського Проекту, який полягає у тому, щоби усі вчені «припинили участь і стримались від робіт, пов’язаних із створенням, розвитком, удосконаленням і виробництвом ядерної та інших видів зброї масового ураження»22Див. також лист Ганса Безе до президента Клінтона 1997 року на www.fas.org/bethecr.htm).

Уникнення застосування зброї масового ураження у 21-у столітті і знань, які цьому сприяють, стає зоною особистої відповідальності тих, хто працює із ЯБХ-, й із ГНР-технологіями. Торео також сказав, що «багатство пропорційне кількості речей, які ми можемо собі дозволити, залишаючись самими собою». Кожен із нас прагне бути щасливим, але чи варто ризикувати цілковитим самознищенням задля ще більших знань і ще більшої кількості речей; здоровий глузд підказує, що існують межі наших матеріальних потреб, і якщо певне знання є надто небезпечним, то краще стриматися. До того ж, ми не повинні прагнути наблизитись до безсмертя за будь-яку ціну, не беручи до уваги щораз більший ризик щезнути з лиця Землі. Безсмертність можливо й оригінальна, але звісно не єдино можлива утопічна мрія.

Нещодавно мені поталанило зустріти видатного автора і науковця Жака Атталі, чия книжка «Лінії горизонту»23французькою «Lignes d’horizons» або в англійському перекладі «Millennium» тобто «Тисячоліття» — прим.пер. стала джерелом натхнення для Java і Jini підходів у прийдешній епосі поширення комп’ютеризації, про що ми вже говорили. У своїй останній книжці «Fraternites»24«Братство» — прим.пер., Атталі описує, як змінилися згодом наші мрії про утопію:

«Коли зароджувалися спільноти, люди бачили свій шлях на Землі виключно як лабіринт болю із дверима в кінці, що крізь смерть провадять до товариства богів і Вічності. Після євреїв, а згодом і після греків дехто наважився звільнитися від богословських обмежень і мріяти про ідеальне Місто, де процвітатиме Свобода. Інші, помічаючи розвиток ринкового суспільства, зрозуміли, що свобода одних призведе до пригноблення інших, тому шукали Рівності».

Жак допоміг мені зрозуміти, як ці три різні утопічні цілі напружено співіснують у нашому суспільстві сьогодні. Він продовжує описувати четверту утопію, «Братство», в основі якої — альтруїзм. Братство асоціює індивідуальне щастя зі щастям інших, запевняючи у його самодостатності. Це викристалізувало мені мою проблему щодо мрії Курцвейла. Технологічний підхід до Вічності — наближення до безсмертності через робототехніку — не може бути найбажанішою утопією, і таке прагнення несе очевидні небезпеки. Можливо, нам слід наново продумати наші утопічні цілі.

Де нам шукати нового етичного підґрунтя, щоб вивірити наш курс? Я натрапив на дуже корисні ідеї у книжці Далай-лами «Етика Нового Тисячоліття». Це досить відомий діяч, але до якого не надто прислухаються, Далай-лама стверджує, що найважливіша для нас річ полягає у тому, щоб провести наше життя у любові і співчутті до інших, і що наше суспільство повинно розвинути в собі більш сильніше поняття універсальної відповідальності і нашої​ взаємозалежності; він пропонує стандарт для позитивної етичної поведінки для індивідуумів і спільнот, який виглядає суголосним утопії «Братства» Атталі.

Далі Далай-Лама стверджує, що нам необхідно зрозуміти, що саме ощасливлює людей, і визнати беззаперечну очевидність того, що ні матеріальний прогрес, ані стремління до всесильності знання не є ключовими; що існують межі того, на що самотужки здатна наука і наукові прагнення. Наше західне уявлення про щастя, здається, походить від греків, які визначили його як «реалізація вроджених задатків до досконалості, яка розкриває їхні можливості»25Hamilton, Edith.The Greek Way. W. W. Norton & Co., 1942: 35..

Звісно, що у своєму житті нам потрібно знайти важливі виклики і достатньо можливостей, якщо ми хочемо бути щасливими з-за будь-яких обставин у майбутньому. Але я вважаю, що варто знаходити альтернативні виходи для наших творчих сил поза культурою безкінечного економічного зростання; адже хоча це зростання й було значною мірою нашим благословенням протягом декількох сотень років, але це не принесло нам чистого щастя, і тепер нам доводиться обирати поміж стремлінням до безмежного і хаотичного зростання за допомогою науки і техніки та очевидними супутніми небезпеками.

Тепер це для мене важливіше, ніж було протягом року після моєї першої зустрічі з Реєм Курцвейлем і Джоном Серлом. Я бачу паростки надії у закликах до обережності і відмови, і в цих людях я бачу тих, хто, як і я, непокоїться з огляду на нашу скрутну ситуацію. Також я відчуваю глибинний сенс власної відповідальності — не щодо роботи, яку я вже виконав, а тієї, яку я міг би ще виконати на перетині різних наук.

Проте багато людей, які знають про ці небезпеки, на диво, досі мовчать. Якщо бути наполегливим, вони відмахнуться — «У цьому немає нічого нового», так, наче одного лиш усвідомлення того, що може трапитися, може бути достатньо. Вони кажуть мені, що є університети, заповнені фахівцями з біоетики, які вивчають такі речі цілими днями. Вони твердять: «Експерти вже давно це все описали». Вони скаржаться: «Ваші переживання, ваші аргументи вже застарілі».

Я не знаю, куди ці люди поділи свій страх. Як архітектор складних систем, я виходжу на цю арену як універсал. Але чи повинен я через це менше непокоїтися? Так, я знаю, що про все це писали різні авторитети, про це говорять і читають лекції. Але чи означає це, що до людей дійшло? Чи означає це, що ми можемо знизити рівень небезпек, які постали перед нами?

Знання не виправдовують нашої бездіяльності. Чи можемо ми засумніватися, що знання стало зброєю, яку ми направляємо на себе?

Досвід вчених-атомників чітко показує потребу особистої відповідальності, а також — небезпеку надто швидкого розгортання подій, коли процес може стати неконтрольованим. Як і вони, ми теж здатні створити самі собі нездоланні проблеми за досить короткий час.  Відповідно, ми повинні більш обдумано, якщо не хочемо, як і вони, бути неприємно враженими наслідками наших винаходів.

Моя професійна праця полягає у  покращенні надійності програмного забезпечення. Програмне забезпечення є інструментом, і як його творець, я повинен боротися за його належне використання. Я завжди вважав, що створення більш надійного програмного забезпечення, враховуючи масштаби його використання, робитиме цей світ безпечнішим і кращим; але якщо мені довелося б повірити у протилежне, то із моральних міркувань я зобов’язаний був би припинити свою роботу. Тепер же я можу припустити, що такий день настане. Через це все я стаю не стільки сердитим, як принаймні дещо меланхолійним. Надалі моє розуміння прогресу віддаватиме гіркотою.

Пригадуєте прекрасний передостанній епізод у «Мангеттені», коли Вуді Аллен лежить на дивані і говорить на магнітофон? Він записує невелику історію про людей, які створюють зайві проблеми для самих себе, бо це утримує їх від величезної кількості невирішених і жахливих проблем Всесвіту.

Це приводить його до запитання «Чому життя варте того, щоб його прожити?» і до розмірковування про те, що наповнює його життя змістом: Граучо Маркс, Віллі Мейс, друга частина симфонії «Юпітер», запис «Блюзу картопляної голови» Луї Армстронга, шведське кіно, «Сентиментальне виховання» Флобера, Марлон Брандо, Френк Сінатра, яблука і груші Сезанна, краби у Сема Во і, насамкінець стоп-кадр з обличчям його коханої Трейсі.

У кожного з нас є ці речі, які надають змісту нашому життю, і піклуючись про те, що важливе для нас, ми формуємо сутність нашої гуманності. Врешті, завдяки нашій здатності піклуватися (що й є причиною мого оптимізму) — ми зможемо протидіяти тим проблемам, які постали перед нами. Я дуже розраховую на те, що візьму участь в ширшому обговоренні проблем, які я тут порушив, і що до цієї дискусії приєднаються люди з різним досвідом та з відповідним налаштуванням — без надмірного страху перед технологіями, але також і без надмірного захоплення ними — для власного ж блага.

Ще раніше я двічі порушував деякі із вищевказаних проблем на заходах, спонсорованих Інститутом Аспена, і окремо запропонував Американській Академії Мистецтв і Наук взяти їх на порядок денний у рамках Пагвоських Конференцій. (Вони відбувалися з 1957 року для обговорення контролю над озброєннями, зокрема ядерним і для формування діяльної політики стримування).

Шкода, що Пагвоські зустрічі почалися набагато пізніше, коли ядерний джин уже вирвався із пляшки — приблизно на 15 років. Ми також запізно стартуємо, щойно розпочинаючи серйозно аналізувати проблеми нових технологій — і, видається, що вже не можемо й далі відкладати пошук запобіжників перед катастрофами, які можуть спричинити наші непомірні знання.

Отож я й все ще в пошуках: ще багато чого потрібно навчитися. Чи ми приречені досягти успіху чи зазнати невдачі, вижити чи стати жертвами технологій — все це ще під знаком питання. Я знову спізнююся — вже майже 6-а ранку. Я намагаюся уявити собі деякі найкращі відповіді, щоб «розвіяти чари і звільнити їх із каменю».

Оригінал публікації

Український переклад здійснено у Львівській бізнес-школі УКУ (LvBS)