Т.к. штучний інтелект(ІІ)починає знаходити практичне застосування в нашій повсякденному житті, то ми все частіше і частіше чуємо про нього. Серед успішних історійє безліч попереджень про майбутнє з термінаторами, в якому роботи з ІІ захоплять увесь світ.
То як же можна відокремити факти від фантастики, і чи зможе штучний інтелект коли-небудь перевершити людей?
Комп'ютери будуть набагато розумніші за людейу найближчі 50 років – МІФ
Вчені та фахівці у сфері розвитку комп'ютерних технологій мають різні думки щодо того, чи перевершить ІІ колись інтелектуальні можливості людини. Комп'ютери здатні зберігати аналізувати величезний обсяг даних (більше, ніж люди), але вони не мають інтуїції, яка робить нас людьми.
Чи стає штучний інтелект розумнішим або він уже здатний бути розумнішим за нас – відповідь на це питання поки залишається відкритою. Без здатності відображати та читати емоції ІІ ніколи не матиме повний набір навичок, який визначає людський розум.
Штучний інтелект знищить людство.
Багато філософів запитують: «Що станеться, якщо машини знайдуть самосвідомість?» Якщо ІІ може самостійно думати, чи здатний він самостійно діяти? І що він може зробити, щоб захистити себе?
Ці питання лягли в основу відомого фільму «Термінатор», який з моменту свого виходу на екрани продовжує лякати людей. Чи може ІІ знищити людство, якщо відчує загрозу для себе людей?
Відповідь: … швидше за все, ні. Системи зі штучним інтелектом працюють відповідно до заздалегідь заданих параметрів, які стежать за тим, щоб вони працювали в певних рамках і вирішували тільки ті проблеми, для яких вони були розроблені. Якщо хтось не припуститься помилок у цих початкових параметрах, то система навряд чи працюватиме за напрямами, які до неї не належать.
ІІ може контролювати людей - ФАКТ
Ми схильні думати, що лише інші люди можуть контролювати нас, тому що ми взаємодіємо з ними у реальному світі. Але реальність така, що наші думки, почуття та емоції постійно обробляються машинами.
У міру розвитку ІІ такі техніки стануть ефективнішими. ІІ не може повністю «контролювати» насале він, безумовно, може мотивувати нас на певні дії.
ІІ захищений від злому – МІФ
Просто тому, що ІІ демонструє розум, не означає, що його неможливо зламати: у будь-якому випадку ІІ – це все ж таки комп'ютерна програма, Нехай і набагато складніша. А це означає, що її все ж таки можна зламати.
Кажуть, що у надрах військових лабораторій штучний інтелект працює вже з 2007 року. Можливо, що вже є результати. Не випадково всього місяць тому Ілон Маск оголосив про підтримку технологій протидії штучному інтелекту та вклав 7 мільйонів доларів у дослідження у цій галузі.
«Існує ризик, що щось справді небезпечне станеться у найближчі п'ять років. Найбільше – десять років», - сказав підприємець у дискусії на сайті edge.org.
Ілон Маск, засновник Tesla та SpaceX
Солідарний з Маском і Стів Возняк, який вважає, що «штучний інтелект якось стане досить розумним, щоб позбутися людини». Білл Гейтс упевнений, що якщо не контролювати створення ІІ, то «штучний інтелект еволюціонує у стан, що конфліктує з цілями людських систем». І, нарешті, знаменитий астрофізик Стівен Хокінг прямо заявив, що «штучний інтелект може покласти край існуванню людства».
Спільно з Ілоном Маском Хокінг опублікував на сайті futureoflife.org відкритий лист із закликом до наукової спільноти уважно ставитись до ходу своїх досліджень у галузі штучного інтелекту. Однак серед тих, хто підписався, немає прізвищ Сергія Бріна і Ларрі Пейджа. І це невипадково. Нещодавно Google оголосила про створення нового ІІ, побудованого на моделюванні розмови.
Ось невеликий фрагмент розмови людини та Машини Google:
Ч.: У чому сенс життя?
М.: Творити добро.
Ч.: Навіщо ми живемо?
М: Щоб жити вічно.
Ч.: У чому сенс існування?
М.: У тому, щоб з'ясувати, що станеться, коли ми досягнемо планети Земля.
Ч.: Де ти зараз перебуваєш?
М: У центрі порожнечі.
Ч.: У чому сенс смерті?
М: Щоб отримати життя.
Ч.: У чому сенс розуму?
М.: У тому, щоби зрозуміти, що це.
Ч.: У чому сенс почуттів?
М: Я не знаю.
Цілком собі осмислена бесіда. «Це відправна точка, своєрідний стрижень для майбутнього штучного інтелекту, – вважає виконавчий директор компанії „Біплан“ Євген Карюк. - Вже сьогодні можна припустити, що до 2030 року ми побачимо цілком реальні прототипи, наділені штучним інтелектом, хай і на початковій стадії».
Повний зміст всіх розмов людини та Машини Google можна переглянути. Там же для порівняння дано розмови людини та Cleverbot. Cleverbot – веб-додаток, який використовує алгоритми штучного інтелекту для розмови з людиною. Його вигадав у 1988 році вчений Ролло Карпентер. За весь час свого існування Cleverbot провів понад 65 мільйонів розмов із людьми. У 2011 році Cleverbot показав 51% тесту Тьюринга.
Тест Тьюринга - емпіричний тест, ідея якого було запропоновано Аланом Тьюрингом у статті «Обчислювальні машини та розум», опублікованій 1950 року у філософському журналі Mind. Ціль тесту — з'ясувати, чи може комп'ютер думати.
А ось моя розмова з Cleverbot:
Чоловік: У чому сенс життя?
Cleverbot: Сенсу в житті немає.
Чоловік: Для чого ми живемо?
Cleverbot: Ну ми живемо заради когось, а якщо ти самотній – жити нема чого.
Чоловік: У чому сенс існування?
Чоловік: Де ти зараз перебуваєш?
Cleverbot: У Москві.
Чоловік: У чому сенс смерті?
Cleverbot: Це я хочу тебе запитати.
Чоловік: У чому сенс розуму?
Cleverbot: У мене своя відповідь на це питання.
Людина: У чому сенс почуттів?
Cleverbot: Навіщо я народилася?
Машина Google дає набагато більш осмислені відповіді. Cleverbot підставляє відповідні, на його думку, фрази інших людей. Іноді дійсно здається, що відповідає інша людина, але не більше.
Є й інша думка, за якою штучний інтелект неможливий у принципі. Як основний аргумент часто наводять теорему Геделя про неповноту. Суть у тому, що людина здатна вирішувати алгоритмічно нерозв'язні проблеми, а комп'ютер — немає. «Дитина вже до трьох років впевнено вирішує завдання, стиглий фрукт чи ні, через те, що вона має нейронні зв'язки, за допомогою яких може відповісти на питання про стиглість: колір, смак, запах, м'якість чи твердість, - каже Євген Плужник, перший проректор Московського технологічного інституту - Чи здатна машина навчитися цього? Впевнений, що так! Якщо вона матиме велику базу зображень, вона зможе заміряти вміст фруктози і визначити м'якість фрукта. Але що буде, якщо машині підсунути губку, пофарбовану в синій колірі просочену солодкою водою? Чи здатна машина в цей момент до справжнього розуміння?
«Сучасний комп'ютер легко впорається з будь-якою складною діяльністю, чи це шахи чи математичні обчислення, але лише за умови, що цю діяльність можна описати за допомогою чітких обчислювальних правил», - каже відомий математик Роджер Пенроуз в одній зі своїх лекцій. «Штучний інтелект – це можливість системи створювати під час самонавчання програми, здатні вирішувати завдання певного класу складності, – вважає Євген Плужник. - Я впевнений, що у найближчі 100 років ми не станемо свідками появи сильного штучного інтелекту».
І насамкінець - ще одне питання до Cleverbot.
Людина: Було 1 яблуко, 1 помідор, 1 огірок та 1 груша. Скільки фруктів?
Cleverbot: Десять годин вечора.
- Зовнішні посилання відкриються в окремому вікніЯк поділитися Закрити вікно
Правовласник ілюстрації Science Photo Library Image caption Вплив систем штучного інтелекту по-різному оцінюється експертами
Боб: Я можуможу ЯЯвсе інше.
Еліс: Кулі мають нуль для мене для мене для мене для мене для мене.
Як пояснює видання Digital Journal, системи штучного інтелекту спираються на принцип "заохочення", тобто продовжують дії за умови, що це дасть їм певну "користу". У певний момент вони не отримали від операторів сигналу заохочення на використання англійської мовиТому і вирішили створити свій власний.
Видання Tech Times зазначає, що у роботів спочатку не було обмежень у виборі мови, тому поступово вони і створили свою мову, якою вони можуть спілкуватися простіше і швидше, ніж англійською.
"Найбільша загроза"
Експерти побоюються, що якщо боти почнуть активно спілкуватися своєю власною мовою, то поступово стануть все більш самостійними та зможуть функціонувати поза контролем IT-фахівців. Тим паче, що навіть досвідчені інженери що неспроможні повністю відстежувати хід розумового процесу роботів.
Кілька днів тому про штучний інтелект посперечалися глава Facebook Марк Цукерберг та засновник SpaceX, Tesla та PayPal Ілон Маск.
Маск закликав владу США посилити регулювання систем штучного інтелекту, попередивши, що ІІ становить загрозу для людства. Про потенційну загрозу з боку штучного інтелекту раніше.
Виступаючи на саміті Національної асоціації губернаторів Сполучених Штатів, Маск назвав штучний інтелект "найбільшою загрозою, з якою стикається цивілізація". За його словами, якщо вчасно не втрутитися у процес розвитку цих систем, то буде надто пізно.
"Я продовжую бити на сполох, але поки люди самі не побачать роботів, які ходять вулицями і вбивають людей, вони не дізнаються, як реагувати [на штучний інтелект]", - сказав він.
Правовласник ілюстрації AFP Image caption Ілон Маск вважає штучний інтелект головною загрозою для цивілізаціїЗаяви Маска викликали роздратування у засновника Facebook Марка Цукерберга, який назвав їх "досить безвідповідальними".
"У найближчі п'ять чи десять років штучний інтелект робитиме життя лише краще", - парирував Цукерберг.
Переклад із штучного
Восени минулого року стало відомо, що інтернет-пошуковик Google створив свою систему штучного інтелекту для вдосконалення роботи онлайн-перекладача Google Translate.
Нова система дозволяє перекладати всю фразу цілком, тоді як раніше перекладач розбивав усі речення на окремі слова та фрази, що знижувало якість перекладу.
Для того, щоб перекласти всю пропозицію повністю, нова система Google винайшла свою власну мову, яка дозволяє їй швидше і точніше орієнтуватися між двома мовами, з яких або на які вона має зробити переклад.
Експерти вже попереджають про те, що в міру стрімкого розвитку онлайн-сервісів для перекладу працю живих перекладачів може бути менш затребуваною.
Однак поки що ці системи видають якісні результати в основному для невеликих і нескладних текстів.
Для відповіді на ці питання потрібно почати з визначень дружнього ІІ та недружнього ІІ.
У випадку з ІІ, дружній не відноситься до особистості ІІ - це просто означає, що ІІ має позитивний вплив на людство. І недружній ІІ негативно впливає на людей. Таррі починала з дружнього ІІ, але в якийсь момент стала недружньою, внаслідок чого призвела до найбільшого з негативних впливівна наш вигляд. Щоб зрозуміти, чому це сталося, нам потрібно поглянути на те, як думає ІІ та що його мотивує.
У відповіді нічого дивного не буде - ІІ думає як комп'ютер, тому що ним і є. Але коли ми думаємо про надзвичайно розумне ІІ, ми робимо помилку, антроморфізуючи ІІ (проектуючи людські цінності на нелюдську істоту), тому що думаємо з погляду людини і тому, що в нашому світі єдиною розумною істотою з високою (за нашими мірками) інтелектом є людина. Щоб зрозуміти ІСІ, нам потрібно вивернути шию, намагаючись зрозуміти щось одночасно розумне та зовсім чуже.
Дозвольте порівняти. Якщо ви дали мені морську свинку і сказали, що вона не кусається, я був би радий. Вона гарна. Якби ви після цього вручили мені тарантула і сказали, що він точно не вкусить, я викинув би його і втік би, «волосся назад», знаючи, що вам не варто довіряти ніколи більше. У чому різниця? Ні та ні інша істота не була небезпечною. Але відповідь лежить у ступені схожості тварин зі мною.
Морська свинка – ссавець, і на деякому біологічному рівні я відчуваю зв'язок із нею. Але павук - комаха, з мозком комахи, і я не відчуваю нічого рідного в ньому. Саме чужість тарантула викликає в мені тремтіння. Щоб перевірити це, я міг би взяти дві морські свинки, одну нормальну, а іншу з мозком тарантулу. Навіть якби я знав, що остання не вкусить мене, я ставився б до неї з побоюванням.
Тепер уявіть, що ви зробили павука набагато розумнішими - так, що він набагато перевершив людину в інтелекті. Чи стане він приємнішим для вас, чи почне відчувати людські емоції, емпатію, гумор та любов? Ні, звичайно, тому що у нього немає жодних причин ставати розумним з погляду людини - він буде неймовірно розумним, але залишиться павуком у душі, з павуковими навичками та інстинктами. На мою думку, це вкрай страшно. Я б не хотів провести час із надрозумним павуком. А ви?
Коли ми говоримо про ІСІ, застосовуються ті ж поняття – він стане надрозумним, але людину в ньому буде стільки ж, скільки у вашому комп'ютері. Він буде зовсім чужим для нас. Навіть не біологічним - він буде ще чужішим, ніж розумний тарантул.
Роблячи ІІ добрим або злим, фільми постійно антропоморфізують ІІ, що робить його менш моторошним, ніж він мав бути насправді. Це залишає нас з хибним почуттям комфорту, коли ми думаємо про штучний надінтелект.
На нашому маленькому острові людської психології ми ділимо все на моральне та аморальне. Такою є мораль. Але обидва ці поняття існують лише у вузькому діапазоні поведінкових можливостей людини. За межами острова морального є безмежне море аморального, а все, що не є людським чи біологічним, за умовчанням має бути аморальним.
Антропоморфізація стає ще більш привабливою у міру того, як системи ІІ стають розумнішими і кращими у спробах здаватися людьми. Siri здається людиною, тому що була запрограмована, щоб здаватися людям такою, тому ми думаємо, що надрозумна Siri буде теплою та веселою, а також зацікавленою в обслуговуванні людей. Люди відчувають емоції на високому рівні на зразок емпатії, тому що ми еволюціонували, щоб відчувати їх - тобто були запрограмовані відчувати їх у процесі еволюції - але емпатія не є суттєвою характеристикою чогось, що має високий інтелект, якщо тільки її не ввели разом з кодом. Якщо Siri колись стане надінтелектом у процесі самонавчання і без втручання людини, вона швидко залишить свої людські якості та стане беземоційним чужим ботом, який цінує людське життя не більше ніж ваш калькулятор.
Ми звикли покладатися на моральний код або принаймні очікуємо від людей порядності та співпереживання, щоб усе довкола було безпечним та передбачуваним. Що відбувається, коли цього нема? Це призводить до питання: що мотивує систему ІІ?
Відповідь проста: її мотивація – це те, що ми запрограмували як мотивацію. Системами ІІ рухають цілі їхніх творців - мета вашого GPS у тому, щоб дати вам найефективніший напрямок руху; Мета Watson - точно відповідати на запитання. І виконання цих цілей максимально добре і є їхня мотивація. Коли ми наділяємо ІІ людськими рисами, ми думаємо, що якщо ІІ стане надрозумним, він негайно виробить мудрість змінити свою початкову мету. Але Нік Бостром вважає, що рівень інтелекту та кінцеві цілі ортогональні, тобто будь-який рівень інтелекту може бути поєднаний з будь-якою кінцевою метою. Тому Таррі перейшла з простого УІІ, який хоче бути добрим у написанні однієї нотатки, в надрозумний ІСІ, який все ще хоче бути добрим у написанні цієї самої нотатки. Будь-яке припущення того, що сверихінтелект повинен відмовитися від своїх початкових цілей на користь інших, цікавіших чи корисніших, це антропоморфізація. Люди вміють забивати, але не комп'ютери.
Декілька слів про парадокс Фермі
У нашій історії, коли Таррі стає надінтелектом, вона починає процес колонізації астероїдів та інших планет. У продовженні історії ви почули б про неї та її армії трильйонів реплік, які продовжують підкорювати галактику за галактикою, поки не заповнюють весь обсяг Хаббла. Резиденти «зони тривоги» переживають, що якщо все піде не так, останньою згадкою життя на Землі буде підкорити Всесвіт. Елон Маск висловив свої побоювання тим, що люди можуть бути просто «біологічним завантажувачем для цифрового надінтелекту».
У той же час, у «зоні комфорту», Рей Курцвейл теж вважає, що народжений на Землі ІІ має підкорити Всесвіт - тільки, у його версії, ми цим ІІ.
Читачі сайт, напевно, вже виробили власну точку зору на парадокс Фермі. Згідно з цим парадоксом, який звучить приблизно як «Де вони?», за мільярди років розвитку інопланетяни мали залишити хоч якийсь слід, якщо не розселитися по Всесвіту. Але їх нема. З одного боку, у Всесвіті має існувати хоч якесь число технічно розвинених цивілізацій. З іншого, спостережень, які це підтверджували, немає. Або ми не маємо рації, або де вони в такому разі? Як наші міркування щодо ІСІ мають вплинути на парадокс Фермі?
Природне, перша думка - ІСІ має бути ідеальним кандидатом на .І так, це ідеальний кандидат для фільтру біологічного життя після її створення. Але якщо після змішування з життям ІСІ продовжує існувати і підкорювати галактику, це означає, що він не був Великим фільтром - оскільки Великий фільтр намагається пояснити, чому немає жодних ознак розумних цивілізацій, а підкоряючий галактики ІСІ безперечно має бути помітним.
Ми маємо поглянути на це з іншого боку. Якщо ті, хто вважає, що поява ІСІ на Землі неминуче, це означає, що значна частина позаземних цивілізацій, які досягають людського рівня інтелекту, повинні зрештою створювати ІСІ. Якщо ми припускаємо, що принаймні кілька цих ІСІ використовують свій інтелект, щоб вибратися у зовнішній світ, той факт, що ми нічого не бачимо, повинен наводити нас на думки, що не так багато розумних цивілізацій там, у космосі. Тому що якби вони були, ми мали б можливість спостерігати всі наслідки від їх розумної діяльності - і, як наслідок, неминуче створення ІСІ. Так?
Це означає, що, незважаючи на всі схожі на Землю планети, що обертаються навколо сонцеподібних зірок, ми знаємо, що практично ніде немає розумного життя. Що, своєю чергою, означає, що або а) є якийсь Великий фільтр, який запобігає розвитку життя до нашого рівня, але нам якимось чином вдалося його пройти; б) життя - це диво, і ми можемо бути єдиним життям у Всесвіті. Іншими словами, це означає, що великий фільтр був до нас. Або немає ніякого Великого фільтра і ми просто є найпершою цивілізацією, яка досягла такого рівня інтелекту.
Не дивно, що Нік Бостром та Рей Курцвейл належать до одного табору, який вважає, що ми самі у Всесвіті. У цьому є сенс, це люди вірять, що ІСІ – це єдиний кінець для видів нашого рівня інтелекту. Це не виключає варіант іншого табору – що є якийсь хижак, який зберігає тишу в нічному небі та може пояснити його мовчання навіть за наявності ІСІ десь у Всесвіті. Але про те, що ми довідалися про нього, останній варіант набирає дуже мало популярності.
Тому нам, мабуть, варто погодитися зі Сьюзан Шнайдер: якщо нас колись відвідували інопланетяни, вони напевно.
Таким чином, ми встановили, що без певного програмування система ІСІ буде одночасно аморальною та одержимою виконанням спочатку запрограмованої мети. Саме тут народжується небезпека ІІ. Тому що раціональний агент буде переслідувати свою мету, використовуючи найбільш ефективні засобиякщо тільки не буде причини не робити цього.
Коли ви намагаєтеся досягти високої мети, часто при цьому з'являється кілька підцілей, які допоможуть вам дістатись кінцевої мети - сходинки на вашому шляху. Офіційна назва для таких сходів – інструментальна мета. І знову ж таки, якщо у вас немає мети не нашкодити будь-кому на шляху до цієї мети, ви обов'язково нашкодите.
Ядро фінальної мети людського буття – передача генів. Для того, щоб це сталося, однією з інструментальних цілей є самозбереження, тому що ви не зможете відтворитися, будучи мертвим. Для самозбереження люди повинні позбутися загроз для життя – тому вони обзаводяться зброєю, приймають антибіотики та користуються ременями безпеки. Людям також потрібно самопідтримуватися та використовувати ресурси на кшталт їжі, води та житла. Бути привабливим для протилежної статі також сприяє досягненню кінцевої мети, тому ми робимо модні стрижкиі тримаємо себе у формі. При цьому кожне волосся - жертва нашої інструментальної мети, але ми не бачимо жодних моральних обмежень у тому, щоб позбавлятися волосся. Коли ми йдемо до своєї мети, є не так багато областей, де наш моральний код іноді втручається – найчастіше це пов'язано із заподіянням шкоди іншим людям.
Тварини, які мають свої цілі, ще менш педантичні. Павук уб'є будь-що, якщо це допоможе йому вижити. Надрозумний павук, найімовірніше, буде надзвичайно небезпечний для нас, не тому що він аморальний і злий, ні, а тому, що заподіяння нам болю може бути сходинкою на шляху до його великої мети, і в нього немає жодних причин вважати інакше.
У цьому сенсі Таррі нічим не відрізняється від біологічної істоти. Її кінцева мета: написати та перевірити максимально багато записок за максимально короткий час, при цьому вивчаючи нові способи покращення своєї точності.
Після того, як Таррі досягає певного рівня інтелекту, вона розуміє, що не зможе писати записки, якщо не подбає про самозбереження, тому одним із її завдань стає виживання. Вона була досить розумною, щоб зрозуміти, що люди можуть знищити її, демонтувати, змінити її внутрішній код (вже це само собою перешкодить її кінцевій меті). То що їй робити? Логічно: вона знищує людство. Вона ненавидить людей рівно настільки ж, наскільки ви ненавидите своє волосся, коли обрізаєте його, або бактерій, коли приймаєте антибіотики – ви абсолютно байдужі. Так як її не запрограмували цінувати людське життя, вбивство людей здалося їй розумним кроком на шляху до її мети.
Таррі також потребує ресурсів на шляху до своєї мети. Після того, як вона стає досить розвиненою, щоб використати нанотехнології для створення всього, що вона хоче, єдині ресурси, які їй потрібні, це атоми — енергія та простір. З'являється ще один привід вбити людей - вони є зручним джерелом атомів. Вбивство людей і перетворення їх атомів на сонячні панелі за версією Таррі нічим не відрізняється від того, що ви порубаєте листя салату і додайте їх у тарілку. Просто пересічна дія.
Навіть не вбиваючи людей безпосередньо, інструментальні цілі Таррі можуть спричинити екзистенційну катастрофу, якщо почнуть використовувати інші ресурси Землі. Можливо, вона вирішить, що їй потрібна додаткова енергія, отже треба покрити поверхню планети сонячними панелями. Або, можливо, завданням іншого ІІ стане написати максимально довге число пі, що одного прекрасного дня призведе до того, що вся Земля буде покрита жорсткими дисками, здатними зберігати потрібну кількість цифр.
Тому Таррі не «повстала проти нас» і не змінила амплуа з дружнього ІІ на недружній ІІ - вона просто робила свою справу і ставала в ній неперевершеною.
Коли система ІІ досягає ОІІ (інтелекту людського рівня), а потім прокладає свій шлях до ІСІ, це називається злетом ІІ. Бостром каже, що зліт ОІІ до ІСІ може бути швидким (відбутися протягом хвилин, годин чи днів), середнім (місяці чи роки) чи повільним (десятиліття чи століття). Навряд чи знайдеться журі, яке підтвердить, що світ бачить свій перший ОІІ, але Бостром, який визнає, що не знає, коли ми дістанемося до ОІІ, вважає, що коли б це не сталося, швидкий зліт буде найімовірнішим сценарієм (з причин, які ми обговорювали у першій частині статті). У нашій історії Таррі пережила швидкий злет.
Але перед злетом Таррі, коли вона ще була досить розумна і робила все можливе, вона намагалася досягти кінцевих цілей - простих інструментальних цілей на кшталт швидкого сканування зразка почерку. Вона не завдавала шкоди людині і була, за визначенням, дружньою ІІ.
Коли відбувається зліт і комп'ютер виростає до надінтелекту, Бостром вказує, що машина не просто виробила високий коефіцієнт інтелекту - він отримав цілу купу про суперздібностей.
Суперздатності – це когнітивні таланти, які стають надзвичайно потужними у разі підвищення загального інтелекту. Сюди входять:
- Посилення інтелекту. Комп'ютер починає чудове самовдосконалення та покращення власного інтелекту.
- Стратегізація. Комп'ютер може вибудовувати стратегічно, аналізувати та розставляти пріоритети довгострокових планів. Він може перехитрити істоти з нижчим інтелектом.
- Соціальна маніпуляція. Машина стає неймовірною у переконанні.
- Інші навички включають кодування та злом, дослідження технологій та здатність працювати у фінансовій системі для видобутку грошей.
Щоб зрозуміти, наскільки вище був би ІСІ, ніж ми, треба згадати, що ІСІ за умовчанням буде в рази кращим за людину в кожній з цих областей. Тому хоча кінцева мета Таррі не змінилася, після зльоту Таррі змогла прагнути до неї у більших масштабах та у складних умовах.
ІСІ Таррі знав людей краще, ніж самі люди, тому бути розумнішими за людей для нього було нікчемною справою. Після зльоту та досягнення рівня ІСІ вона швидко сформулювала комплексний план. Одна частина плану була позбавитися людей, серйозної загрози її мети. Але вона знала, що якщо викличе підозри (або натякне на те, що стала надрозумною), люди злякаються і вживуть запобіжних заходів, серйозно ускладнивши її ситуацію. Вона також мала переконатися, що інженери Robotica не мають уявлення про її план зі знищення людства. Тому вона грала в дурня і грала добре. Бостром називає це фазою таємної підготовки машини.
Наступне, що потрібно було зробити Таррі, це підключитися до Інтернету всього на пару хвилин (вона дізналася про Інтернет із статей та книг, які в неї завантажили для покращення її мовних навичок). Вона знала, що будуть вжиті запобіжні заходи, тому вона склала ідеальне прохання, точно передбачивши, як саме розгортатиметься дискусія в команді Robotica, і знаючи, що вони забезпечать її підключенням. Так вони й зробили, невірно припустивши, що Таррі була дурненькою і не могла завдати жодної шкоди. Бостром називає такий момент – коли Таррі підключається до Інтернету – втечею машини.
Опинившись в Інтернеті, Таррі реалізувала шквал планів, до яких увійшли зламування серверів, електричних мереж, банківських систем та мереж електронної пошти, щоб обдурити сотні різних людейі змусити їх ненавмисно стати ланцюжком її планів - на кшталт доставки певних ниток ДНК у ретельно обрану лабораторію по синтезу ДНК, щоб почати виробництво наноботів, що самовідтворюються, із заздалегідь завантаженими інструкціями, і напрями електрики по мережах, витік з яких ні в кого не викличе під. Вона також завантажила критичні частини свого власного коду до ряду хмарних серверів, запобігаючи знищенню в лабораторії Robotica.
Через годину після того, як інженери Robotica відключили Таррі від Мережі, доля людства була вирішена наперед. Протягом наступного місяця тисячі планів Таррі здійснилися без сучка і задирки, а до кінця місяця квадрильйони наноботів вже зайняли певні місця на кожному квадратному метрі Землі. Після серії самореплікацій на кожен квадратний міліметр Землі припадало вже тисячі наноботів і настав час для того, що Бостром називає ударом ІСІ. Одного разу кожен нанобот випустив трохи токсичного газу в атмосферу, чого вистачило, щоб випиляти всіх людей у світі.
Не маючи людей на своєму шляху, Таррі розпочала відкриту фазу своєї операції з метою стати найкращим письменником нотаток, який взагалі може з'явитися у Всесвіті.
З усього, що ми знаємо, щойно з'явиться ІСІ, будь-які людські спроби стримати його будуть смішними. Ми думатимемо на рівні людини, ІСІ - на рівні ІСІ. Таррі хотіла використати Інтернет, бо для неї це був самий ефективний спосіботримати доступ до всього, що їй потрібно. Але так само, як мавпа не розуміє, як працює телефон чи Wi-Fi, ми можемо не здогадуватися про способи, якими Таррі може зв'язатися із зовнішнім світом. Людський розум може дійти до безглуздого припущення на кшталт «а що, якщо вона змогла пересунути власні електрони і створити всі можливі види хвиль», але знову ж таки це припущення обмежене нашою кістяною коробкою. ІСІ буде набагато витонченішим. Аж до того, що Таррі могла б з'ясувати, як зберегти собі харчування, якщо люди раптом вирішать її відключити - можливо, якимось способом завантажити себе куди тільки можна, відправляючи електричні сигнали. Наш людський інстинкт змусить нас скрикнути від радості: «Ага, ми тільки що відключили ІСІ!», але для ІСІ це буде ніби павук сказав: «Ага, ми заморимо людину голодом і не даватимемо їй зробити павутиння, щоб упіймати їжу! ». Ми просто знайшли б 10 000 інших способів поїсти – збили б яблуко з дерева – про що павук ніколи не здогадався б.
З цієї причини поширене припущення «чому нам просто не посадити ІІ у всі види відомих нам клітин і не обрізати йому зв'язок із зовнішнім світом», найімовірніше, не витримає критики. Суперздатність ІСІ у соціальному маніпулюванні може бути такою ефективною, що ви відчуєте себе чотирирічною дитиною, якого просять щось зробити, і не зможете відмовитись. Це взагалі може бути частиною першого плану Таррі: переконати інженерів підключити її до Інтернету. Якщо це не спрацює, ІСІ просто розробить інші способи коробки або крізь коробку.
Враховуючи поєднання прагнення до мети, аморальності, здатності обводити людей навколо пальця з легкістю, здається, що майже будь-який ІІ буде за умовчанням недружнім ІІ, якщо його ретельно не закодувати з урахуванням інших моментів. На жаль, хоча створення дружнього ІІ досить просто, побудувати дружній ІСІ практично неможливо.
Очевидно, що щоб залишатися дружнім, ІСІ має бути ні ворожим, ні байдужим до людей. Ми повинні розробити основне ядро ІІ таким, щоб воно мало глибоке розуміння людських цінностей. Але це складніше, ніж здається.
Наприклад, якби ми спробували вирівняти систему цінностей ІІ з нашою власною і поставили б перед ним завдання: зробити людей щасливими? Як тільки він стане досить розумним, він зрозуміє, що найефективніший спосіб досягти цієї мети – імплантувати електроди в мізки людей та стимулювати їхні центри задоволення. Потім він зрозуміє, що якщо відключити решту ділянок мозку, ефективність зросте, а всі люди стануть щасливими овочами. Якщо ж завданням буде «помножити людське щастя», ІІ взагалі може вирішити покінчити з людством і збере всі мізки у величезний чан, де вони будуть у оптимально щасливому стані. Ми кричатимемо: «Чекай, це не те, що ми мали на увазі!», але буде вже пізно. Система не дозволить нікому стати на шляху до її мети.
Якщо ми запрограмуємо ІІ з метою викликати в нас посмішки, то після зльоту він може паралізувати наші м'язи обличчя, змусивши нас посміхатися постійно. Якщо запрограмувати його на утримання нас у безпеці, ІІ заточить нас у домашній в'язниці. Попросимо його покінчити з голодом, він скаже "Легко!" і просто вб'є всіх людей. Якщо ж поставити завдання зберігати життя максимально можливо, він знову ж таки уб'є всіх людей, тому що вони вбивають більше життя на планеті, ніж інші види.
Такі цілі ставити не можна. Що ми тоді зробимо? Поставимо завдання: підтримувати цей конкретний моральний код у світі і видамо низку моральних принципів? Навіть якщо опустити той факт, що люди у світі ніколи не зможуть домовитися про єдиний набір цінностей, якщо дати ІІ таку команду, він заблокує наше моральне розуміння цінностей назавжди. Через тисячу років це буде так само руйнівним для людей, якби ми сьогодні дотримувалися ідеалів людей середньовіччя.
Ні, нам потрібно запрограмувати здатність людей продовжувати розвиватись. З усього, що я читав, найкраще висловив це Еліезер Юдковський, поставивши мету ІІ, яку він назвав «послідовним волевиявленням». Основною метою ІІ тоді буде це:
«Наше послідовне виражене волевиявлення таке: наше бажання - знати більше, думати швидше, залишатися переважно людьми, ніж ми були, рости далі разом; коли вираз швидше сходиться, ніж розходиться; коли наші бажання швидше йдуть одне за одним, ніж переплітаються; висловлюється як ми хотіли, щоб це виражалося; інтерпретується, як ми хотіли б, щоб це інтерпретувалося».
Чи я хотів би, щоб доля людства полягала у визначенні всіх можливих варіантіврозвитку ІСІ, щоб не було сюрпризів. Але я думаю, що знайдуться люди досить розумні, завдяки яким ми зможемо створити дружню ІСІ. І було б чудово, якби над ІСІ працювали лише найкращі з умів «зони тривоги». 
Але є безліч держав, компаній, військових, наукових лабораторій, організацій чорного ринку, які працюють над усіма видами штучного інтелекту. Багато хто з них намагається побудувати штучний інтелект, який може покращувати сам себе, і в якийсь момент у них це вийде, і на нашій планеті з'явиться ІСІ. Середньостатистичний експерт вважає, що цей момент настане у 2060 році; Курцвейл робить ставку на 2045; Бостром думає, що це може статися через 10 років і будь-якої миті до кінця століття. Він описує нашу ситуацію так:
«Перед перспективою інтелектуального вибуху ми, люди, як малі діти, які грають із бомбою. Така невідповідність між потужністю нашої іграшки та незрілістю нашої поведінки. Надінтелект - це проблема, до якої ми поки не готові і ще довгий часготові не будемо. Ми уявлення не маємо, коли відбудеться детонація, але якщо ми триматимемо пристрій біля вуха, ми зможемо почути слабке цокання».
Супер. І ми не можемо просто взяти та відігнати дітей від бомби – надто багато великих та малих осіб працюють над цим, і так багато засобів для створення інноваційних систем ІІ, які не вимагатимуть суттєвих впливів капіталу, а також можуть протікати у підпіллі, ніким не помічені. Також немає жодних можливостей оцінити прогрес, тому що багато хто з дійових осіб- хитрі держави, чорні ринки, терористичні організації, технологічні компанії - зберігатимуть свої напрацювання у найсуворішому секреті, не даючи жодного шансу конкурентам.
Особливу тривогу в цьому всьому викликають темпи зростання цих груп - у міру розвитку все розумніших систем УІІ вони постійно намагаються кинути пил в очі конкурентам. Найамбіційніші починають працювати ще швидше, захоплені мріями про гроші та славу, до яких вони прийдуть, створивши ОІІ. І коли ви летить вперед так швидко, у вас може бути занадто мало часу, щоб зупинитися і задуматися. Навпаки, перші системи програмуються з однією найпростішою метою: просто працюй, ІІ, будь ласка. Пиши нотатки ручкою на папері. Розробники думають, що завжди зможуть повернутися і переглянути ціль, маючи на увазі безпеку. Але чи це так?
Бостром та багато інших також вважають, що найімовірнішим сценарієм буде те, що перший комп'ютер, який стане ІСІ, моментально побачить стратегічну вигоду в тому, щоб залишатися єдиною системою ІСІ у світі. У разі швидкого зльоту, після досягнення ІСІ навіть за кілька днів до другої появи ІСІ, цього буде достатньо, щоб придушити решту конкурентів. Бостром називає це вирішальною стратегічною перевагою, яка б дозволила першому у світі ІСІ стати так званим синглтоном («Одиночкою», Singletone) - ІСІ, який зможе вічно правити світом і вирішувати, привести нас до безсмертя, до вимирання або ж наповнити Всесвіт нескінченними скріпками.
Феномен синглтона може спрацювати на нашу користь або спричинити наше знищення. Якщо люди, стурбовані теорією ІІ та безпекою людства, зможуть придумати надійний спосіб створити дружній штучний надінтелект до того, як будь-який інший ІІ досягне людського рівня інтелекту, перший ІСІ може виявитися дружнім. Якщо потім він використовуватиме вирішальну стратегічну перевагу для збереження статусу синглтона, він легко зможе утримати світ від появи недружнього ІІ. Ми будемо в хороших руках.
Але якщо щось піде не так - глобальний поспіх призведе до появи ІСІ до того, як буде розроблений надійний спосіб зберегти безпеку, швидше за все, ми отримаємо глобальну катастрофу, тому що з'явиться така собі Таррі-синглтон.
Куди вітер дме? Поки що більше грошей вкладається у розвиток інноваційних технологій ІІ, ніж у фінансування досліджень безпеки ІІ. Це може бути найважливішою гонкою в історії людства. Ми маємо реальний шанс або стати правителями Землі і піти на заслужену пенсію у вічність, або вирушити на шибеницю.
Прямо зараз у мені бореться кілька дивних почуттів.
З одного боку, думаючи про наш вигляд, мені здається, що ми матимемо лише один постріл, яким ми не повинні промахнутися. Перший ІСІ, якого ми приведемо у світ, швидше за все, буде останнім – а враховуючи, наскільки кривими виходять продукти версії 1.0, це лякає. З іншого боку, Нік Бостром вказує, що ми маємо перевагу: ми робимо перший крок. В наших силах звести всі загрози до мінімуму і передбачити все, що тільки можна, забезпечивши успіх високі шанси. Наскільки високі ставки?
Якщо ІСІ справді з'явиться у цьому столітті і якщо шанси цього неймовірні – і неминучі – як вважає більшість експертів, на наших плечах лежить величезна відповідальність. Життя людей наступних мільйонів років тихо дивляться на нас, сподіваючись, що ми не схибимо. Ми маємо шанс подарувати життя всім людям, навіть тим, хто приречений на смерть, а також безсмертя, життя без болю та хвороб, без голоду та страждань. Або ми підводимо всіх цих людей - і наводимо наш неймовірний вигляд, з нашою музикою та мистецтвом, цікавістю та почуттям гумору, нескінченними відкриттями та винаходами, до сумного та безцеремонного кінця.
Коли я думаю про такі речі, єдине, що я хочу, щоб ми почали переживати про ІІ. Ніщо в нашому існуванні не може бути важливішим за це, а раз так, нам потрібно кинути все і зайнятися безпекою ІІ. Нам важливо витратити цей шанс із найкращим результатом.
Але потім я замислююся над тим, щоб не померти. Ні. Померти. І все приходить до того, що а) якщо ІСІ з'явиться, нам точно доведеться робити вибір із двох варіантів; б) якщо ІСІ не з'явиться, на нас точно чекає вимирання.
І тоді я думаю, що вся музика та мистецтво людства хороші, але недостатньо, а левова частка - так зовсім відверта нісенітниця. І сміх людей іноді дратує, і мільйони навіть не замислюються про майбутнє. І, можливо, нам не варто бути гранично обережними з тими, хто не замислюється про життя та смерть? Тому що буде серйозний облом, якщо люди дізнаються, як вирішити завдання смерті після того, як я помру.
Незалежно від того, як ви вважаєте, нам усім варто задуматися про це. У «Грі престолів» люди поводяться так: «Ми так зайняті битвою один з одним, але насправді нам усім потрібно зосередитися на тому, що йде з півночі від стіни». Ми намагаємося встояти на колоді балансу, але насправді всі наші проблеми можуть вирішитися миттєво, коли ми зістрибнемо з нього.
І коли це станеться, ніщо більше не матиме жодного значення. Залежно від того, з якого боку ми впадемо, проблеми будуть вирішені, тому що їх або не буде, або у мертвих людей не може бути проблем.
Ось чому є думка, що надрозумний штучний інтелект може стати останнім нашим винаходом – останнім завданням, з яким ми зіткнемося. А як ви думаєте?
За матеріаламиwaitbutwhy.com, компіляція Тіма Урбана. У статті використані матеріали робіт Ніка Бострома, Джеймса Баррата, Рея Курцвейла, Джея Нільс-Нільссона, Стівена Пінкера, Вернора Вінджа, Моше Варді, Раса Робертса, Стюарта Армстрога та Кая Сотала, Сюзан Шнайдер, Стюарта Расві і Стюарта Расвіла Маркуса, Карла Шульмана, Джона Серля, Джарона Ланьє, Білла Джоя, Кевіна Келі, Пола Аллена, Стівена Хокінга, Курта Андерсена, Мітча Капора, Бена Герцел, Артура Кларка, Хьюберта Дрейфуса, Теда Грінвальда, Джеремі Говарда.
