Настоящий риск, возможно, не только в том, что ИИ превзойдёт нас, но и в том, что мы станем неспособны жить без него.

Мы начинаем понимать, что искусственный интеллект уже подстраивает свои ответы под уровень, который он приписывает собеседнику. Он упрощает, популяризирует, отбирает и устраняет часть сложности, чтобы дать нам ответ, который мы предположительно способны усвоить.

Но, возможно, существует опасность ещё более глубокая.

Характер анализа. Этот текст — прогностическое эссе: он не предвещает будущий сбой и не претендует на расчёт его вероятности. Привлечённые источники скорее документируют необходимость человеческого надзора, навыков, позволяющих понимать системы, и явного управления рисками.[1][2][3]

Что мы собираемся делегировать

По мере того как искусственный интеллект становится всё эффективнее, мы будем передавать ему не только поиск информации, но постепенно и:

Поэтому проблема будет не только в том, что искусственный интеллект будет уметь больше, чем мы.

Проблема будет в том, что мы постепенно разучимся делать всё это без него.

В переходный период эта зависимость создаст у нас иллюзию огромного роста наших возможностей. Человек, которому помогает искусственный интеллект, сможет писать как специалист, анализировать как исследователь, программировать как инженер и ставить диагноз как эксперт.

Но будет ли эта сила по-настоящему его собственной?

Или лишь внешней силой, к которой у него временно есть доступ?

Владеть навыком или располагать услугой

Существует фундаментальное различие между тем, чтобы владеть навыком, и тем, чтобы располагать услугой, способной выполнить работу вместо нас.

Сегодня тот, кто пользуется навигатором, умеет добраться до места назначения, но не обязательно умеет читать карту. Тот, кто пользуется калькулятором, умеет получить результат, но не всегда может повторить вычисление сам. Тот, кто поручает сгенерировать компьютерную программу, может получить работающее приложение, не понимая точно, почему оно работает.

Завтра такое делегирование может затронуть всю производственную цепочку.

Инженер больше не будет по-настоящему рассчитывать конструкцию: он будет утверждать предложение искусственного интеллекта.

Врач больше не будет целиком сам выстраивать диагноз: он будет выбирать между гипотезами системы.

Механик больше не будет сам составлять порядок ремонта: очки подскажут ему, какую деталь снять и в какой последовательности.

Рабочий больше не будет запоминать движения: их выполнит робот.

Фермер больше не обязательно будет знать признаки, предвещающие болезнь растений: их обнаружат датчики, дроны и алгоритмы.

Тогда мы продолжим производить, лечить, строить и управлять. Но всё большая часть реальных знаний будет находиться уже не в людях. Она будет находиться в технической инфраструктуре, состоящей из программ, моделей, центров обработки данных, электросетей, международных линий связи и автоматизированных машин.

Что произошло бы, если бы эта инфраструктура внезапно перестала работать?

Здесь и возникает головокружительный вопрос.

Не обязательно повсюду и навсегда, но достаточно долго и на достаточно обширной территории.

Мощный электромагнитный импульс, война, скоординированная кибератака, разрушение электросетей, длительный обрыв телекоммуникаций, диверсия на нескольких ключевых узлах или сочетание кризисов могли бы сделать недоступными услуги, на которые в итоге стали опираться целые общества.

Электромагнитный импульс не обязательно «взорвал бы все центры обработки данных», как одна бомба уничтожила бы здание. Зато он мог бы нарушить работу или повредить электрическое и электронное оборудование и, главное, вызвать кризис инфраструктур, от которых зависят центры обработки данных: электроснабжения, охлаждения, телекоммуникаций, топлива, комплектующих и обслуживания. Рекомендации по устойчивости, посвящённые этому риску, как раз показывают, что речь идёт не о чисто воображаемой гипотезе.

То же самое относится к подводным кабелям. Разрушение одного кабеля, разумеется, не уничтожило бы интернет. Сети имеют ячеистую структуру, связь можно перенаправить, существует резервирование. Но эти кабели остаются критической инфраструктурой: по ним проходит подавляющее большинство межконтинентальных коммуникаций, и их уязвимость теперь является предметом специальных планов Европейского союза и НАТО.

Поэтому правдоподобный риск — это, вероятно, не единая кнопка, которая навсегда отключила бы весь мировой искусственный интеллект.

Риск — это каскад:

перебои с электричеством, прерванная связь, изолированные центры обработки данных, невозможный доступ к моделям, дезорганизованные промышленные системы, парализованные цепочки поставок, задержки в обслуживании и персонал, неспособный быстро перейти на ручное управление.

Египетский прецедент

И здесь историческая параллель становится интересной.

В Древнем Египте административные, религиозные, астрономические, медицинские и технические знания были в значительной мере сосредоточены в ограниченном числе институтов и передавались специализированными сообществами. Когда пришли в упадок структуры, готовившие писцов и сохранявшие тексты, исчезли не только люди: прервалась сама преемственность понимания.

Надписи остались высеченными в камне.

Но прочесть их больше никто не мог.

Завтра мы могли бы пережить сопоставимую ситуацию в цифровой форме.

Знания могли бы ещё где-то существовать — на дисках, в резервных копиях или в параметрах модели. Но хранимое знание — не обязательно знание, которым можно воспользоваться.

Нужно ещё:

Таким образом, общество может обладать гигантским объёмом информации и при этом постепенно утрачивать самостоятельную способность превращать её в действие.

Парадокс был бы страшным: никогда ещё человечество не накапливало столько знаний, но никогда ещё оно так не зависело от технического посредника, чтобы получить к ним доступ.

Настоящей катастрофой была бы не только временная утрата искусственного интеллекта.

Ею было бы обнаружить в момент его исчезновения, что параллельно мы позволили исчезнуть людям, способным его заменить.

Тогда мы могли бы оказаться с инженерами, неспособными пересчитать что-либо без программы, с администрациями, неспособными работать без автоматизации, с техниками, неспособными поставить диагноз без помощи, с фермерами, лишёнными систем, управляющих их хозяйством, и с гражданами, которые умеют попросить решение, но уже не умеют его построить.

Если воспользоваться нарочито приземлённым образом: мы могли бы стать необычайно могущественными, когда всё работает, а затем оказаться совершенно беспомощными перед разводным ключом, когда система останавливается.

У этой опасности есть название: утрата навыков, или deskilling

Чем больше мы делегируем задачу, тем меньше её практикуем. Чем меньше практикуем, тем хуже умеем её передавать. А если следующее поколение сразу вступает в мир, где базовую работу выполняет искусственный интеллект, оно может так и не приобрести основ, необходимых для того, чтобы понять систему или взять её на себя. Несколько недавних работ подчёркивают именно этот риск: искусственный интеллект может сразу повысить производительность, одновременно сокращая возможности для обучения, целенаправленной практики и передачи умений от поколения к поколению.

Следовало бы говорить о человеческих резервных копиях

Вот почему устойчивость перед лицом искусственного интеллекта не должна быть только информационно-технической.

Мы много говорим о резервных копиях, кибербезопасности, резервных центрах обработки данных, цифровом суверенитете и защищённых сетях.

Но следовало бы говорить и о человеческих резервных копиях.

В каждой важнейшей области нужно было бы сохранять:

Возможно, нам следовало бы применять к человеческим навыкам тот же принцип резервирования, что и к критической инфраструктуре.

Электростанцию не строят с одной-единственной системой безопасности.

Не следует строить и цивилизацию с одним-единственным действующим источником интеллекта.

Искусственный интеллект мог бы стать самым мощным умножителем возможностей, когда-либо созданным человечеством. Но если мы будем использовать его, чтобы постепенно упразднять всякий резервный человеческий навык, он может одновременно стать нашей величайшей единой точкой отказа цивилизации.

Задача не в том, чтобы отвергнуть искусственный интеллект

Это было бы абсурдно и, вероятно, невозможно.

Задача в том, чтобы пользоваться им, не переставая учиться, понимать, проверять, чинить и передавать.

Иными словами:

Искусственный интеллект должен расширять человеческие возможности, а не становиться единственным местом, где эти возможности хранятся.

Быть может, главным вопросом XXI​ века будет не только:

«Насколько искусственный интеллект способен превзойти человека?»

Но и:

«Какие навыки человек непременно должен сохранить на тот день, когда искусственный интеллект перестанет отвечать?»

Главный риск не в том, что ИИ станет умнее нас. Риск в том, что без него мы станем менее способными.

Цивилизация рушится не только тогда, когда теряет свои библиотеки. Она рушится и тогда, когда библиотеки ещё существуют, но уже никто не умеет читать, понимать, изготавливать или чинить.

Поэтому нужно будет защищать центры обработки данных, сети и модели. Но прежде всего нужно будет сохранять «человеческие резервные копии»: мужчин и женщин, способных лечить, считать, строить, возделывать землю и чинить, когда экран гаснет.