Возможно, подлинный риск не только в том, что ИИ превзойдёт нас, а в том, что мы станем неспособны жить без него.

Мы начинаем понимать, что искусственный интеллект уже подстраивает свои ответы под уровень, который он приписывает собеседнику. Он упрощает, популяризирует, отбирает и устраняет часть сложности, чтобы дать нам ответ, который мы, как предполагается, способны усвоить.

Но, возможно, существует опасность ещё более глубокая.

Что мы будем делегировать

По мере того как искусственный интеллект становится всё более эффективным, мы будем делегировать ему не только поиск информации, но постепенно и:

Проблема, следовательно, будет не только в том, что искусственный интеллект будет уметь делать больше, чем мы.

Проблема будет в том, что мы постепенно разучимся делать это без него.

В переходный период эта зависимость создаст у нас иллюзию колоссального роста наших способностей. Человек, которому помогает искусственный интеллект, сможет писать как специалист, анализировать как исследователь, программировать как инженер и ставить диагноз как эксперт.

Но будет ли эта сила действительно его собственной?

Или лишь внешней силой, к которой у него есть временный доступ?

Владеть навыком или иметь доступ к сервису

Существует фундаментальная разница между обладанием навыком и наличием сервиса, способного выполнить его вместо нас.

Сегодня тот, кто пользуется навигатором, умеет добраться до места назначения, но не обязательно умеет читать карту. Тот, кто пользуется калькулятором, умеет получить результат, но не всегда способен повторить вычисление. Тот, кто заказывает генерацию компьютерной программы, может получить работающее программное обеспечение, не понимая точно, почему оно работает.

Завтра это делегирование может затронуть всю производственную цепочку.

Инженер больше не будет реально рассчитывать конструкцию: он будет утверждать предложение искусственного интеллекта.

Врач больше не будет полностью строить свой диагноз: он будет выбирать между гипотезами системы.

Механик больше не будет сам определять порядок ремонта: его очки укажут, какую деталь снять и в какой последовательности.

Рабочий больше не будет запоминать движения: их выполнит робот.

Фермер больше не будет обязательно распознавать признаки болезни растений: её обнаружат датчики, дроны и алгоритмы.

Мы будем продолжать производить, лечить, строить и управлять. Но всё большая часть действующего знания будет находиться уже не в людях. Она будет находиться в технической инфраструктуре, состоящей из программ, моделей, центров обработки данных, электрических сетей, международных линий связи и автоматизированных машин.

Что произойдёт, если эта инфраструктура внезапно перестанет работать?

Именно здесь возникает головокружительный вопрос.

Не обязательно везде и навсегда, но достаточно долго и на достаточно обширной территории.

Мощный электромагнитный импульс, война, скоординированная кибератака, разрушение электросетей, длительный разрыв телекоммуникаций, саботаж нескольких ключевых узлов или сочетание кризисов могли бы сделать недоступными сервисы, на которые в итоге стали бы опираться целые общества.

Электромагнитный импульс не обязательно «взорвал бы все центры обработки данных», как одна бомба разрушила бы здание. Но он мог бы нарушить работу или повредить электрическое и электронное оборудование и, главное, вызвать кризис инфраструктур, от которых зависят дата-центры: электричество, охлаждение, телекоммуникации, топливо, комплектующие и обслуживание. Рекомендации по устойчивости, посвящённые этому риску, как раз показывают, что речь идёт не о чисто воображаемой гипотезе.

То же касается подводных кабелей. Разрушение одного кабеля, разумеется, не уничтожило бы интернет. Сети имеют ячеистую структуру, трафик можно перенаправить, резервы существуют. Но эти кабели остаются критической инфраструктурой: они переносят подавляющее большинство межконтинентальных коммуникаций, и их уязвимость стала теперь предметом специальных планов Европейского союза и НАТО.

Правдоподобный риск, следовательно, вероятно, не в единственной кнопке, которая окончательно выключила бы весь мировой искусственный интеллект.

Риск — в каскаде:

отказавшее электричество, прерванные телекоммуникации, изолированные дата-центры, невозможный доступ к моделям, дезорганизованные промышленные системы, парализованные логистические цепочки, отложенное обслуживание и персонал, неспособный быстро вернуться к ручным операциям.

Египетский прецедент

И именно здесь историческая параллель становится интересной.

В Древнем Египте административные, религиозные, астрономические, медицинские и технические знания были в значительной мере сосредоточены в ограниченном числе институтов и передавались специализированными сообществами. Когда структуры, готовившие писцов и поддерживавшие тексты, пришли в упадок, исчезли не просто люди: разорвалась сама непрерывность понимания.

Надписи остались высеченными в камне.

Но больше никто не мог их прочитать.

Завтра мы можем пережить сопоставимую ситуацию в цифровой форме.

Знания могут по-прежнему существовать где-то: на дисках, в резервных копиях или в параметрах модели. Но сохранённое знание не обязательно является знанием, пригодным к использованию.

Ещё нужны:

Общество, таким образом, может обладать гигантским количеством информации и при этом постепенно терять автономную способность превращать её в действие.

Парадокс был бы ужасен: никогда человечество не накапливало столько знаний, но никогда оно не было так зависимо от технического посредника для доступа к ним.

Настоящей катастрофой была бы не только временная потеря искусственного интеллекта.

Ею было бы открытие — в момент его исчезновения, — что параллельно мы позволили исчезнуть людям, способным его заменить.

Мы могли бы тогда оказаться с инженерами, неспособными пересчитать без программ, с администрациями, неспособными работать без автоматизации, с техниками, неспособными поставить диагноз без ассистента, с фермерами, лишёнными систем, управляющих их хозяйством, и с гражданами, умеющими запросить решение, но разучившимися его строить.

Если использовать намеренно приземлённый образ: мы могли бы стать необычайно могущественными, пока всё работает, а затем оказаться совершенно беспомощными перед разводным ключом, когда система остановится.

У этой опасности есть имя: утрата компетенций, или deskilling

Чем больше мы делегируем задачу, тем меньше мы её практикуем. Чем меньше мы её практикуем, тем хуже умеем её передавать. И если следующее поколение сразу войдёт в мир, где базовую работу выполняет искусственный интеллект, оно может так и не получить фундамента, необходимого, чтобы понять систему или взять её на себя. Ряд недавних работ подчёркивает именно этот риск: искусственный интеллект может немедленно повышать производительность, одновременно сокращая возможности обучения, осознанной практики и межпоколенческой передачи навыков.

Следовало бы говорить о человеческих резервных копиях

Вот почему устойчивость перед лицом искусственного интеллекта не должна быть только информационной.

Мы много говорим о резервных копиях, кибербезопасности, дублирующих дата-центрах, цифровом суверенитете и защищённых сетях.

Но следовало бы говорить и о человеческих резервных копиях.

В каждой жизненно важной области следовало бы сохранять:

Возможно, нам следует применить к человеческим компетенциям тот же принцип резервирования, что используется для критической инфраструктуры.

Электростанцию не строят с единственной системой безопасности.

Не следует строить цивилизацию с единственным действующим источником интеллекта.

Искусственный интеллект может стать самым мощным умножителем способностей, который когда-либо создавало человечество. Но если мы будем использовать его, чтобы постепенно устранять всякую избыточную человеческую компетенцию, он может одновременно стать нашей крупнейшей единой точкой цивилизационного отказа.

Задача не в том, чтобы отвергнуть искусственный интеллект

Это было бы абсурдно и, вероятно, невозможно.

Задача в том, чтобы использовать его, не переставая учиться, понимать, проверять, ремонтировать и передавать.

Иными словами:

Искусственный интеллект должен расширять человеческие способности, а не становиться единственным местом, где эти способности хранятся.

Возможно, великий вопрос XXI века будет звучать не только так:

«Насколько искусственный интеллект может превзойти человека?»

Но и так:

«Какие компетенции человек обязан сохранить на тот день, когда искусственный интеллект перестанет отвечать?»

Главный риск не в том, что ИИ станет умнее нас. Риск в том, что мы станем менее способными без него.

Цивилизация рушится не только тогда, когда теряет свои библиотеки. Она рушится и тогда, когда её библиотеки ещё существуют, но больше никто не умеет читать, понимать, изготавливать или чинить.

Значит, нужно будет защищать дата-центры, сети и модели. Но прежде всего нужно будет сохранить «человеческие резервные копии»: мужчин и женщин, способных лечить, считать, строить, возделывать землю и чинить, когда экран погаснет.