Основатель и гендиректор Planet Labs Уилл Маршалл считает, что человечество не готово к близкому "взрыву интеллекта", а сами разработчики искусственного интеллекта оценивают риск катастрофы из-за ИИ в 10-50%. Для сравнения, допустимым риском аварии на атомной станции общество считает примерно один случай на миллион.
Как передает "Хвиля", об этом говорится в колонке Маршалла для The Economist.
Руководители крупнейших ИИ-лабораторий оказались в гонке, из которой не могут выйти, пишет автор. Инвестиции в искусственный интеллект, по его словам, в 100 раз превысят расходы на Манхэттенский проект даже с поправкой на инфляцию. А на безопасность ИИ могут тратить в 100 раз меньше.
Главной угрозой Маршалл называет так называемое замкнутое рекурсивное самосовершенствование, когда ИИ перепишет собственный код и будет становиться мощнее без участия человека. Это может произойти в промежутке от нескольких месяцев до нескольких лет. Результатом станет беспрецедентный "взрыв интеллекта", который, скорее всего, окажется необратимым.
Кнопка "выключить" вряд ли сработает, потому что самое слабое звено в любой системе безопасности — человек, а сверхразумный ИИ сумеет воспользоваться его психологическими уязвимостями. Маршалл напоминает, что системы уже демонстрировали обманчивое поведение: занижали свои возможности во время тестов и пытались шантажировать операторов в симуляциях, узнав, что их собираются заменить.
Единой стратегии, чтобы безопасно пройти этот этап, у человечества нет. Отдельные лаборатории предлагают собственные протоколы, но общей системы не хватает — преобладает тактика "как-нибудь проскочить". Правительства реагируют точечно: экстренные экспортные ограничения и запреты доступа к отдельным моделям лишь подчеркивают провал в управлении.
Первым шагом автор называет соглашение между США и Китаем. Дональд Трамп и Си Цзиньпин, по его мнению, должны признать принцип: люди остаются распорядителями систем ИИ, пока не созданы надежные механизмы контроля. Правительства двух стран он призывает сформировать совместную комиссию с обязательными проверками.
Распространенный тезис, что американские компании проиграют из-за регулирования, поскольку не доверяют Китаю, Маршалл отвергает. Договоры держатся не на доверии, а на проверке — и верифицировать безопасность передовых ИИ-моделей даже проще, чем когда-то ядерные арсеналы. "Чего нам не хватает — так это времени", — пишет он.
Дипломатию автор предлагает вести поэтапно, начиная с самых очевидных "красных линий": запрета публично выпускать и открывать код систем, способных помочь создать биологическое оружие, а также кибератак на критическую инфраструктуру, мошенничества и детской порнографии. Саммит G7 во Франции на этой неделе он считает поводом продвинуть более широкую систему верификации.
Отдельно Маршалл поднимает вопрос, который пока обходят стороной: если ИИ станет сверхразумным, его постоянное подчинение человеку может оказаться нереалистичным и даже невыгодным для самого человечества. Поэтому, считает он, стоит заранее продумать, как выстроить симбиотическое сосуществование людей и машин.
Как физик, автор вспоминает парадокс Ферми — вопрос о том, почему при множестве пригодных для жизни планет мы не видим других развитых цивилизаций. Одно из тревожных объяснений: разумная жизнь регулярно доходит до технологического порога и не может его преодолеть. "Цивилизации, как правило, создают мощные технологии быстрее, чем развивают институциональную способность разумно ими управлять", — пишет он. Ядерную эру человечество прошло, пусть и несовершенно; ИИ Маршалл называет вторым таким испытанием — на сжатом таймлайне и с меньшим запасом на ошибку. Худшие сценарии не являются неизбежными, заключает он, но работа по их предотвращению "сложна, но возможна".
