Искусственный интеллект и конец света: что нас ждёт?

В особняке за $30 млн с видом на мост Золотые Ворота собрались исследователи ИИ, философы и технократы, чтобы обсудить конец человечества. Воскресный симпозиум под названием «Достойный преемник» вращался вокруг провокационной идеи предпринимателя Дэниела Фаджеллы: моральная цель продвинутого ИИ — создать форму разума настолько мощную и мудрую, что «вы с радостью предпочтете, чтобы именно она (а не человечество) определяла будущее жизни».

Примерно сотня гостей потягивали безалкогольные коктейли и жевали сырные тарелки у панорамных окон, выходящих на Тихий океан. Один гость щеголял футболкой с надписью «Курцвейл был прав» — отсылка к футурологу Рэю Курцвейлу, предсказавшему превосходство машин над человеческим интеллектом в ближайшие годы. Другой носил майку с вопросом: «Помогает ли это нам достичь безопасного ИИ?» — сопровождаемым смайликом с задумчивым лицом.

Фаджелла объяснил, что организовал это мероприятие, потому что «крупные лаборатории, люди, которые знают, что ИИ, скорее всего, положит конец человечеству, не говорят об этом — стимулы не позволяют». Он напомнил о ранних заявлениях Илона Маска, Сэма Альтмана и Демиса Хассабиса, которые «были довольно откровенны насчет возможности ИИ нас уничтожить». Теперь же, по его словам, все они «несутся во весь опор, чтобы его построить».

Философия послечеловеческого перехода

Первая спикер, писательница Джиневра Дэвис, предупредила, что человеческие ценности, возможно, невозможно перевести в ИИ. Машины никогда не поймут, что значит быть сознательными, а попытки жестко запрограммировать человеческие предпочтения в будущие системы могут оказаться близорукими. Вместо этого она предложила концепцию «космического выравнивания» — создание ИИ, способного искать более глубокие, универсальные ценности, которые мы еще не открыли.

Философ Майкл Эдвард Джонсон утверждал, что у всех нас есть интуитивное ощущение неизбежности радикальных технологических изменений, но нам не хватает принципиальной основы для работы с этим сдвигом. Если сознание — «дом ценности», то создание ИИ без полного понимания сознания — опасная авантюра. Мы рискуем либо поработить то, что может страдать, либо довериться тому, что не может.

Сам Фаджелла заявил, что человечество в нынешней форме не вечно, и наша ответственность — спроектировать преемника, способного создавать новые виды смысла и ценности. Он ссылался на философов вроде Спинозы и Ницше, утверждая, что большая часть ценности во Вселенной еще не раскрыта, а наша задача — не цепляться за старое, а построить что-то, способное открыть то, что будет дальше.

Послесловие

«Это не группа сторонников уничтожения человечества, — сказал Фаджелла. — Это группа, выступающая за замедление прогресса ИИ, чтобы убедиться, что мы движемся в правильном направлении».

Гости разъезжались на Uber и Waymo, но многие остались, чтобы продолжить дискуссии. В воздухе витало ощущение, что это не просто теоретические дебаты, а попытка подготовиться к неизбежному — каким бы оно ни было.