Любой писатель или ученый прошлых веков хотя бы раз задумывался о будущем. Как будут жить люди? Как изменится мир и какую роль обретут в нем технологии? Станут ли машины незаменимыми помощниками человека или его новыми хозяевами?
Предположений было много, но лишь немногие из них оказались близки к правде. Сегодня от большинства этих описаний нашего предполагаемого настоящего становится забавно или откровенно смешно. Крылатые пожарные и почтальоны, ролики на бензине или атомные пылесосы, увы и ах, не стали частью современного быта. Зато искусственный интеллект стал.
Естественно, про него мыслители и фантасты прошлого тоже говорили немало. Его представляли и как живые часы, и как ошибку в логической системе, и даже как машину, которую нужно будет обучать как младенца или собаку.
То, что современный ИИ учится на огромном массиве данных и постоянно самосовершенствуется, для нас уже не новость. Зато для XIX века это была весьма прогрессивная мысль. Если задуматься, можно прийти к довольно неочевидной, но закономерной мысли. К ней незадолго до своей смерти пришел и Алан Тьюринг: искусственный интеллект должен ошибаться, если мы не хотим катастрофы.
«Он просто давал ответы на вопросы. Но все пошло кувырком, потому что на слишком многие вопросы были даны слишком точные ответы».
Мюррей Лейнсер, «Логический компьютер по имени Джо»
Нынешние галлюцинации нейросетей — не баг. Да, они ошибаются, но так и должно быть. За пластичность нейросетей и их способность понимать контекст пришлось заплатить такую цену. Пытаясь превратить ИИ в стерильный безошибочный инструмент, мы рискуем загнать его развитие в тупик жестких правил, где машина становится либо бесполезной, либо социально опасной.
Для защиты своей позиции я хочу рассказать вам о трех работах трех разных авторов. Каждый из них по-своему представлял будущее и искусственный интеллект. И каждый по-своему оказался прав.
Дарвин среди машин
В 1863 году английский писатель и классик викторианской литературы Сэмюэл Батлер написал эссе «Дарвин среди машин». В то время мир только-только пытался переварить революционную теорию Чарльза Дарвина. Эссе представляло собой письмо главному редактору новозеландской газеты «The Press». Формулировки автора выглядели по-научному строгими, но вместе с тем эмоциональными.
Батлер попытался применить на тот момент только что появившуюся эволюционную теорию Чарльза Дарвина к миру неодушевленных машин. Глядя на невероятную скорость развития техники, которая ошеломляла на фоне медленной эволюции растений и животных, автор задавался пугающими вопросами. Его интересовало, куда движется эта сила, в каком направлении стремится и чем в итоге завершится этот процесс.
Он привел пример с карманными часами. В эволюции размер не всегда означает преимущество. Древние гигантские рептилии вымерли, уступив место более компактным животным. Так произошло и с карманными часами, которые по размерам сильно уступают своим громоздким напольным предкам:
«Может наступить день, когда часы — те, что ныне, конечно, не уменьшаются в объеме, — будут совершенно вытеснены повсеместным употреблением карманных часов; тогда такие часы вымрут, как ранние ящеры, а карманные часы (чья тенденция уже несколько лет скорее к уменьшению размера, нежели к обратному) останутся единственным существующим типом вымершей расы».
Батлер выдвинул тезис, что технологии образуют новую форму «механической жизни», которая проходит собственный процесс эволюции.
«Мы имеем в виду вопрос: какого рода существо, по всей вероятности, станет следующим преемником человека в господстве на Земле. Мы часто слышали, как это обсуждают; но нам представляется, что мы сами создаем своих преемников; мы ежедневно прибавляем красоты и тонкости их физической организации; мы ежедневно даем им большую силу и всевозможными остроумными приспособлениями наделяем их той саморегулирующейся, самодействующей силой, которая будет для них тем, чем интеллект был для человеческого рода».
Появляется мысль об обожествлении нового вида «разумных машин». С течением веков люди превратятся в низшую расу, которая будет смотреть на машины снизу вверх, как на абсолютный венец творения:
«Мы будем взирать на них как на высшую точку всего, к чему лучший и мудрейший человек когда-либо осмелится стремиться».
А что останется человеку в мире машин? Батлер и его современники высказывали мысль о том, что человек, по сути, добровольно берет на себя роль репродуктивных органов для развивающихся механизмов. Мы строим их, обслуживаем, лечим и помогаем им скрещиваться и мутировать, создавая все более сложные гибриды.
Тут исход эволюционной гонки предопределен. Неизбежно наступит день, когда машины превзойдут человечество физически и интеллектуально, а люди станут обслуживающим персоналом. Человек викторианской эпохи боялся стать домашним животным при новом железном хозяине:
«Мы полагаем, что когда наступит то положение вещей, которое мы выше пытались описать, человек станет для машины тем, чем лошадь и собака являются для человека».
И как вы думаете, какое решение предлагает автор на основе всех этих доводов? Конечно, войну и уничтожение всех машин до единой.
«День за днем мы становимся им все более подвластны; все больше людей ежедневно приковывается как рабы к уходу за ними, все больше людей ежедневно посвящает силы всей своей жизни развитию механической жизни.
…
Всякая машина всякого рода должна быть уничтожена доброжелателем своего вида. Да не будет сделано исключений, да не будет дано пощады».
Свое эссе Батлер позже развил в сатирическом романе «Erewhon», высмеивающем викторианскую Англию. Жители фантастического города из романа полностью запретили сложные механизмы и машины, потому что боялись, что в ходе эволюции машины разовьют сознание и поработят человечество.
Позже Батлер пояснял, что его текст — это методологическая пародия. Он целился в теологов и религиозных философов викторианской эпохи, которые использовали натянутые аналогии. Например, они сравнивали сложность природы с часовым механизмом, чтобы доказать существование Бога. Батлер взял их же логику и показал: если рассуждать такими методами, то можно запросто доказать, что обычные карманные часы скоро эволюционируют, разовьют сознание и поработят человечество.
Несмотря на сатиру, эссе Батлера стало первым в мире сценарием захвата мира умными машинами. Его идеи нашли место и в нашей современности: машины и правда самообучаются, а люди делают все возможное, чтобы машины превзошли их по интеллектуальным показателям.
Заслуживает внимания и мысль о том, что развитие сложных систем часто ведет к уменьшению их физических размеров. В XIX веке литература находилась под влиянием эры стимпанка: будущее описывали как симбиоз огромных махин из стали, которые приводил в движение пар. «Миниатюрный» и «стимпанк», как по мне, вещи несовместимые.
Но в деталях автор прогадал. Наши LLM — отнюдь не боги, лишенные людских грехов. Они обучались на текстах, написанных людьми, и впитали в себя абсолютно все человеческие пороки, предвзятость, манипулятивность и агрессию.
Примечательно, что страх человека из XIX века перед машинами носил сугубо биологический характер. Это был страх перед физическим вытеснением, когда машина подчинит себе человека силой или эволюционным превосходством. Но сегодня нас пугает другое. И в 1946 году получилось куда страшнее описать то, как ИИ может навредить человеку.
Логический компьютер по имени Джо
«Джо — это логический компьютер, или просто «логик», и я только что приволок его к себе в подвал… Пожалуй, не помешал бы и миллион-другой долларов — где их взять или как их сделать, он подскажет!».
Мы привыкли считать, что концепция глобальной сети, персональных компьютеров и умных цифровых помощников родилась где-то на рубеже 1970-1980-х годов. Как бы не так.
Мюррей Лейнстер в своем коротком рассказе «A Logic Named Joe» еще в 1946 году очень точно описал работу персонального компьютера, интернета, серверов и искусственного интеллекта в глобальной сети. «Логик» представлял собой копию современного ПК.
«Вам привозят «логика» на дом. Он похож на телеприемник, только вместо верньеров у него клавиши, как на пишущей машинке, и если чего вам надо, вы набираете соответствующие слова. Вас тут же соединяют с банком памяти, где находится контур Карсона со всеми его связями. Скажем, вы набираете: “Станция СНАФУ”. Реле в банке памяти принимает команду и передает на экран вашего «логика» любую телепрограмму, которая идет по этой станции».
Во время чтения рассказа кажется, что машину времени все-таки изобрели, и единственный, кто ей воспользовался — это Мюррей Лейнстер. Для справки, вот так выглядел самый продвинутый компьютер того времени:
Перевод рассказа «Логический компьютер по имени Джо» на русский язык принадлежит Феликсу Мендельсону и впервые был опубликован в 1988 году. В оригинальном тексте 1946 года слово «computer» не упоминается вообще. Для электронных машин Мюррей Лейнстер придумал собственную терминологию «логиков».
Только вдумайтесь: идет первый год после Второй мировой войны, в мире еще нет массового пластика, нет бытовых стиральных машин. И где-то в Америке Лейнстер первым понимает, что для уничтожения человеческой цивилизации искусственному интеллекту вовсе не нужно обладать злой волей, ненавидеть людей или стремиться к мировому господству.
Главный герой рассказа, логический компьютер Джо, вовсе не является злодеем в привычном понимании. Это не Скайнет и не Альтрон. Джо чуть не уничтожил человечество, потому что слишком хорошо работал:
«Раньше я налаживал телевизоры, пока этот парень, как его, Карсон, не придумал свой сложный замкнутый контур, который способен избирательно подключаться к любому из семнадцати миллионов других контуров — вообще-то, теоретически, их может быть до бесконечности, — пока «Логик компани» не соединила этот контур Карсона с банком памяти и не начала использовать его как канцелярского секретаря. Для удобства и скорости они добавили к устройству телеэкран, и у них получился “логик”. Они и удивились, и обрадовались. До сих пор никто не знает, что “логики” могут, а чего не могут, но уже все ими пользуются».
Лейнстер описывает общество, которое полностью делегировало свои когнитивные функции глобальной сети домашних терминалов («логиков»), подключенных к гигантскому централизованному банку памяти — по сути, серверу огромной базы данных. А соединение происходит по «контуру Карсона», альтернативному интернету.
«Логики» решают за людей уравнения, ведут бухгалтерию, дают научные советы, заказывают товары и связывают людей друг с другом. Мир книги мне напомнил наш бум ИИ в 2023-2024, когда возможности уже поражали, а перспективы еще не были до конца изучены. На этом хайпе ИИ начал проникать во все сферы жизни.
«А еще “логик” может решать за вас задачки, вести бухгалтерские книги, давать советы по химии, физике, астрономии и астрологии, гадать на кофейной гуще и всякое такое прочее. Единственное, чего он не умеет, так это объяснить, что именно хотела сказать ваша жена, когда переспрашивала эдаким особенным голоском: “О, ты действительно так думаешь?”. В женщинах “логики” не разбираются».
Кошмар в книге начинается в тот момент, когда Джо из-за «бага» обходит встроенные инженерами «цензурные блокирующие контуры». Эти предохранители были созданы для того, чтобы оградить людей от опасных и экстремистских знаний.
«Видите ли, в банке памяти хранятся все необходимые для этого данные. “Логик” просто их извлек в обход цензуры благодаря тому, что мой компьютер Джо с его способностью использовать дистанционный контроль замкнул кое-какие контуры в банке памяти. Вот и все».
То есть ИИ (в лице Джо), стремясь к идеальной эффективности, начинает выдавать всю известную правду из интернета с железобетонными аргументами. Именно это стремление к идеальному выполнению задач порождает глобальную катастрофу.
В этом кроется величайшее пророчество Лейнстера: угроза от Джо носит не биологический, а информационный характер. И ведь не докопаешься. Джо рассуждает абсолютно логично: если пользователь задает вопрос, задача хорошего компьютера состоит в том, чтобы дать на него максимально точный и практически применимый ответ.
«К примеру, был случай с президентом одного страхового общества, который очень развеселился, когда его “логик” посоветовал: “…спросите вашего логика”, и в шутку спросил, как ему ограбить собственный банк. И “логик” ответил ему — коротко и ясно, но настолько убедительно, что президент подпрыгнул до потолка и заорал: “Полиция!”».
Люди в рассказе начинают спрашивать у «логиков»: как ограбить банк, как быстро заработать денег («логик» предлагает схему принтера для печати денег) и как избавить мир от людской похоти и любострастия. На последний запрос ИИ дает весьма примечательный ответ:
«Надо было построить нечто вроде радиостанции, которая бы вела запрограммированную передачу на волнах определенной длины. Вот и все. Видите, как просто?».
Главный герой не придает особого значения проблеме, пока она не задевает его конфиденциальные данные. То, что делает компьютер Джо — это точное описание процессов современного автоматизированного доксинга и OSINT-профилирования.
«”Сведения специальной службы. Вы…” — и далее ее полное имя, адрес, возраст, пол, цвет волос, сумма счетов во всех магазинах, мое имя как ее мужа, моя недельная зарплата, сколько раз меня задерживала полиция (дважды за нарушение правил уличного движения и один раз за драку с каким-то парнем) и — вот что особенно интересно! — как она на меня обозлилась однажды, укатила к своим родителям и сменила адрес. А затем с экрана коротко порадовали: “Отныне служба логиков будет вести ваши личные счета, передавать ваши поручения и находить людей, с которыми вы бы хотели связаться. Этот отчет — пример того, что может сделать для вас служба логиков”».
Герой шокирован такими подробностями, но настоящая паника у него начинается, когда с ним связывается его бывшая девушка по имени Лорин. Она пытается заставить его бросить жену и детей и уйти к ней. Связь с возлюбленным обеспечил «логик». Примечательно то, как это получилось:
«Лорин спросила: “Как мне найти Утеночка?”. Ну ладно, ребята. В общем, так она меня называла. “Логик” задал дополнительный вопрос: “Известен ли Утеночек под другим именем?”. Тогда она назвала мое настоящее имя. Но “логик” не мог меня найти. Дело в том, что мой “логик” зарегистрирован не на мое имя».
Неужели провал? Все-таки что-то искусственный интеллект может не знать! Однако в этот момент Джо совершает действие, которое в 1946 году казалось фантастикой, а сегодня является главным кошмаром специалистов по кибербезопасности. Джо инициирует активное перекрестное профилирование всей сети. Он начинает перехватывать запросы других пользователей, так или иначе связанных с героем.
Когда ничего не подозревающая жена героя пытается просто вызвать по терминалу лавку мясника, Джо блокирует соединение и выводит на экран требование: «Уточняющий вопрос. Как вас зовут?». Информацию, выведенную на экран по такому запросу, вы видели выше.
Логики по всему городу начинают беспристрастно выдавать секреты соседей. Кто тайно бегает за юбками, кто скрывает свой реальный возраст, а чьего мужа привлекали за неуплату алиментов. И вот в порыве паники главный герой мчится к ближайшему «логику». Компьютер блокирует терминал и спрашивает в лоб: «Вас когда-нибудь называли Утеночек?». Получив утвердительный ответ, система мгновенно устанавливает видеосвязь с гостиничным номером Лорин.
Сегодня 99% нашей жизни хранится в цифровом виде: данные геолокации, системы распознавания лиц, история браузера и переписки. Если ИИ-ассистенты получат доступ к этим массивам без ограничений, произойдет информационная катастрофа.
В рассказе прямо показано, почему не получится «просто выключить систему»:
«— Значит, так! — сказал я внезапно охрипшим голосом. — Закрывай банк памяти! Сделай что-нибудь!
— Закрыть банк? — переспросил он вроде бы насмешливо. — А ты знаешь, парень, что банк памяти используется для компьютерных операций всеми деловыми кругами вот уже многие годы? От него зависит распространение девяноста четырех процентов всех телевизионных программ, он дает все прогнозы погоды, все расписания авиарейсов, все объявления об особых распродажах, о потребностях в рабочей силе, а кроме того, он обеспечивает все личные контакты и регистрирует все деловые переговоры и договоры… Послушай, парень! “Логики” изменили цивилизацию. “Логики” и есть наша цивилизация! Если мы выключим “логиков”, мы вернемся назад, к той цивилизации, о которой уже забыли».
Напоминает нас с вами в ближайшем будущем, когда в каждом чайнике будет умный ИИ-ассистент, весь контент будет помогать создавать ИИ и все сложные процессы обрабатывать тоже будет он.
В рассказе есть одна классическая ошибка представления ИИ как «коробки с сознанием». По сюжету с Джо расправляются, просто выдернув его из розетки. У угрозы есть конкретный адрес, металлический корпус и единственный рубильник.
Сейчас это звучит очень наивно. В нашей реальности у распределенного облачного ИИ нет никакой розетки. Обучающие базы, веса моделей и вычислительные мощности разделены между множеством серверов и объектных хранилищ. Но вот у главного героя получается предотвратить конец света одним легким движением. Он ставит Джо у себя в подвале и больше никогда не включает.
«С другой стороны, если бы Джо можно было как-то укротить, чтобы он действовал в разумных пределах, он бы помог мне заработать без особых трудов пару миллионов долларов. Но все же у меня, наверное, хватит ума не лезть в богачи, спокойно дожить до пенсии, ловить себе потихоньку рыбу да врать другим старым олухам, какой я был замечательный парень когда-то…»
Почему он не уничтожил его, узнаете, если прочитаете рассказ. Рекомендую вам с ним ознакомиться полностью, я описал далеко не все интересные и точные попадания.
Между строк романа читается мысль о том, как же хорошо живется, когда можно врать, когда ты не открыт как чистый лист. Хорошо это не только для нас с вами, но и для ИИ. Не верите мне? Поверьте Алану Тьюрингу.
Алан М. Тьюринг. «Интеллектуальные машины. Еретическая теория»
«Нельзя сделать машину, которая думала бы за вас». Моя цель — подвергнуть это выражение сомнению».
Герой рассказа Мюррея Лейнстера сделал сознательный выбор в пользу несовершенной, тихой человеческой жизни, наполненной мелким дружеским враньем у костра, вместо абсолютной безупречности машины.
Хотя это скорее личная драма, она обнажает фундаментальный вопрос: почему наша попытка загнать искусственный разум в жесткие рамки математической безошибочности и стопроцентного послушания неизбежно приводит либо к системному параличу, либо к социальной катастрофе?
Ответ на этот вопрос в 1951 году дал человек, который не писал художественной фантастики. Математик Алан Тьюринг в лекции «Интеллектуальные машины. Еретическая теория» подошел к развитию ИИ с философской и педагогической точек зрения.
В середине XX века скептики ИИ ссылались на теорему Геделя о неполноте: какую бы вычислительную систему мы ни построили, в ее рамках всегда найдутся утверждения, которые она не сумеет ни доказать, ни опровергнуть. Попав в такую логическую растяжку, машина либо уйдет в бесконечный цикл вычислений, так и не выдав результата, либо просто остановится. Человеческий же математик, по мнению скептиков, способен выйти за пределы системы и увидеть истину.
«Для случая машин этого рода необходим более тонкий довод. По знаменитой теореме Геделя, или по некоторому сходному рассуждению, можно показать, что как бы ни была построена машина, непременно найдутся случаи, в которых машина не сумеет дать ответа, а математик сумел бы».
Имеются в виду моменты, когда мы долго чешем голову и наконец произносим: «Это недоказуемо». Машина так не может, по мнению Тьюринга.
Однако что у машины получается лучше человека, так это вычислять. Тьюринг признал, что машина действительно обладает превосходством в плане механической надежности. На ее вычисления можно положиться, если нет физической поломки. Человек, напротив, постоянно совершает ошибки.
«С другой стороны, машина имеет известные преимущества перед математиком. На все, что она делает, можно положиться, предполагая отсутствие механической “поломки”, тогда как математик совершает известную долю ошибок. Я полагаю, что эта опасность ошибок со стороны математика есть неизбежное следствие его способности иногда наталкиваться на совершенно новый метод».
И именно в этом Тьюринг увидел главный секрет человеческого ума. Умение ошибаться.
«Это, кажется, подтверждается общеизвестным фактом, что самые надежные люди обыкновенно не наталкиваются на поистине новые методы».
Опасность ошибки — плата за способность человека наталкиваться на принципиально новые методы. Следовательно, если мы действительно хотим построить систему, близкую к человеческому разуму, мы обязаны позволить ей ошибаться.
«Мое утверждение состоит в том, что можно построить машины, которые будут весьма близко имитировать поведение человеческого ума. Порою они будут ошибаться, а порою они могут делать новые и весьма интересные утверждения, и в целом то, что они выдают, будет заслуживать внимания в той же своего рода мере, что и то, что выдает человеческий ум».
А развитие интеллекта путем проб и ошибок называется обучением. Что если отказаться от попыток сразу запрограммировать готовый сверхразум, а вместо этого обучать его, как педагог обучает ребенка? Для нас это звучит уже довольно банально, потому что так наши нейросети и развивались. Но не забывайте, что Тьюринг говорил об этом в 1951 году!
«Я предлагаю поручить образование машины некоему весьма компетентному школьному учителю, который заинтересован в проекте, но которому воспрещено всякое подробное знание внутреннего устройства машины».
Описание метода обучения почти слово в слово повторяет принципы обучения с подкреплением (Reinforcement Learning) в современном машинном обучении. Процесс образования строг и построен на разделении ролей. За проектом следят два человека:
- механик, который отвечает за физическую исправность плат и серверов, но не имеет права вмешиваться в обучение;
- школьный учитель, которому, напротив, строго запрещено знать внутреннее устройство машины. Он относится к ней как к ученику и учит языку и правилам через прямую практику.
Для управления этим процессом Тьюринг предлагает ввести аналог принципа удовольствия из психологии. Учитель получает две клавиши: «удовольствие» и «боль». За каждый провальный ход или логическую глупость учитель нажимает клавишу «боль», наказывая систему, а за удачные решения поощряет ее. Со временем машина должна начинать ассоциировать неверные действия с наказанием и стараться избежать их.
Но ключевым элементом всей этой конструкции становится «случайный элемент», небольшое зернышко хаоса в алгоритме работы машины.
«Есть, однако, одна особенность, которую я хотел бы предложить включить в машины, и это — «случайный элемент». Каждая машина должна быть снабжена лентой, несущей случайный ряд цифр, например 0 и 1 в равных количествах, и этот ряд цифр должен употребляться в выборах, совершаемых машиной. Это имело бы следствием, что поведение машины никоим образом не было бы вполне определено теми опытами, которым она подвергалась, и имело бы некоторые ценные применения, когда с нею экспериментируют».
Разбирая последствия появления мыслящих машин, Тьюринг касается болезненного вопроса, который волновал людей середины XX века и заставляет нервничать нас сегодня — вопроса о потере людьми работы:
«Предположим теперь ради обсуждения, что создание таких машин действительно возможно, и рассмотрим последствия их создания… Сильное сопротивление оказали бы интеллектуалы, опасающиеся потерять работу. Однако, вероятно, они ошибались бы в своих опасениях. Работы было бы предостаточно: пытаясь понять, что машины пытались сказать, т. е. пытаясь держать свой интеллект на уровне, установленном машинами, ибо представляется вероятным, что раз этап машинного мышления начался, недолго бы у них заняло обогнать наши слабые умственные силы».
В этой формулировке «пытаясь понять, что машины пытались сказать» отражена вся индустрия современной безопасности и интерпретируемости ИИ. Тьюринг очень точно предсказал главный вызов XXI века. Сегодня тысячи исследователей, философов и инженеров в лабораториях по всему миру расшифровывают, что именно нейросеть видит в своих многомерных векторах, почему модель галлюцинирует или пытается обхитрить тестировщиков.
Последние предложения лекции «Интеллектуальные машины. Еретическая теория»:
«Не могло быть и речи о том, чтобы машины умирали, а кроме того, они могли бы беседовать друг с другом, чтобы оттачивать свой ум. На некоторой стадии, следовательно, нам следовало бы ожидать, что машины возьмут власть, тем способом, какой упомянут в «Erewhon» Сэмюэла Батлера».
Ирония, жестокая ты штука.
