Главная
Зарубежная деловая литература
Кейд Метц
Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир
Читать онлайн бесплатно

Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир бесплатное чтение

Кейд Метц
Создатели искусственного гения: О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Памяти Уолта Метца, который верил в правду, добро и красоту

И сейчас настало изумительное время: все, что мы почитали знанием, лопнуло, точно мыльный пузырь.

Том Стоппард, «Аркадия», действие I, сцена 4

Когда будут раскрыты все тайны и утрачен последний смысл, мы останемся одни. На пустынном берегу.

Действие II, сцена 7

Перевод с английского выполнил Павел Самсонов

по изданию: Cade Metz. Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World. – Dutton.

Публикуется с разрешения автора и его литературных агентов Ross Yoon Agency (США) через агентство Александра Корженевского (Россия).

Пролог
Человек, который никогда не садится

Декабрь 2012 г.

Забравшись в автобус, чтобы начать путешествие из Торонто к озеру Тахо, Джефф Хинтон садиться не стал. Он не садился уже семь лет. «Последний раз я присел в 2005 году, – часто рассказывал он, – и это было ошибкой». Еще будучи подростком, он надорвал спину, когда по просьбе матери хотел переставить тяжеленный тепловой аккумулятор. Когда годы стали приближаться к шестидесяти, каждый раз, когда он присаживался, возникала опасность, что спину прострелит – а если спину прострелит, боль гарантированно прикует его к постели на несколько недель. Поэтому он перестал садиться. В своем кабинете в университете Торонто он работал, стоя за высоким столом. Чтобы поесть, он клал на пол пенопластовый коврик и становился на колени перед низким столиком, словно буддистский монах, готовящийся к медитации. В машине он ложился на заднее сиденье. А на большие расстояния предпочитал перемещаться поездом. Летать он не мог, по крайней мере коммерческими рейсами, потому что там его принуждали садиться на место во время взлета и посадки. «Дошло до того, что я начал опасаться, что в какой-то момент превращусь в неспособного передвигаться инвалида, так все было серьезно, – говорит он. – Если эту проблему запустить, других проблем у тебя уже не будет».

Той осенью, прежде чем, лежа на заднем сиденье автобуса, добраться до Нью-Йорка, потом поездом доехать до станции Траки, находящейся за перевалом хребта Сьерра-Невада в штате Калифорния, а оттуда уже, лежа на заднем сиденье такси, еще полчаса подниматься выше в горы к спрятавшемуся там озеру Тахо, Джефф Хинтон основал новую фирму. В ее штате было еще два человека, оба – аспиранты из его лаборатории. Никакой продукции они не выпускали. У них и планов таких не было. И на странице их веб-сайта отображалось лишь одно их название¹ – DNNresearch, – еще менее привлекательное, чем сама страница. Шестидесятичетырехлетний Хинтон, который в стенах университета чувствовал себя как дома – всегда в шерстяном свитере, со взъерошенной сединой и вечными шутками-прибаутками, – не очень-то и хотел создавать эту фирму, но эти двое аспирантов насели и таки уговорили его. Но еще до того, как он добрался до озера Тахо, одна из крупнейших китайских компаний уже успела предложить за его новорожденный стартап 12 миллионов долларов, а чуть позже к торгу подключились еще три компании, в том числе две крупнейшие американские.

Он направлялся к Harrah’s и Harvey’s, двум отелям-казино, расположенным у подножия горнолыжного склона на южной стороне озера. В этих двух гигантских зданиях из стекла, стали и бетона, которые, словно близнецы, возвышаются над невадскими соснами, размещались не только залы казино, но и гостиничные номера, просторные конференц-залы и огромное количество (второразрядных) ресторанов. В том декабре там проходила ежегодная научная конференция, сокращенно именуемая NIPS, что расшифровывается как «нейронные системы обработки информации». Основной сферой интересов ученых, съезжающихся на эту конференцию, является искусственный интеллект (ИИ). Уроженец Лондона, один из первопроходцев, занимавшийся тематикой ИИ с начала 1970-х годов в крупнейших университетах Великобритании, США и Канады, Хинтон посещал эти конференции едва ли не каждый год. Но в этот раз все было по-другому. Хотя китайцы уже четко обозначили свою заинтересованность, он знал, что другие претенденты тоже не заставят себя ждать, и конференция NIPS представлялась ему идеальным местом для проведения такого аукциона.

За два месяца до этого Хинтону и его студентам удалось фундаментальным образом усовершенствовать систему «компьютерного зрения». Они построили так называемую искусственную нейронную сеть, математическую систему, моделирующую биологическую сеть нейронов в мозгу, которая оказалась способна распознавать образы самых обычных объектов² – будь то цветы, собаки или автомобили – с немыслимой точностью. Как показали Хинтон и его студенты, такая нейронная сеть может научиться вполне по-человечески распознавать образы, анализируя огромные объемы входящих данных. Методика «глубокого обучения», как назвал этот процесс сам Хинтон, обладала колоссальным потенциалом, и это касалось не только технологий компьютерного зрения, но имело широкие перспективы во множестве других направлений, начиная с «голосовых помощников» и заканчивая разработкой новых лекарств.

Само понятие нейронных сетей восходит к 1950-м годам, но первым ученым, занимавшимся ими, долгое время не удавалось заставить их работать так, как хотелось бы. К началу нового тысячелетия большинство ученых опустили руки и отказались от дальнейших исследований, убежденные в том, что это тупиковая ветвь научно-технического прогресса, и разуверившиеся в распространившемся за полвека представлении, что эти математические системы способны тем или иным образом имитировать работу человеческого мозга. Те же ученые, которые продолжали работать над этой темой, предпочитали маскироваться и, когда подавали свои статьи в научные журналы, заменяли словосочетание «искусственные нейронные сети» терминологией, не так резавшей слух разочаровавшейся ученой братии. Хинтон оставался одним из тех, кто твердо верил, что однажды все образуется, и продолжал работать над созданием машин, способных не только распознавать образы объектов, но также различать произносимые слова, понимать естественный язык, поддерживать беседу и, может быть даже, решать задачи, которые не под силу человеческому мозгу, что позволяло бы открывать новые пути постижения тайн биологии, медицины, геологии и других наук. Его позицию считали эксцентричной даже в стенах его родного университета; руководство на протяжении многих лет отказывало ему в просьбе нанять еще одного специалиста, который бы мог сопровождать его на этом трудном и извилистом пути к созданию машин, способных учиться самостоятельно. «Одного сумасшедшего, работающего над этим, более чем достаточно», – так он любил объяснять их позицию.

Но вот весной и летом 2012 года Хинтон и его двое аспирантов совершили настоящий прорыв: они показали, что искусственная нейронная сеть способна распознавать обычные объекты с точностью, выходящей далеко за рамки возможностей любых других технологий. В девятистраничной статье, опубликованной осенью того же года, они провозгласили на весь мир, что идея нейронных сетей все же восторжествовала, как это Хинтон давным-давно предсказывал.

Несколько дней спустя Хинтон получил письмо от Кая Юя, еще одного специалиста по ИИ, работавшего на китайскую технологическую компанию Baidu. Казалось бы, у Хинтона и Юя было очень мало общего. Хинтон родился в семье выдающихся британских ученых, авторитет которых соперничал лишь с их эксцентричностью, учился в Кембридже, потом закончил аспирантуру Эдинбургского университета, где получил ученую степень по специальности «Искусственный интеллект», и последующие тридцать лет занимался преподавательской работой и исследованиями в области информатики. Юй родился на тридцать лет позже Хинтона в коммунистическом Китае. Он был сыном инженера, работавшего на автозаводе, учился в Нанкине, затем в Мюнхене, а потом нашел работу в одной из научных лабораторий Кремниевой долины. Эти два человека были совершенно разными по происхождению, возрасту, культурной, языковой, географической принадлежности, но их объединял общий интерес к необычному предмету: искусственным нейронным сетям. Первый раз они встретились в Канаде во время научного семинара, который был созван в надежде оживить эту почти уснувшую область исследований. В этих же целях был проведен ребрендинг идеи нейронных сетей, и в научный обиход вошло понятие «глубокое обучение». Юй был в числе тех, кто помогал распространять это новое «евангелие». Когда он вернулся в Китай, на его научную деятельность положил глаз генеральный директор Baidu. И когда исследователи из Университета Торонто выпустили в свет свою девятистраничную статью, Юй доложил членам мозгового штаба Baidu, что им стоит как можно скорее нанять Хинтона. В своем письме он представил Хинтона вице-президенту Baidu, и тот предложил Хинтону 12 миллионов долларов в обмен на несколько лет совместной работы.

Если в Пекине считали, что дело на мази, то сам Хинтон не был в этом уверен. За последние месяцы у него наладились отношения с представителями нескольких других компаний, как крупных, так и не очень, включая двух крупнейших американских конкурентов Baidu. Те тоже звонили ему в Торонто и спрашивали, не захочет ли он перейти к ним на работу вместе со своими аспирантами. Видя перед собой такой широкий спектр возможностей, он спросил у руководства Baidu, согласны ли они на то, чтобы он, прежде чем принять предложенные 12 миллионов, рассмотрел другие варианты. Когда они согласились, он смог перевернуть ситуацию с ног на голову. Подстрекаемый своими аспирантами, да и сам понимающий, что Baidu и их конкуренты с большей охотой заплатят огромные деньги за готовую компанию, вместо того чтобы за ту же сумму нанимать в свой штат нескольких ученых, он учредил свой крошечный стартап. Название компании, DNNresearch, содержало в себе отсылку к «глубоким нейронным сетям» (deep neural networks), на которых они специализировались, и Хинтон поинтересовался у своего юриста в Торонто, как бы ему добиться максимальной продажной цены для компании из трех сотрудников, ничего не производящей и не имеющей за плечами практически никакой истории. Юристу виделись два варианта: Хинтон мог бы нанять профессионального переговорщика, рискуя обозлить потенциальных покупателей его крошечного предприятия, или устроить аукцион. Хинтон выбрал аукцион. В конечном счете свои заявки на участие в аукционе подали четыре претендента: Baidu, Google, Microsoft и еще одна небольшая фирма, которая существовала лишь два года и о которой мало кто слышал. Это была лондонская фирма DeepMind, основанная нейробиологом Демисом Хассабисом, которая в последующее десятилетие значительно выросла и вошла в число наиболее известных и влиятельных лабораторий, занимающихся искусственным интеллектом.

За неделю до аукциона Алан Юстас, главный инженер Google, прилетел на южный берег озера Тахо на собственном двухмоторном самолете. Там он пригласил Хинтона и его аспирантов на ужин в один из ресторанов на верхнем этаже комплекса Harrah’s, стейк-хаус, украшенный тысячей пустых бутылок из-под вина. Это был шестьдесят пятый день рождения Хинтона. Там присутствовал также один из ведущих инженеров Google Джефф Дин. Сам Хинтон стоял возле барной стойки, а остальные сидели на табуретах и обсуждали амбиции Google, предстоящий аукцион и последние результаты исследований, проводящихся в торонтской лаборатории. Посланцы Google видели главную цель этого ужина в том, чтобы ближе присмотреться к юным аспирантам Хинтона, которых они до того дня в глаза не видели. Компании Baidu, Microsoft и DeepMind также прислали своих представителей на конференцию, и некоторые из них приняли участие в аукционе. Кай Юй из Baidu, по наущению которого и началась эта гонка за Хинтоном и его студентами, тоже встретился с ними троими до начала торгов. Но все вместе – в одно время и в одном месте – претенденты так и не собрались. Аукцион проводился дистанционно: предложения поступали по электронной почте от руководителей заинтересованных компаний – из Калифорнии, Лондона и Пекина. И Хинтон позаботился о том, чтобы участники аукциона не знали друг о друге.

Сам он руководил аукционом, оставаясь в своем номере (731) в отеле Harrah’s, выходившем окнами на снежные горные пики и поросшие соснами склоны. Каждый день он назначал время для очередного раунда торгов, и к условленному часу он и его аспиранты собирались в его двухместном номере и следили за поступающими предложениями через ноутбук. Чтобы Хинтон мог стоя пользоваться ноутбуком, они поместили его на перевернутую мусорную корзину, которую водрузили на стол. Предложения доставлялись через Gmail, онлайновый почтовый сервис Google, – просто потому, что Хинтон пользовался именно этой почтой. Надо сказать, что у Microsoft это первоначально вызвало возражения. Незадолго до аукциона компания высказала опасение, что Google, ее главный конкурент, будет иметь возможность заглядывать в письма своих соперников и пользоваться этим в своих интересах. Хинтон ранее уже обсуждал такую возможность со своими аспирантами, хотя его это беспокоило в меньшей степени и лишь подвигло на лукавый комментарий о растущем могуществе Google. Строго говоря, руководители Google действительно имели доступ к любым письмам, отправляемым через Gmail. Хотя по условиям использования почтового сервиса они обязывались не делать этого, технически они могли нарушить свои обязательства, причем так, что об этом никто бы и не узнал. В конце концов Хинтон и Microsoft решили отбросить свои сомнения («Мы были вполне уверены, что Google не станет читать наши письма», – вспоминал он впоследствии), и это был судьбоносный момент, хотя на тот момент никто из участников этого не сознавал.

Правила аукциона были простые: сделав заявки, четыре компании имели в своем распоряжении час времени, чтобы поднять предлагаемую цену как минимум на миллион долларов. Этот часовой обратный отсчет начинался в тот момент, когда приходила последняя из заявок, и, если по истечении часа никто новых предложений не вносил, торги закрывались. Компания DeepMind в своих заявках предлагала не деньги, а собственные акции, но ей было не под силу тягаться с тремя гигантами, и она быстро сошла с дистанции. Оставались Baidu, Google и Microsoft. Ставки продолжали расти, и когда они достигли 15, а потом и 20 миллионов, компания Microsoft тоже было отказалась от дальнейшего участия, но потом вернулась. Каждая минута на протяжении торгов держала Хинтона и его аспирантов в напряжении, и они не переставали обсуждать, какой из компаний им все-таки стоит отдать предпочтение. Ближе к вечеру, любуясь в окно на горнолыжные склоны и вершины гор, они увидели в небе два самолета, которые, разлетаясь в разные стороны, оставили после себя дымный след в форме огромного Х. Возбужденные всей этой атмосферой, они начали спорить, что могло бы означать это знамение, и вдруг вспомнили, что штаб-квартира Google располагается в городе под названием Маунтин-Вью, то есть «горный вид». «Означает ли это, что мы должны присоединиться к Google? – спросил Хинтон. – Или это означает, что не должны?»

Когда цена достигла 22 миллионов, Хинтон приостановил торги для консультации с одним из претендентов, и полчаса спустя компания Microsoft вновь выпала из числа соискателей. Остались Baidu и Google, которые продолжали поднимать ставки. Со стороны Baidu торгами первоначально занимался Кай Юй, но, когда цена достигла 24 миллионов, один из директоров компании взял управление на себя. Юй же время от времени захаживал в номер 731 в надежде хоть как-то почувствовать, что там происходит с торгами.

Хотя Юй даже не подозревал об этом, его визиты составляли для Хинтона немалую проблему. Ему было уже шестьдесят пять, и его организм плохо переносил климат озера Тахо, где воздух сухой, холодный и разреженный. Он боялся заболеть, а еще больше боялся, как бы Юй или кто-нибудь еще не увидели его в болезненном, немощном состоянии. «Я не хотел, чтобы они видели во мне больного старика», – говорит он. Поэтому он снял матрас с раздвижного дивана, стоявшего у стены, и положил его на пол между двумя кроватями. Над матрасом он соорудил навес, перекинув с кровати на кровать гладильную доску и несколько других подобных предметов. Вечером он развешивал на этом каркасе мокрые полотенца и спал каждую ночь под этим импровизированным балдахином, дыша влажным воздухом. Хинтон полагал, что это поможет ему не заболеть. Проблема была, однако, в том, что в дни аукциона Юй, круглолицый коротышка в очках, то и дело заглядывал к нему в номер поболтать. И Хинтону не хотелось, чтобы Юй увидел, как он старается не заболеть. Поэтому каждый раз, когда Юй просил разрешения зайти, он поручал двум своим помощникам-студентам спрятать с глаз матрас, гладильную доску и мокрые полотенца. «Самая подходящая работа для вице-президентов», – говорил он им.

После одного такого визита Юй забыл у них свой рюкзачок, и, когда они увидели его на стуле, возникло искушение заглянуть туда и, может быть, обнаружить там что-то, что подскажет, как высоко компания Baidu намерена продолжать поднимать ставки. Но они не стали этого делать, решив, что это было бы непорядочно. В любом случае они скоро узнали, что компания Baidu была готова заплатить гораздо больше: и 25, и 30, и 35 миллионов. И каждая такая новая заявка приходила за минуту или две до истечения часа, после чего торги, которые, казалось, вот-вот закончатся, снова продлевались.

Когда ставки поднялись так высоко, Хинтон решил сократить время на размышление с часа до тридцати минут. Цифры пошли вверх быстрее: 40 миллионов, 41 миллион, 42 миллиона, 43 миллиона… «Мы чувствовали себя почти как в кино», – говорит он. В один из вечеров он приостановил торги уже почти в полночь, когда цена достигла 44 миллионов. Ему нужно было хоть немного поспать.

На следующий день, примерно за полчаса до запланированного возобновления аукциона, он отправил участникам письмо о том, что начало торгов откладывается. Еще через час они получили новое письмо: аукцион завершен. Ночью Хинтон принял окончательное решение продать свою компанию Google – больше не делая попыток дальнейшего повышения цены. В письме, адресованном руководству Baidu, он дал понять, что в дальнейшем любые сообщения от них будут переадресовываться его новому работодателю, хоть и не упомянул, кто именно этот работодатель.

Как он позже признался, на Google он был настроен изначально. Даже Кай Юй был уверен в том, что Хинтон в конечном счете отдаст предпочтение Google или какой-то другой американской компании, потому что с его спиной перебираться в Китай было проблематично. В этой связи Юй почитал за счастье уже то, что компания Baidu оказалась в числе претендентов. Этот аукцион, заставивший американских конкурентов пойти во все тяжкие, полагал он, показал руководителям Baidu, какой огромный потенциал на многие годы вперед таится в технологии глубокого обучения.

Хинтон остановил аукцион потому, что найти оптимальное место для проведения дальнейших исследований было для него гораздо важнее, чем получить максимально возможную цену. Когда он дал знать представителям Google, что останавливает торги на отметке 44 миллиона долларов, они поначалу решили, что он шутит, ведь цену можно было еще поднимать и поднимать. Но он не шутил, и его аспиранты так же хорошо понимали ситуацию, как и он сам. Они были ученые, а не предприниматели, и они преданы в первую очередь идее.

Но Хинтон до конца сам не сознавал, насколько ценной окажется эта идея. Никто этого не сознавал. Вместе с небольшой группой других ученых – распределенных по все тем же четырем компаниям, которые участвовали в аукционе, плюс еще один американский интернет-гигант, а впоследствии плюс еще один новый стартап – Хинтон и его аспиранты сумели внедрить эту идею в самое сердце IT-индустрии. Это позволило резко ускорить прогресс разработок искусственного интеллекта, включая разработки в области голосовых помощников, беспилотных автомобилей, робототехники, кибермедицины, а также – хоть это и не входило в первоначальные намерения – кибероружия и кибербезопасности. «Это изменило мой (и не только мой) взгляд на высокие технологии», – говорит глава инженерного подразделения Google Алан Юстас.

Некоторые ученые, в частности Демис Хассабис, молодой нейробиолог и один из основателей DeepMind, даже поверили в то, что им со временем удастся создать такую машину, которая будет способна делать все, что может делать человеческий мозг, только лучше, и это позволит осуществить ту самую мечту, которая вдохновляла первопроходцев компьютерной эры. Никто не может сказать, когда такая машина появится. Но даже в обозримой перспективе распространение «умных» – хоть еще и далеких от настоящего интеллекта – машин будет иметь колоссальные социальные последствия. Эти могущественные технологии всегда пленяли и пугали людей, и человечество время от времени пыталось играть с ними. На этот раз ставки настолько высоки, что даже самые выдающиеся умы не представляют, куда это может нас завести. Развитие методики глубокого обучения знаменовало фундаментальные изменения в самом построении цифровых технологий. Вместо того чтобы тщательно предопределять, как должна вести себя машина – правило за правилом, команда за командой, – инженеры приступили к созданию машин, которые учатся решать задачи на своем собственном опыте, и этот опыт охватывает совершенно колоссальные массивы цифровой информации, которые неспособна уместить в себе никакая человеческая голова. В результате возникнет новая порода машин, которые будут не только более могущественными, чем все предыдущие, но также более таинственными и непредсказуемыми.

Когда эта технология обучения только начинала распространяться в интернете, никто еще толком не сознавал, что обучающиеся машины впитывают в себя также и все предрассудки своих создателей. Ученые, первоначально занимавшиеся их созданием, – это по преимуществу белые мужчины, и все нюансы проблематики они оказались способны уловить только тогда, когда им на них указали представители нового поколения исследователей, включающего в себя женщин и небелых. По мере того, как эта технология продвигается все дальше и глубже – в системы здравоохранения, государственной безопасности и в вооруженные силы, – этот перекос может иметь серьезные последствия. Технология глубокого обучения обладает внутренней силой, которую до конца не способны контролировать даже сами разработчики этой технологии, особенно когда эта сила попадает в руки компаний-гигантов, движимых ненасытным стремлением к прибыли.

После того как аукцион, организованный Хинтоном, завершился и подошла к концу конференция NIPS, Кай Юй самолетом отправился в Пекин. На борту он наткнулся на научного сотрудника Microsoft, урожденного китайца по имени Ли Дэн, который тоже сыграл свою роль в аукционе. Юй и Дэн знали друг друга много лет по конференциям и семинарам, посвященным проблематике ИИ, и вот в самолете их места оказались рядом. Хинтон позаботился о том, чтобы ни одна компания, участвовавшая в аукционе, не знала, кто еще участвует, а знать очень хотелось. Дэн любил пообщаться, и они на протяжении всего многочасового перелета бурно обсуждали тему подъема технологии глубокого обучения. Но что касается их участия в аукционе, то здесь они были привязаны клятвой верности своим работодателям и потому, напрямую не говоря об этом, ходили вокруг да около, пытаясь выведать секреты друг у друга и при этом не выдать себя. Да они и без лишних слов понимали, что новая конкурентная война уже началась. Их компаниям так или иначе предстояло дать достойный ответ на этот прорыв Google. Так уж устроен мир интернет-технологий. Это было начало глобальной гонки вооружений, и эта гонка очень скоро приведет к таким последствиям, которые еще несколько лет назад казались немыслимыми.

А Джефф Хинтон тем временем возвращался поездом в Торонто. Через некоторое время он переберется в калифорнийский Маунтин-Вью, где располагается головной офис Google, но, даже став штатным сотрудником этой компании, он сохранит за собой должность профессора Университета Торонто и будет продолжать держаться за свою систему принципов и убеждений, служа примером для многих других ученых, которые вслед за ним пополнили ряды крупнейших технологических компаний. Когда его годы спустя спросили, какие все-таки компании участвовали в том аукционе, он ответил как всегда своеобразно. «Я подписал контракты, которые запрещают мне разглашать, с кем мы вели переговоры, – сказал он. – Один такой контракт я подписал с Microsoft, другой с Baidu, третий с Google. Так что лучше не будем об этом». DeepMind он не упомянул. Но это другая история. После аукциона на озере Тахо Демис Хассабис, основавший лондонскую лабораторию DeepMind, во многом пошел по стопам Хинтона. В чем-то его открытия вторили открытиям последнего, в чем-то он проникал в будущее даже еще дальше. Очень скоро Хассабис тоже вовлекся в глобальную гонку вооружений.

В этой книге рассказывается о Хинтоне, Хассабисе и других ученых, которые стояли у истоков этой гонки, о небольшой, но весьма разношерстной группе исследователей со всего земного шара, которые десятки лет вынашивали свою идею, порой преодолевая неприкрытый скептицизм, пока эта идея не вызрела и не вызвала невероятную, неожиданную суматоху, которая затронула жизненные интересы крупнейших мировых корпораций.

Часть первая
Машина нового типа

Глава 1
Генезис. «Мыслящее чудовище Франкенштейна, родившееся в недрах ВМС»

Седьмого июля 1958 года несколько человек³ собрались в офисе Бюро погоды США, расположенного в Вашингтоне, в пятнадцати кварталах от Белого дома. Они обступили электронную машину шириной и высотой с холодильник, но вдвое большую по глубине. Впрочем, это была лишь одна из частей огромного компьютера, другие части которого заполняли комнату, словно мебельный гарнитур. Машина была покрыта серебристым пластиком, отражавшим свет, а передняя панель – усеяна рядами маленьких круглых лампочек, красных квадратных кнопок и толстых пластиковых тумблеров, частично белого, частично серого цвета. Обычно эта электронно-вычислительная машина стоимостью в 2 миллиона долларов⁴ выполняла расчеты для Бюро погоды, предшественника нынешней Национальной метеослужбы, но в тот день ее позаимствовали⁵ специалисты из научно-исследовательского управления ВМС и тридцатилетний профессор Корнеллского университета по имени Фрэнк Розенблатт.

Как сообщает присутствовавший там газетный репортер, Розенблатт и сопровождавшие его военно-морские инженеры⁶ вставили в машину две белые карточки, одна из которых была помечена маленьким квадратиком слева, а другая – таким же квадратиком справа. Поначалу машина не могла их различить⁷, но после прочтения еще полусотни таких карточек⁸ ситуация изменилась. Почти в каждом случае машина правильно определяла, где расположена отметка – слева или справа. Как объяснил Розенблатт, машина освоила этот навык вполне самостоятельно⁹ – благодаря математической системе, моделирующей работу человеческого мозга. Он назвал эту систему «Перцептроном»¹⁰. В будущем, говорил он, эта система научится распознавать¹¹ печатные буквы, слова, написанные от руки, голосовые команды и даже человеческие лица. Она сможет переводить¹² слова и тексты с одного языка на другой. И теоретически, добавлял он, она сможет сама себя клонировать¹³ на сборочном конвейере, исследовать далекие планеты и перейдет границу, разделяющую электронные компьютеры и живой разум.

«ВМС представили эмбрион¹⁴ будущего электронного компьютера, который, как ожидается, научится ходить, разговаривать, видеть, писать, размножаться и осознавать свое существование», – говорится в статье, которая наутро появилась в New York Times. Вторая статья¹⁵, уже в воскресном номере, утверждала, что инженеры ВМС даже сомневаются, правильно ли называть это творение машиной – «настолько она будет похожа на человека, пусть и неживая». Розенблатту не очень нравилось¹⁶ то, как это событие трактовалось прессой, – особенно заголовок одной из газет Оклахомы: «Мыслящее чудовище Франкенштейна, родившееся в недрах ВМС». В последующие годы его пыл поугас, и он, как в кругу коллег, так и в СМИ, описывал этот проект в гораздо более сдержанных красках¹⁷. Он настаивал¹⁸ на том, что речь не шла о попытке создания искусственного интеллекта и что он прекрасно сознавал весьма ограниченные возможности этой системы. И однако сама идея выскользнула из его пальцев и перестала быть его идеей.

«Перцептрон» был одной из первых нейронных сетей, ранним воплощением той самой технологии, которую Джефф Хинтон продал за огромные деньги на аукционе более чем полвека спустя. Но прежде чем цена этой идеи достигла 44 миллионов долларов, не говоря уже о наступлении того экстравагантного будущего, предсказанного на страницах New York Times, она была надолго засунута в темный чулан науки. К началу 1970-х, когда все эти громкие прогнозы разбились о недостатки, присущие технологии Розенблатта, идея практически умерла.

* * *

Фрэнк Розенблатт родился¹⁹ в 1928 году в городе Нью-Рошелл, в штате Нью-Йорк чуть севернее Бронкса. Учился он в Bronx Science²⁰, элитной муниципальной школе, из которой вышли восемь лауреатов Нобелевской премии²¹, шесть лауреатов Пулитцеровской премии, восемь лауреатов Национальной научной медали США²² и трое лауреатов премии Тьюринга²³, самой престижной награды за достижения в области информатики. Этот щуплый коротышка с пухлыми щеками и коротко стриженными черными курчавыми волосами, носивший очки в черной оправе, получил диплом в области психологии, но сфера его интересов была гораздо шире. В 1953 году в New York Times вышла статья²⁴ с описанием тогдашнего компьютера, который он использовал для обработки данных – а именно психологических профайлов своих пациентов – при работе над докторской диссертацией. Это был ЕРАС – «электронная вычислительная машина для анализа профайлов». С годами он все больше утверждался во мнении, что такого рода машины могут в еще большей степени помочь разгадать тайны разума. Защитив диссертацию, он поступил на работу в Корнеллскую лабораторию аэронавтики²⁵, расположенную в Буффало, почти в ста пятидесяти милях от главного кампуса Корнеллского университета в Итаке. Переданный Корнеллскому университету компанией, производившей в годы Второй мировой войны боевые самолеты, этот авиационный научно-исследовательский центр в послевоенные годы приобрел более разносторонний характер и обладал в отношениях с Итакой значительной автономией. Именно там Розенблатт создал свой «Перцептрон», выполняя заказ научно-исследовательского управления ВМС.

Розенблатт рассматривал этот проект²⁶ как окно, позволяющее заглянуть во внутреннее устройство мозга. Если бы удалось создать компьютерную модель человеческого мозга, полагал он, это помогло бы разгадать многие тайны «естественного интеллекта», как он его называл. Опирающийся на идеи, высказанные десятилетием ранее двумя учеными из Чикагского университета, «Перцептрон» анализировал объекты и искал в них устойчивые качества, позволяющие эти объекты идентифицировать (например, карточка имеет отметку слева или справа). Это достигалось путем серии математических вычислений, которые моделировали (в самом широком смысле) сеть нейронов в мозгу. Когда «Перцептрон» анализирует и пытается идентифицировать объект, его попытки иногда оказываются удачными, а иногда нет. Но он способен учиться на своих ошибках, методично корректируя все эти математические расчеты, так что ошибки случаются все реже. Подобно нейронам в мозгу, каждое вычисление само по себе практически ничего не значит, это лишь скромный винтик в общем алгоритме. Но алгоритм в целом – своего рода математический рецепт – может быть очень даже значимым и полезным. По крайней мере, именно на это возлагалась надежда. Во время той демонстрации в Бюро погоды летом 1958 года Розенблатт показал лишь самые зачатки этой методики²⁷ – имитацию работы «Перцептрона» с использованием принадлежащего Бюро погоды компьютера IBM 704, самой распространенной коммерческой ЭВМ на то время. Вернувшись в свою лабораторию в Буффало, он вместе с командой инженеров приступил созданию совершенно новой машины, основанной на той же самой идее. Машина получила название Mark I. В отличие от других компьютеров того времени, эта электронная машина должна была научиться видеть мир вокруг себя – в этом была ее главная задача. «Впервые в истории небиологическая система²⁸ научится подстраиваться под организацию внешней среды», – заявил он репортерам позже в том же году, когда опять отправился в Вашингтон на встречу со своими спонсорами.

Его главный куратор от научно-исследовательского управления ВМС²⁹, с которым он непосредственно сотрудничал, не разделял его слишком оптимистичных и даже экстравагантных взглядов на «Перцептрон», но Розенблатт не сдавался. «Мой коллега не одобряет³⁰ всех этих нынешних разговоров о механическом мозге, – признался он одному журналисту за чашечкой кофе, – но все так и есть». Он взял в руки маленькую серебряную солонку³¹, стоявшую перед ним на столике. Вот я эту солонку первый раз вижу³², объяснял Розенблатт, но все равно знаю, что это солонка. «Перцептрон» способен делать то же самое³³. Он способен делать умозаключения³⁴, позволяющие, скажем, отличить собаку от кошки. При этом Розенблатт признавал³⁵, что этой технологии нужно пройти еще долгий путь, прежде чем она сможет иметь какое-то прикладное значение: пока что «Перцептрону» недостает глубины восприятия и «тонкости суждений». Но в его потенциале Розенблатт не сомневался. Однажды, говорил он³⁶, «Перцептрон» отправится в космос и будет сообщать на Землю свои наблюдения. Когда журналист спросил³⁷, есть ли на свете то, на что «Перцептрон» не способен, Розенблатт поднял руки. «Любовь. Надежда. Отчаяние³⁸. Человеческая природа, короче говоря. Если мы сами не понимаем природу человеческого полового влечения, то как можно ждать этого от машины?»

В декабре того же года журнал New Yorker восславил³⁹ творение Розенблатта как способное всерьез соперничать с человеческим мозгом. Незадолго до этого авторы журнала⁴⁰ изумлялись способности компьютера IBM 704 играть в шахматы. А теперь они описывали⁴¹ «Перцептрон» как еще более удивительную машину, как компьютер, который способен научиться «мыслить по-человечески». Хотя ученые утверждают⁴², что видеть, чувствовать и мыслить способны только биологические системы, говорилось в журнале, «Перцептрон» ведет себя так «словно он видит, чувствует и мыслит». Правда, машину эту Розенблатт еще не построил⁴³, но это казалось пустяком. «Ее непосредственное создание лишь вопрос времени⁴⁴ (и денег)», – утверждал журнал.

Процесс создания Mark I был завершен⁴⁵ в 1960 году. Компьютер представлял собой шесть шкафов, наполненных всяческим электрическим снаряжением, и каждый шкаф был размером с большой холодильник. К компьютеру было присоединено также нечто вроде огромного студийного фотоаппарата. Это и был фотоаппарат, только пленку инженеры заменили небольшим квадратным устройством, которое было усеяно четырьмя сотнями черных точек. Это были фоторезисторы, реагирующие на изменение освещенности. Розенблатт и его инженеры напечатали на больших листах картона буквы – A, B, C, D и т. д., – и, когда одну из этих букв располагали на подставке перед объективом фотоаппарата, фоторезисторы отличали черный цвет букв от белого фона. При этом компьютер учился распознавать форму букв – примерно так же, как это происходило с помеченными карточками во время показа в Бюро погоды. Разумеется, первоначально процесс учебы не обходился без помощи человека: по мере того как машина распознавала буквы, оператор сообщал ей, правильный ответ она дает или нет. Но с течением времени компьютер учился и сам на своих ошибках, постепенно выявляя определенные характеристики, отличавшие одну букву от другой: наклонную линию буквы А, двойную дугу буквы В… При демонстрации способностей машины Розенблатту нужно было доказать, что она действительно самообучаемая. Он открывал один из шкафов и отсоединял какие-то провода, разрывая таким образом контакт между моторами, исполнявшими роль псевдонейронов. Когда провода возвращались на место, машине приходилось заново учиться распознавать буквы, но, просмотрев новую серию карточек, она успешно восстанавливала утраченный навык и снова работала так же, как прежде.

Это хитроумное изобретение работало достаточно хорошо, чтобы интерес к нему проявили не только в научно-исследовательском управлении ВМС. В течение следующих нескольких лет разработкой тех же самых идей занялись в Стэнфордском научно-исследовательском институте, а кроме того, лаборатория Розенблатта заручилась контрактами с почтовой службой США и военно-воздушными силами. Почтовая служба нуждалась в устройстве, способном автоматически прочитывать адреса на конвертах, а интерес ВВС заключался в возможности идентификации объектов на аэрофотоснимках. Но все это было делом далекого будущего. Система, разработанная Розенблаттом на тот момент, едва справлялась с распознаванием печатных букв, что было сравнительно простой задачей. Когда система анализировала карточки с изображением буквы А, каждый из фоторезисторов реагировал на определенный участок на карточке. Скажем, один из резисторов отвечает за нижний правый угол. Если в этом месте черный цвет появляется чаще, чем белый, машина придает этому участку больший «весовой коэффициент», а это означает, что он играет более значимую роль в тех математических расчетах, которые в конечном счете определяют, что является буквой А, а что нет. При прочтении новой карточки машина сможет узнать букву А, если большинство наиболее весомых участков черные. Вот и вся технология. И конечно, такая система была совершенно не приспособлена для распознавания рукописного текста, где уловить закономерности значительно сложнее.

Несмотря на очевидные недостатки своей системы, Розенблатт продолжал смотреть в будущее с оптимизмом. Другие тоже верили в то, что в последующие годы эта технология усовершенствуется и позволит решать более сложные задачи. Но вскоре она наткнулась на очень серьезное препятствие в лице Марвина Мински.

* * *

Фрэнк Розенблатт и Марвин Мински⁴⁶ учились в Bronx Science в одно и то же время. Правда, в 1945 году родители Марвина⁴⁷ перевели его в другую школу, частную Академию Филлипса в Эндовере, которая, как считалось, давала наилучшую подготовку для поступления в вузы, а после окончания войны он поступил в Гарвард. Но впоследствии он говорил⁴⁸ о том, что нигде ему не было так хорошо учиться, как в Бронксе: там и сложность заданий постоянно держала в тонусе, и учащиеся были более амбициозные: «с ними ты мог обсуждать свои самые замысловатые идеи, и никто не смотрел на тебя свысока», – говорил он. После смерти Розенблатта Мински назвал своего старого однокашника⁴⁹ воплощением того творческого мышления, к которому приучает школа Bronx Science. Как и Розенблатт, Мински был одним из первопроходцев в разработках искусственного интеллекта. Но смотрел он на эти разработки через совсем другую призму.

Будучи студентом Гарвардского университета⁵⁰, Мински из трех с лишним тысяч радиоламп и нескольких деталей от бомбардировщика В-52 построил устройство, которое он назвал SNARC, – возможно, первую в истории искусственную нейронную сеть. Затем, поступив в аспирантуру в начале 1950-х⁵¹, он продолжал изучать математические концепции, которые, среди прочего, привели к созданию «Перцептрона». Однако он видел в искусственном интеллекте значительно более широкое понятие. Он принадлежал к той небольшой группе ученых⁵², которые, собравшись летом 1956 года на конференцию в Дартмутском колледже, решили выделить изучение ИИ в отдельную, самостоятельную научную дисциплину. Ранее дартмутский профессор Джон Маккарти тщетно призывал ученых поддержать его усилия в «исследованиях автоматов», как он это называл, но для большинства это был пустой звук. И тогда он ввел в обращение понятие «искусственный интеллект» и организовал в Дартмуте конференцию, куда съехались несколько его единомышленников и другие ученые, проявившие интерес. В повестке Дартмутской научной конференции по искусственному интеллекту⁵³ упоминались не только «нейронные сети», но и такие понятия, как «автоматические компьютеры», «абстрагирование» и «самосовершенствование». Среди участников этой конференции были ученые, которые стали лидерами этого направления научных поисков в 1960-е годы. Особенно следует отметить Маккарти, который со временем перебрался на Западное побережье, в Стэнфордский университет, Герберта Саймона и Аллена Ньюэлла, которые создали свою лабораторию в Университете Карнеги – Меллона на Среднем Западе, и Мински, который обосновался на Востоке, в Массачусетском технологическом институте. Они стремились создать искусственную версию человеческого интеллекта, используя любые методы, которые могли бы привести к цели, и были уверены в том, что это не должно занять много времени⁵⁴; некоторые утверждали, что в течение десяти лет удастся создать машину, которая победит чемпиона мира по шахматам, а также сформулирует и докажет новые теоремы в математике. Лысоватый смолоду, с большими ушами и вечной ехидной улыбкой, Мински стал увлеченным проповедником ИИ, но его проповедничество не распространялось на нейронные сети. Искусственные нейронные сети рассматривались лишь как один из способов построения ИИ, и Мински, как и многие его коллеги, сосредоточился на других путях. К середине 1960-х, когда его вниманием завладели другие технологии, он начал открыто сомневаться, способны ли нейронные сети в принципе на что-то большее, нежели на решение тех простейших задачек, которые демонстрировал Розенблатт у себя в Буффало.

Мински был лишь частью кампании, развернутой против идей Розенблатта. Как писал сам Розенблатт в своей книге, вышедшей в свет в 1962 году, его «Перцептрон» вызывал противоречивые оценки⁵⁵ в научном сообществе, и значительную долю вины за это он возлагал на прессу. Журналисты, писавшие о его исследованиях⁵⁶ в конце 1950-х годов, утверждал Розенблатт, «делали свое дело с задором и беззаботностью своры жизнерадостных собак». В частности, он сетовал⁵⁷ на кричащие заголовки – особенно выделяя одну из оклахомских газет, – которые подрывали у публики доверие к его деятельности как к серьезным научным исследованиям. Через четыре года после вызвавшей шум презентации в Вашингтоне он отзывал обратно свои прежние заявления и настаивал на том, что «Перцептрон» вовсе не был попыткой⁵⁸ создания искусственного интеллекта – по крайней мере не в том смысле, который вкладывают в понятие «искусственный интеллект» ученые вроде Мински. «Основная цель проекта “Перцептрон”⁵⁹ заключается не в изобретении механизмов, обладающих “искусственным интеллектом”, но скорее в изучении физических структур и нейродинамических принципов, лежащих в основе “естественного интеллекта”, – писал он. – Его польза в том, что он позволяет нам определить физические предпосылки для проявления различных психологических качеств». Иными словами, он хотел лишь понять, как работает человеческий мозг, а вовсе не пытался одарить мир новой разновидностью мозга. Человеческий мозг – настолько таинственная вещь, что воссоздать его искусственным путем невозможно, полагал Розенблатт, но можно использовать машины с тем, чтобы эту тайну исследовать, а может быть, даже и раскрыть.

Границы, отделявшие искусственный интеллект как научную дисциплину от информатики, психологии и нейробиологии, с самого начала были размытые, поскольку этой новой дисциплиной занимались представители самых разных научных школ, рассматривавшие эту тематику с разных углов и в разном контексте. Некоторые психологи, нейробиологи и даже ученые, работавшие в сфере информатики, смотрели на эти умные электронные машины так же, как смотрел на них Розенблатт: как на моделирование человеческого мозга. Другие ученые относились к этой идее с неприятием, утверждая, что компьютеры с человеческим мозгом не имеют ничего общего и что даже если они будут способны имитировать интеллект, то будут делать это по-своему. Никто из них, однако, даже близко не подошел к созданию того, что можно было бы по праву назвать «искусственным интеллектом». Основоположники этой науки, считавшие, что путь к воссозданию мозга будет достаточно быстрым, заблуждались: он оказался очень даже долгим. Их первородный грех как раз и состоял в том, что они назвали свою дисциплину «искусственным интеллектом». Это создавало у непосвященной публики впечатление, что ученые вот-вот научатся искусственно воссоздавать могущество человеческого разума, тогда как на самом деле они были очень далеки от этого.

В 1966 году несколько десятков ученых съехались в столицу Пуэрто-Рико Сан-Хуан⁶⁰. Они собрались⁶¹ в местной гостинице Hilton, чтобы обсудить последние достижения в области «распознавания паттернов», как они это называли. Речь шла о технологии выявления закономерностей и шаблонов в изображениях и других данных. Если Розенблатт видел в «Перцептроне» модель мозга, другие видели в нем средство распознавания паттернов. Впоследствии некоторые комментаторы изображали дело так, будто Розенблатт и Мински постоянно бодались на научных конференциях, включая сан-хуанскую, открыто споря о будущем «Перцептрона», но на самом деле их соперничество было неявным. Розенблатта в Сан-Хуане вообще не было. Страсти на конференции накалились после выступления молодого ученого по имени Джон Мэнсон. Он работал в Стэнфордском научно-исследовательском институте и проникся идеями Розенблатта после появления Mark I. В составе большой группы разработчиков он пытался построить искусственную нейронную сеть, способную различать не только печатные, но и рукописные буквы, и в своем докладе на конференции хотел рассказать о достигнутом прогрессе. Но когда Мэнсон закончил свое выступление и предложил задавать вопросы, слово взял Мински: «Как может такой умный молодой человек, как вы, тратить свое время на подобную чепуху?»

Это вызвало гневную реакцию со стороны сидевшего в аудитории Рона Свонгера, инженера из Корнеллской лаборатории аэронавтики, где компьютер Mark I как раз и был создан. Возмутившись тональностью, с которой был задан вопрос, он выразил недоумение, каким образом выпад Мински вообще связан с темой доклада. Мински возразил, что он не против распознавания рукописных букв как такового, а против самой концепции «Перцептрона». «У этой идеи нет будущего», – сказал он. Ричард Дуда, еще один участник команды, работавшей над технологией распознавания рукописного текста, был уязвлен смехом, прозвучавшим в зале, когда Мински иронично отозвался об утверждениях, что «Перцептрон» является попыткой моделирования сети нейронов мозга. Вообще это выступление было типично для Мински, которому нравилось расшевеливать улья. Однажды, выступая перед физиками, он заявил, что в области искусственного интеллекта всего за несколько лет был достигнут более значимый прогресс, чем физики достигли за века. Но Дуда полагал, что у профессора МТИ были свои практические резоны подвергать нападкам деятельность сотрудников Стэнфорда и Корнелла: их лаборатории конкурировали за государственные заказы. Позже на той же самой конференции, когда еще один докладчик представил новую систему, предназначенную для создания компьютерной графики, Мински рассыпался в похвалах – и не преминул еще раз пнуть идеи Розенблатта. «А “Перцептрон” на такое способен?» – спросил он.

По итогам конференции Мински и его коллега по МТИ Сеймур Пейперт опубликовали книгу, посвященную искусственным нейронным сетям⁶², которая получила название «Персептроны»^[1]. Многие считали, что эта книга практически похоронила идеи Розенблатта на следующие пятнадцать лет. Мински и Пейперт описали «Перцептрон» во всех подробностях, во многих случаях утрируя то, что говорил о нем сам Розенблатт. Они хорошо понимали, на что «Перцептрон» способен, но так же хорошо видели его недостатки. Они показали, что «Перцептрон»⁶³ был неспособен выполнять логическую операцию, которую математики называют «исключающее или», и что это имеет очень серьезные последствия. Если нанести на карточку две метки, «Перцептрон» мог бы сказать, что они обе черные. Так же он мог бы правильно назвать две белые метки. Но он был неспособен ответить на такой прямой вопрос: «Эти две метки разного цвета?» Это означало, что в некоторых случаях «Перцептрон» был не в состоянии распознать даже простейшие паттерны, не говоря уже о сложнейших паттернах, которые характерны для аэрофотоснимков или голосовых команд. Некоторые ученые, и Розенблатт в их числе, уже занимались разработкой новых модификаций «Перцептрона», пытаясь решить эту проблему. И все же выход в свет книги Мински повлиял на то, что реки бюджетных денег, выделяемых государством на науку, потекли в другие русла, а идеи Розенблатта были на время позабыты. Вслед за Мински большинство ученых сосредоточились на исследовании так называемого «символического ИИ».

Фрэнк Розенблатт пытался создать систему, которая бы училась самостоятельному поведению примерно так же, как учится человеческий мозг. В последующие годы ученые назвали этот подход «коннекционизмом», поскольку, как и мозг, такая система опирается на большое число взаимосвязанных расчетов. Но система Розенблатта была гораздо проще по сравнению с человеческим мозгом, и процесс обучения ограничивался сущими пустяками. Подобно многим другим ведущим специалистам в этой области знаний, Мински считал, что ученые не смогут создать искусственный разум, пока не проявят готовность отказаться от идей коннекционизма со всеми их ограничениями и переключиться на совершенно иной, куда более прямолинейный подход к построению искусственного интеллекта. Если нейронные сети учатся самостоятельному решению задач через анализ большого количества данных, то символическому ИИ это не нужно. Он ведет себя в соответствии с предельно конкретными инструкциями, которые вводятся в него инженерами; в этих конкретных правилах предусматривается все, что машина должна делать в каждой мыслимой ситуации, в которой она может оказаться. Такую форму ИИ назвали символической, потому что эти инструкции сообщали машине, какие конкретные операции она должна выполнять, получая определенный набор символов, то есть букв и цифр. На протяжении следующего десятилетия именно это направление доминировало в исследованиях ИИ. Это научное движение достигло своего пика⁶⁴ в середине 1980-х, когда началась реализация проекта Cyc, идея которого заключалась в попытке наделить машину здравым смыслом с помощью набора логических правил. Небольшая команда компьютерщиков, базировавшаяся в Остине, штат Техас, день за днем вводила в память машины такие базовые истины, как «невозможно находиться в двух местах одновременно» или «когда пьют кофе из чашки, ее держат дном книзу». Они понимали, что этот процесс займет десятки, может быть, даже сотни лет. Но, подобно многим другим ученым, они были уверены, что другого пути просто нет.

Розенблатт пытался развить идею «Перцептрона», чтобы возможности машины не ограничивались распознаванием образов. Еще в Корнелле он в сотрудничестве с другими учеными создал систему распознавания произносимых голосом слов. Эта система получила название «Тобермори» в честь говорящего кота из рассказа английского писателя Саки, однако она так и не заработала по-настоящему. К концу 1960-х, вернувшись в Итаку, Розенблатт переключился на совершенно иную область исследований⁶⁵ и стал проводить эксперименты на крысах. Дав время одной группе крыс научиться ориентироваться в лабиринте, он впрыскивал их мозговое вещество в мозг другой группы крыс, после чего запускал их в лабиринт, чтобы посмотреть, способны ли они абсорбировать знания первой группы крыс вместе с их мозгом. К какому-то определенному выводу эксперименты не привели.

Летом 1971 года⁶⁶ в свой сорок третий день рождения Розенблатт трагически погиб, катаясь на яхте в Чесапикском заливе. В прессе не сообщали, что именно произошло. Но по свидетельству одного из его коллег, с Розенблаттом на борту были двое студентов, которые не умели управлять яхтой, и, когда резкий поворот паруса сбросил Розенблатта в воду, они не сумели развернуться, чтобы подобрать его. Яхта продолжала движение вперед, а он утонул.

Глава 2
Обещание. «Старые идеи – это новые идеи»

Однажды в середине 1980-х группа из примерно двадцати ученых собралась в особняке, выстроенном в старофранцузском стиле на окраине Бостона, который служил местом отдыха для преподавателей и студентов Массачусетского технологического института, откуда Марвин Мински продолжал руководить международным сообществом разработчиков ИИ. Они сидели за большим деревянным столом в центре комнаты, и Джефф Хинтон вручил каждому экземпляр заполненной математическими выкладками научной статьи, описывающей то, что он назвал «машиной Больцмана». Названная в честь австрийского физика и философа, эта «машина» представляла собой нейронную сеть нового типа, призванную преодолеть те недостатки «Перцептрона», на которые указал Мински пятнадцатью годами ранее. Мински снял скрепку, соединявшую листы статьи, и разложил их перед собой на столе, в то время как Хинтон вернулся во главу стола и сделал короткий доклад, объясняющий свое новое математическое творение. Мински молчал и просто разглядывал разложенные перед ним листы. Когда доклад закончился, он встал и вышел из комнаты, оставив разложенные аккуратными рядами листы на столе.

Хотя нейронные сети выпали из фавора ученых, после выхода в свет книги Мински «Перцептроны», Хинтон, к этому времени занявший должность профессора информатики в Университете Карнеги – Меллона в Питтсбурге, сохранял им верность. «Машину Больцмана» он создал в сотрудничестве с Терри Сейновски, нейробиологом из Университета Джонса Хопкинса в Балтиморе. Они принадлежали к числу «нейросетевых подпольщиков», как назвал их один из современников. Остальные ученые, занимавшиеся искусственным интеллектом, сосредоточились на символьных методах, в том числе на проекте Сус. Хинтон же и Сейновски продолжали видеть будущее ИИ в самообучающихся системах. Бостонская конференция дала Хинтону возможность поделиться своими новыми результатами с широким научным сообществом.

Хинтона реакция Мински не удивила. Они познакомились пятью годами ранее, и Хинтон видел в Мински очень любознательного и творчески мыслящего ученого, но это сочеталось с удивительным ребячеством и безответственностью. Хинтон часто рассказывал историю о том, как Мински учил его, каким образом получить «идеальный черный цвет» – то есть цвет, полностью лишенный цвета. Достичь такого совершенства с помощью черных пигментов невозможно, объяснял Мински, потому что эти пигменты все равно будут отражать свет. Добиться этого можно с помощью нескольких бритвенных лезвий, установленных V-образно, так чтобы свет, попав в эту ловушку, бесконечно отражался от лезвий, не находя выхода наружу. Мински, правда, реально это фокус не продемонстрировал, а Хинтон так и не попробовал его осуществить. Это было типично для Мински – делать интересные и заставляющие задуматься заявления, но при этом случайные и непроверенные. И это свидетельствовало о том, что он не всегда говорил то, что думал. Во всяком случае, когда речь заходила о нейронных сетях, Мински на словах критиковал их и сетовал на их ограниченные возможности – да еще и книгу написал, которая широко цитировалась и как будто бы окончательно доказывала их бесперспективность, – но его истинное отношение к ним было не столь уж твердокаменным. Хинтон видел в нем «бывшего нейросетевика», то есть человека, который изначально принимал идею о машинах, ведущих себя подобно сети нейронов в мозге, потом разочаровался в этой идее, не оправдавшей его ожиданий, но все-таки продолжал таить в себе призрачную надежду на то, что эта идея еще проявит себя. После того как Мински покинул заседание в Бостоне, Хинтон собрал оставленные им листы и переслал их в офис Мински, сопроводив короткой запиской, в которой говорилось: «Возможно, вы оставили их случайно».

* * *

Джеффри Эверест Хинтон родился в английском городе Уимблдон сразу после Второй мировой войны. Он является одновременно прапраправнуком Джорджа Буля, математика и философа девятнадцатого столетия⁶⁷, чья «булева алгебра» является математическим фундаментом всех существующих компьютеров, и Джеймса Хинтона, хирурга⁶⁸, жившего в том же столетии, который написал историю Соединенных Штатов Америки. Его прадедом был Чарльз Говард Хинтон, математик и писатель-фантаст⁶⁹, чье представление о «четвертом измерении» – включая так называемый «тессеракт» – продолжает будоражить умы любителей научной фантастики вот уже сто тридцать лет. Своего пика в поп-культуре эта идея достигла в 2010-е годы в марвеловской серии фильмов о супергероях. Его двоюродный дедушка Себастьян Хинтон изобрел серию тренажерных снарядов для детей⁷⁰, а его кузина Джоан Хинтон, физик-ядерщик, была одной из немногих женщин, участвовавших в проекте «Манхэттен». Он рос в Лондоне, а потом в Бристоле в обществе брата и двух сестер, мангуста, дюжины дальневосточных черепах и двух гадюк, которые жили в яме в задней части гаража. Его отцом был энтомолог Говард Эверест Хинтон, член Лондонского королевского общества, чей круг интересов отнюдь не ограничивался насекомыми. Как и отец, своим вторым именем Джеффри был обязан еще одному своему родственнику, Джорджу Эвересту, главному геодезисту Индии⁷¹, в честь которого названа также высочайшая вершина мира. В том, что Джеффри пойдет по стопам отца и тоже станет ученым, в семье никто не сомневался. Вопрос был лишь в том, что именно он будет изучать.

Ему захотелось изучать человеческий мозг. Интерес к этой теме, по его собственным словам, пробудился в нем еще в подростковом возрасте, когда кто-то из друзей сказал ему, что мозг можно уподобить голограмме: в своей сети нейронов он хранит обрывки воспоминаний примерно так же, как голографическая пластина хранит элементы трехмерного изображения. Аналогия, конечно, упрощенная, но эта идея увлекла Хинтона. Став студентом Кингс-колледжа в Кембридже, он надеялся лучше изучить устройство и работу человеческого мозга. Проблема была в том, что мало кто разбирался в этом лучше, чем он сам. Ученым были известны функции отдельных участков мозга, но не было понимания того, как эти части взаимодействуют друг с другом и как они в конечном счете наделяют человека способностью видеть, слышать, запоминать, учиться и мыслить. В поисках ответа Хинтон пробовал обращаться к физиологии и химии, к физике и психологии, но ни одна из этих научных дисциплин не содержала в себе ответы, которые он искал. Он занялся было подготовкой диссертации по физике, но скоро понял, что для этого недостаточно силен в математике, и переключился на философию. Потом он и философию забросил, сменив ее на экспериментальную психологию. В конце концов, несмотря на давление со стороны отца, который хотел, чтобы сын продолжал учебу, – а может быть, благодаря этому давлению, – Хинтон вообще оставил научную стезю. Еще будучи ребенком, он видел в отце не только ученого-интеллектуала, но и физически очень сильного мужчину: этот член Лондонского королевского общества мог отжиматься на одной руке. «Упорно трудись и, быть может, когда станешь вдвое старше, чем я сейчас, достигнешь хотя бы половины того, чего достиг я», – говорил он сыну без тени иронии. Поэтому после окончания Кембриджа Хинтон, желая выйти из тени отца, перебрался в Лондон и стал плотником. «Я занимался этим не ради развлечения, – говорит он. – Я зарабатывал этим на жизнь».

В том же году он прочитал книгу канадского психолога Дональда Хебба «Организация поведения». В своей книге автор пытался объяснить базовые биологические процессы⁷², позволяющие мозгу учиться. Процесс учебы, полагал Хебб⁷³, происходит в форме цепочки крошечных электрических сигналов между нейронами мозга, в результате которых меняется физическая картина соответствующих нейронных связей. Между одновременно возбуждающимися нейронами формируются прочные связи. Эта теория, получившая название «закон Хебба», в 1950-е годы вдохновила таких ученых, как Фрэнк Розенблатт, на создание искусственных нейронных сетей⁷⁴. И для Джеффа Хинтона она тоже стала источником вдохновения. Каждую субботу он приходил с блокнотом в библиотеку – а жил он тогда в Ислингтоне, в северной части Лондона, – и до обеда строчил свои собственные теории, объясняющие – на основе идей Хебба, – как работает мозг. Эти субботние записи он делал исключительно для себя, но со временем они побудили его вернуться в науку. По времени это совпало с первой волной финансирования разработок искусственного интеллекта со стороны британского правительства и расширением приема в аспирантуру Эдинбургского университета.

В те годы печальная реальность была такова, что как нейробиологи и психологи плохо понимали, как работает мозг, так и разработчикам искусственного интеллекта было еще далеко до успешной имитации работы человеческого мозга. Но, во многом подобно Фрэнку Розенблатту, Хинтон был убежден в том, что только изучение обеих сторон этого уравнения – принципов работы как биологического мозга, так и искусственного интеллекта – поможет лучше разобраться в том и в другом. Он видел в разработках ИИ возможность проверить свои теории о мозге, что в конечном счете даст шанс раскрыть его тайны. И если он сможет проникнуть в тайны мозга, это, в свою очередь, поможет ему создать более эффективные формы ИИ. Поэтому, проработав год плотником в Лондоне, он на короткое время устроился психологом в Бристольский университет, где работал его отец, и это послужило трамплином для того, чтобы стать участником программы разработки ИИ, которая в то время как раз разворачивалась в Эдинбургском университете. Годы спустя один коллега, представляя его на одной из конференций, назвал Хинтона человеком, который потерпел неудачу в физике, ушел из психологии и в конце концов нашел себя в области исследований, где не было никаких стандартов: в разработке ИИ. Эту историю любил рассказывать сам Хинтон, но с одним уточнением: «Я не потерпел неудачу в физике и ушел из психологии; я потерпел неудачу в психологии и ушел из физики – это намного солиднее звучит».

В Эдинбурге он попал в лабораторию, которой руководил Кристофер Лонге-Хиггинс. Долгое время Лонге-Хиггинс занимался теоретической химией⁷⁵ в Кембридже и считался восходящей звездой в этой области, но в конце 1960-х его увлекла идея искусственного интеллекта. Поэтому он переехал из Кембриджа в Эдинбург и занялся изучением той разновидности ИИ, которая имела немало общего с методами, на которых был построен «Перцептрон». Его коннекционистский подход вполне согласовывался с теми теориями, которые разрабатывал по субботам в ислингтонской библиотеке Хинтон. Но эта интеллектуальная гармония оказалась скоротечной. За время, прошедшее между днем, когда Хинтон принял приглашение занять место аспиранта в лаборатории Лонге-Хиггинса, и днем, когда он туда прибыл, взгляды руководителя лаборатории успели кардинально измениться. Прочитав книгу Мински и Пейперта «Перцептроны» и статью о системах обработки текстов на естественных языках, написанную одним из студентов Мински в МТИ, он отказался от идеи искусственного интеллекта, моделирующего структуру мозга, и переключился на идею символического ИИ – что укладывалось в общий тренд того времени. Это привело к тому, что все годы, проведенные в аспирантуре, Хинтон занимался исследованиями в тех направлениях, которые отвергались не только его коллегами, но и непосредственным научным руководителем. «Мы встречались раз в неделю, – говорит Хинтон. – Иногда встречи заканчивались перепалками, но не каждый раз».

У Хинтона было очень мало опыта в области информатики, и он совершенно не интересовался математикой, включая линейную алгебру, на которую опирается теория нейронных сетей. Иногда он практиковал то, что сам называл «дифференцированием на доверии». Он придумывал идею, включая систему дифференциальных уравнений, на которые она опиралась, и просто предполагал, что математически там все безупречно, предоставляя другим трудиться над расчетами, необходимыми для того, чтобы удостовериться, что это действительно так, и лишь в крайних случаях снисходил до того, чтобы решать уравнения самостоятельно. Но он имел твердую уверенность в том, как работает мозг – и как машины могли бы имитировать работу мозга. Когда он сообщал кому-нибудь из научного сообщества, что занимается нейронными сетями, его собеседники неизменно ссылались на книгу Мински и Пейперта. «Нейронные сети опровергнуты, – говорили ему. – Лучше бы вам заняться чем-нибудь другим». Но если других ученых книга Мински и Пейперта все дальше отталкивала от нейронных сетей, то на Хинтона она оказала противоположное действие. Он прочитал эту книгу, уже будучи в Эдинбурге. Ему казалось, что «Перцептроны», описанные Мински и Пейпертом, были скорее карикатурой на работу Розенблатта. Они отказывались признать, что Розенблатт и сам видел в своей технологии те же самые недостатки и ограничения, которые видели они. Другое дело, что Розенблатту недоставало их мастерства в описании этих недостатков, и, возможно, именно по этой причине он не мог к ним подступиться. Он был не из тех, кого остановит неспособность доказать справедливость своих теорий. Хинтон полагал, что, четко и красноречиво указав на ограничения, присущие технологии Розенблатта, Мински и Пейперт облегчили будущим исследователям задачу преодоления описанных ими проблем.

Но для этого потребуется еще десять лет.

* * *

В 1971 году, в тот самый год, когда Хинтон поступил в аспирантуру Эдинбургского университета, британское правительство заинтересовалось прогрессом, достигнутым в разработках искусственного интеллекта, и заказало соответствующее исследование⁷⁶. Результат оказался неутешительный. «Большинство сотрудников, занимающихся искусственным интеллектом⁷⁷ или работающих в смежных областях, признаются, что разочарованы тем, чего им удалось достичь за последние двадцать пять лет, – говорится в отчете. – Ни в одном из направлений не были достигнуты сколько-нибудь существенные результаты, которые бы соответствовали ожиданиям». По этой причине правительство решило урезать финансирование, и наступила «зима искусственного интеллекта», как впоследствии назвали этот период. Оправдываясь тем, что, несмотря на ажиотаж, поднятый вокруг тематики ИИ, научно-технические достижения в этой области оставались более чем скромными, государственные чиновники отказывали ученым в дополнительных инвестициях, что ввергло большую часть таких исследований в «спячку» и в еще большей степени замедлило прогресс. Название этому периоду было дано по аналогии с «ядерной зимой» – последствием ядерной войны, когда небо затягивается дымом и пеплом и солнечные лучи на протяжении многих лет не могут пробиться к поверхности земли. К тому времени, когда Хинтон закончил работу над своей диссертацией, от той научной дисциплины, где он работал, осталось практически пепелище. Тогда же умер его отец. «Старый хрыч умер до того, как я добился успеха, – говорит Хинтон. – Да еще у него был рак с высоким уровнем риска передачи по наследству. Таким образом, он напоследок и меня решил поскорее уморить».

«Зима искусственного интеллекта» становилась все холоднее, и закончивший аспирантуру Хинтон принялся за поиски работы. Только один университет пригласил его на собеседование, и у него не осталось другого выбора, как обратить свой взор на заграничные вузы, включая американские. В США исследования ИИ тоже угасли, поскольку американские чиновники пришли к тем же неутешительным выводам, что и их британские коллеги, и сократили финансирование университетов. Но на самом юге Калифорнии, к своему изумлению, Хинтон нашел-таки небольшую группу людей, которые верили в ту же идею, что и он сам.

Они называли себя «группой PDP». Понятие PDP, что расшифровывалось как «параллельно распределенная обработка», служило фактически синонимом для таких понятий, как «перцептроны», «нейронные сети» или «коннекционизм». И здесь еще имелась игра слов. В те годы – в конце 1970-х – аббревиатурой PDP обозначался компьютерный чип, который использовался в самых мощных машинах того времени. Но люди, называвшие себя «группой PDP», компьютерщиками не были. Они даже разработчиками ИИ себя не считали. Группа включала в себя нескольких специалистов с кафедры психологии Калифорнийского университета в Сан-Диего и, как минимум, одного нейробиолога, Фрэнсиса Крика из Института биологических исследований имени Солка, расположенного буквально через дорогу от университетского городка. Прежде чем обратить свое внимание на исследования мозга, Крик удостоился Нобелевской премии за открытие структуры молекулы ДНК. Осенью 1979 года он опубликовал на страницах журнала Scientific American призыв к широкому научному сообществу⁷⁸ хотя бы попытаться понять, как работает человеческий мозг. Хинтон, занявший место постдока в Калифорнийском университете в Сан-Диего, испытал своего рода культурно-научный шок. Если в научном сообществе Великобритании царила интеллектуальная монокультура, то в США хватало место для приверженцев самых разных научных взглядов. «Здесь способны уживаться между собой самые разные точки зрения», – говорит он. Здесь, если он сообщал кому-то, что занимается нейронными сетями, его слушали.

Между Фрэнком Розенблаттом и тем, чем занимались в Сан-Диего, существовала прямая связь. В 1960-е годы Розенблатт и другие ученые рассчитывали создать искусственную нейронную сеть нового типа, которая бы состояла из нескольких «слоев» нейронов. В 1980-е годы на это же надеялись ученые, работавшие в Сан-Диего. «Перцептрон» был однослойной нейронной сетью, то есть был только один слой нейронов между входящей информацией (большая буква А, напечатанная на картоне) и выходящей (сообщение компьютера, что он видит букву А). Но Розенблатт полагал, что, если удастся построить многослойную сеть, где информация будет передаваться с одного слоя на другой, эта система сможет научиться распознавать гораздо более сложные паттерны, чем мог «Перцептрон». Иными словами, эта система будет в большей мере походить на человеческий мозг. Когда «Перцептрон» анализировал картонку с напечатанной на ней буквой А, каждый из нейронов изучал одну из точек на изображении, пытаясь понять, является ли данная точка частью трех линий, составляющих букву А. Но для многослойной сети это было бы только отправным моментом. Покажите этой системе, скажем, фотографию собаки, и за этим последует гораздо более сложный анализ. Первый слой нейронов сканирует каждый пиксель изображения. Он черный или белый, коричневый или желтый? Затем этот первый слой передает ту информацию, которую он идентифицировал, второму слою. Нейроны второго слоя высматривают в полученной информации определенные паттерны. Например, отрезок прямой линии или дугу. Третий слой выискивает паттерны в паттернах. Он уже может свести концы с концами и увидеть ухо или зуб. В конечном счете такая многослойная сеть может научиться идентифицировать собаку. По крайней мере, такая была идея. Никто в реальности не пытался ее осуществить и проверить. И вот в Сан-Диего решили попробовать.

Одним из ведущих деятелей в «группе PDP» был профессор из Сан-Диего Дэвид Румельхарт, имевший ученые степени в области психологии и математики. Когда его спрашивают о Румельхарте, Хинтон любит вспоминать случай, когда им пришлось сидеть на лекции, которая ни для кого из них не представляла никакого интереса. Когда лекция закончилась и Хинтон пожаловался, что зря потерял час жизни, Румельхарт возразил, что он так не считает. По его словам, если бы он просто проигнорировал эту лекцию, то эти шестьдесят минут ломал бы голову над своими собственными исследованиями. По мнению Хинтона, такое умение находить позитивную сторону во всем было характерно для Румельхарта.

Румельхарт поставил перед собой весьма конкретную, но при этом стержневую задачу. Одной из главных сложностей при построении многослойной нейронной сети было то, что очень трудно определить относительную значимость («весовой коэффициент») каждого нейрона в общей расчетной формуле. В однослойной сети типа «Перцептрона» эта задача была осуществима: система могла автоматически задавать вес нейронов в сети. Но в многослойной сети такой метод попросту не работал. Взаимосвязи между нейронами были слишком обширными и сложными. Если изменить весовой коэффициент одного нейрона, это неизбежно отразится на тех нейронах, которые зависят от его поведения. Здесь был необходим более эффективный математический метод, где вес каждого нейрона задавался бы в согласовании со всеми прочими нейронами. В качестве ответа на эту проблему Румельхарт предложил метод, получивший название «обратное распространение ошибки». Этот алгоритм состоял их нескольких итераций расчетов, где, двигаясь по иерархии нейронов в обратном направлении и анализируя за счет своего рода математической обратной связи все большее количество информации, можно достигнуть лучшего понимания того, каким должен быть оптимальный вес каждого нейрона.

Когда новоиспеченный доктор Хинтон прибыл в Сан-Диего и узнал от Румельхарта о его планах, он сразу сказал, что этот математический фокус не сработает. Ведь это доказал сам Фрэнк Розенблатт, человек, создавший «Перцептрон». Если построить нейронную сеть и установить все веса на ноль, система будет учиться сама регулировать себя, постепенно внося коррективы слой за слоем. Но в конечном счете каждый весовой коэффициент проявит себе в том же самом месте, что и все остальные. Однако сколько бы вы ни пытались заставить систему использовать относительные весовые коэффициенты, она будет стремиться к уравнительству – в силу самой своей природы. Как показал Фрэнк Розенблатт, это заложено в самом математическом алгоритме. Говоря математическим языком, система не может «нарушить симметрию». Один нейрон не может быть важнее других – вот в чем проблема. И это означает, что никакая нейронная сеть не может быть существенно лучше «Перцептрона».

Румельхарт выслушал возражение Хинтона – и внес новое предложение. «А что, если не устанавливать весовые коэффициенты на ноль? – сказал он. – Что, если взять случайные числа?» Если все веса изначально разные, тогда и математический процесс пойдет по-другому. Да и не нужно все веса рассчитывать. Рассчитываться будут только те весовые коэффициенты, которые позволяют системе распознавать сложные паттерны, например фотографию собаки.

Хинтон любит говорить, что «старые идеи – это новые идеи»: ученые не должны отказываться от своих идей, пока не будет доказано, что они не работают. Розенблатт еще двадцатью годами ранее доказал, что метод обратного распространения ошибки не работает, и поэтому Хинтон от него отказался. Но тут Румельхарт внес это, казалось бы, небольшое исправление, и двое ученых на нескольких недель занялись созданием системы, которая изначально имела случайные веса нейронов и потому могла нарушать симметрию. Она могла придавать каждому нейрону разные весовые коэффициенты. И при этом система действительно могла распознавать паттерны в изображениях. Это были, конечно, совсем простые изображения. Идентифицировать собаку, кошку или автомобиль система не могла, но благодаря методу обратного распространения ошибки теперь она уже могла справиться с проблемой «исключающего или», то есть преодолеть тот самый недостаток искусственных нейронных сетей, на который более чем за десять лет до этого указал Марвин Мински. Она теперь могла, изучив два пятна на листе картона, ответить на сакраментальный вопрос: «Эти два пятна разного цвета?» На что-то существенно большее система не была способна, и эта идея вновь отошла в тень, однако обойти проблему, связанную с доказательством Розенблатта, ученым все-таки удалось.

В последующие годы Хинтон начал активно сотрудничать с Терри Сейновски, в то время постдоком на кафедре биологии в Принстоне. Они познакомились через другую (не имевшую названия) группу коннекционистов, которые собирались раз в год в разных местах страны для обсуждения тех же самых идей, которые занимали умы их коллег в Сан-Диего. Метод обратного распространения ошибки был одной из тем для обсуждения – как и машина Больцмана. Годы спустя, когда Хинтона попросили объяснить суть машины Больцмана так, чтобы это было понятно простому человеку, далекому от математики и естественных наук, он отказался. Это все равно, сказал он, что просить Ричарда Фейнмана, лауреата Нобелевской премии по физике, объяснить суть открытий, сделанных им в области квантовой электродинамики. Кстати, когда Фейнмана попросили⁷⁹ объяснить, за что его наградили Нобелевской премией, так, чтобы это было понятно непосвященному человеку, он тоже отказался. «Если бы это можно было объяснить простому человеку, – сказал он, – за это не дали бы Нобелевскую премию». Сущность машины Больцмана действительно трудно объяснить – отчасти потому, что речь идет о математической системе, которая основана на теории, впервые разработанной столетие назад австрийским физиком Людвигом Больцманом для исследования феномена, не имеющего ничего общего с искусственным интеллектом (равновесие частиц в нагретом газе). Но цель была простая: это был способ создания искусственной нейронной сети усовершенствованного типа.

Как и «Перцептрон», «машина Больцмана» обучалась на анализе большого количества данных, включая звуки и образы. Но она имела важное отличие. Она обучалась также путем создания собственных звуков и образов и последующего сравнения созданных звуков и образов с анализируемыми. Это в чем-то похоже на человеческое мышление в том смысле, что человек способен представлять в воображении образы, звуки и слова. Человек что-то себе надумывает – как ночью, так и в течение дня, – а потом использует эти мысли и зрительные образы в реальной жизни. Хинтон и Сейновски надеялись, что с помощью «машины Больцмана» им удастся наделить этой человеческой способностью электронный компьютер. «Это был самый увлекательный период в моей жизни, – говорит Сейновски. – Мы были уверены, что поняли, как работает человеческий мозг». Но, как и метод обратного распространения ошибки, «машина Больцмана» оказалась лишь вспомогательным инструментом исследований, никакой практической пользы не принесшим. И ее тоже на долгие годы забросили на чердак научной мысли.

Почти религиозная приверженность Хинтона многим непопулярным идеям привела к тому, что он выпал из научного мейнстрима, но это же открыло перед ним новые профессиональные перспективы. Побывав на одной из ежегодных встреч коннекционистов, в которых участвовали и Хинтон с Сейновски, профессор Университета Карнеги – Меллона Скотт Фалман пришел к выводу, что, пригласив в свой штат Хинтона, его вуз мог бы подстраховать свое участие в разработках искусственного интеллекта. Подобно МТИ, Стэнфорду и большинству других научных коллективов, Университет Карнеги – Меллона сосредоточил все свое внимание на символическом ИИ. Сам Фалман считал искусственные нейронные сети «безумной затеей», но при этом он признавал, что столь же безумными могут казаться и многие другие научные разработки, осуществлявшиеся в их университете. В 1981 году поддерживаемый Фалманом Хинтон приехал в университет на собеседование и выступил с двумя открытыми лекциями; одна была по психологии, вторая по информатике. Его лекции были очень многословные, и он почти не делал пауз, чтобы дать слушателям усвоить услышанное. При этом он постоянно двигал руками: разводил их в начале каждой фразы и сводил, закончив свою мысль. Математических расчетов и ссылок на компьютерные программы в его речах было немного – просто потому, что эти вещи его не интересовали. Зато он сыпал идеями, и тех, кто успевал и был способен следить за ходом его мыслей, эти лекции буквально завораживали. Во всяком случае, его лекции понравились Аллену Ньюэллу, одному из основоположников разработок ИИ вообще и одному из лидеров символического направления в этих разработках, который в то время возглавлял в Университете Карнеги – Меллона кафедру информатики. Уже на следующий день он предложил Хинтону место у себя на кафедре, но, прежде чем согласиться, Хинтон остановил его.

– Вам нужно кое о чем знать, – сказал он.

– Что такое? – спросил Ньюэлл.

– Я ничего не понимаю в компьютерах.

– Ничего страшного. У нас достаточно людей, которые в них разбираются.

– В таком случае я согласен.

– А зарплата вас интересует? – спросил Ньюэлл.

– О нет, я занимаюсь этим не ради денег, – ответил Хинтон.

Некоторое время спустя Хинтон обнаружил, что ему платили меньше, чем его коллегам (26 000 против 35 000 долларов), но он не возражал, потому что наконец обрел здесь возможность свободно заниматься своими неортодоксальными исследованиями. Он продолжал работать над «машиной Больцмана» вместе с Сейновски, к которому часто ездил на выходные в Балтимор, и начал вновь экспериментировать с алгоритмом обратного распространения ошибки, полагая, что это может быть полезно для сравнительного анализа. Ему нужно иметь то, с чем можно было бы сравнивать результаты работы «машины Больцмана», и алгоритм обратного распространения ошибки для этого идеально подходил. Старая идея оказалась новой. В Университете Карнеги – Меллона у него не просто была возможность продолжать развивать эти две идеи. Теперь в его распоряжении были гораздо более мощные и быстродействующие компьютеры. Это позволяло продвигать исследования вперед с большей скоростью, поскольку мощность компьютеров позволяла математическим системам обучаться на больших объемах данных. Прорыв был достигнут в 1985 году, через год после той лекции, с которой он выступил перед Мински. Но прорыв был связан не с «машиной Больцмана», а как раз с алгоритмом обратного распространения ошибки.

В Сан-Диего они с Румельхартом показали, что многослойная нейронная сеть может сама регулировать свои весовые коэффициенты. Затем, уже будучи в Университете Карнеги – Меллона, Хинтон показал, что такая нейронная сеть способна на действия, которые могут произвести впечатление не только на математиков. Нейронной сети предъявлялись элементы некоего генеалогического древа, и она училась определять родственные связи между разными членами семейства. Это вроде бы небольшое умение свидетельствовало о том, что машина способна на гораздо большее. Если нейронной сети сообщали, что мать Джона зовут Викторией, а муж Виктории – Билл, она могла прийти к выводу, что Билл является отцом Джона. Хинтон не знал о том, что учеными, работавшими в совершенно других областях науки, математические методы, сходные с алгоритмом обратного распространения ошибки, уже были разработаны в прошлом. Но, в отличие от своих предшественников, он смог показать, что у этой математической идеи было будущее, причем распознавать можно было не только образы, но и речь. Это направление сулило гораздо больший потенциал возможностей, нежели другие технологии ИИ, поскольку машина могла в значительной мере самообучаться.

Год спустя Хинтон женился на Розалинд Залин, с которой познакомился в Университете Сассекса, куда приезжал на стажировку. Она там занималась молекулярной биологией, но ее вера в гомеопатию всегда была источником напряжения между ней и ее мужем. «Молекулярному биологу не подобает верить в гомеопатию, – говорил он. – Поэтому отношения были сложные, и нам пришлось условиться обходить эту тему молчанием». Она была также убежденной социалисткой, не любила Питтсбург и осуждала политику президента Рейгана. Но для Хинтона этот период жизни был очень плодотворный. Наутро после свадьбы он на полчаса ушел из дома на почту, чтобы отправить пакет в редакцию Nature, одного из ведущих научных журналов мира. В пакете была статья с описанием метода обратного распространения ошибки, написанная им в соавторстве с Румельхартом и профессором Рональдом Уильямсом из Северо-Восточного университета. В том же году статья была опубликована⁸⁰.

Это событие было из разряда тех, которые сами по себе проходят незамеченными, но влекут за собой важные последствия. После выхода статьи исследования нейронных сетей вступили в новую эпоху оптимизма и прогресса, вызвав новую волну инвестиций в эту сферу, ознаменовавшую окончание «зимы искусственного интеллекта». «Бэкпроп», как называли сами ученые алгоритм обратного распространения ошибки, оказался не просто идеей!

Одно из практических приложений этого направления исследований появилось в 1987 году. Ученые из лаборатории искусственного интеллекта Университета Карнеги – Меллона пытались разработать автомобиль, способный обходиться без водителя. За основу они взяли синий фургон Chevrolet, по форме напоминавший машину скорой помощи. На крыше установили видеокамеру, а к ведущему заднему мосту подключили «суперкомпьютер», как они его называли: ЭВМ, способную обрабатывать данные в сотню раз быстрее, чем типичные персональные компьютеры того времени. Идея состояла в том, что этот мощный компьютер, занимавший в фургоне несколько шкафов с электрическими панелями, проводами и кремниевыми чипами, будет прочитывать поток кадров, снимаемых камерой на крыше, и принимать решение о том, как машине ехать по дороге. Но исполнение этой задумки потребовало немало работы. Несколько аспирантов кодировали все касавшиеся движения команды вручную, строчка за строчкой, разрабатывая для автомобиля детальные инструкции для любой ситуации, которая может встретиться на дороге. Это был сизифов труд. К осени – а проект на тот момент осуществлялся уже несколько лет – машина была способна перемещаться лишь с черепашьей скоростью: несколько дюймов в секунду.

И вот тогда один из аспирантов по фамилии Померло перечеркнул все уже написанные программные коды и воссоздал программу с нуля, используя идеи, предложенные Румельхартом и Хинтоном.

Свою систему он назвал ALVINN. Обе буквы N в названии обозначали «нейронную сеть» (neural network). Когда программа была готова, машина поехала совсем по-другому. Пока Померло и его коллеги ехали в этом фургоне через питтсбургский парк Шенли по извилистым асфальтированным велодорожкам, кадры, снимаемые камерой на крыше, фиксировали все действия водителя. Подобно тому как «Перцептрон» Фрэнка Розенблатта учился распознавать буквы, анализируя напечатанное на листах картона, так и фургон учился рулить самостоятельно, глядя на то, что делает человек на каждом изгибе дороги. В скором времени фургон смог проехать через тот же парк уже в режиме автопилота. Поначалу этот начиненный электроникой Chevrolet ездил со скоростью не более девяти-десяти миль в час. Но по мере того, как он продолжал обучаться, когда Померло или другие исследователи садились за руль, и анализировать все большее количество кадров, снимаемых на большем количестве дорог и на большей скорости, его езда в режиме автопилота продолжала улучшаться. В то время как рядовые американцы клеили на свои машины стикеры «Ребенок в машине» или «За рулем бабушка», Померло и его коллеги украсили свой фургон ALVINN наклейкой «За рулем никого». И это было правдой – по крайней мере по духу. Ранним воскресным утром в 1991 году этот фургон самостоятельно проехал от Питтсбурга до Эри, штат Пенсильвания, со скоростью почти шестьдесят миль в час. Через два десятилетия после публикации книги Мински и Пейперта «Перцептроны» удалось сделать то, на что, как утверждалось в книге, нейронная сеть была неспособна.

Хинтон этого не видел. В 1987 году, в тот самый год, когда Померло поступил в аспирантуру Университета Карнеги – Меллона, Хинтон с женой переехали в Канаду. Причиной этого, как он сам утверждает, был Рональд Рейган. В США государственное финансирование исследований искусственного интеллекта шло главным образом из бюджета военных и разведывательных ведомств, и в этом плане особенно выделялось Управление перспективных исследовательских проектов Министерства обороны (DARPA). Созданное в 1958 году, после запуска первого советского спутника⁸¹, это управление финансировало разработки ИИ едва ли не с первых дней. Именно оно было главным источником грантов, которые Мински оттяпал у Розенблатта и других коннекционистов благодаря своей книге, и из этого же источника финансировался проект ALVINN. Но в условиях тогдашнего политического климата в США, особенно в связи с разразившимся скандалом, получившим название «Иран – контрас» (когда администрация Рейгана тайно продавала оружие⁸² Ирану, чтобы финансировать военные операции против социалистического правительства в Никарагуа), Хинтон не пожелал получать деньги из рук американских военных и решил перебраться в Канаду. Сказалось также и давление жены, которая изначально не хотела жить в США. Итак, в то время как исследования нейронных сетей пошли в гору, Хинтон сменил Университет Карнеги – Меллона на должность профессора в Университете Торонто.

Через несколько лет после этого переезда, когда ему вновь пришлось столкнуться с проблемой финансирования, он заговорил с женой о том, правильно ли они поступили.

– Надо было мне ехать в Беркли, – сказал он жене.

– В Беркли? – уточнила жена. – В Беркли бы я поехала.

– Но ты же говорила, что не хочешь жить в США.

– Беркли – не США. Это Калифорния.

Но решение было принято. Они переехали в Торонто. И это был шаг, изменивший будущее искусственного интеллекта – не говоря уже о геополитическом ландшафте.

Глава 3
Неприятие. «Я всегда был уверен, что я прав»

Ян Лекун сидит за компьютером⁸³ в своем любимом синем свитере, натянутом поверх белой рубашки. На дворе 1989 год, когда мониторы настольных компьютеров были размером с микроволновку и имели колесики для регулировки цвета и яркости. Помимо кабеля, идущего к монитору, второй кабель⁸⁴, выходящий из компьютера, соединен с чем-то напоминающим перевернутую настольную лампу. Но это не лампа. Это камера⁸⁵. Понимающе улыбаясь⁸⁶, Лекун берет со стола лист бумаги с написанным от руки номером телефона⁸⁷ (201-949-4038) и подносит его к камере. При этом номер отображается на экране монитора. Лекун касается клавиатуры⁸⁸, в верхней части экрана что-то дергается, мимолетная вспышка, намекающая на какие-то мгновенно проделанные компьютером вычисления, и несколько секунд спустя машина прочитывает то, что было написано на листе бумаги, и отображает уже в электронном виде: «201-949-4038».

Это была система LeNet, которую создал Лекун и назвал в свою честь. Телефонный номер 201-949-4038 принадлежал научно-исследовательскому центру Bell Labs, который располагался в Холмделе, штат Нью-Джерси, в неофутуристическом зеркальном здании, построенном финско-американским архитектором Эро Сариненом, где под эгидой телекоммуникационной корпорации AT&T десятки ученых трудились над разработкой новых идей. Bell Labs имеет, наверное, самый богатый послужной список среди аналогичных научно-исследовательских центров. В их активе разработка транзистора, лазера, компьютерной операционной системы Unix и языка программирования С. В это время Лекун, двадцатидевятилетний – хоть и очень юный на вид – программист и инженер-электронщик из Парижа, занимался здесь разработкой новой системы распознавания образов, развивающей идеи, выдвинутые несколькими годами ранее Джеффом Хинтоном и Дэвидом Румельхартом. Система LeNet училась распознавать рукописные цифры, нацарапанные на конвертах не дошедших до адресата писем, предоставленных исследователю Почтовой службой США. Созданная Лекуном нейронная сеть проанализировала тысячи образцов каждой цифры – от 0 до 9 – и после двух недель обучения могла уже распознавать их самостоятельно.

Сидя за компьютером в своей лаборатории⁸⁹ в комплексе Bell Labs в Холмделе, Лекун повторяет тот же фокус еще с несколькими числами. Последний случай особенно сложный, ведь каждая цифра как произведение искусства⁹⁰: четверка двойной ширины, шестерка с завитками, двойка составлена из прямых линий. Но машине удалось прочесть их все⁹¹ – и прочесть правильно. Хотя ей потребовались недели, чтобы научиться выполнять такую простую задачу, как прочтение цифр телефонного номера или почтового индекса, Лекун верил, что эта технология будет продолжать совершенствоваться, в том числе за счет создания новой разновидности компьютерных чипов, единственной задачей которых будет обучение нейронных сетей. Он видел в этом путь к таким машинам, которые смогут распознавать практически все, что запечатлено камерой: собак, кошек, автомобили, даже человеческие лица. Почти как Фрэнк Розенблатт сорока годами ранее, он также верил в то, что по мере продолжения этих исследований машины научатся слушать и говорить, и даже рассуждать, как человек. Но об этом не упоминали вслух. «Мы думали об этом, – признается он, – но почти не обсуждали». После того как столько лет ученые приписывали искусственному интеллекту то, чем он далеко не обладал, отношение к подобным заявлениям в научном сообществе изменилось. Теперь, если кто-то утверждал, что успешно движется к созданию ИИ, его просто не принимали всерьез. «Не стоит вслух говорить об этом, пока слова не подтверждены делом, – говорит Лекун. – Вот если ты создал систему и она работает, тогда ты можешь сказать: “Посмотрите, вот какие мы имеем результаты на такой-то базе данных” – да и все равно тебе никто не поверит. Даже когда у тебя есть все доказательства и ты демонстрируешь, как это работает, – даже тогда не поверят».

*** * ***

В октябре 1975 года в аббатстве Руайомон⁹², средневековом монастыре, расположенном к северу от Парижа, между американским лингвистом Ноамом Хомски и швейцарским психологом Жаном Пиаже состоялись дебаты, посвященные природе обучения. Пять лет спустя вышла в свет книга, подробно описывающая суть их спора⁹³, и Ян Лекун прочитал ее, еще будучи студентом. На восемьдесят девятой странице книги упоминался «Перцептрон»⁹⁴ как устройство, «способное формулировать простые гипотезы на основе регулярного поступления исходных данных», и Лекуна это зацепило; он сразу же влюбился в идею машины, способной учиться. Он был уверен, что способность к обучению неотделима от интеллекта. «Любое животное, имеющее мозг, способно учиться», – часто говорил он.

В то время мало кто из ученых уделял внимание нейронным сетям, а те, кто уделял, видели в них не искусственный интеллект, а лишь возможность распознавания паттернов, и Лекун носил в себе эту идею все те годы, пока учился в Высшей школе инженеров-электротехников и электронщиков. Большинство научных статей, которые он читал, были написаны по-английски японцами, потому что Япония в те годы была одним из немногих мест, где это научное движение еще сохранялось. Затем он обнаружил признаки этого движения в США. В 1985 году в Париже проходила конференция, посвященная новаторским и нестандартным подходам в области информатики, и Лекун там присутствовал. А еще там был Хинтон, выступивший с докладом о своей «машине Больцмана». Когда выступление закончилось, Лекун вышел вслед за докладчиком из зала, убежденный в том, что он один из очень немногих людей на Земле, которые придерживались тех же взглядов. К сожалению, в толкотне догнать Хинтона ему не удалось, но, как оказалось, Хинтон сам хотел познакомиться с Яном Лекуном. Он что-то слышал об этом молодом аспиранте от Терри Сейновски, который познакомился с Лекуном на одном из семинаров несколькими неделями ранее. Фамилия Яна выскользнула из памяти Хинтона, но когда он увидел статью Лекуна в программе конференции, то сразу понял, что это и есть он.

На следующий день они вместе позавтракали в арабском ресторане. Хотя Хинтон почти не говорил по-французски, а Лекун не очень хорошо знал английский, их общению это не помешало. Они ели кускус и обсуждали превратности судьбы коннекционизма. Лекуну казалось, что Хинтон понимал его с полуслова. «Я обнаружил, что мы говорили на одном языке», – вспоминает он. Когда два года спустя Лекун защищал диссертацию, темой которой была технология, сходная с алгоритмом обратного распространения ошибки, Хинтон прилетел в Париж, чтобы попасть на заседание ученого совета, хотя по-прежнему почти ничего не понимал по-французски. Обычно при чтении научных статей математические выкладки он пропускал, основное внимание уделяя тексту. Здесь же у него не было другого выбора, как сосредоточиться на математических расчетах Лекуна. Когда дело дошло до вопросов и ответов, договорились так, что Хинтон будет спрашивать по-английски, а Лекун будет отвечать по-французски. Все прошло отлично, если не считать того, что ответов Хинтон не понял.

После долгой «зимы» нейронные сети начали постепенно выбираться из своих нор. Пока Дин Померло работал над беспилотным автомобилем в Университете Карнеги – Меллона, Сейновски активно пиарил свой проект, получивший название «NETtalk»⁹⁵. Используя устройство, способное генерировать звуки – что-то вроде синтезатора речи с голосом робота, которым пользовался парализованный вследствие нейродегенеративного заболевания Стивен Хокинг, – Сейновски создал нейронную сеть, умевшую читать вслух. Анализируя детские книжки с английскими словами и соответствующими фонемами (то есть как каждая буква произносится), сеть научилась самостоятельно произносить другие слова – которых не было в книжке. Она умела различать, когда сочетание букв «gh» читается как «f» (как в слове «enough») и когда «ti» произносится как «sh» (как в слове «nation»). Выступая с докладами на конференциях, Сейновски включал записи звуков, издаваемых устройством на разных стадиях процесса обучения. Сначала система что-то лепетала как младенец. Через полдня она уже научилось произносить узнаваемые слова. Неделю спустя она уже могла считать вслух. «Enough». «Nation». «Ghetto». «Tint». Эта система наглядно показывала, на что способна искусственная нейронная сеть и как она работает. Сейновски ездил со своим творением с одной научной конференции на другую – попутно продемонстрировав ее миллионам телезрителей в ток-шоу Today – и это способствовало активизации коннекционистских исследований по обе стороны Атлантики.

Защитив диссертацию, Лекун последовал в Торонто на годичную постдокторанскую стажировку. Он привез с собой из Франции два чемодана – один с одеждой, другой с персональным компьютером. С Хинтоном они хорошо ладили, хотя сферы интересов у них были достаточно разные. В то время как Хинтона влекло желание понять работу человеческого мозга, Лекун, инженер-электронщик по образованию, больше интересовался вычислительной техникой, математикой нейронных сетей и созданием искусственного интеллекта в самом широком смысле этого слова. В своей профессии он воодушевлялся философскими дебатами между Хомски и Пиаже. Еще его вдохновляли Hal 9000 и другие футуристические машины, описанные в фильме «Космическая одиссея 2001 года» Стэнли Кубрика, который он видел в ультрашироком формате в Париже, когда ему было девять лет от роду. Более сорока лет спустя, когда он возглавил одну из крупнейших в мире научно-исследовательских лабораторий, стены его кабинета по-прежнему украшали обрамленные в рамки кадры из этого фильма. На протяжении всей своей карьеры, изучая искусственные нейронные сети и другие алгоритмические методы, он также занимался разработкой компьютерных чипов и беспилотных вездеходов. «Я делал все, до чего могли дотянуться мои руки», – говорит он. В его работе погоня за ИИ переплетается с другими направлениями научных исследований, и все это складывается в порой даже чересчур амбициозные замыслы, нацеленные на создание машин, которые вели бы себя как люди. Имитировать даже малую часть человеческого разума, как об этом мечтал Хинтон, – само по себе грандиозная задача. Наделить же интеллектом автомобили, самолеты и роботов еще труднее. Но Лекун проявлял гораздо большую практичность и приземленность по сравнению со многими другими учеными, которые позже присоединились к этой гонке. В следующее десятилетие раздавалось немало голосов, сомневающихся в том, будет ли вообще когда-нибудь какая-то польза от нейронных сетей. Впоследствии, когда могущество нейронных сетей стало очевидным, возникли вопросы: а не может ли ИИ уничтожить человечество? Лекун находил оба эти вопроса нелепыми и даже не удосуживался обсуждать их ни в приватных беседах, ни публично. Как он выразился десятилетиями позже на церемонии награждения премией Тьюринга, которая является аналогом Нобелевской премии в области информатики, «я всегда был уверен, что я прав». Он верил в то, что нейронные сети представляют собой путь к весьма реальным и полезным технологиям. И именно об этом он говорил.

Настоящим прорывом в его деятельности стала разновидность нейронной сети⁹⁶, моделирующая зрительную кору, то есть ту часть головного мозга, которая управляет зрением. Вдохновленный исследованиями японского ученого-компьютерщика Кунихико Фукусимы, он назвал свое творение «сверточной нейронной сетью». Подобно тому, как разные отделы зрительной коры обрабатывают разные фрагменты изображения, воспринимаемого глазами, сверточная нейронная сеть разрезает изображение на клетки и анализирует каждую из них отдельно, находя в этих клетках маленькие паттерны и выстраивая их в большие паттерны по мере поступления информации через паутину (псевдо)нейронов. Эта идея стала стержневой в карьере Лекуна. «Если Джефф Хинтон – Лиса, тогда Ян Лекун – Еж, – говорит профессор из Беркли Джитендра Малик, заимствуя эту аналогию у философа Исайи Берлина. – Хинтон пузырится миллионами и миллиардами идей, которые скачут в разные стороны. Ян же более целеустремленный. Лиса знает много секретов, а Еж – один, но самый главный».

Первоначально Лекун разрабатывал свою идею, находясь рядом с Хинтоном в Торонто. По-настоящему эта идея расцвела, когда он перебрался в Bell Labs, где в его распоряжении были огромные массивы данных, необходимые для обучения лекуновой сверточной нейронной сети (тысячи не дошедших до адресата писем). Кроме того, там были более мощные компьютеры (новейшая рабочая станция Sun Microsystem), позволявшие с большой скоростью анализировать эти конверты. Он объяснил Хинтону, что перешел в Bell Labs, потому что там ему обещали собственную рабочую станцию, тогда как во время стажировки в Торонто ему приходилось делить машинное время с другими учеными. Через несколько недель после перехода в Bell Labs, используя тот же самый базовый алгоритм, он создал систему, способную распознавать написанные от руки цифры с точностью, которая превосходила все другие технологии, разрабатывающиеся в AT&T. Эта система работала так хорошо, что вскоре нашла коммерческое применение. Помимо Bell Labs, AT&T принадлежала компания NCR, которая продавала кассовые аппараты и другое оборудование для бизнеса, и к середине 1990-х годов AT&T стала продавать технологию Лекуна банкам как способ автоматического чтения рукописных чеков. В этот момент творение Лекуна прочитывало более 10 процентов всех чеков, которые выписывались в США.

Но он рассчитывал на большее. В стеклянных стенах комплекса Bell Labs в Холмделе, который называли «самым большим зеркалом в мире», Лекун и его коллеги разработали микрочип, получивший название ANNA. Это был акроним с акронимом внутри⁹⁷. ANNA расшифровывалась как Analog Neural Network ALU (аналоговая нейронная сеть ALU), а ALU, в свою очередь, расшифровывалось как Arithmetic Logic Unit (арифметическая логическая единица). ALU – это особая микросхема, разработанная специально для математических расчетов, связанных с нейронными сетями. Вместо того чтобы запускать свои алгоритмы с использованием обычных микрочипов, применяемых для решения любых задач, компания Лекуна разработала микросхему для данной конкретной задачи. Благодаря этому расчеты выполнялись со скоростью около 4 миллиардов операций в секунду, что значительно превосходило стандарты того времени. Эта фундаментальная концепция – микросхема, созданная специально для нейронных сетей, – с течением времени привела к перестройке всей мировой индустрии микрочипов, хотя случилось это двадцатью годами позже.

Вскоре после того, как банковский сканер Лекуна вышел на коммерческий рынок, AT&T, бывшая общенациональная телекоммуникационная корпорация, которая уже не раз делилась на множество мелких компаний, разделилась снова. NCR и исследовательская группа Лекуна оказались по разные стороны, и проект с банковским сканером был аннулирован, что ввергло Лекуна в состояние разочарования и депрессии. Группа уже вот-вот подбиралась к технологиям с использованием всемирной паутины, которая еще только начинала разворачиваться в Америке, а его вообще лишили возможности работать над нейронными сетями. Когда компания начала увольнять ученых, Лекун понял, что тоже хочет уйти. «Я не хочу заниматься тем дерьмом, которое хочет навязать мне компания, – сказал он начальнику лаборатории. – Я работаю над компьютерным зрением». Удерживать его не стали.

В 1995 году двое исследователей Bell Labs⁹⁸ – Владимир Вапник и Ларри Джекель – поспорили. Вапник говорил, что через десять лет «никто в здравом уме не будет использовать нейронные сети». Джекель принял сторону коннекционистов. Они поспорили на «дорогой обед», и Лекун выступил в качестве посредника. Они распечатали взаимные обязательства и подписались. Практически сразу ситуация повернулась так, что поражение Джекеля казалось неминуемым. Проходили месяцы, и в мире коннекционистов снова наступили заморозки. Да, фургон Померло мог ехать без водителя. Да, система NETtalk, разработанная Сейновски, могла читать вслух. А банковский сканер Лекуна мог читать рукописные чеки. Но было ясно, что этот фургон способен ездить лишь по прямой или там, где никого нет. Система NETtalk годится, скорее, как фокус для вечеринок. А для чтения чеков существовала масса других возможностей. Сверточные нейронные сети Лекуна не справлялись с анализом более сложных изображений, таких как фотографии собак, кошек и автомобилей. И было не ясно, есть ли у них вообще перспектива. В конечном счете Джекель одержал победу, но это была пустая победа. Через десять лет после их пари ученые все же продолжали пользоваться нейронными сетями, но технология за это время продвинулась немногим дальше системы Лекуна, способной читать рукописные цифры. «Я выиграл пари, потому что Ян не сдался, – говорит Джекель. – Научное сообщество фактически игнорировало его, но он не сдавался».

Примерно в то время, когда заключалось это пари, в Стэнфордском университете профессор по имени Эндрю Ын читал лекцию аспирантам о нейронных сетях. В лекции прозвучала такая фраза: «Ян Лекун – единственный человек, который по-настоящему сумел заставить их работать». Но даже сам Лекун не был уверен в будущем. На своем личном веб-сайте он описал свои исследования как нечто оставшееся в прошлом. Он описал кремниевые процессоры⁹⁹, которые он разрабатывал в Нью-Джерси, как «первые (и, может быть, последние) чипы нейронных сетей, способные делать что-то полезное». Годы спустя, когда его спросили об этих словах, он отмахнулся от них, указав на то, что он и его студенты вернулись к той же идее в конце десятилетия. Но та неуверенность, которую он ощущал, явно прослеживалась в его словах. Нейронные сети нуждались в большей мощности компьютеров, но никто не понимал, какой должна быть эта мощность. Как выразился позже Джефф Хинтон: «Никто даже не удосужился задать вопрос: “А если предположить, что нам нужно в миллион раз больше?”»

В то время как Ян Лекун занимался созданием банковского сканера в Нью-Джерси, Крис Брокетт преподавал японский язык на кафедре азиатских языков и литературы в Вашингтонском университете. Затем его пригласили в Microsoft заниматься разработками искусственного интеллекта. Это был 1996 год, и гигантская научно-исследовательская лаборатория, созданная Microsoft, была еще сравнительно молодой. Компания была нацелена на создание систем, способных понимать естественный язык – язык, на котором пишут и разговаривают люди. В то время это было больше работой лингвистов. Языковеды типа Брокетта, которые изучал лингвистику и литературу у себя на родине, в Новой Зеландии, а потом в Японии и США, целыми днями составляли подробные правила, предназначенные научить машину правильно, по-человечески, составлять слова. Они объясняли машине, почему «время летит», тщательно разделяли одинаково пишущиеся разные части речи, подробно объясняли странные и во многом неосознаваемые правила, по которым англоязычные люди выбирают порядок прилагательных и т. д. Это была работа, во многом напоминающая прежний проект Cyc, осуществлявшийся в Остине, или работу по созданию беспилотного автомобиля в Университете Карнеги – Меллона до того, как туда пришел Дин Померло. Фактически это была работа по моделированию человеческих знаний, которая могла продолжаться десятилетиями, скольких бы лингвистов компания Microsoft ни нанимала. В конце 1990-х, следом за такими выдающимися учеными, как Марвин Мински и Джон Маккарти, большинство университетов и IT-компаний именно таким образом разрабатывали технологии компьютерного зрения и распознавания речи, а также понимания естественного языка. Эксперты выстраивали эти технологии по кусочкам, одно правило за другим.

Сидя в своем офисе в штаб-квартире Microsoft неподалеку от Сиэтла, Брокетт потратил почти семь лет на составление правил естественного языка. И вот однажды в 2003 году в просторном конференц-зале, расположенном на том же этаже дальше по коридору, двое его коллег представили новый проект. Они создали систему машинного перевода между двумя языками с использованием техники, основанной на статистике: как часто каждое слово появляется в каждом языке. Если набор слов появлялся с одинаковой частотой и в одном и том же контексте в обоих языках, это был вероятный перевод. Эти двое исследователей приступили к работе всего шесть недель назад и уже достигли результатов, которые, по крайней мере, хоть немного напоминали реальный язык. Брокетт наблюдал за презентацией из глубины переполненного зала, где многие сидели на перевернутых мусорных баках, так как мест не хватало, и у него случился приступ паники – сам он решил, что это сердечный приступ, – и его срочно отвезли в больницу.

Позже он назвал это «моментом прихода к Иисусу», когда он понял, что потратил шесть лет на написание правил, которые в одночасье устарели. «У моего пятидесятидвухлетнего организма был один из тех моментов, когда он увидел будущее, в котором его самого не было», – говорит он.

Специалисты по естественным языкам во всем мире вскоре пересмотрели свои подходы в пользу статистических моделей, аналогичных той, что была представлена в тот день в предместье Сиэтла. Это был лишь один из множества математических методов, которые распространились в широком сообществе исследователей ИИ в 1990-х и в 2000-х годах под такими названиями, как «случайный лес» (random forests), «ускоренные деревья» и «метод опорных векторов». Одни из этих методов применялись к пониманию естественного языка, другие – к распознаванию речи и изображений. По мере того как прогресс в исследованиях нейронных сетей замедлялся, многие из этих альтернативных методов дозревали и улучшались и начали доминировать в отдельных аспектах разработок ИИ. Все они были очень далеки от совершенства. Хотя ранних успехов статистических методов машинного перевода хватило, чтобы отправить Криса Брокетта в больницу, они были эффективны только до определенной степени и только тогда, когда применялись к коротким фразам – кусочкам предложения. Как только фраза была переведена, требовался сложный набор правил, чтобы привести ее в нужное грамматическое время, добавить к словам правильные окончания слов и согласовать ее со всеми остальными частями предложения. И все равно перевод получался путаным, и смысл лишь смутно угадывался, как в той детской игре, где вы составляете рассказ из слов или словосочетаний, написанных на клочках бумаги. Но это в любом случае превосходило возможности любой нейронной сети. К 2004 году нейронные сети рассматривались как третьесортный способ решения задач – как устаревшая технология, лучшие дни которой остались позади. Как сказал один исследователь Алексу Грейвсу, тогда еще молодому аспиранту, изучавшему нейронные сети в Швейцарии, «нейронные сети предназначены для людей, которые не разбираются в статистике». Выбирая себе специализацию в Стэнфорде, девятнадцатилетний студент по имени Ян Гудфеллоу записался на курс так называемой когнитивистики – дисциплины, изучающей вопросы мышления и обучения, – и во время одной из лекций преподаватель пренебрежительно отозвался о нейронных сетях как о технологии, которая не может справиться с операцией «исключающее или». Этому упреку было сорок лет от роду, и он уже был двадцать лет как опровергнут.

В Соединенных Штатах коннекционистские исследования почти исчезли из ведущих университетов. Единственная серьезная лаборатория, продолжавшая ими заниматься, была в Нью-Йоркском университете, где Ян Лекун в 2003 году занял должность профессора. Главным пристанищем для тех, кто все еще верил в эти идеи, стала Канада. Хинтон работал в Торонто, а один из прежних коллег Лекуна по Bell Labs, Йошуа Бенжио – тоже родом из Парижа, – руководил научной лабораторией в Монреальском университете. Как раз в эти годы Ян Гудфеллоу подал заявки в аспирантуру по информатике в разные вузы, и некоторые предложили ему место, включая Стэнфорд, Беркли и Монреаль. Он выбрал Монреаль, но, когда он туда приехал на собеседование, один из тамошних студентов стал его отговаривать. Стэнфорд занимал третье место в рейтинге учебных программ по информатике в Северной Америке. Беркли был четвертым. И оба находились в солнечной Калифорнии. Монреальский университет занимал где-то сто пятидесятое место, и там было холодно.

– Стэнфорд! Один из самых престижных университетов в мире! – уговаривал его этот монреальский студент, с которым они гуляли по городу, все еще покрытому снегом, хотя дело было поздней весной. – Какого черта, о чем ты думаешь?

– Я хочу изучать нейронные сети, – сказал ему Гудфеллоу.

По иронии судьбы, в то время самое время, когда Гудфеллоу занимался нейронными сетями в Монреале, один из его прежних профессоров, Эндрю Ын, познакомившись с результатами исследований, которые продолжали поступать из Канады, решил сам заняться этим в своей лаборатории в Стэнфорде. Но он слыл чудаком и имел слишком мало влияния как в своем собственном университете, так и в более широком научном сообществе, не говоря уже о том, что у него не было никаких доказательств, которые позволили бы убедить окружающих в том, что нейронные сети стоят того, чтобы их исследовать. Где-то в этот период он выступил с докладом на семинаре в Бостоне и предсказал скорый подъем в исследованиях нейронных сетей. В середине его выступления профессор из Беркли Джитендра Малик, один из фактических лидеров сообщества разработчиков компьютерного зрения, встал и по примеру Мински заявил, что все это бессмыслица и что самодовольные заявления докладчика не имеют под собой абсолютно никаких оснований.

Примерно в это же самое время Хинтон представил доклад на конференцию NIPS, где он позже выставит на аукцион свою компанию. Эта конференция была задумана в конце 1980-х годов как возможность для ученых обсудить исследования всякого рода нейронных сетей, как биологических, так и искусственных. Но организаторы конференции отклонили статью Хинтона, потому что уже приняли одну работу по нейронным сетям и решили, что два доклада на эту тему было бы перебором. «Нейронный» было плохое слово даже для конференции, посвященной «нейронным системам обработки информации». К тому времени понятие «нейронные сети» упоминалось менее чем в 5 процентах всех опубликованных работ, относящихся к этой области знаний. Подавая статьи на конференции и в журналы, некоторые исследователи в надежде повысить свои шансы на успех, заменяли словосочетание «нейронная сеть» какими-то другими терминами, например «аппроксимация функций» или «нелинейная регрессия». Ян Лекун даже убрал слово «нейронный» из названия своего самого важного изобретения. «Сверточные нейронные сети» стали просто «сверточными сетями».

Тем не менее, статьи, которые сам Лекун считал бесспорно важными, отвергались научным сообществом, и, когда такое случалось, он вступал в жаркие споры, твердо отстаивая свою правоту. Кто-то видел в этом чрезмерную самоуверенность, кто-то, наоборот, воспринимал это как признак неуверенности и обиды за то, что его труды не находят признания у авторитетных ученых. Однажды Клеман Фарабе¹⁰⁰, один из его аспирантов, построил нейронную сеть, которая могла анализировать видеозаписи и разделять разные виды объектов – отличать деревья от зданий, автомобили от людей. Это был шаг к компьютерному зрению для роботов и беспилотных автомобилей, наделявший их способностью выполнять свои задачи с меньшим количеством ошибок – по сравнению с другими технологиями – и делать это гораздо быстрее, но рецензенты на одной из ведущих конференций по компьютерному зрению безоговорочно отвергли статью, которую он написал об этом. Лекун ответил письмом на имя председателя конференции, в котором говорилось, что рецензии настолько нелепы, что он не знает, как написать опровержение, не оскорбив рецензентов. Председатель конференции выложил письмо в интернет на всеобщее обозрение, и, хотя имя Лекуна он удалил, было очевидно, кто автор этих слов.

Помимо Канады, нормально заниматься разработкой нейронных сетей можно было только в Европе или Японии. Одним из таких мест была лаборатория в Швейцарии, возглавляемая Юргеном Шмидхубером, энтузиастом искусственного интеллекта, который еще в детстве объяснял своему младшему брату, что человеческий мозг можно искусственно воссоздать с помощью медных проводов, а с пятнадцати лет мечтал¹⁰¹ построить машину, которая была бы умнее, чем он сам, – и потом уйти на покой. В 1980-е годы, будучи студентом, он изучал нейронные сети, а затем, по окончании аспирантуры, его амбиции пересеклись¹⁰² с амбициями итальянского производителя ликеров по имени Анджело Далле Молле. В конце десятилетия, сколотив состояние на продаже артишокового ликера, Далле Молле воздвиг лабораторию искусственного интеллекта¹⁰³ в Швейцарии, на берегу озера Лугано, неподалеку от границы с Италией, исполненный намерения изменить мир к лучшему с помощью умных машин, которые могли бы справляться со всей работой, традиционно ложившейся на людские плечи. В скором времени Шмидхубер возглавил эту лабораторию.

Он выделялся высоким ростом – примерно метр девяносто, – стройным телосложением и квадратной челюстью. Ходил всегда в шляпе или в кепке и носил пиджак в стиле Неру. «Легко представить, как он гладит белого кота», – говорит о нем один из его бывших учеников, имея в виду Эрнста Блофельда, злодея из ранних фильмов о Джеймсе Бонде, который тоже одевался в стиле Неру. Внешность Шмидхубера каким-то образом гармонировала со швейцарской лабораторией, которая тоже выглядела как будто из фильма о Бонде – эдакая крепость на берегу европейского озера, в окружении пальм. В стенах этого созданного Далле Моле научно-исследовательского института Шмидхубер и один из его студентов разработали нейронную сеть с кратковременной памятью, как они сами ее описали, способную «запоминать» данные, которые она недавно анализировала, благодаря чему эффективность анализа на каждом следующем этапе возрастала. Эта сеть получила название LSTM, что расшифровывалось как «долгая краткосрочная память». На самом деле способности этой сети были невелики, но Шмидхубер верил, что такая технология позволит создать искусственный интеллект уже в ближайшие годы. Он утверждал, что некоторые нейронные сети обладают не только памятью, но и чувствительностью. «У нас в лаборатории рождается разум», – говорил он. Как позже с чувством выразился один из студентов, «он походил на маньяка».

Хинтон шутил, что LSTM расшифровывается как «looks silly to me» («мне это кажется глупостью»). Шмидхубер служил особенно ярким примером давней традиции, существовавшей среди исследователей искусственного интеллекта, начиная с Розенблатта, Мински и Маккарти. Со времени возникновения этой области науки ее наиболее выдающиеся представители время от времени обещали создать жизнеспособные технологии, но эти обещания так и оставались пустым звуком. Иногда это был способ привлечь инвестиции со стороны правительственных учреждений или венчурных капиталистов. В других случаях это была искренняя вера в то, что ИИ действительно не за горами. Такой оптимистичный настрой помогал продвигать исследования вперед. Но он же, когда реальные технологии не оправдывали ожиданий, становился тормозом прогресса на многие годы.

Сообщество коннекционистов было крошечным, и возглавляли его европейцы – англичане, французы, немцы. Даже политические, религиозные и культурные взгляды этих ученых не укладывались в рамки американского мейнстрима. Хинтон был убежденным социалистом. Бенжио отказался от французского гражданства, потому что не хотел служить в армии. Лекун называл себя «воинствующим атеистом». Хотя Хинтон таких терминов не использовал, чувствовал он примерно то же самое. Он часто вспоминал один момент из своей юности, когда он сидел в часовне Клифтон-колледжа, частной школы, где он учился, и слушал проповедь. Проповедник с кафедры говорил, что в коммунистических странах людей заставляют посещать идеологические собрания и оттуда нельзя уйти. Хинтон подумал тогда: «Но я же точно в такой ситуации». Он оставался верен этим своим убеждениям – атеизм, социализм, коннекционизм – и в последующие десятилетия, хотя после продажи своей компании Google за 44 миллиона долларов стал называть себя «gauche caviar» – «левым икрожуем»^[2]. «Это правильный термин?» – лукаво спрашивал он, прекрасно зная, что это так.

*** * ***

Как ни трудны были 1990-е годы для Лекуна, для Хинтона они были еще тяжелее. Вскоре после переезда в Торонто они с женой усыновили двоих детей из Южной Америки: мальчика Томаса из Перу и девочку Эмму из Гватемалы. Обоим еще не исполнилось шести лет, когда его жена начала страдать болями в животе и терять в весе. Хотя это продолжалось несколько месяцев, она отказывалась обратиться к врачу, твердо придерживаясь своей веры в гомеопатическую медицину. Когда она наконец сдалась, у нее обнаружили рак яичников. Но даже тогда она продолжала настаивать на гомеопатическом лечении, отказываясь от химиотерапии. Полгода спустя она умерла.

Хинтон полагал, что его карьера ученого подошла к концу. Ему нужно было заботиться о своих детях, а Томасу, у которого были, как говорили в семье, «особые потребности», нужно было самое пристальное внимание. «Я проводил время в раздумьях», – говорил впоследствии Хинтон. Два десятилетия спустя, получая – вместе с Лекуном – премию Тьюринга, он выразил благодарность своей второй жене Джеки Форд, англичанке, занимавшейся историей искусства, за то, что она спасла его научную карьеру, когда они поженились в конце 1990-х, и помогла ему вырастить детей. Они познакомились много лет назад в Университете Сассекса. Встречались на протяжении года, а потом он переехал в Сан-Диего, и они расстались. Они воссоединились, когда он вернулся в Великобританию и устроился на работу в Университетский колледж Лондона, но вскоре после этого они снова переехали в Канаду. Ему казалось, что его детям лучше в Торонто.

Так на рубеже тысячелетий Хинтон снова вернулся в свой угловой кабинет в корпусе компьютерных наук Университета Торонто, выходящий окнами на мощеную булыжником улицу, прорезавшую кампус насквозь. Окна были такие большие, что все тепло уходило из его кабинета, согревая окоченевшую от сильных морозов природу. Этот кабинет стал привычным местом сбора для небольшого сообщества ученых, которые все еще верили в нейронные сети, – отчасти благодаря научному авторитету Хинтона, но также из-за его креативности, энтузиазма и своеобразного чувства юмора люди тянулись к нему, пусть даже поболтать о пустяках. Если ему отправили письмо с вопросом, как он предпочитает, чтобы его называли, Джеффри или Джефф, его ответ в равных долях содержал остроумие и обаяние:

Я предпочитаю Джеффри.

Спасибо,

Джефф.

Исследователь Аапо Хювяринен¹⁰⁴ однажды опубликовал научную статью, сопроводив ее словами благодарности, которые дают представление как о чувстве юмора Хинтона, так и о его вере в то, что идеи выше математики:

Базовая идея, лежащая в основе этой статьи, разрабатывалась при активном участии Джеффри Хинтона, который, однако, не пожелал стать соавтором, потому что статья содержит слишком много уравнений.

Критерием хорошей идеи для него было то, сколько он веса потерял, потому что забывал поесть. Один студент утверждал, что лучшим рождественским подарком от своей семьи Хинтон считал позволение вернуться в лабораторию и еще немного поработать в праздник. А по свидетельствам многих коллег, у него всегда была привычка забежать в комнату, объявить, что он наконец-то понял, как работает мозг, объяснить свою новую теорию, потом так же быстро убежать, а через несколько дней вернуться и сказать, что его прежняя теория совершенно неверна, но теперь у него есть новая.

Руслан Салахутдинов, впоследствии ставший одним из ведущих мировых коннекционистов и одним из самых плодовитых сотрудников Apple, уже было расстался с этой областью науки, когда в 2004 году познакомился с Хинтоном в Университете Торонто. Хинтон рассказал ему о новом проекте, связанном с послойным обучением массивных нейронных сетей, снабжаемых гораздо большим количеством данных, чем это было возможно в прошлом. Это называлось «глубокие сети доверия». Он и уговорил Салахутдинова вернуться в лоно коннекционизма. Помимо других факторов, свою роль здесь сыграл авторитет Хинтона, само его имя. Молодой студент по имени Навдип Джейтли попросился в торонтскую лабораторию Хинтона после того, как случайно увидел огромную очередь студентов, выстроившихся перед кабинетом профессора. Другой студент, Джордж Даль, заметил подобный эффект в более широком контексте исследований, связанных с машинным обучением. Каждый раз, когда он натыкался на интересную научную работу или на интересного исследователя, обнаруживалась прямая связь с Хинтоном. «Не знаю, то ли Джефф выбирает людей, которые в конечном итоге становятся успешными, то ли он каким-то образом делает их успешными. Я сам это испытал и склоняюсь ко второму варианту», – говорит Даль.

Сын преподавателя английского языка и литературы, Даль был ученым-идеалистом, который сравнивал поступление в аспирантуру с уходом в монастырь. «Нужно иметь неотвратимую судьбу, какое-то призвание, которое поможет тебе переживать темные времена, когда твоя вера слабеет», – любил говорить он. Его призванием, решил он, был Джефф Хинтон. И он был не одинок. Когда Даль нанес визит еще одной группе исследователей, занимавшихся машинным обучением в Университете Альберты, тамошний студент по имени Влад Мних пытался убедить его, что его место здесь, а не в Торонто. Но когда той же осенью Даль приехал в Университет Торонто и вошел в переоборудованный чулан, где университет выделил ему рабочее место, Мних уже тоже был там. Он перебрался в лабораторию Хинтона еще летом.

В 2004 году, когда интерес к нейронным сетям в целом пошел на убыль, Хинтон удвоил ставку на свою идею, надеясь интенсифицировать работу в своем маленьком сообществе коннекционистов. «Тема в группе Джеффа всегда была одна и та же: старое – это новое, – говорит Даль. – Если идея хорошая, ты продолжаешь попытки еще двадцать лет, развиваешь ее, пока она не сработает. Она не перестанет быть хорошей идеей, если она не сработала сразу же». Имея более чем скромное финансирование со стороны от Канадского института перспективных исследований – менее 400 000 долларов в год – Хинтон создал новый коллектив, сосредоточивший внимание на том, что он называл «программой нейронных вычислений и адаптивного восприятия», и дважды в год проводил семинары для исследователей, которые все еще придерживались этих коннекционистских взглядов, включая специалистов по информатике, инженеров-электронщиков, нейробиологов и психологов. Лекун и Бенжио играли во всем этом активную роль, как и Кай Юй, китайский ученый, который впоследствии перейдет в Baidu. Впоследствии Хинтон сравнил сплоченную работу этого коллектива с дуэтом Боба Вудворда и Карла Бернстайна, которые решили сотрудничать, а не соперничать, когда расследовали Уотергейтское дело. Это давало возможность обмениваться идеями. В Торонто одной из удачных идей было придумать для этой очень старой технологии новое название.

Когда Хинтон в день своего шестидесятилетия читал лекцию на ежегодной конференции NIPS, проходившей тогда в Ванкувере, он впервые использовал словосочетание «глубокое обучение» (deep learning). Это был хитроумный ребрендинговый ход. В плане работы с многослойными нейронными сетями в «глубоком обучении» не было ничего нового. Но это был яркий, вызывающий эмоциональную реакцию термин, призванный помочь активизировать исследования в области, которая снова впала в немилость. Он понял, что название было выбрано удачно, когда в середине лекции он сказал, что все остальные занимаются «поверхностным обучением», и аудитория встретила его слова одобрительным смехом. В долгосрочной перспективе это оказался мастерский ход. Благодаря ему авторитет крошечной группы исследователей, работавших фактически на задворках большой науки, сразу же возрос. К одной из конференций NIPS кто-то снял видеомистификацию, в которой группа людей присягает глубокому обучению, так словно речь идет о религиозной секте типа саентологов или Храма народов.

«Когда-то я был рок-музыкантом, – говорит один из новообращенных. – А потом я постиг глубокое обучение».

«Хинтон – вождь, – говорит другой. – Идите за ним».

Это было забавно, потому что это было правдой. Речь шла об идеях, которые витали в воздухе уже несколько десятилетий, но ценность которых так никогда и не была доказана. Однако кто-то продолжал в них верить.

Спустя пятьдесят лет после летней конференции, положившей начало разработкам ИИ, Марвин Мински и многие другие отцы-основатели съехались в Дартмут, чтобы отпраздновать юбилей. На этот раз к трибуне вышел Мински, а из аудитории ему стал возражать другой человек. Это был Терри Сейновски, к тому времени переехавший из Балтимора в Сан-Диего и ставший профессором Института Солка. Сейновски сказал Мински, что некоторые исследователи ИИ видят в нем дьявола, потому что он и его книга остановили прогресс нейронных сетей.

«Вы действительно дьявол?» – спросил Сейновски. Мински отмахнулся от вопроса и снова стал говорить о многочисленных недостатках и ограничениях искусственных нейронных сетей и справедливо указывать, что они никогда не делали того, что должны были делать.

Тогда Сейновски снова спросил: «Вы все-таки дьявол?»

Потерявший терпение Мински наконец ответил: «Да, я такой».

Глава 4
Прорыв. «Делай в Google то, что хочешь ты, а не то, что хочет от тебя Google»

Одиннадцатого декабря 2008 года Ли Дэн вошел в один из отелей города-курорта Уистлера, расположенного к северу от Ванкувера в Британской Колумбии, у подножия заснеженных гор, где в 2010 году проходили горнолыжные соревнования в рамках зимних Олимпийских игр. Он приехал сюда не на лыжах кататься. Он был там ради науки. Каждый год сотни исследователей приезжали в Ванкувер на ежегодную конференцию NIPS, посвященную искусственному интеллекту, а после ее окончания большинство участников совершали короткую поездку в Уистлер для более тесных «семинаров», связанных с проблематикой NIPS: два дня научных докладов, ученых дебатов и неформальных разговоров в коридоре, которые помогали оценить ближайшее будущее ИИ. Родившийся в Китае и получивший образование в США, Дэн на протяжении всей своей карьеры создавал программное обеспечение, предназначенное для распознавания речи, сначала в должности преподавателя в Университете Ватерлоо в Канаде, а затем в должности исследователя в центральной научно-исследовательской лаборатории Microsoft под Сиэтлом. Такие компании, как Microsoft, продавали программы распознавания речи уже более десяти лет, позиционируя эту технологию как способ автоматического преобразования в письменный текст записей вашего голоса на диктофон, но приходилось признать, что эта система работала не так хорошо, как хотелось бы, и слишком часто неправильно воспринимала слова, которые вы произносили в микрофон. Как и большинство разработок ИИ в то время, эта технология совершенствовалась слишком медленно. В Microsoft Дэн и его команда потратили три года на создание последней версии системы распознавания речи, и она работала хорошо если процентов на пять точнее, чем предыдущая. И вот однажды вечером в Уистлере он наткнулся на Джеффа Хинтона.

Он знал Хинтона еще со времен работы в Канаде. В начале 1990-х, в период краткого ренессанса коннекционистских исследований, один из аспирантов Дэна¹⁰⁵ написал диссертацию, посвященную возможностям использования нейронных сетей в целях распознавания речи, и Хинтон, к тому времени занявший место профессора в Торонто, принял участие в работе ученого совета, рассматривавшего диссертацию. В последующие годы, когда интерес к коннекционизму в широких научных кругах снова угас, эти двое ученых мало пересекались. Хотя Хинтон продолжал твердо держаться своей веры в нейронные сети, распознавание речи рассматривалось им лишь как второстепенное побочное явление, и его лаборатория в Торонто этим практически не занималась – а это означало, что он и Дэн вращались в совершенно разных кругах. Но когда они оказались в одном и том же конференц-зале в отеле Hilton Whistler Resort and Spa – почти пустом зале, где несколько исследователей сидели за столами, ожидая, когда кто-нибудь задаст им вопросы об их последних разработках, – Дэн и Хинтон сразу же разговорились. Дэн, чрезвычайно возбудимый и очень разговорчивый, легко вступал в беседы с кем угодно. У Хинтона был свой план.

– Что нового? – спросил Дэн.

– Глубокое обучение, – ответил Хинтон. – Нейронные сети, – сказал он, – начинают показывать успехи в распознавании речи.

Дэн не очень-то поверил. Хинтон в прошлом практически не занимался методами распознавания речи, а нейронные сети еще никогда и ни в чем не показывали настоящих успехов. В Microsoft Дэн разрабатывал свой собственную методику распознавания речи, и у него не было времени пускаться в очередную погоню за призрачными алгоритмами. Но Хинтон настаивал. Его исследованиям не уделяется достаточно внимания, сказал он, но за последние несколько лет он и его ученики опубликовали ряд работ, в которых подробно описываются его глубокие сети доверия, способные обучаться на гораздо больших объемах данных, чем это позволяли предыдущие методы, и по эффективности его метод распознавания речи уже приближается к лидирующим технологиям в этой области. «Вы должны это попробовать», – твердил Хинтон. Дэн пообещал, что попробует, и они обменялись почтовыми адресами. Потом прошли месяцы.

Летом, когда у Дэна появилось больше свободного времени, он решил-таки почитать литературу о возможностях распознавания речи при помощи нейронных сетей, и эффективность этой технологии так его впечатлила, что он написал Хинтону письмо, предложив организовать в Уистлере новый семинар вокруг этой идеи. Однако он все еще сомневался в долгосрочных перспективах метода, который систематически игнорировался мировым сообществом исследователей, занимавшихся темой распознавания речи. С простыми тестами он хорошо справлялся, но это же можно было сказать и о многих других алгоритмических методах. Когда же подошло время в очередной раз собраться в Уистлере, Хинтон отправил Дэну еще одно письмо¹⁰⁶, приложив к нему черновой вариант научной работы, которая продвигала его методику еще дальше. Там было показано, что после трехчасового прослушивания и анализа произносимых вслух слов эффективность нейронной сети в распознавании речи сравнивается с эффективностью самых передовых технологий. Дэн все еще не мог в это поверить. Ученые из Торонто описывали свою технологию так, что ее было ужасно трудно понять, и тестировали свою систему, используя базу данных звуков, записанных в лаборатории, а не реально звучащую речь. Хинтон и его ученики вступили в такую область исследований, с которой они были не очень хорошо знакомы, и это было заметно. «Статья была просто плохо оформлена, – говорит Ли Дэн. – И я просто не мог поверить, что они достигли тех же результатов, что и я». Поэтому он попросил показать исходные данные проведенных испытаний. И когда он открыл письмо, просмотрел данные и своими глазами увидел, на что способна эта технология, тогда он поверил.

*** * ***

Тем же летом Ли Дэн пригласил Хинтона поработать в научно-исследовательской лаборатории Microsoft в Редмонде, штат Вашингтон. Хинтон согласился. Но сначала ему нужно было как-то добраться туда. В последние годы его проблемы со спиной дошли до такой степени, что он снова стал сомневаться в возможности продолжать работать. Спину он надорвал за сорок лет до этого, когда по просьбе своей матери пытался передвинуть заполненный кирпичом тепловой аккумулятор. Это привело к протрузии межпозвонкового диска, и с годами состояние позвоночника становилось все более нестабильным. Теперь для обострения болезни ему достаточно было просто наклониться или присесть. «Это было сочетание генетики, глупости и невезения, как бывает при любых жизненных неприятностях», – говорит он. Единственный выход, решил он, заключался в том, чтобы перестать садиться (кроме как «на пару минут пару раз в день», как он выражается, по неизбежным физиологическим потребностям). Встречаясь со студентами в своей лаборатории в Торонто, он часто лежал на рабочем столе или на раскладушке, которая стояла у стены в кабинете, пытаясь облегчить боль. По этой же причине он не мог водить машину и не мог летать самолетами.

Поэтому осенью 2009 года он сначала доехал на метро до автовокзала в центре Торонто, встал в очередь одним из первых, чтобы успеть занять заднее сиденье автобуса до Буффало, лег и притворился спящим, чтобы никто не попытался его сдвинуть. «В Канаде это срабатывает», – говорит он. (На обратном пути из США в Канаду не сработало: «Я лег на заднее сиденье и притворился спящим, а какой-то парень подошел и растолкал меня».) Прибыв в Буффало, он оформил визу, необходимую для работы в лаборатории Microsoft, а затем почти три дня ехал через всю страну на поезде до Сиэтла. Дэн не понимал, какой проблемой для Хинтона была его спина, пока не услышал, сколько времени и хлопот занял этот переезд. Перед прибытием поезда он заказал для своего кабинета регулируемый по высоте стол для Хинтона, чтобы они могли работать бок о бок.

Хинтон прибыл в середине ноября. Последний отрезок пути, лежа на заднем сиденье такси, он проделал по понтонному мосту через озеро Вашингтон, отделяющее Сиэтл от Редмонда, небольшого пригорода, застроенного множеством средних размеров офисных зданий, принадлежащих корпорации Microsoft. Ему выделили место в офисе Дэна на третьем этаже Корпуса 99 – здания из гранита и стекла, где располагалось самое сердце научно-исследовательского подразделения компании. Это была та самая лаборатория, где лингвист Крис Брокетт в свое время пережил приступ паники, – лаборатория академического стиля, внимание которой было сосредоточено не на рынках и деньгах, как это можно было бы сказать об остальных подразделениях Microsoft, но на технологиях будущего. Она была создана в 1991 году, как раз в то время, когда компания Microsoft стала доминировать на мировом рынке программного обеспечения, и одной из главных целей, поставленных перед ней, была разработка технологии распознавания речи. В течение следующих пятнадцати лет компания наняла многих ведущих исследователей в этой области, включая Ли Дэна, приманивая их необычайно высокими зарплатами. Но к тому времени, когда Хинтон прибыл в Редмонд, место Microsoft в мире успело измениться. Баланс сил смещался от софтверного гиганта в другие области технологического ландшафта. Google, Apple, Amazon и Facebook быстро росли, захватывая новые рынки и новые деньги – поисковики, смартфоны, онлайн-торговля, социальные сети. Microsoft по-прежнему доминировала в области программного обеспечения компьютеров со своей операционной системой Windows, которая устанавливалась на большинстве настольных ПК и ноутбуков, но из-за своих масштабов – а пока она превращалась в одну из крупнейших в мире корпораций, одновременно разросся и ее бюрократический аппарат – она слишком медленно реагировала на перемены, происходящие в окружающем мире.

Внутри Корпуса 99, где четыре этажа лабораторий, конференц-залов и офисов окружали большой атриум с кофейней, Хинтон и Дэн планировали соорудить прототип, основанный на результатах исследований в Торонто, призванный обучать нейронную сеть распознавать произносимые слова. Работы там было немного, и они планировали легко справиться с нею вдвоем, но сразу же возникли бюрократические сложности. Хинтону нужен был доступ для входа в компьютерную сеть Microsoft, а получить доступ можно было только по телефону компании, но для использования телефона требовался свой доступ. Они посылали бесчисленные обращения по электронной почте, пытаясь получить карту доступа для телефона, но все без толку, и тогда Дэн проводил Хинтона к стойке технической поддержки на четвертом этаже. У Microsoft было специальное правило, которое позволяло использовать временный сетевой пароль тем, кто посещал компанию всего на один день, и женщина, сидевшая за стойкой, передала нужную карту доступа Хинтону. Но когда Хинтон спросил, сохранится ли этот доступ и на завтра, она тут же забрала карту обратно. «Если вы остаетесь здесь больше чем на день, – сказала она, – вам это не полагается».

Как только они наконец нашли возможность выходить в сеть, с задачей удалось справиться всего за несколько дней. Был момент, когда Хинтон набирал код на своем настольном компьютере, а Дэн подскочил и начал набирать рядом с ним на той же клавиатуре. Это было типично для импульсивного, всегда возбужденного Дэна, но Хинтон никогда не видел ничего подобного. «Я привык к тому, что люди перебивают друг друга, – говорит он. – Но такого со мной еще не бывало, чтобы я набирал код на клавиатуре, а кто-то другой встревал и начинал что-то набирать на той же самой клавиатуре». Они построили свой прототип, используя язык программирования Matlab, и код программы, написанный в основном Хинтоном, занимал не более десяти страниц. Как бы Хинтон ни принижал свои способности в области математики и информатики, Дэна поразила элегантная простота созданного им кода. «Все так ясно и понятно, – думал Дэн. – Строчка за строчкой». Но впечатление производила не только ясность кода. После того как система прошла обучение с использованием речевой базы данных Microsoft, они увидели, что это действительно работает – пусть не так хорошо, как ведущие системы того времени, но достаточно хорошо, чтобы Дэн утвердился в убеждении, что именно здесь скрывается ближайшее будущее распознавания речи. Коммерческие системы распознавания речи использовали другие, практически кустарные методы, и будущего у них не было. Дэн понял, что они с Хинтоном создали систему, которая имела все перспективы стать еще более мощной и эффективной, поскольку обучалась на гораздо бо́льших объемах данных.

Для максимально эффективной работы их прототипу все еще не хватало вычислительной мощности, необходимой для анализа всех этих данных. В Торонто Хинтон использовал совершенно особый графический процессор. Производители мощных графических процессоров, или видеокарт, такие как Nvidia, изначально разрабатывали их как средство ускорения рендеринга графики для таких популярных видеоигр, как Halo и Grand Theft Auto, но в какой-то момент разработчики, занимающиеся глубоким обучением, обнаружили, что эти графические процессоры столь же хорошо справляются с математическими расчетами для нейронных сетей. В 2005 году трое инженеров¹⁰⁷ работали над этой идеей в той же самой лаборатории Microsoft, где Дэн и Хинтон несколькими годами позже создали свой прототип системы распознавания речи, и примерно в то же самое время на тот же технический нюанс наткнулась и команда из Стэнфордского университета¹⁰⁸. Эти видеокарты позволяли нейронным сетям обучаться на большем объеме данных за меньшее время – это было как раз то, чего добивался Ян Лекун в Bell Labs в начале 90-х. Разница заключалась в том, что графические процессоры были уже готовыми и общедоступными устройствами. Исследователям не нужно было создавать с нуля новые устройства, чтобы ускорить прогресс глубокого обучения. Благодаря таким играм, как Grand Theft Auto, и таким игровым консолям, как Xbox, они преспокойно могли использовать уже существующие видеокарты. В Торонто Хинтон и двое его студентов, Абдельрахман Мохамед и Джордж Даль, сын преподавателя английского языка, обучали свою систему распознавания речи с помощью этих специализированных видеокарт, и именно это позволило им выйти на новый уровень эффективности.

Когда недолгое пребывание Хинтона в Microsoft завершилось, Дэн настоял, чтобы Мохамед и Даль сменили его в Корпусе 99, причем порознь, в разное время, чтобы реализация проекта неослабно продолжалась еще нескольких месяцев. Согласившись на этот масштабный эксперимент, Хинтон и его ученики объяснили, что для полного успеха проекта необходима вычислительная техника совершенно другого уровня, в том числе мощный графический процессор стоимостью 10 000 долларов. Поначалу Дэна эта цена смутила. Его босс, Алекс Асеро, который впоследствии будет курировать разработку Siri, голосового помощника для Apple iPhone, сразу сказал ему, что это лишние расходы, – дескать, такие графические процессоры нужны для игр, а не для разработки искусственного интеллекта. «Не трать зря деньги», – сказал он Дэну, посоветовав вместо дорогущего графического процессора от Nvidia купить обычную видеокарту в ближайшем магазине электроники. Но Хинтон продолжать уговаривать Дэна, объясняя, что дешевое оборудование загубит эксперимент. Ведь идея эксперимента заключалась в том, чтобы нейронная сеть анализировала речевые данные из базы Microsoft на протяжении нескольких дней, и обычные видеокарты могут загореться от перегрева, если будут работать так долго. Но еще важнее то, что дополнительная вычислительная мощность, обеспечиваемая дорогим графическим процессором, позволит нейронным сетям по-настоящему проявить свои возможности. Дэн должен купить эту видеокарту за 10 000 долларов, и даже, возможно, не одну, а также специальную рабочую станцию, которая сможет эту видеокарту «потянуть». Ее стоимость примерно соответствовала стоимости видеокарты. «Это обойдется вам примерно в 10 000 долларов, – сообщил Хинтон в письме Дэну. – Мы собираемся заказать три штуки, но ведь мы работаем в щедро финансируемом канадском университете, а не в бедной компании, торгующей программным обеспечением». В конце концов Дэн сдался и купил необходимое оборудование.

В том же году научно-исследовательскую лабораторию Microsoft в Редмонде возглавил новый руководитель – Питер Ли. Опытный ученый со склонностью к административной работе, Ли более двух десятков лет проработал в Университете Карнеги – Меллона, где поднялся до должности заведующего кафедрой информатики. Когда он перешел в Microsoft и начал изучать бюджет лаборатории, то наткнулся на платежную ведомость, в котором перечислялись расходы на проект распознавания речи, который вел Дэн, включая деньги, заплаченные Хинтону, Мохамеду и Далю, средства, выделенные на организацию семинара в Уистлере, и расходы на графические процессоры. Ли был ошеломлен. Он решил, что вся эта затея была самой несусветной глупостью, с какой он когда-либо сталкивался. Он знал Хинтона по Университету Карнеги – Меллона в 1980-е годы, и уже тогда нейронные сети у него ничего, кроме смеха, не вызывали. Теперь же он считал это безумием. Но ко времени его прибытия в Редмонд проект был уже на полном ходу. «Иногда я думаю, что, если бы меня пригласили в Microsoft годом раньше, – говорит Ли, – ничего этого не случилось бы».

Прорыва удалось достигнуть тем же летом, когда в лабораторию прибыл Джордж Даль. Высокий, с крупными чертами лица и в маленьких очках, Даль решил посвятить свою жизнь разработке методов машинного обучения еще на втором курсе колледжа, увидев в этом альтернативу программированию компьютеров – то, что позволяет вам решать проблему, даже если вы не совсем знаете, как к ней подступиться. Можно просто дать машине учиться самой. Он был плотно погружен в изучение нейронных сетей, но проблемой распознавания практически не занимался. «Над распознаванием речи я начал работать по той единственной причине, что все остальные члены группы Джеффа занимались компьютерным зрением», – часто говорил он. Он хотел показать, что идеи, зарождающиеся в лаборатории Хинтона, могут применяться не только сотрудниками отдела по распознаванию образов. И ему это удалось. «Джордж мало что знал о распознавании речи, – говорит Ли Дэн, – но он знал толк в графических процессорах». Используя графический процессор стоимостью 10 000 долларов для обучения нейронной сети на основе речевой базы данных, собранной Microsoft’овским голосовым поисковиком Bing, Даль добился того, что эффективность прототипа Хинтона превзошла результативность всех других альтернативных методов распознавания речи, разрабатывавшихся в стенах компании. Даль, Мохамед и Хинтон показали, что нейронная сеть способна просеивать целое море посторонних шумов и каким-то образом выявлять действительно значимый материал, паттерны, обнаружить которые не под силу никакому человеку, главные признаки, неуловимо отличающие один звук от другого, одно слово от другого. Это был переломный момент в долгой истории искусственного интеллекта. За несколько месяцев профессор и два его аспиранта обставили систему, над которой одна из крупнейших мировых компаний трудилась более десяти лет. «Он гений, – говорит Дэн. – Он знает, как добиться результата».

*** * ***

Несколько месяцев спустя, стоя за своим высоким письменным столом в Университете Торонто и поглядывая в окно на булыжную мостовую Кингс-Колледж-роуд, Джефф Хинтон открыл письмо от человека, о котором он никогда не слышал. Его звали Уилл Невитт, и он интересовался, может ли Хинтон прислать кого-нибудь из своих аспирантов в штаб-квартиру Google в Северной Калифорнии. Своей работой по распознаванию речи Хинтон и его ученики вызвали настоящую цепную реакцию в IT-индустрии. После запуска новой программы распознавания речи в Microsoft и публикации результатов своих разработок для всеобщего обозрения они повторили свой успех в стенах второго технологического гиганта, IBM. Осенью 2010 года, через девять месяцев после визита в Microsoft, Абдельрахман Мохамед отправился в Научно-исследовательский центр IBM имени Уотсона, величественное здание которого – еще один образец архитектурного творчества Эро Саринена, и тоже с зеркальными окнами, – прячется среди холмов на берегу реки Гудзон в северной части штата Нью-Йорк. А теперь настала очередь Google.

Мохамед все еще работал с IBM, а Джордж Даль был занят другими исследованиями, поэтому Хинтон обратился к аспиранту, который еще практически не привлекался к их работе с распознаванием. Это был Навдип Джейтли, сын индийских иммигрантов, который только недавно включилася в исследования ИИ – до этого он несколько лет занимался вычислительной биологией. Добродушный по характеру, выделявшийся густыми бровями и бритой головой, он работал вместе с Далем в переоборудованном чулане по соседству с кабинетом Хинтона и ждал возможности пройти стажировку на каком-нибудь предприятии. Хинтон пытался найти ему место в канадской компании RIM, выпускавшей смартфоны BlackBerry, но там сказали, что технологии распознавании речи их не интересуют. Компания RIM, чьи кнопочные устройства доминировали на рынке телефонов всего несколькими годами ранее, уже пропустила скачок к смартфонам с сенсорным экраном. Теперь они обрекали себя пропустить и следующий большой рывок в технологиях. Когда Хинтон предложил Джейтли работу в Google, тот поначалу отказался, сказав, что они с женой ждут ребенка, а еще он подал заявку на грин-карту в США, так что на получение визы ему нечего и надеяться. Но уже через несколько дней он передумал и попросил Уилла Невитта, того самого специалиста из Google, который писал Хинтону, приобрести рабочую станцию с необходимыми графическими процессорами.

К тому времени, когда Джейтли прибыл на стажировку в Google, Невитт покинул компанию. Заменившему Невитта инженеру Венсану Вануку, французу по происхождению, по наследству перешли рабочая станция, напичканная мощными видеокартами, с которой он толком не знал, что делать, и канадский стажер, который знал, что с этим делать, но работать в офисе, где все это хозяйство размещалось, не мог, потому что у него не было рабочей визы. Поэтому Ванук позвонил кому-то в небольшой офис Google в Монреале, и для Джейтли там выделили рабочее место. Именно отсюда Джейтли работал в то лето, практически предоставленный сам себе, подключаясь к компьютеру с массивным графическим процессором через интернет. Но сначала он совершил короткую поездку в Северную Калифорнию, чтобы познакомиться с Вануком и запустить рабочую станцию с графическими процессорами. «Никто другой не умел управляться с этой штукой, – говорит Ванук. – Поэтому пришлось ему самому приехать».

Приехав, Джейтли обнаружил рабочую станцию в дальнем углу коридора, за офисом Ванука и остальных членов группы распознавания речи. «Она гудит там, за принтером», – сказал Ванук. Он не хотел, чтобы эта машина стояла в чьем-либо кабинете или вообще близко к работающим людям. Каждый графический процессор был снабжен вентилятором, и эти вентиляторы непрерывно гудели, чтобы уберечь оборудование от перегрева, и он беспокоился, что кто-то, устав от шума, вздумает выключить машину, не понимая, для чего она предназначена. Он поставил рабочую станцию за принтер, чтобы любой, кто услышит жужжание вентиляторов, решил, что этот шум создается принтером. К этой рабочей станции в Google относились с таким же недоумением, как и в Microsoft, но по другим причинам. Создавая свою империю онлайн-сервисов, компания Google организовала всемирную сеть центров обработки данных, охватывающую сотни тысяч компьютеров. Инженеры компании могли мгновенно получить доступ ко всей этой вычислительной мощности с любого персонального компьютера или ноутбука. Именно так они создавали и тестировали новое программное обеспечение – а не с помощью отдельной рабочей станции, задвинутой в угол за принтер. «Здесь принято так: каждый прогоняет свои программы через общие центры обработки данных, – говорит Ванук. – У нас и без того полно компьютеров, так зачем тебе идти и покупать свой собственный, отдельный компьютер?» Загвоздка была в том, что суперкомпьютеры в Google’овских центрах обработки данных не были оснащены графическими процессорами, которые как раз и были нужны Джейтли.

Он хотел сделать то, что Мохамед и Даль сделали в Microsoft и IBM: перестроить существующую систему распознавания речи с использованием нейронной сети. Но он хотел пойти еще дальше. Системы, существовавшие в Microsoft и IBM, отчасти опирались на другие технологии, и Джейтли стремился расширить охват обучения нейронных сетей, надеясь в конечном итоге построить всеобъемлющую систему, которая обучалась бы всему, анализируя произносимые вслух слова. Перед тем как Джейтли покинул Торонто, Даль посоветовал ему никого в Google не слушать, а просто делать свое дело. «Делай в Google то, что хочешь ты, – сказал он, – а не то, что хочет от тебя Google». Поэтому, когда Джейтли встретился в Калифорнии с Вануком и другими представителями Google, он предложил создать еще бóльшую нейронную сеть. Сначала они отказались. Даже обучение небольшой нейронной сети занимало несколько дней, а если бы Джейтли начал обучал сеть на всем объеме данных Google, это могло занять недели. В его распоряжении было только лето. Один из специалистов Google спросил Джейтли, сможет ли он обучить сеть, используя две тысячи часов устного текста, – и тут уже Джейтли отказался. В Торонто Мохамед и Даль обучали сеть в течение трех часов. В Microsoft для обучения использовали информацию в объеме двенадцати часов. Компания Google располагала гораздо большими объемами голосовой информации, поскольку она постоянно получала ее через свои популярнейшие онлайн-сервисы, включая их фирменный голосовой поисковик и YouTube. Но Джейтли стоял на своем, и, когда встреча закончилась, он написал Хинтону.

«Кто-нибудь когда-нибудь обучал сети по 2000 часов?» – спросил он.

«Нет, – ответил Хинтон. – Но я не вижу в этом ничего невозможного».

Уехав в Монреаль и оттуда подключившись к этой гудящей рабочей станции через интернет, Джейтли обучил свою первую нейронную сеть менее чем за неделю. Тестирование новой системы показало, что она ошибалась в определении слов примерно в 21 проценте случаев – и это был замечательный результат. Сервис распознавания речи Google, используемый в большинстве Android-смартфонах, застрял на уровне 23 процентов. Еще через две недели Джейтли удалось снизить уровень ошибок своей системы до 18 процентов. Прежде чем Джейтли приступил к испытаниям, Ванук и его команда рассматривали этот проект просто как интересный эксперимент. Они и мысли не допускали, что ему удастся хотя бы приблизиться к тому, что уже удалось создать специалистам Google. «Мы были уверены, что мы на голову выше, – говорит Ванук. – Как оказалось, мы заблуждались».

Система работала так хорошо и обучалась так быстро, что Джейтли подготовил вторую сеть, которая была обучена искать видео на YouTube по определенным ключевым словам, произносимым вслух (например, если вы попросите ее найти слово «сюрприз», она точно укажет на те моменты в видеоролике, когда это слово было произнесено). У Google уже был сервис, который делал то же самое, но в 53 процентах случаев ключевое слово воспринималось неверно. Еще до исхода лета Джейтли снизил частоту ошибок в своей системе до 48 процентов. И все это он делал почти исключительно своими силами. Как ему повезло, что он был в Монреале, думал он, потому что там никто не стоял над душой, никто не мешал. Он полностью погрузился в работу, забыв обо всем на свете. Каждый день он работал до одиннадцати вечера, а то и до полуночи. И когда он возвращался домой, жена передавала ему ребенка, который почти всю ночь не спал из-за колик. Назавтра все повторялось, но он не сказал бы, что ему было тяжело. «Это затягивало почти как наркотик, – говорит он. – Результаты становились все лучше».

Когда Джейтли вернулся с семьей в Торонто, Ванук переключил на этот проект всю свою команду. В Google знали, что Microsoft и IBM разрабатывают схожие технологии, и хотели достичь успеха первыми. Проблема была в том, что система Джейтли работала слишком медленно, чтобы обрабатывать «живые» запросы через интернет. Никто не стал бы пользоваться ею на такой скорости. Ее нужно было увеличить раз в десять. Когда специалисты из группы Ванука занялись этой проблемой, к ним присоединилась вторая команда из совершенно другого подразделения компании. Случилось так, что пока Джейтли трудился над своим проектом в Монреале, несколько других ученых, включая еще одного протеже Хинтона, создавали специальную лабораторию глубокого обучения в калифорнийской штаб-квартире компании. В сотрудничестве с группой Ванука эта новая лаборатория сумела менее чем за шесть месяцев перенести эту технологию на Android-смартфоны. В Google не сразу сообщили миру, что их сервис распознавания речи изменился, и вскоре после того, как он стал доступен пользователям, Вануку позвонили из небольшой компании, поставлявшей специальный чип для новейших телефонов на базе Android. Этот чип был призван удалять фоновый шум и делать звучание голоса более чистым, когда вы произносите голосовые команды в свой телефон, – чтобы система распознавания речи могла легче понять сказанное. Но теперь Вануку сообщили, что этот чип перестал работать. Он больше не способствовал повышению эффективности распознавания речи. Вануку не потребовалось много времени, чтобы понять, что на самом деле произошло.

Новая система распознавания речи была настолько хороша, что чип шумоподавления становился излишним. Больше того, без этого чипа она работала даже лучше. Нейронная сеть Google научилась сама справляться с шумом.

Глава 5
Доказательство. «Раньше скорость света в вакууме составляла около 35 миль в час. Затем Джефф Дин за выходные оптимизировал физику»

Эндрю Ын сидел в японском ресторане рядом со штаб-квартирой Google и ждал Ларри Пейджа. Основатель и генеральный директор Google задерживался, что Ына не удивляло. Это был конец 2010 года, и за предыдущие годы Google из небольшой, но невероятно прибыльной компании, специализирующейся на поиске информации в интернете, превратилась в самую могущественную силу Всемирной паутины, технологическую империю, которая доминировала везде и во всем – от личной электронной почты до онлайн-видео и смартфонов. Ын, профессор информатики из соседнего Стэнфордского университета, сидел за столиком у стены. Ему казалось, что будет меньше шансов, что Пейджа узнают и начнут приставать с расспросами, если они не будут маячить в центре ресторана, а уединятся в уголке. Пока он ждал, к нему подсел один из его коллег по Стэнфорду, Себастьян Трун. Трун взял в университете отпуск за свой счет, когда Пейдж попросил его заняться проектом, о котором только недавно стало известно всему миру: Google’овским беспилотным автомобилем¹⁰⁹. Теперь, взяв Труна в посредники, Ын собирался предложить Пейджу новую идею.

Тридцатичетырехлетний Ын, высокий мужчина, всегда говоривший тихо, почти шепотом, подготовил в своем ноутбуке график, призванный наглядно объяснить его идею, но, когда Пейдж наконец пришел и присоединился к ним за столиком, Ын решил, что вытаскивать ноутбук из сумки во время обеда с генеральным директором Google было не совсем правильно. Поэтому он обрисовал идею при помощи рук. Линия графика, показал он, идет вверх и вправо. По мере того как нейронная сеть анализирует все больше и больше исходных данных, она становится все более и более точной, независимо от того, распознает она образы, звуки или язык. А в чем у компании Google нет недостатка, так э�

И сейчас настало изумительное время: все, что мы почитали знанием, лопнуло, точно мыльный пузырь.
Том Стоппард, «Аркадия», действие I, сцена 4

Когда будут раскрыты все тайны и утрачен последний смысл, мы останемся одни. На пустынном берегу.
Действие II, сцена 7

Перевод с английского выполнил Павел Самсонов

по изданию: Cade Metz. Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World. – Dutton.

Пролог
Человек, который никогда не садится

Декабрь 2012 г.

Часть первая
Машина нового типа

Глава 1
Генезис. «Мыслящее чудовище Франкенштейна, родившееся в недрах ВМС»

* * *

По итогам конференции Мински и его коллега по МТИ Сеймур Пейперт опубликовали книгу, посвященную искусственным нейронным сетям⁶², которая получила название «Персептроны»[1]. Многие считали, что эта книга практически похоронила идеи Розенблатта на следующие пятнадцать лет. Мински и Пейперт описали «Перцептрон» во всех подробностях, во многих случаях утрируя то, что говорил о нем сам Розенблатт. Они хорошо понимали, на что «Перцептрон» способен, но так же хорошо видели его недостатки. Они показали, что «Перцептрон»⁶³ был неспособен выполнять логическую операцию, которую математики называют «исключающее или», и что это имеет очень серьезные последствия. Если нанести на карточку две метки, «Перцептрон» мог бы сказать, что они обе черные. Так же он мог бы правильно назвать две белые метки. Но он был неспособен ответить на такой прямой вопрос: «Эти две метки разного цвета?» Это означало, что в некоторых случаях «Перцептрон» был не в состоянии распознать даже простейшие паттерны, не говоря уже о сложнейших паттернах, которые характерны для аэрофотоснимков или голосовых команд. Некоторые ученые, и Розенблатт в их числе, уже занимались разработкой новых модификаций «Перцептрона», пытаясь решить эту проблему. И все же выход в свет книги Мински повлиял на то, что реки бюджетных денег, выделяемых государством на науку, потекли в другие русла, а идеи Розенблатта были на время позабыты. Вслед за Мински большинство ученых сосредоточились на исследовании так называемого «символического ИИ».

Глава 2
Обещание. «Старые идеи – это новые идеи»

* * *

Но для этого потребуется еще десять лет.

* * *

1 Под таким названием книга выходила в русском переводе в 1971 г. (М. Минский, С. Пейперт, Персептроны. «Мир», 1971). Однако сегодня одноименную компьютерную модель, а также аппарат принято называть «перцептроном» (от лат. perceptio – восприятие, перцепция), поэтому дальше по тексту будет использоваться данный вариант. – Прим. ред.

Продолжение книги

Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир бесплатное чтение

Кейд Метц Создатели искусственного гения: О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Пролог Человек, который никогда не садится

Часть первая Машина нового типа

Глава 1 Генезис. «Мыслящее чудовище Франкенштейна, родившееся в недрах ВМС»

* * *

* * *

Глава 2 Обещание. «Старые идеи – это новые идеи»

* * *

* * *

Глава 3 Неприятие. «Я всегда был уверен, что я прав»

* * *

* * *

Глава 4 Прорыв. «Делай в Google то, что хочешь ты, а не то, что хочет от тебя Google»

* * *

* * *

Глава 5 Доказательство. «Раньше скорость света в вакууме составляла около 35 миль в час. Затем Джефф Дин за выходные оптимизировал физику»

ПрологЧеловек, который никогда не садится

Часть перваяМашина нового типа

Глава 1Генезис. «Мыслящее чудовище Франкенштейна, родившееся в недрах ВМС»

Глава 2Обещание. «Старые идеи – это новые идеи»

Кейд Метц
Создатели искусственного гения: О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Пролог
Человек, который никогда не садится

Часть первая
Машина нового типа

Глава 1
Генезис. «Мыслящее чудовище Франкенштейна, родившееся в недрах ВМС»

Глава 2
Обещание. «Старые идеи – это новые идеи»

Глава 3
Неприятие. «Я всегда был уверен, что я прав»

*** * ***

*** * ***

Глава 4
Прорыв. «Делай в Google то, что хочешь ты, а не то, что хочет от тебя Google»

*** * ***

*** * ***

Глава 5
Доказательство. «Раньше скорость света в вакууме составляла около 35 миль в час. Затем Джефф Дин за выходные оптимизировал физику»

Пролог
Человек, который никогда не садится

Часть первая
Машина нового типа

Глава 1
Генезис. «Мыслящее чудовище Франкенштейна, родившееся в недрах ВМС»

Глава 2
Обещание. «Старые идеи – это новые идеи»