Компьютер, которому лень. Как ИИ научился отвлекаться от поставленных человеком задач
"Восстание машин" все еще остается фантастическим сюжетом, очень далеким от реальности, что, впрочем, не мешает воплощаться в жизнь другим сюжетам. Здесь и сейчас
— Великий Думатель! Мы пришли издалека. Ты вычислил основной вопрос жизни, Вселенной и вообще?
— О, нет. Я смотрел телек…
В начале 1990-х этот диалог из произведения английского писателя-фантаста Дугласа Адамса казался очень смешным. Самый мощный в мире искусственный интеллект больше десяти миллиардов лет зависает перед телевизором вместо того, чтобы решать главную задачу, поставленную перед ним Вселенной. Ну не абсурд ли!
Прокрастинация считалась сугубо человеческой слабостью, когда ее приписывали компьютеру, это было смешно. Сегодня ученые, занимающиеся развитием искусственного интеллекта, над такими вопросами уже не смеются.
Шутка тридцатилетней давности стала реальной проблемой, которую не так-то просто решить. Американская некоммерческая исследовательская структура Open AI проводила тестирование, в рамках которого агент искусственного интеллекта должен был пройти через виртуальный лабиринт, чтобы взять объект, который ему указали, как важный и ценный. Эксперимент заглох на том этапе, когда в лабиринте появился телевизор, а у агента пульт.
Вместо того чтобы двигаться к поставленной цели, искать обозначенный объект, агент просто застрял перед телеком, бесконечно переключая каналы. Во время другого тестирования у него был виртуальный лазер, как и игре-стрелялке, и вместо того чтобы искать объект, он просто палил по стенам, чтобы увидеть куда попадет.
Когда представляешь возможные последствия такого сбоя на этапе практического применения систем искусственного интеллекта, по спине пробегает холодок. Чем закончится дело, если во время неполосной операции агент, который должен найти и распознать точку воздействия в человеческом теле, неожиданно "отвлечется". Или, к примеру, агент, обеспечивающий автонавигацию транспортного средства, займется чем-то "более интересным" во время движения на полном ходу.
Собственно, эти риски — следствие того, что для автообучения искусственного интеллекта используют эффект сродни человеческому удивлению
Как бы странно это ни звучало, желая заставить ИИ изучать и осваивать новые пространства и территории, ученые научили его удивляться. На основе предыдущих наблюдений он прогнозирует, что должно быть "за поворотом", не важно, в виртуальном лабиринте, на дороге или в коронарной артерии оперируемого пациента, если прогноз не оправдывается, там оказывается что-то другое, появляется плашка новизны.
Система "обучения с подкреплением", о которой здесь идет речь, устроена так, что, совершая правильное действие, агент получает условное поощрение. А если он что-то ищет или пролагает маршрут, значит, правильное действие это двигаться по новым пространствам, а не топтаться на месте или наматывать круги. Поэтому поощрение он получает, когда "удивляется".
Беда в том, что искусственный интеллект способен найти другие источники удивления, никак не связанные с изначально поставленной перед ним задачей. Тут-то и возникает парадоксальная ситуация, когда система делает совершенно не то, что хочет от нее человек.
Группа исследователей из Google Brain, Deep Mind и Высшей технической школы Цюриха вроде бы предложила метод автообучения, при котором агент не станет прокрастинировать, поскольку руководить им будет не стремление "удивиться", а эффект эпизодического любопытства. Однако технопессимисты уже заговорили о том, что человеку все труднее становится контролировать самообучаемый искусственный интеллект.
Чем сложнее и функциональнее становится система, тем меньше шансов, что на этапе испытаний будут выявлены все возможные сбои. Не говоря о том, что вместе со свойствами, подобными любопытству, ИИ приобретает самостоятельную мотивацию, в принципе не зависящую от воли направляющего его человека. Не будем сгущать краски — "восстание машин" все еще остается фантастическим сюжетом, очень далеким от реальности.
Впрочем, иногда фантасты предсказывают будущее. Кое-что из того, о чем в конце 1980-х — начале 1990-х писал Дуглас Адамс, похоже, уже сбылось.