Ученые решили, что надо лишить искусственный интеллект уверенности в себе
Это сделает системы ИИ умнее и безопаснее
Группа ученых из Калифорнийского университета в Беркли пришла к выводу, что работа систем искусственного интеллекта улучшится, если их лишить уверенности в своих действиях. Алгоритмы должны не только уметь выполнять требуемое задание, но и принимать во внимание попытки человека вмешаться в них. Статья исследователей доступна на сайте ArXiv.org, передает N+1.
Уже сейчас системы искусственного интеллекта справляются с некоторыми задачами лучше человека. По мнению некоторых экспертов, занятых в сфере машинного обучения и развития нейросетей, компьютер в 2049 году напишет бестселлер, а уже к 2053 году сможет проводить хирургические операции не хуже врачей.
Столь быстрое развитие технологий нередко вызывает беспокойство у ученых, которые видят в этом потенциальные угрозы. Одна из них состоит в том, что однажды цели человека и машины не совпадут и алгоритм откажется подчиняться командам. В одних случаях это может быть полезно, а в других – крайне опасно, поэтому исследователи уже сейчас пытаются определить, какую степень свободы необходимо предоставить системам искусственного интеллекта.
Чтобы ответить на этот вопрос, американские ученые создали математическую модель взаимодействия между человеком и роботом, которая представлена в виде абстрактной "игры с выключателем". Ее концепция проста: роботу с выключателем дается некоторое задание, которое человек в любой момент может прервать, нажав на кнопку. Однако если робот считает такой поступок неразумным, он блокирует действия оператора и продолжает свою работу. При этом главная задача машины – действовать с максимальной выгодой для пользователя.
Реакция робота в рамках модели напрямую зависела от его суждений о рациональности человека. Если программа исходит из того, что поведение оператора может быть не оптимально, а робот безусловно действует во благо его интересов, то она никогда не позволит выключить себя. Если же машина, наоборот, полагает, что человек всегда прав, то она будет отключаться по первой его команде, даже если ИИ на самом деле все делает правильно. Ученые пришли к выводу, что оптимальная стратегия для машины заключается в том, чтобы принять во внимание попытку пользователя остановить процесс, проинформировать его о том, что робот хочет продолжить выполнение задачи, и подождать обратного ответа пользователя. В этом случае функция полезности для человека оказывается максимальной.
Такая модель, как, например, и дилемма заключенного, достаточно абстрактна и может быть дополнена множеством деталей, которые повлияют на результат. Так, ученые рассуждают о том, что в ситуации, когда беспилотный автомобиль самостоятельно везет маленького ребенка в школу, наилучшей стратегией для него было бы игнорировать действия пассажира. В целом, авторы работы не говорят о каких-то конкретных решениях (придуманная ими игра отчасти носит философский характер), однако склоняются к тому, что с точки зрения безопасности система не должна впадать в крайности.
В будущем исследователи планируют просчитать вероятность разных реакций робота в случаях, когда он осведомлен о собственной полезности. Например, робот-бариста может счесть свои действия более ценными ранним утром, чем днем.