ИИ испугал врачей: он выдумал несуществующую часть тела
Все больше беспокойства в сфере медицины вызывает использование ИИ, которое подвержено так называемым “галлюцинациям”. Недавняя ошибка ИИ снова подняла вопрос о безопасности его использования в медицинских целях.
Недавно ученые столкнулись с настолько убедительно звучавшей ошибкой, что на ее поиск ушел целый год. В мае 2024 года была опубликована исследовательская работа, которая должна была продемонстрировать возможности ИИ под названием Med-Gemini от Google. ИИ должен был проанализировать результаты сканирования мозга людей из рентгенологической лаборатории с различными заболеваниями, пишет Futurism.
Один из диагнозов, поставленных ИИ, звучал как “старый инфаркт базилярного ганглия”, предполагая, что такая часть мозга как “базилярные ганглии” действительно существует. На самом же деле ничего подобного в человеческом организме нет.
У Фокус. Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и захватывающие новости из мира науки!
После обнаружения ошибки, по словам сертифицированного невролога Брайана Мура, компания Google исправила ошибку в своем блоге, но не внесла правки в саму исследовательскую работу.
Эксперты говорят, что вероятнее всего, ИИ перепутал базальные ганглии (область мозга, связанная с двигательной функцией и привычками) с базилярной артерией, которая является крупным сосудом в основании ствола мозга. В компании Google объяснили это простой опечаткой.
Но медицинские работники считают, что это яркий пример хронических и серьезных недостатков технологии. Даже новейшие ИИ от таких компаний, как Google и OpenAI, могут распространять ошибки, созданные с помощью обширных языковых моделей, которые обучаются на основе данных из широкого списка интернет-ресурсов.
В медицине такие ошибки могут иметь катастрофические последствия. Эта недавняя оплошность ИИ не привела бы к каким-то серьезным последствиям, но она пополнила список тревожных прецедентов.
“То, о чем мы говорим, невероятно опасно. Это всего два слова, но это очень серьезно”, - говорит директор по медицинской информации системы здравоохранения Providence Маулин Шах.
Компания Google представила свой медицинский ИИ заявив, что он имеет “значительный потенциал в медицине”. Его предлагалось использовать для диагностики заболеваний с помощью рентгеновских снимков, компьютерной томографии и других материалов.
После того, как Мур сообщил компании об ошибке в исследовательской работе, ему ответили, что это опечатка. Позже в своем блоге компания отметила, что “basilar” — распространённая ошибка в транскрипции слова “basal”, которую Med-Gemini усвоила из обучающих данных, хотя значение отчёта осталось неизменным”.
В медицинском контексте галлюцинации, вызванные ИИ, могут легко привести к путанице и потенциально даже поставить под угрозу жизнь. Это касается не только Med-Gemini. Более продвинутая модель здравоохранения от Google, получившая название MedGemma, также приводила к разным ответам в зависимости от формулировки вопросов, что иногда приводило к ошибкам.
“Природа этих ИИ такова, что они склонны выдумывать ответы, потому что не могут сказать “Я не знаю”. Это является большой проблемой для таких важных областей, как медицина”, - говорит доцент кафедры радиологии и информатики Университета Эмори Джуди Гичоя.
Многие эксперты в сфере медицины говорят, что люди слишком спешат с внедрением ИИ в клинические условия, начиная от ИИ-терапевтов до рентгенологов и медсестер.
Напомним, ИИ теперь решает новые проблемы, незамеченные людьми. Поисковик уязвимостей на базе искусственного интеллекта (ИИ) от Google под названием Big Sleep впервые обнаружил проблемы в программном обеспечении (ПО).