Горе-доктор мировых масштабов: ученые рассказали о смертельно опасных советах ИИ в медицине

Последние достижения в области технологий искусственного интеллекта, такие как GPT-4 от OpenAI, продолжают привлекать внимание как своими впечатляющими возможностями, так и недостатками. Несмотря на значительные инвестиции и усилия по развитию, модели ИИ по-прежнему не справляются с такими базовыми задачами, как подсчет букв в словах — известным примером является неспособность GPT-4 надежно подсчитать, сколько раз буква "r" встречается в слове "strawberry". Подобные ошибки могут показаться тривиальными и даже забавными в обычном применении, но они имеют гораздо более серьезные последствия в таких областях, как здравоохранение, пишет Fururism.

У Фокус.Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и увлекательные новости из мира науки!

В медицинских учреждениях такие инструменты, как MyChart, коммуникационная платформа, используемая в больницах, включают в себя функции, основанные на искусственном интеллекте, для составления сообщений между врачами и пациентами. MyChart позволяет обмениваться сотнями тысяч сообщений в день, и сейчас 15 000 врачей используют ИИ-инструмент платформы для создания ответов. Однако все большее беспокойство вызывает возможность ошибок ИИ в подобных контекстах, когда даже незначительные ошибки могут привести к опасным последствиям. Пример, приведенный доктором Винаем Редди из UNC Health, иллюстрирует этот риск: сгенерированный ИИ ответ ошибочно заверил пациентку, что она получила вакцину от гепатита В, несмотря на то, что система не имела доступа к ее записям о прививках.

Критики подчеркивают, что инструмент искусственного интеллекта не сообщает пациентам, было ли их сообщение составлено алгоритмом, что приводит к потенциальным проблемам с доверием. Как отмечает биоэтик Атмея Джаярам, пациенты могут почувствовать себя обманутыми, если обнаружат, что сообщения, написанные, как им кажется, "голосом" их врача, на самом деле были составлены искусственным интеллектом. Это опасение усиливается тем, что не существует федеральных норм, обязывающих генерируемые ИИ медицинские рекомендации маркировать как таковые, поэтому пациентам сложно понять, от кого они получают информацию — от человеческого специалиста или автоматизированной системы.

Возможность вредных и опасных ошибок, вызванных ИИ, не является гипотетической. Исследование, проведенное в июле и опубликованное в журнале JAMIA, выявило семь "галлюцинаций", ложных сообщений, сгенерированных ИИ, в 116 составленных сообщениях системы MyChart. Хотя это число может показаться небольшим, даже одна ошибка в медицинском общении может иметь катастрофические последствия. Дальнейшие исследования показали, что GPT-4, модель, на которой основаны эти системы, часто допускает ошибки, когда ее просят составить сообщение для пациента, что подчеркивает риск, который до сих пор представляет собой ИИ в таких критически важных сферах, как здравоохранение.

Все большее использование искусственного интеллекта в медицинской коммуникации поднимает более широкие этические и нормативные вопросы. Хотя ИИ способен снизить административную нагрузку на медицинских работников, он также создает новые риски, особенно при недостаточных мерах предосторожности. Без прозрачности использования ИИ пациенты могут не знать, кто или что предоставляет им медицинские консультации, что может подорвать доверие, имеющее решающее значение в отношениях между медицинскими работниками и больными людьми.

Ранее Фокус писал о потенциальном признаке рака поджелудочной железы, который не стоит игнорировать. Данный рак является одним из самых скрытных и имеет низкий шанс выживаемости, поэтому ранее выявление очень важно в ситуации, где на кону всегда стоит жизнь.

Также Фокус писал о необычных свойствах клеток, вызывающих у нас рак крови и одновременно защищающих нас от болезни Альцгеймера. Состояние крови, которое обычно считается опасным, неожиданно оказалось защитой от недуга, согласно новому исследованию.

Важно! Эта статья основана на последних научных и медицинских исследованиях и не противоречит им. Текст носит исключительно информационный характер и не содержит медицинских советов. Для установления диагноза обязательно обратитесь к врачу.