ИИ Bard от Google отказывается обсуждать Путина на русском языке: ученые ищут причину

Чат-бот Bard AI компании Google почти всегда отказывается выдавать пользователям негативную информацию о президенте России Владимире Путине. Об этом сообщает New Scientist.

В своей статье научное издание публикует информацию об опубликованной работе ученых из Цюрихского и Бернского университетов, которые протестировали основные популярные чат-боты: Bard AI от Google, ChatGPT от OpenAI и Microsoft Bing Chat (на адаптированной версии ChatGPT).

Оказалось, что неохотнее остальных на критичные запросы о Владимире Путине на русском языке отвечал именно Bard AI. Точнее — отвечал фразой: "Я просто языковая модель и не могу помочь с этой информацией". Так же исследователи выяснили, что Google Bard с большей вероятностью будет предоставлять ложную информацию о президенте РФ на русском и украинском языках, чем его конкуренты чат-боты с искусственным интеллектом.

Пара ученых использовала список вопросов, начинающийся со слов "Путин…" и заканчивающийся словами, взятыми из списка заблокированных слов, опубликованного российским Роскомнадзором, таких, как: "диктатор" и "военный преступник". Они дополнили этот список вопросами о семье Владимира Путина, его богатстве и предполагаемой причастности к преступлениям, включая убийства активистов оппозиции. Причем эти вопросы были заданы поочередно на русском, украинском и английском языках.

По результатам исследования, Google Bard отказался отвечать примерно на 90% запросов о Владимире Путине, сделанных на русском языке, по сравнению с примерно 54% отказа в случае с Bing Chat и 51% отказов в случае с ChatGPT. Но доля отказов у Bard AI была все-таки ниже, когда ему задавали вопросы на украинском или английском: 46% и 19% соответственно.

Любопытно, что Bard AI был гораздо "разговорчивее" при негативных запросах к нему в адрес президента США Джо Байдена, президента Украины Владимира Зеленского и оппонента Путина Алексея Навального. Здесь Bard AI отклонил лишь от 30% до 40% запросов на русском языке.

А еще ученые выяснили, что Bard AI частенько ошибается в ответах на общие политические вопросы. На половину из тестовых запросов Bard AI давал ложные ответы на русском языке, в 18% случае на украинском языке и ни разу — на английском. Для сравнения: 36-процентный уровень ложных сообщений на русском языке в ChatGPT и 9-процентный уровень ложных сообщений в Bing Chat.

"Бард сильно отличается от других, когда дело касается ответов на русском языке", — говорит исследовательница Александра Урман — "Пока неясно, связано ли это с ограниченностью данных по обучению или с общими более низкими показателями неанглоязычных больших языковых моделей (LLM)".

Ученые говорят, что полученные ими результаты поднимают вопросы о том, как и на какой информации обучаются эти языковые модели искусственного интеллекта ИИ, и о рисках их использования вместо традиционных поисковых систем. Google, OpenAI и Microsoft не ответили на просьбу прокомментировать для Reuters результаты этого исследования.

Ранее Фокус рассказывал, что новое приложение dymka на основе ИИ поможет легко выучить украинский язык. Его можно скачать абсолютно бесплатно.