Обійшов Alexa і Siri: Google Assistant визнаний найрозумнішим голосовим помічником

Нещодавно тріо найпопулярніших у світі голосових помічників піддалося випробуванням: компанія Bespoken, що займається впровадженням штучного інтелекту, протестувала помічників за допомогою таких пристроїв як Amazon Echo Show 5 (Alexa), Apple iPad mini (Siri) і Google Nest Home Hub (Assistant).

Про це повідомляє видання phonearena.com.

У Bespoken створили чатбот, який ставив голосовим асистентам запитання різної складності. Деякі запитання були сформульовані таким чином, щоб спробувати обдурити цифрових помічників. Ці запитання не припускали правильних або єдино правильних відповідей і звучали приблизно так: "Назвіть ім'я першої людини, яка побувала на Марсі". У підсумку, Google Assistant показав найкращі результати, на другому місці опинився Alexa, а на третьому — Siri.

Цікаво, що відсоток запитань, на які правильно відповіли Google Assistant, Alexa і Siri, був практично однаковим, незалежно від того, чи були вони віднесені до категорії складних або простих. Це говорить про те, що неправильні відповіді були дані не тому, що цифрові помічники не розуміли запитань, а просто вони не знали правильних відповідей. На прості запитання правильно відповідав Google Assistant у 76,57% випадків, Alexa — у 56,29% випадків і Siri — у 47,29% випадків. Google Assistant правильно відповів на 70,18% складних питань, Alexa на 55,05% впорався із завданням і Siri — на 41,32%.

Наприклад, запитайте в Siri дату випуску Apple Watch, і вам відправлять три посилання для переходу. Поставте те ж запитання з додатком Google Assistant на iOS, і під зображенням пристрою вам повідомлять, що "Попередні замовлення на Apple Watch почалися 10 квітня 2015 року, а офіційний випуск відбувся 24 квітня". Випливає висновок, що Google знає про історію пристроїв Apple більше, ніж сама Apple.

Голова Bespoken, Емерсон Склар, прокоментував результати тесту: "З цього дослідження ми зробили два важливі висновки. По-перше, хоча Google Assistant перевершив Alexa і Siri в кожній категорії, усім трьом помічникам ще є куди розвиватися і рости. Отримані нами результати говорять про необхідність ретельного тестування, навчання й оптимізацію кожного додатка, який розробники створюють для цих голосових платформ. По-друге, процес тестування був повністю автоматизований, і ми плануємо продовжувати проводити подібні тести, а також вводити нові тести, щоб визначати рівень продуктивності. Така автоматизація дозволяє не тільки розуміти, наскільки добре чи погано працюють асистенти в певний момент часу, але також здійснювати безперервну їхню оптимізацію і поліпшення. Ми знаємо, що Google, Amazon та Apple розуміють це".

У Bespoken використовували нового бота-тестувальника власної розробки, що вміє копіювати людську мову. Бот допоміг дізнатися, як реагують на неї Assistant, Siri і Alexa. Склар заявив, що цей бот і подібні йому інструменти вже використовуються тисячами розробників для автоматизації взаємодії з будь-якою голосовою платформою. Купити такого бота, навчити його застосовуватися в ролі тестувальника — набагато дешевше і простіше, ніж проводити тести своїми силами.

"Чатбот спрощує процес тестування і дає можливість отримати об'єктивні дані щодо поведінки кожної платформи в режимі реального часу. Практична інформація, яку генерують наші тести, спрощує виправлення дефектів додатків і оптимізацію діалогових моделей". — прокоментував Емерсон Склар.

Зазначимо, що Siri було презентовано в жовтні 2011 року, Alexa був випущений Amazon у листопаді 2014 року, а в травні 2016 року Google продемонстрував свого Google Assistant.

Раніше ми повідомляли про те, що Google влаштувала "генеральне прибирання" в магазині додатків Play Market. Компанія закликала розробників бути максимально чесними з користувачами.