Машина замість лікаря: ШІ навчив смартфони та ноутбуки виявляти хвороби користувачів

Ізраїльські програмісти створили сервіс Binah.ai, який перевіряє стан здоров'я людей через камери мобільних пристроїв.

Про новий стартап розповіло видання The Times of Israel.

Завдяки новій технології, мобільні пристрої перетворюються на систему для моніторингу життєвих показників, таких як пульс, дихання, киснева сатурація та рівень стресу. Binah.ai використовує камери смартфонів, планшетів і ноутбуків, щоб аналізувати стан шкіри користувача для збору даних про його здоров'я. Людині потрібно лише подивитися в камеру близько 45 секунд, а штучний інтелект зробить все інше.

При захворюваннях людська шкіра швидко змінює колір, відображаючи фізичний стан і різні відхилення від норми. Людське око не здатне вловити такі зміни, однак машина — може. Генеральний директор компанії Binah.ai Девід Маман пояснив, що ШІ в основному стежить за найдрібнішими змінами відтінків, які залежать від кровотоку під поверхнею шкіри.

"Система фіксує ці зміни, щоб зробити висновки щодо наших життєвих показників, — підкреслив він. — Насправді пульс — це пік, що виникає в процесі кровотоку. Машина може побачити цей пік у кольорах RGB".

Сучасні камери можуть записувати відео з частотою близько 30-120 кадрів на секунду, що дозволяє сервісу збирати багато різної інформації про здоров'я користувача. Телефон аналізує відеоряд, фіксуючи відмінності в червоному, зеленому і синьому (RGB) світлі, відбитому шкірою "пацієнта". Платформа використовує технологію віддаленої фотоплетізмографічної обробки зображень (rPPG), яка вже застосовується в Apple Watch і Fitbit. При цьому програма не записує відео, а обробляє його в режимі реального часу.

Як додав Маман, алгоритм не вимагає камери з високою роздільною здатністю, проте сам пристрій має бути достатньо потужним (не слабкішим за iPhone 8). Binah.ai доводиться не тільки вивчати картинку, але ще й постійно калібрувати камеру, виявити обличчя, відстежувати рухи голови, вибирати потрібну область шкіри та ін.

Ще один важливий момент — правильне освітлення. У дуже темному приміщенні або поруч із потужним джерелом світла камера не може зафіксувати зміну колірних відтінків, проте при потребі програма може використовувати ліхтарик смартфона. Окуляри, волосся, борода й інші фактори не заважають алгоритму знаходити відкриті ділянки шкіри.

За словами розробників, штучний інтелект обробляє зображення по-різному для кожного показника, при цьому деякі симптоми можна виявити за допомогою чистої обробки сигналів. Наприклад, частоту серцевих скорочень можна підрахувати по піковому кровотоку під шкірою.

Інші життєво важливі показники, такі як артеріальний тиск, вивчити складніше. Розробники зібрали в лікарнях велику базу даних, включаючи відеозаписи сотень пацієнтів, підключених до медичних пристроїв. Потім вони виділили кілька індикаторів для створення моделі. Технологія вимірювання тиску зараз тестується в лікарні Тель-Хашомер.

Журналісти The Times of Israel перевірили роботу системи на смартфоні iPhone 12, і вона точно визначила пульс. Показники перевірили вручну та за допомогою смарт-годинника Apple Watch. Поки компанія пропонує свій алгоритм іншим розробникам, які зможуть впровадити його в свої додатки для iOS, Android і Windows. ШІ вже готуються використовувати страхові фірми Momentum у Південній Африці, Generali в Європі та Sompo в Японії, ще один постачальник медичних послуг отримує дозвіл в Ізраїлі.

Технологію поки не схвалили регулятори, тому її висновки не можна вважати повноцінним діагнозом, однак можна застосовувати для регулярної перевірки стану здоров'я. Наприклад, лікар не має права виписати ліки за результатами Binah.ai, однак може направити на обстеження. Як зазначив Маман, технології моніторингу здоров'я стали особливо актуальні під час пандемії, коли лікарні перевантажені, а багато людей бояться зайвий раз виходити на вулицю. У зв'язку з цим кількість клієнтів сервісу зросла в три рази. Крім того, лікарі все частіше покладаються на віддалені технології.

"Люди розуміють, що майбутнє не в тому, щоб відправляти вам десятки різних пристроїв для різних потреб. Насправді, будь-який смартфон зможе надавати будь-які послуги", — підсумував гендиректор.

Зараз стартап намагається отримати медичний дозвіл у декількох регіонах, а також працює над виявленням нових показників, таких як температура тіла та рівень алкоголю в крові. В майбутньому технологію можуть впровадити в найрізноманітніші "розумні" пристроїї, у тому числі в холодильники.

Раніше ШІ навчився розуміти відчуття котів за виразом морди. Додаток простий у використанні і вже допомагає канадським ветеринарам виявляти хвороби вихованців.