Смартфоны и дроны смогут работать "как микроскопы и телескопы": что придумали ученые

Китайские исследователи из Юго-Восточного университета использовали метод глубокого обучения для улучшения качества изображения металинз. Искусственный интеллект повысил качество изображений, что позволит в будущем камерам смартфонов и дронов выполнять широкий спектр задач, пишет Interesting Engineering.

Команда применила многомасштабную сверточную нейронную сеть — форму машинного обучения — для повышения разрешения, контрастности и искажений изображений, снятых разработанной ими небольшой камерой. Камера размером 3 см×3 см×0,5 см оснащена датчиком, интегрированным в дополнительный чип изображения. По мнению ученых, этот подход может значительно улучшить разрешение, контрастность и сгладить искажения, что приведет к существенному улучшению общего качества фото и видео.

Металинзы — невероятно тонкие оптические устройства, которые управляют светом с помощью наноструктур; часто они имеют толщину всего несколько атомов. Хотя их крошечный размер может позволить создавать невероятно легкие и компактные камеры без обычных оптических линз, получение требуемого качества изображения с их помощью оказалось сложной задачей. Чтобы решить эту проблему, исследователи разработали метод высококачественной визуализации при помощи глубокого обучения.

Созданная ими камера имеет металинзу с цилиндрическими наноштырями из нитрида кремния высотой 1000 нм. Без дополнительных оптических компонентов металинза фокусирует свет непосредственно на датчик изображения CMOS. Несмотря на свою компактность, камера не могла похвастать качеством полученных изображений. Ученые решили выяснить, можно ли использовать машинное обучение для улучшения фото и видео.

Глубокое обучение использует многоуровневые нейронные сети для автоматического изучения функций на основе данных и принятия сложных решений или прогнозов. Исследователи применили этот метод, используя модель сверточной визуализации для создания большого набора данных парных изображений высокого и низкого качества. Эти пары и стали материалом для обучения многомасштабной сверточной нейронной сети, что позволило ей идентифицировать характеристики каждого типа изображения и преобразовывать изображения низкого качества в изображения высокого качества.

Новый метод глубокого обучения применили к 100 тестовым фотографиям, чтобы проверить его. По словам ученых, произошло заметное улучшение обоих показателей изображений, которые проанализировала нейронная сеть. Они также продемонстрировали, как этот метод может быстро и точно создавать высококачественные изображения, аналогичные тем, которые наблюдались непосредственно в ходе экспериментов. Контрастность и искажения также были улучшены.

В настоящее время исследователи сосредоточены на разработке металинз с расширенными функциональными возможностями, такими как цветное и широкоугольное изображение. Они также разрабатывают методы нейронных сетей для улучшения качества изображений с помощью металинз.

Для того, чтобы коммерциализировать новую технологию, потребуются особые методы сборки для интеграции металинз в модули камер смартфонов, дронов и других гаджетов, а также разработка специального программного обеспечения. И данные задачи представляются ученым вполне реалистичными.

Ранее мы писали, что Xiaomi скоро удивит новым смартфоном с модернизированной перископической камерой. Xiaomi 14 Ultra вышел на рынок относительно недавно, но уже есть утечки о "преемнике" — Xiaomi 15 Ultra.