Нейроморфная система улучшает машинное зрение в условиях экстремального освещения

Нейроморфная система улучшает машинное зрение в условиях экстремального освещения
05:00, 08 Мар.

Недавно исследовательская группа разработала нейроморфную систему управления экспозицией (NEC), которая улучшает машинное зрение в условиях экстремальных изменений освещенности. Опубликованная в Nature Communications, эта биологически вдохновленная система имитирует человеческое периферийное зрение, достигая беспрецедентной скорости и надежности в динамических средах восприятия.

Исследовательскую группу возглавляли профессор Цзя Пан и профессор Ифань Эван Пэн с кафедры компьютерных наук и кафедры электротехники и электроники инженерного факультета Университета Гонконга (HKU) в сотрудничестве с исследователем из Австралийского национального университета.

Традиционные системы автоматической экспозиции (AE) полагаются на итеративную обратную связь по изображению, создавая дилемму «курица или яйцо», которая не срабатывает при резких изменениях яркости (например, туннели, блики).

Система NEC решает эту проблему путем интеграции камер событий — датчиков, которые фиксируют изменения яркости по пикселям как асинхронные «события» — с новым алгоритмом Trilinear Event Double Integral (TEDI).

Этот подход: работает со скоростью 130 миллионов событий/сек на одном ЦП, что позволяет развертывать периферию.

«Подобно тому, как наши зрачки мгновенно адаптируются к свету, NEC имитирует биологическую синергию между путями сетчатки», — пояснил Шицзе Линь, первый автор статьи. «Объединяя потоки событий с физическими показателями света, мы обходим традиционные узкие места, чтобы обеспечить зрение, не зависящее от освещения».

В ходе испытаний группа проверила NEC в критически важных сценариях: Автономное вождение: улучшенная точность обнаружения (mAP +47,3%) при выезде транспортных средств из туннелей на яркий солнечный свет.

Дополненная реальность (AR): достигнуто на 11% более точное определение позы (PCK) при отслеживании руки под хирургическим освещением. 3D-реконструкция: обеспечивает непрерывную SLAM-съемку в условиях чрезмерного воздействия, где обычные методы неэффективны.

Медицинская помощь с дополненной реальностью: сохранение четкой интраоперационной визуализации, несмотря на динамическую регулировку прожектора. Профессор Пан сказал: «Этот прорыв представляет собой значительный скачок в машинном зрении , преодолевая разрыв между биологическими принципами и вычислительной эффективностью.

Система NEC не только устраняет ограничения традиционного контроля экспозиции, но и прокладывает путь для более адаптивных и устойчивых систем зрения в реальных приложениях — от автономных транспортных средств до медицинской робототехники».

Профессор Пэн прокомментировал: «Наша совместная работа сыграла важную роль в расширении границ нейроморфной инженерии.

Используя основанное на событиях зондирование и биоинспирированные алгоритмы, мы создали систему, которая не только быстрее, но и более надежна в экстремальных условиях. Это свидетельствует о силе междисциплинарных исследований в решении разнообразных сложных инженерных задач».

В долгосрочной перспективе парадигма NEC предлагает новую схему обработки событий и кадров, которая снижает нагрузку на обработку событий/изображений высокого разрешения и включает биологически правдоподобные принципы в низкоуровневый контроль машинных глаз.

Это открывает новые возможности для проектирования камер, системного управления и алгоритмов нисходящего потока. Успех команды в воплощении нейроморфной синергии в различных системах является важной вехой, которая может вдохновить многие оптические/изображения/нейроморфные конвейеры обработки и подразумевает прямые экономические и практические последствия для отрасли.

Рубрика: Техно. Читать весь текст на android-robot.com.

 

Канделаки возглавила ТНТ вместо автора «Дома-2»: станет ли канал вторым Матч-ТВ Поклонники задумались, какие изменения ждут канал. Не столкнётся ли он с проблемами Матч ТВ, которым руководила Канделаки. Фото: pbs.twimg.com Тина К...

Сериал «Стас» 2021 на «ТНТ»: Описание серий, актёры и роли, дата выхода «Бытовуха» русского стендапера — основная идея сериала «Стас». Комик Старовойтов, пропавший с экранов, исполнил главную роль в ситкоме. Стас Старовой...

Один на льдине Rucriminal.info продолжает рассказывать о распиле бюджета на федеральных трассах страны. ФКУ «Управление федеральных автодорог «Северо-За...

«Карусель бабла в природе» Зрители концерта Пикника, которые попали под террористическую атаку, считают ложными заявления о том, будто все системы «Крокуса», предна...

Канделаки возглавила ТНТ вместо автора «Дома-2»: станет ли канал вторым Матч-ТВ Поклонники задумались, какие изменения ждут канал. Не столкнётся ли он с проблемами Матч ТВ, которым руководила Канделаки. Фото: pbs.twimg.com Тина К...

Как выбрать электрический массажер Электрический массажер - это устройство, которое использует электричество для создания вибраций или движений, которые массируют тело. Они могут быть ...

Русская поэма Издательство «Альпина Проза» представляет книгу Анатолия Наймана «Русская поэма». Эта книга — развернутый комментарий Анатолия Наймана к главным, осн...

Палеолитическое орудие на картине XV века Группа ученых из Кембриджского университета и Дартмутского колледжа определила, что камень, изображенный на картине французского художника XV века Жа...

Сборная команда Брянской области успешно выступила на Первенстве ЦФО по пауэрлифтингу В Туле завершилось Первенство Центрального федерального округа по пауэрлифтингу. Успешное выступление на соревновании продемонстрировала сборная спор...

В Брянске открыли завод по сбору грузовиков В Брянске открыли завод по сбору грузовиков из КНР Продавать продукцию будут под брендом BNM Мероприятие прошло 18 августа. На открытии присутствовал...

Valve официально прекратила поддержку CS:GO Компания Valve объявила о прекращении поддержки легендарной игры Counter-Strike: Global Offensive с 1 января 2024 года.С начала нового года компания ...

CS2: борьба за 200 тыс. долларов. Кто победит? В данной статье вы увидите обзор финалистов Elisa Masters Espoо 2023, а также общую информацию по турниру! Турнир Elisa Masters Espoo 2023 – это круп...

«Почему он не в колонии?»: Известный адвокат возмущена «щадящим» условным сроком для Навального Лидеру ФБК в 2017 году продлили испытательный срок до 2020 года. Адвокат Сталина Гуревич вновь призывает МВД обратить пристальное внимание на персону...

Алессандро Микеле стал новым креативным директором Valentino Алессандро Микеле стал новым креативным директором Valentino. 51-летний итальянский дизайнер заменит Пьерпаоло Пиччоли, который на днях покинул модны...

Алла Пугачёва прокомментировала теракт в "Крокус Сити Холле" Алла Пугачёва в своём инстаграме* опубликовала пост, в котором высказалась о теракте в "Крокус Сити Холле", который произошёл неделю назад. Ранее пев...

Один на льдине Rucriminal.info продолжает рассказывать о распиле бюджета на федеральных трассах страны. ФКУ «Управление федеральных автодорог «Северо-За...

«Карусель бабла в природе» Зрители концерта Пикника, которые попали под террористическую атаку, считают ложными заявления о том, будто все системы «Крокуса», предна...

В Брянске открыли завод по сбору грузовиков В Брянске открыли завод по сбору грузовиков из КНР Продавать продукцию будут под брендом BNM Мероприятие прошло 18 августа. На открытии присутствовал...

Преимущества обучения в GetFit

Школа нутрициологии и фитнеса GetFit предлагает ряд преимуществ для своих учеников: