Слепая камера на базе Raspberry Pi создает «фото» с помощью ИИ на основе окружающих звуков

Слепая камера на базе Raspberry Pi создает «фото» с помощью ИИ на основе окружающих звуков

Если камеры, «фотографирующей» по данным о местоположении вам недостаточно – то вот «фотоаппарат», генерирующий изображение на основе звуков. Разработчик Диего Трухильо Писанти создал на базе Raspberry Pi слепую камеру, в качестве данных для «фото» использующей окружающие звуки.

Курс SPRING CLOUD Навчіться розробляти додатки з використанням Spring Cloud і зробіть свої додатки більш масштабованими та еластичними. Вивчити курс

Чтобы получить изображение, достаточно навести звукоуловитель аппарата на объект и нажать кнопку. Искусственный интеллект распознает обстановку и выдаст результат. Специально для этого проекта Писанти разработал собственную модель нейронной сети, которую обучил на видеороликах, снятых в Мехико. Чем уникальнее звук – тем лучше выходит «фото».

1111

Для обучения модели использовались все кадры видео и последняя секунда аудио. Таким образом были созданы ассоциативные ряды, привязанные к местности. Отсюда следует ограничение модели: все воссозданные изображения будут напоминать столицу Мексики. Впрочем, дальнейшее обучение способно расширить географию.

Для создания камеры использован модуль Raspberry Pi 3B, но можно взять и Raspberry Pi 4. На компьютере работает софт Tensorflow. Камера также имеет небольшой экран-«видоискатель», позволяющий следить за процессом создания изображений и видеть результат. Корпус и звукоуловитель напечатаны на 3D-принтере.

Модель ИИ, используемая для обучения слепой камеры, создана с использованием Python 3. Она предназначена для работы с Tensorflow 2 и запускается на Raspberry Pi с использованием TFLite. Подробнее о проекте можно узнать на сайте создателя.

ИИ-модель NVIDIA Neuralangelo способна создавать 3D-объекты из 2D-видео

Курс «Фінансовий менеджер» Від операційки до ухвалення рішень Хочу на курсpic

Источник: Tom’s Hardware

Подписывайтесь на новости AIcybernews.com в Twitter и Facebook

Другие новости

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии

Актуально

Последние новости

BNB Chain сожгли около 1,6 млн BNB

22 июля 2024 года BNB Chain провела 28 ежеквартальное сжигание монет BNB. Из обращения вывели 1 643 698 BNB на общую сумму около $971...

JPMorgan: Рост крипторынка — это временное восстановление

Аналитики компании JPMorgan Chase утверждают, что недавний рост курса биткоина и ряда других криптоактивов не является свидетельством «бычьего тренда». По их мнению, речь идет...