Слепая камера на базе Raspberry Pi создает «фото» с помощью ИИ на основе окружающих звуков

Слепая камера на базе Raspberry Pi создает «фото» с помощью ИИ на основе окружающих звуков

Если камеры, «фотографирующей» по данным о местоположении вам недостаточно – то вот «фотоаппарат», генерирующий изображение на основе звуков. Разработчик Диего Трухильо Писанти создал на базе Raspberry Pi слепую камеру, в качестве данных для «фото» использующей окружающие звуки.

Курс SPRING CLOUD Навчіться розробляти додатки з використанням Spring Cloud і зробіть свої додатки більш масштабованими та еластичними. Вивчити курс

Чтобы получить изображение, достаточно навести звукоуловитель аппарата на объект и нажать кнопку. Искусственный интеллект распознает обстановку и выдаст результат. Специально для этого проекта Писанти разработал собственную модель нейронной сети, которую обучил на видеороликах, снятых в Мехико. Чем уникальнее звук – тем лучше выходит «фото».

1111

Для обучения модели использовались все кадры видео и последняя секунда аудио. Таким образом были созданы ассоциативные ряды, привязанные к местности. Отсюда следует ограничение модели: все воссозданные изображения будут напоминать столицу Мексики. Впрочем, дальнейшее обучение способно расширить географию.

Для создания камеры использован модуль Raspberry Pi 3B, но можно взять и Raspberry Pi 4. На компьютере работает софт Tensorflow. Камера также имеет небольшой экран-«видоискатель», позволяющий следить за процессом создания изображений и видеть результат. Корпус и звукоуловитель напечатаны на 3D-принтере.

Модель ИИ, используемая для обучения слепой камеры, создана с использованием Python 3. Она предназначена для работы с Tensorflow 2 и запускается на Raspberry Pi с использованием TFLite. Подробнее о проекте можно узнать на сайте создателя.

ИИ-модель NVIDIA Neuralangelo способна создавать 3D-объекты из 2D-видео

Курс «Фінансовий менеджер» Від операційки до ухвалення рішень Хочу на курсpic

Источник: Tom’s Hardware

Подписывайтесь на новости AIcybernews.com в Twitter и Facebook

Другие новости

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
0 комментариев
Старые
Новые Популярные

Актуально

Последние новости

Meta тестирует отдельное приложение Direct для переписки в Instagram

Приложение Direct для обмена сообщениями в Instagram. Источник: Meta ...

Продажі GTA VI наблизилися до 15 мільйонів копій

Нова частина Grand Theft Auto обіцяє стати найбільшим хітом цього та, можливо, наступного року. Мільйони шанувальників по всьому світу чекають на день виходу, щоб...

Google Wallet теперь доступен на iPhone: какие функции появились в приложении для пользователей Apple

Интерфейс Google Wallet для iOS с функцией отслеживания доставки заказов. Источник: Google ...

NVIDIA анонсувала прискорювач Rubin HPC із понад 50 тисячами ядер CUDA для наукових обчислень

На конференції SC26 компанія NVIDIA анонсувала новий прискорювач Rubin HPC, призначений для ресурсомістких обчислень, наукового моделювання та аналізу великих масивів даних. Пристрій є частиною...