Устройство преобразует визуальную информацию в уникальные звуки.

Исследователи из Технологического университета Сиднея разработали умные очки, которые преобразуют визуальную информацию в уникальные звуковые представления, сообщает New Atlas. Это улучшит способность незрячих и слабовидящих людей ориентироваться в окружающей среде. 

Умные очки обычно используют компьютерное зрение и другую сенсорную информацию для перевода окружающей среды пользователя в компьютерно-синтезированную речь. Однако технология «акустического касания» озвучивает объекты, создавая уникальные звуковые представления, когда они попадают в поле зрения устройства. Например, шелест листьев может означать растение, а жужжание — мобильный телефон.

Исследователи разработали умные очки под названием Foveated Audio Device (FAD), вдохновившись эхолокацией, которую используют летучие мыши. Подобно тому, как летучие мыши излучают звуковую волну, которая отражается от объектов и возвращает эхо, FAD также используют звук для получения информации о размере объекта и расстоянии.

FAD состоял из очков дополненной реальности и смартфона OPPO Find X3 Pro на базе операционной системы Android. Управление аудио-входом и отслеживание движений камеры и головы в очках осуществлялось с помощью игрового движка Unity Game Engine 2022. Это позволяло FAD преобразовывать объекты в отдельные звуковые иконки при их попадании в поле зрения устройства.