11-12-2015, 09:12 AM
открываю бо нужно где-то писать.
мысля неоконченная и неразрешимая)) не рекомендуется к чтению/принятию как чего-то правильного или даже намек на онное))
****дисклеймер:****
не призываю к действию. даже к обсуждению не призываю) просто тему открыл где можно фигню такую писать, типа бложик по совместительству с блокнотиком. мож и сразу помрет как маразм...
*******************
мотивация:
- Занятно было-бы не ушами слушать, а все-же програмкой-микрофоном(ацпшкой). притом именно слушать, а не измерять измеряемое.
как сфотать и посмотреть фотку, а не исследовать абберации оптики и передаточную функцию матрицы.
только заменить орган слуха на орган зрения))
для этого...
нужно построить более-менее простую модель слушания, заложить в нее всякие слушательные способы которыми моск работает, и результат представить в трехмерном-многомерном пространстве. каждым способом уточняя местоположение и прочие характеристики аудиообразов.
чтобы нарисовать картинку/видео на какую-то песенку, например)
проблемы, вернее те которые на самом деле не проблемы сегодня:
- померять ачх, импульс, искажения, переотражения. каким-то специальным сигнальчиком. оно дает харатеристики, но не рисует картинку которую можно помацать глазом. вернее все эти измеряшки рисуют много разных красивых картинок, но они плохо переносятся например в пространственные характеристики системы.
и зачастую требуют специальных сигнальчиков а не музыки с образами)) (образы - не религиозного характера, прим. редактора).
а хочется такой себе визуалайзер)
модель обработки
- два канала на входе, постоянный ффт на каждый канал, в памяти лежит ффт отцентрованный на каждом сэмпле каждого канала.
таким образом получаем плавающее окно ффт по каждому каналу. зачем? можно ффтшки двух каналов сравнить между собой и при определенном совпадении ффтшек решить, что это совпадение - результат какого-то происшествия в аудиодорожке. по разности времени между найденными соответствиями можно определить местоположение КИЗ этого происшествия.
теперь если добавить еще и поиск совпадений ффт и на тот-же канал, то можно получить реверб тайм этого совпадения на самого себя, т.е. расстояния до стенок-отражателей комнаты прослушивания.
имея размеры стенок и расстояние до них, а так-же направление сигнала - можно его уже рисовать в двухмерном пространстве, т.е. на картинке)))
добавь сюда всяких плюшек типа цвета прозрачности и размера, нарисуй их побольше с низким разрешением - можно получить(попытаться) какую-то звуковую картинку)))
в эту модель местоположения можно будет добавлять всяких дополнительных алгоритмов, дающих свои оценки местоположения и прочего. дабы в итоге оно становилось все точней и точней (или не точней, главное чтоб плавненько рисовалось и все было правильно с т.з. размеров, физики и математики).
****
вот такой вот маразм. не призываю к действию. даже к обсуждению не призываю) просто тему открыл где можно фигню такую писать, типа бложик по совместительству с блокнотиком. мож и сразу помрет как маразм...
****
мысля неоконченная и неразрешимая)) не рекомендуется к чтению/принятию как чего-то правильного или даже намек на онное))
****дисклеймер:****
не призываю к действию. даже к обсуждению не призываю) просто тему открыл где можно фигню такую писать, типа бложик по совместительству с блокнотиком. мож и сразу помрет как маразм...
*******************
мотивация:
- Занятно было-бы не ушами слушать, а все-же програмкой-микрофоном(ацпшкой). притом именно слушать, а не измерять измеряемое.
как сфотать и посмотреть фотку, а не исследовать абберации оптики и передаточную функцию матрицы.
только заменить орган слуха на орган зрения))
для этого...
нужно построить более-менее простую модель слушания, заложить в нее всякие слушательные способы которыми моск работает, и результат представить в трехмерном-многомерном пространстве. каждым способом уточняя местоположение и прочие характеристики аудиообразов.
чтобы нарисовать картинку/видео на какую-то песенку, например)
проблемы, вернее те которые на самом деле не проблемы сегодня:
- померять ачх, импульс, искажения, переотражения. каким-то специальным сигнальчиком. оно дает харатеристики, но не рисует картинку которую можно помацать глазом. вернее все эти измеряшки рисуют много разных красивых картинок, но они плохо переносятся например в пространственные характеристики системы.
и зачастую требуют специальных сигнальчиков а не музыки с образами)) (образы - не религиозного характера, прим. редактора).
а хочется такой себе визуалайзер)
модель обработки
- два канала на входе, постоянный ффт на каждый канал, в памяти лежит ффт отцентрованный на каждом сэмпле каждого канала.
таким образом получаем плавающее окно ффт по каждому каналу. зачем? можно ффтшки двух каналов сравнить между собой и при определенном совпадении ффтшек решить, что это совпадение - результат какого-то происшествия в аудиодорожке. по разности времени между найденными соответствиями можно определить местоположение КИЗ этого происшествия.
теперь если добавить еще и поиск совпадений ффт и на тот-же канал, то можно получить реверб тайм этого совпадения на самого себя, т.е. расстояния до стенок-отражателей комнаты прослушивания.
имея размеры стенок и расстояние до них, а так-же направление сигнала - можно его уже рисовать в двухмерном пространстве, т.е. на картинке)))
добавь сюда всяких плюшек типа цвета прозрачности и размера, нарисуй их побольше с низким разрешением - можно получить(попытаться) какую-то звуковую картинку)))
в эту модель местоположения можно будет добавлять всяких дополнительных алгоритмов, дающих свои оценки местоположения и прочего. дабы в итоге оно становилось все точней и точней (или не точней, главное чтоб плавненько рисовалось и все было правильно с т.з. размеров, физики и математики).
****
вот такой вот маразм. не призываю к действию. даже к обсуждению не призываю) просто тему открыл где можно фигню такую писать, типа бложик по совместительству с блокнотиком. мож и сразу помрет как маразм...
****
Аминь.
