由人头录音、HRTF 产生的关于空间音频的想法

本贴最后更新于 1304 天前,其中的信息可能已经时异事殊

我从高中就开始热衷于使音频变得生动活泼,希望可以录制生动的现场音频记忆,这是我 6 年前以产生的梦想之一。

可能大家都知道,互联网上几乎所有的音频,当使用耳机播放时,它们就像在你的头内播放,从未像歌手在你面前唱歌一样。

或许有些人已经知道这方面的知识了,但为了避免你还不了解,我先在这里补充一些背景信息:

我们的人有两只耳朵,但是我们可以区分 3D 声音信息,在听到声音时可以确定声音的方向和距离。

那是因为在声音到达我们的耳膜之前,它首先与我们的头,头发,脸,鼻子,皮肤,肩膀,耳廓相互作用……我们的耳廓的形状、骨头的密度,它们为声音添加了滤镜(反射和衍射的结果),因此,当相同的声音从不同的方向到达我们的耳膜时,它们会被我们的身体处理。

由于我们的大脑已经习惯了此滤镜,因此我们可以感觉到声音的方向。

当使用耳机播放音乐时,这些声音不会被我们的身体结构添加滤镜,因此听起来好像所有音乐都在我们的脑袋内播放,永远不会有在前方播放的感觉。

我们的身体声音滤镜效果可以测量并应用于其他音频。该技术称为 HRTF(头部相关传递函数)。

测量此 HRTF 需要笨重且昂贵的设备,并且由于每个人的身体结构都有细微的差别,因此一个 HRTF 参数不能适用于所有人,因此必须进行个性化测量以实现最真实的仿真。

就在昨天,我刚刚自己制作了双耳麦克风。我买了几个 6027(直径 6.0mm,厚 2.7mm)麦克风咪头(每个咪头 1.2 元),并用便宜的耳机焊接了它们,并加了一个小的橡胶套,照片:

BinauralMicImade.jpg

然后,我将每个麦克风咪头放入耳道入口(在这里它将会收集到经过身体处理后的声波),其大小正好适合耳道。然后,我将其插入便宜的 Sony 录音机 ICD-UX543F ,开始录音。

从理论上讲,我的耳道中的两个麦克风将准确地记录我的声音。这实际上只是一个充满希望的理论。

录音几分钟后,我换了个地方,戴上耳机,闭上了眼睛,重新播放了音频文件。我只是在那个录音环境中!我感觉:

  • 人们靠近并经过
  • 车辆从我面前冲过
  • ...

录音真的让我大吃一惊!

这是我今天录的另外一段音频(请佩戴入耳式耳机聆听):

(但是有可能,由于你的 HRTF 与我不同,你可能感受不到一些声音在前方发出)

但是,上面的示例说明,使用一组便宜的设备(双耳麦克风的材料成本甚至不到 5 块钱),我们可以以非常低的成本准确记录人耳如何听到声音。

所以这个主意今天浮现在我脑海:

尽管我们无法测量整个 HRTF 数据,但是我们可以测量一些准确的数据:

在安静的环境中,让一个人在他/她的耳道中佩戴这种双耳麦克风,将扬声器放在这个人的面前一米远,开始录音,并在扬声器中播放音频。

录音将显示前方一米处的声音传递到这个人的耳朵后的声音效果。

经过 FFT 分析后,与原始音频进行比较,我们可以得到一个列表,该列表列出了如何每个频率被如何影响。

使用此列表,我们可以得到这个测试者专属的电子滤镜,将其应用到任何声音或音乐中,然后在人的耳机中播放,这个听众会感觉到声音是从前方一米远处发出的。

如果可以有效使用此滤镜,则在使用耳机拨打电话时,用户会感觉自己的朋友在他面前讲话,而不是在脑海里讲话!

我的想法到这里就结束了。我对处理音频及其所有算法一无所知。更不要说写出这样的分析和处理脚本了。

当然以后有机会的话也可以尝试搞搞,如果有能力做的人也可以试试!

  • 奇思妙想

    虽然我们的世界构建在想象力上,但光想不实操也是没用的。

    60 引用 • 623 回帖 • 5 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • someone61489 2 评论

    听着真哇塞

    其实是远不够哇塞的。因为这是用我的头录制的,只有在我的耳朵上播放,才能完全还原出方向感,而在你的头上,由于没有精确的 HRTF 处理,会有些方向无法感知到,或者感知错误。如果你佩戴上这个,录出音频,再自个听,那才叫哇塞。
    HaujetZhao
    @HaujetZhao in your mind~
    someone61489

推荐标签 标签

  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    36 引用 • 37 回帖 • 527 关注
  • 996
    13 引用 • 200 回帖 • 1 关注
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    89 引用 • 345 回帖
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”,乌云众测平台认证的“安全云”,为移动时代的创业者提供新一代的 CDN 加速服务。

    21 引用 • 37 回帖 • 537 关注
  • 博客

    记录并分享人生的经历。

    272 引用 • 2386 回帖
  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    209 引用 • 2031 回帖
  • SMTP

    SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。SMTP 协议属于 TCP/IP 协议簇,它帮助每台计算机在发送或中转信件时找到下一个目的地。

    4 引用 • 18 回帖 • 621 关注
  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 413 关注
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖 • 1 关注
  • 七牛云

    七牛云是国内领先的企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

    26 引用 • 222 回帖 • 166 关注
  • Vditor

    Vditor 是一款浏览器端的 Markdown 编辑器,支持所见即所得、即时渲染(类似 Typora)和分屏预览模式。它使用 TypeScript 实现,支持原生 JavaScript、Vue、React 和 Angular。

    345 引用 • 1778 回帖
  • 百度

    百度(Nasdaq:BIDU)是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村,致力于向人们提供“简单,可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”,象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 199 关注
  • etcd

    etcd 是一个分布式、高可用的 key-value 数据存储,专门用于在分布式系统中保存关键数据。

    5 引用 • 26 回帖 • 521 关注
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展,它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务,可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务,所以该项目也已经停止维护了!

    34 引用 • 467 回帖 • 732 关注
  • TGIF

    Thank God It's Friday! 感谢老天,总算到星期五啦!

    287 引用 • 4484 回帖 • 669 关注
  • sts
    2 引用 • 2 回帖 • 189 关注
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖
  • Quicker

    Quicker 您的指尖工具箱!操作更少,收获更多!

    29 引用 • 111 回帖
  • HTML

    HTML5 是 HTML 下一个的主要修订版本,现在仍处于发展阶段。广义论及 HTML5 时,实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    103 引用 • 295 回帖
  • Chrome

    Chrome 又称 Google 浏览器,是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写,包括 WebKit,目标是提升稳定性、速度和安全性,并创造出简单且有效率的使用者界面。

    62 引用 • 289 回帖
  • MySQL

    MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是最流行的关系型数据库管理系统之一。

    676 引用 • 535 回帖
  • 尊园地产

    昆明尊园房地产经纪有限公司,即:Kunming Zunyuan Property Agency Company Limited(简称“尊园地产”)于 2007 年 6 月开始筹备,2007 年 8 月 18 日正式成立,注册资本 200 万元,公司性质为股份经纪有限公司,主营业务为:代租、代售、代办产权过户、办理银行按揭、担保、抵押、评估等。

    1 引用 • 22 回帖 • 733 关注
  • Oracle

    Oracle(甲骨文)公司,全称甲骨文股份有限公司(甲骨文软件系统有限公司),是全球最大的企业级软件公司,总部位于美国加利福尼亚州的红木滩。1989 年正式进入中国市场。2013 年,甲骨文已超越 IBM,成为继 Microsoft 后全球第二大软件公司。

    104 引用 • 126 回帖 • 419 关注
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合,以模块的方式组织管理插件以
    及相关配置,为不同的语言开发量身定制了相关的开发模块,该模块提供代码自动补全,
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 97 关注
  • DNSPod

    DNSPod 建立于 2006 年 3 月份,是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析,让电信用户访问电信的服务器,网通的用户访问网通的服务器,教育网的用户访问教育网的服务器,达到互联互通的效果。

    6 引用 • 26 回帖 • 517 关注