由人头录音、HRTF 产生的关于空间音频的想法

本贴最后更新于 1355 天前,其中的信息可能已经时异事殊

我从高中就开始热衷于使音频变得生动活泼,希望可以录制生动的现场音频记忆,这是我 6 年前以产生的梦想之一。

可能大家都知道,互联网上几乎所有的音频,当使用耳机播放时,它们就像在你的头内播放,从未像歌手在你面前唱歌一样。

或许有些人已经知道这方面的知识了,但为了避免你还不了解,我先在这里补充一些背景信息:

我们的人有两只耳朵,但是我们可以区分 3D 声音信息,在听到声音时可以确定声音的方向和距离。

那是因为在声音到达我们的耳膜之前,它首先与我们的头,头发,脸,鼻子,皮肤,肩膀,耳廓相互作用……我们的耳廓的形状、骨头的密度,它们为声音添加了滤镜(反射和衍射的结果),因此,当相同的声音从不同的方向到达我们的耳膜时,它们会被我们的身体处理。

由于我们的大脑已经习惯了此滤镜,因此我们可以感觉到声音的方向。

当使用耳机播放音乐时,这些声音不会被我们的身体结构添加滤镜,因此听起来好像所有音乐都在我们的脑袋内播放,永远不会有在前方播放的感觉。

我们的身体声音滤镜效果可以测量并应用于其他音频。该技术称为 HRTF(头部相关传递函数)。

测量此 HRTF 需要笨重且昂贵的设备,并且由于每个人的身体结构都有细微的差别,因此一个 HRTF 参数不能适用于所有人,因此必须进行个性化测量以实现最真实的仿真。

就在昨天,我刚刚自己制作了双耳麦克风。我买了几个 6027(直径 6.0mm,厚 2.7mm)麦克风咪头(每个咪头 1.2 元),并用便宜的耳机焊接了它们,并加了一个小的橡胶套,照片:

BinauralMicImade.jpg

然后,我将每个麦克风咪头放入耳道入口(在这里它将会收集到经过身体处理后的声波),其大小正好适合耳道。然后,我将其插入便宜的 Sony 录音机 ICD-UX543F ,开始录音。

从理论上讲,我的耳道中的两个麦克风将准确地记录我的声音。这实际上只是一个充满希望的理论。

录音几分钟后,我换了个地方,戴上耳机,闭上了眼睛,重新播放了音频文件。我只是在那个录音环境中!我感觉:

  • 人们靠近并经过
  • 车辆从我面前冲过
  • ...

录音真的让我大吃一惊!

这是我今天录的另外一段音频(请佩戴入耳式耳机聆听):

(但是有可能,由于你的 HRTF 与我不同,你可能感受不到一些声音在前方发出)

但是,上面的示例说明,使用一组便宜的设备(双耳麦克风的材料成本甚至不到 5 块钱),我们可以以非常低的成本准确记录人耳如何听到声音。

所以这个主意今天浮现在我脑海:

尽管我们无法测量整个 HRTF 数据,但是我们可以测量一些准确的数据:

在安静的环境中,让一个人在他/她的耳道中佩戴这种双耳麦克风,将扬声器放在这个人的面前一米远,开始录音,并在扬声器中播放音频。

录音将显示前方一米处的声音传递到这个人的耳朵后的声音效果。

经过 FFT 分析后,与原始音频进行比较,我们可以得到一个列表,该列表列出了如何每个频率被如何影响。

使用此列表,我们可以得到这个测试者专属的电子滤镜,将其应用到任何声音或音乐中,然后在人的耳机中播放,这个听众会感觉到声音是从前方一米远处发出的。

如果可以有效使用此滤镜,则在使用耳机拨打电话时,用户会感觉自己的朋友在他面前讲话,而不是在脑海里讲话!

我的想法到这里就结束了。我对处理音频及其所有算法一无所知。更不要说写出这样的分析和处理脚本了。

当然以后有机会的话也可以尝试搞搞,如果有能力做的人也可以试试!

  • 奇思妙想

    虽然我们的世界构建在想象力上,但光想不实操也是没用的。

    60 引用 • 623 回帖 • 5 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • someone61489 2 评论

    听着真哇塞

    其实是远不够哇塞的。因为这是用我的头录制的,只有在我的耳朵上播放,才能完全还原出方向感,而在你的头上,由于没有精确的 HRTF 处理,会有些方向无法感知到,或者感知错误。如果你佩戴上这个,录出音频,再自个听,那才叫哇塞。
    HaujetZhao
    @HaujetZhao in your mind~
    someone61489

推荐标签 标签

  • 安全

    安全永远都不是一个小问题。

    199 引用 • 816 回帖 • 1 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖 • 1 关注
  • 百度

    百度(Nasdaq:BIDU)是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村,致力于向人们提供“简单,可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”,象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 175 关注
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    209 引用 • 358 回帖
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations,简称 DJI),成立于 2006 年,是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商,客户遍布全球 100 多个国家。通过持续的创新,大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖
  • GitLab

    GitLab 是利用 Ruby 一个开源的版本管理系统,实现一个自托管的 Git 项目仓库,可通过 Web 界面操作公开或私有项目。

    46 引用 • 72 回帖
  • Notion

    Notion - The all-in-one workspace for your notes, tasks, wikis, and databases.

    6 引用 • 38 回帖
  • 书籍

    宋真宗赵恒曾经说过:“书中自有黄金屋,书中自有颜如玉。”

    77 引用 • 390 回帖
  • IDEA

    IDEA 全称 IntelliJ IDEA,是一款 Java 语言开发的集成环境,在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。

    180 引用 • 400 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 19 关注
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖 • 1 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    75 引用 • 1737 回帖 • 5 关注
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    36 引用 • 35 回帖
  • sts
    2 引用 • 2 回帖 • 196 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库,专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 62 关注
  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖
  • GAE

    Google App Engine(GAE)是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 764 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖
  • CentOS

    CentOS(Community Enterprise Operating System)是 Linux 发行版之一,它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖 • 2 关注
  • 友情链接

    确认过眼神后的灵魂连接,站在链在!

    24 引用 • 373 回帖
  • 负能量

    上帝为你关上了一扇门,然后就去睡觉了....努力不一定能成功,但不努力一定很轻松 (° ー °〃)

    88 引用 • 1235 回帖 • 411 关注
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展,它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖
  • IPFS

    IPFS(InterPlanetary File System,星际文件系统)是永久的、去中心化保存和共享文件的方法,这是一种内容可寻址、版本化、点对点超媒体的分布式协议。请浏览 IPFS 入门笔记了解更多细节。

    21 引用 • 245 回帖 • 241 关注
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    729 引用 • 1327 回帖
  • HTML

    HTML5 是 HTML 下一个的主要修订版本,现在仍处于发展阶段。广义论及 HTML5 时,实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    107 引用 • 295 回帖
  • GraphQL

    GraphQL 是一个用于 API 的查询语言,是一个使用基于类型系统来执行查询的服务端运行时(类型系统由你的数据定义)。GraphQL 并没有和任何特定数据库或者存储引擎绑定,而是依靠你现有的代码和数据支撑。

    4 引用 • 3 回帖 • 9 关注