由人头录音、HRTF 产生的关于空间音频的想法

本贴最后更新于 1500 天前,其中的信息可能已经时异事殊

我从高中就开始热衷于使音频变得生动活泼,希望可以录制生动的现场音频记忆,这是我 6 年前以产生的梦想之一。

可能大家都知道,互联网上几乎所有的音频,当使用耳机播放时,它们就像在你的头内播放,从未像歌手在你面前唱歌一样。

或许有些人已经知道这方面的知识了,但为了避免你还不了解,我先在这里补充一些背景信息:

我们的人有两只耳朵,但是我们可以区分 3D 声音信息,在听到声音时可以确定声音的方向和距离。

那是因为在声音到达我们的耳膜之前,它首先与我们的头,头发,脸,鼻子,皮肤,肩膀,耳廓相互作用……我们的耳廓的形状、骨头的密度,它们为声音添加了滤镜(反射和衍射的结果),因此,当相同的声音从不同的方向到达我们的耳膜时,它们会被我们的身体处理。

由于我们的大脑已经习惯了此滤镜,因此我们可以感觉到声音的方向。

当使用耳机播放音乐时,这些声音不会被我们的身体结构添加滤镜,因此听起来好像所有音乐都在我们的脑袋内播放,永远不会有在前方播放的感觉。

我们的身体声音滤镜效果可以测量并应用于其他音频。该技术称为 HRTF(头部相关传递函数)。

测量此 HRTF 需要笨重且昂贵的设备,并且由于每个人的身体结构都有细微的差别,因此一个 HRTF 参数不能适用于所有人,因此必须进行个性化测量以实现最真实的仿真。

就在昨天,我刚刚自己制作了双耳麦克风。我买了几个 6027(直径 6.0mm,厚 2.7mm)麦克风咪头(每个咪头 1.2 元),并用便宜的耳机焊接了它们,并加了一个小的橡胶套,照片:

BinauralMicImade.jpg

然后,我将每个麦克风咪头放入耳道入口(在这里它将会收集到经过身体处理后的声波),其大小正好适合耳道。然后,我将其插入便宜的 Sony 录音机 ICD-UX543F ,开始录音。

从理论上讲,我的耳道中的两个麦克风将准确地记录我的声音。这实际上只是一个充满希望的理论。

录音几分钟后,我换了个地方,戴上耳机,闭上了眼睛,重新播放了音频文件。我只是在那个录音环境中!我感觉:

  • 人们靠近并经过
  • 车辆从我面前冲过
  • ...

录音真的让我大吃一惊!

这是我今天录的另外一段音频(请佩戴入耳式耳机聆听):

(但是有可能,由于你的 HRTF 与我不同,你可能感受不到一些声音在前方发出)

但是,上面的示例说明,使用一组便宜的设备(双耳麦克风的材料成本甚至不到 5 块钱),我们可以以非常低的成本准确记录人耳如何听到声音。

所以这个主意今天浮现在我脑海:

尽管我们无法测量整个 HRTF 数据,但是我们可以测量一些准确的数据:

在安静的环境中,让一个人在他/她的耳道中佩戴这种双耳麦克风,将扬声器放在这个人的面前一米远,开始录音,并在扬声器中播放音频。

录音将显示前方一米处的声音传递到这个人的耳朵后的声音效果。

经过 FFT 分析后,与原始音频进行比较,我们可以得到一个列表,该列表列出了如何每个频率被如何影响。

使用此列表,我们可以得到这个测试者专属的电子滤镜,将其应用到任何声音或音乐中,然后在人的耳机中播放,这个听众会感觉到声音是从前方一米远处发出的。

如果可以有效使用此滤镜,则在使用耳机拨打电话时,用户会感觉自己的朋友在他面前讲话,而不是在脑海里讲话!

我的想法到这里就结束了。我对处理音频及其所有算法一无所知。更不要说写出这样的分析和处理脚本了。

当然以后有机会的话也可以尝试搞搞,如果有能力做的人也可以试试!

  • 奇思妙想

    虽然我们的世界构建在想象力上,但光想不实操也是没用的。

    60 引用 • 623 回帖 • 5 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • someone61489 2 评论 via macOS

    听着真哇塞

    其实是远不够哇塞的。因为这是用我的头录制的,只有在我的耳朵上播放,才能完全还原出方向感,而在你的头上,由于没有精确的 HRTF 处理,会有些方向无法感知到,或者感知错误。如果你佩戴上这个,录出音频,再自个听,那才叫哇塞。
    HaujetZhao
    @HaujetZhao in your mind~
    someone61489

推荐标签 标签

  • 脑图

    脑图又叫思维导图,是表达发散性思维的有效图形思维工具 ,它简单却又很有效,是一种实用性的思维工具。

    31 引用 • 97 回帖
  • Sillot

    Insights(注意当前设置 master 为默认分支)

    汐洛彖夲肜矩阵(Sillot T☳Converbenk Matrix),致力于服务智慧新彖乄,具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架(Sillot-Gibbet)基于自思源笔记(siyuan-note),前身是思源笔记汐洛版(更早是思源笔记汐洛分支),是智慧新录乄终端(多端融合,移动端优先)。

    主仓库地址:Hi-Windom/Sillot

    文档地址:sillot.db.sc.cn

    注意事项:

    1. ⚠️ 汐洛仍在早期开发阶段,尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计,使用前请了解风险
    3. ⚠️ 汐洛绞架基于思源笔记,开发者尽最大努力与思源笔记保持兼容,但无法实现 100% 兼容
    29 引用 • 25 回帖 • 109 关注
  • 反馈

    Communication channel for makers and users.

    126 引用 • 930 回帖 • 274 关注
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖 • 2 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 86 关注
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    31 引用 • 108 回帖
  • GraphQL

    GraphQL 是一个用于 API 的查询语言,是一个使用基于类型系统来执行查询的服务端运行时(类型系统由你的数据定义)。GraphQL 并没有和任何特定数据库或者存储引擎绑定,而是依靠你现有的代码和数据支撑。

    4 引用 • 3 回帖 • 5 关注
  • OAuth

    OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是 oAuth 的授权不会使第三方触及到用户的帐号信息(如用户名与密码),即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权,因此 oAuth 是安全的。oAuth 是 Open Authorization 的简写。

    36 引用 • 103 回帖 • 32 关注
  • V2Ray
    1 引用 • 15 回帖
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖 • 2 关注
  • Sandbox

    如果帖子标签含有 Sandbox ,则该帖子会被视为“测试帖”,主要用于测试社区功能,排查 bug 等,该标签下内容不定期进行清理。

    432 引用 • 1250 回帖 • 597 关注
  • 友情链接

    确认过眼神后的灵魂连接,站在链在!

    24 引用 • 373 回帖 • 1 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 30 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3196 引用 • 8215 回帖
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架,它对 JDBC 进行了非常轻量级的对象封装,使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 724 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统,最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统,最初是设计给 iPhone 使用的,后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样,属于类 Unix 的商业操作系统。

    88 引用 • 139 回帖 • 1 关注
  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 2 关注
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    42 引用 • 130 回帖 • 252 关注
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大,比用其他编程程序编辑的程序效率更高,因为它使用了 Linux/Unix 下的命令。

    124 引用 • 74 回帖 • 1 关注
  • 工具

    子曰:“工欲善其事,必先利其器。”

    298 引用 • 762 回帖
  • abitmean

    有点意思就行了

    38 关注
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖
  • API

    应用程序编程接口(Application Programming Interface)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。

    79 引用 • 431 回帖
  • Pipe

    Pipe 是一款小而美的开源博客平台。Pipe 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    133 引用 • 1124 回帖 • 117 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    315 引用 • 547 回帖