从麦克风产生光谱图

Question

下面的代码将从麦克风获取输入，如果当音频块通过某个阈值时，它将产生
音频块（30毫秒长）。

从我所看到的来看，这和我所期望的完全不同
频谱图看起来像给定的音频和它的环境。我在期待
类似于以下内容（为了保留空间而进行了换位）：

我录制的麦克风是我的Macbook上的默认麦克风
关于哪里出了问题的建议？

record.py:

import pyaudio
import struct
import math
import numpy as np
from scipy import signal
import matplotlib.pyplot as plt


THRESHOLD = 40 # dB
RATE = 44100
INPUT_BLOCK_TIME = 0.03 # 30 ms
INPUT_FRAMES_PER_BLOCK = int(RATE * INPUT_BLOCK_TIME)

def get_rms(block):
    return np.sqrt(np.mean(np.square(block)))

class AudioHandler(object):
    def __init__(self):
        self.pa = pyaudio.PyAudio()
        self.stream = self.open_mic_stream()
        self.threshold = THRESHOLD
        self.plot_counter = 0

    def stop(self):
        self.stream.close()

    def find_input_device(self):
        device_index = None
        for i in range( self.pa.get_device_count() ):
            devinfo = self.pa.get_device_info_by_index(i)
            print('Device %{}: %{}'.format(i, devinfo['name']))

            for keyword in ['mic','input']:
                if keyword in devinfo['name'].lower():
                    print('Found an input: device {} - {}'.format(i, devinfo['name']))
                    device_index = i
                    return device_index

        if device_index == None:
            print('No preferred input found; using default input device.')

        return device_index

    def open_mic_stream( self ):
        device_index = self.find_input_device()

        stream = self.pa.open(  format = pyaudio.paInt16,
                                channels = 1,
                                rate = RATE,
                                input = True,
                                input_device_index = device_index,
                                frames_per_buffer = INPUT_FRAMES_PER_BLOCK)

        return stream

    def processBlock(self, snd_block):
        f, t, Sxx = signal.spectrogram(snd_block, RATE)
        plt.pcolormesh(t, f, Sxx)
        plt.ylabel('Frequency [Hz]')
        plt.xlabel('Time [sec]')
        plt.savefig('data/spec{}.png'.format(self.plot_counter), bbox_inches='tight')
        self.plot_counter += 1

    def listen(self):
        try:
            raw_block = self.stream.read(INPUT_FRAMES_PER_BLOCK, exception_on_overflow = False)
            count = len(raw_block) / 2
            format = '%dh' % (count)
            snd_block = np.array(struct.unpack(format, raw_block))
        except Exception as e:
            print('Error recording: {}'.format(e))
            return

        amplitude = get_rms(snd_block)
        if amplitude > self.threshold:
            self.processBlock(snd_block)
        else:
            pass

if __name__ == '__main__':
    audio = AudioHandler()
    for i in range(0,100):
        audio.listen()

基于评论的编辑：
如果我们把频率限制在16000赫兹，用对数标度表示colormap，这是用于在麦克风附近轻敲的输出：
这在我看来还是有点奇怪，但也似乎是正确的一步方向。

Answer 1

首先，请注意，您的代码最多绘制100个光谱图（ifprocessBlock）
被多次调用），你只能看到最后一个。
你可能想解决这个问题。此外，我想你知道你为什么要工作
有30毫秒的录音。就我个人而言，我想不出一个切实可行的办法
使用笔记本电脑麦克风录制30毫秒的应用程序可以提供有趣的
洞察力。它取决于你正在录制的内容以及你如何触发
录音，但这个问题与实际问题相切。
否则代码工作得很好。只需要在
processBlock函数，应用一些背景知识，可以得到
信息丰富且美观的光谱图。
我们来谈谈实际的光谱图。我将把SoX的输出作为
参考文献。colorbar注释说它是“dBFS”1，这是一个
对数测度（dB是

    f, t, Sxx = signal.spectrogram(snd_block, RATE)   
    dBS = 10 * np.log10(Sxx)  # convert to dB
    plt.pcolormesh(t, f, dBS)

这提高了色阶。现在我们看到了高频段的噪声
那是以前藏起来的。接下来，让我们讨论时间分辨率。光谱图
将信号分成若干段（默认长度为256）并计算
每个的光谱。这意味着我们有很好的频率分辨率，但非常
时间分辨率差，因为只有少数这样的片段适合信号
窗口（约1300个样本长）。两者之间总是有权衡的
时间和频率分辨率。这与[不确定性]有关
原则. 所以让我们
通过分割信号，用频率分辨率换取时间分辨率
分成较短的部分：

f, t, Sxx = signal.spectrogram(snd_block, RATE, nperseg=64)

太好了！现在我们在两个轴上得到了相对平衡的分辨率-但是等等！
为什么结果如此像素化？！实际上，这就是所有的信息
在30毫秒的短时间内。只有这么多方法可以
以二维分布。不过，我们可以作弊一点，用更高的
FFT分辨率和重叠段。这会使结果更平滑
尽管它没有提供额外的信息：

f, t, Sxx = signal.spectrogram(snd_block, RATE, nperseg=64, nfft=256, noverlap=60)

请看漂亮的光谱干涉图。（这些模式取决于
使用了window函数，但我们不要在这里讨论细节。看到了吗
windowspectrogram函数的参数来处理这些结果
看起来不错，但实际上不包含比
上一个图像。
为了使结果更接近SoX-lixe，我们观察到SoX谱图相当复杂
涂抹在时间轴上。你通过使用原始的低时间获得这种效果
分辨率（长线段），但为了平滑，让它们重叠：

f, t, Sxx = signal.spectrogram(snd_block, RATE, noverlap=250)

我个人更喜欢第三种解决方案，但你需要找到自己的解决方案
首选时间/频率权衡。
最后，让我们使用更像SoX的颜色图：

plt.pcolormesh(t, f, dBS, cmap='inferno')

下面一行的简短评论：

THRESHOLD = 40 # dB

将阈值与输入信号的均方根值进行比较，均方根值不是_测量单位为dB，但为原始振幅单位。

1 FS是满标度的缩写。dBFS意味着dB度量是相对于最大范围。0分贝是世界上最响亮的信号
当前表示，因此实际值必须<=0 dB。