实时语音降噪：基于 PyAudio 和 PyTorch 的实时语音处理

本项目展示了如何使用 PyAudio 和 PyTorch 进行实时语音降噪处理。代码使用预训练的生成器模型，接收麦克风输入的噪声语音，并实时输出降噪后的语音。

代码示例

import argparse
import os

import numpy as np
import pyaudio
import torch
import torch.nn as nn
from scipy.io import wavfile
from torch.autograd import Variable
from tqdm import tqdm

from data_preprocess import slice_signal, window_size, sample_rate
from model import Generator
from utils import emphasis

CHUNK_SIZE = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = sample_rate

p = pyaudio.PyAudio()

generator = Generator()
generator.load_state_dict(torch.load('epochs/generator-9(1).pkl', map_location='cpu'))
if torch.cuda.is_available():
    generator.cuda()

z = nn.init.normal(torch.Tensor(1, 1024, 8))
z = Variable(z)
if torch.cuda.is_available():
    z = z.cuda()

def callback(in_data, frame_count, time_info, status):
    noisy_slice = np.frombuffer(in_data, dtype=np.int16)
    noisy_slice = slice_signal(noisy_slice, window_size, 1, sample_rate)[0]
    noisy_slice = torch.from_numpy(emphasis(noisy_slice[np.newaxis, np.newaxis, :])).type(torch.FloatTensor)
    if torch.cuda.is_available():
        noisy_slice = noisy_slice.cuda()
    noisy_slice = Variable(noisy_slice)
    generated_speech = generator(noisy_slice, z).data.cpu().numpy()
    generated_speech = emphasis(generated_speech, emph_coeff=0.95, pre=False)
    generated_speech = generated_speech.reshape(-1)
    return (generated_speech.astype(np.int16), pyaudio.paContinue)

stream = p.open(format=FORMAT,
                channels=CHANNELS,
                rate=RATE,
                input=True,
                output=True,
                frames_per_buffer=CHUNK_SIZE,
                stream_callback=callback)

stream.start_stream()

while stream.is_active():
    try:
        continue
    except KeyboardInterrupt:
        break

stream.stop_stream()
stream.close()

p.terminate()

报错分析

报错信息显示在调用 librosa.load() 时出现了问题，具体原因可能是传入了错误的参数或者文件路径不存在等问题。

可能的原因：

文件路径错误： 检查 librosa.load() 函数传入的文件路径是否正确。
文件不存在： 确认要加载的音频文件是否存在。
参数错误： 检查 librosa.load() 函数的参数是否正确。例如，sr 参数用于指定音频的采样率，需要确保其与实际音频的采样率一致。

解决方法：

检查代码中 librosa.load() 函数的调用，确保文件路径和参数正确。
如果文件路径不存在，请检查文件是否存在并修改路径。
如果参数错误，请根据需要修改参数。
如果仍然无法解决，请提供更多代码和报错信息以便进一步分析。

总结

该代码使用 PyAudio 和 PyTorch 实现了一个简单的实时语音降噪系统。通过预训练的生成器模型，可以实时将麦克风输入的噪声语音转化为干净的语音。

注意：

该代码需要安装 PyAudio、PyTorch、librosa 和 scipy 库。
代码中使用的模型和预处理方法可以根据实际需求进行调整。