我正在使用Python。我有两个音频文件,其中一个是原始的,一个是编辑过的(一半是原始的,一半是插入的音频)。
我使用过像inaSpeechSegmenter和语音识别这样的库。使用这些我能够发现音频在音乐、语音或无音频方面是否有所不同。此外,我还可以使用 inaSpeechSegmenter 找到音频在 first 位置不同的时间。但是,当音频在多个地方不同时,我无法找到时间码。
我也没有找到任何可以帮助我解决问题的API。
我希望得到一些想法和建议,谢谢。
我将讨论两个音频文件由逐个样本相同或不同的区域组成的情况(例如插入的音频)。为了识别不匹配区域,您不需要任何高级信号处理。
首先你需要将音频文件加载到Python中。如果您的音频文件是“.wav”文件,您可以使用 python 内置
wave
模块。如果您还需要处理其他类型的音频文件(ogg、flac),一个不错的选择是soundfile
,您可以通过pip
安装(请注意,它不支持mp3文件)。
import soundfile
import numpy as np
signal_1, samplerate_1 = soundfile.read("audiofile_1.wav")
signal_2, samplerate_2 = soundfile.read("audiofile_2.wav")
我们假设
samplerate_1 == samplerate_2
和 len(signal_1) == len(signal_2)
。您可以像这样找到样本差异:
mismatch = (signal_1 != signal_2).astype(np.int)
这是一个与信号大小相同的数组,在信号不同的位置其值为 1,在其他位置为 0。现在,如果您对信号不同的区域感兴趣,您可以使用以下命令找到不匹配从 0 到 1(不匹配区域的开始)以及从 1 回到 0(不匹配区域的结束)的位置
np.diff
和 np.where
功能:
region_starts = np.where(np.diff(np.r_[0, mismatch, 0]) == 1)[0]
region_ends = np.where(np.diff(np.r_[0, mismatch, 0]) == -1)[0]
为了使开始/结束位置正确,
mismatch
用前导和尾随 0 填充(使用 np.r_[]
)。现在您可以将每个区域的开始/结束时间配对,然后除以采样率以获得以秒为单位的时间戳:
mismatching_regions = np.column_stack((region_starts, region_ends))
mismatching_regions /= samplerate_1