FFmpeg - 重新采样音频噪音很大

Question

我不熟悉音频重采样。我试图从两个视频重新采样音频流。第一个的输出接近原始但有噪音，另一个几乎充满了噪音。

第一个信息

128 kb / s，48.0kHz，2个通道，AACLC

第二个信息

384 kb / s，48.0 kHz，6通道，AACLC

我发现，当我将样本大小设置为16时，第一个使用了第四个但是仍然有噪音。另一个工作太糟糕但仍然有声音。什么以及如何确定输出样本大小？虽然我使用channels * av_get_bytes_per_sample((AVSampleFormat)output_fmt)作为输出样本大小，因为我希望它与原始相同，但它根本没有声音。

MyResampling.cpp

bool MyResample::open(AVCodecParameters* par) {
    if (!par) {
        std::cout << "par is null" << std::endl;
        return false;
    }   
    audio_context = swr_alloc_set_opts(
        audio_context, av_get_default_channel_layout(2), (AVSampleFormat)output_fmt,
        par->sample_rate, av_get_default_channel_layout(par->channels), (AVSampleFormat)par->format, par->sample_rate,
        0, 0);

    avcodec_parameters_free(&par);
    int ret = swr_init(audio_context);
    if (ret != 0) {
        std::cout << "failed to open audio codec" << std::endl;
    }
    return true;
}

int MyResample::resample(AVFrame* frame, unsigned char* output)
{
    if (!frame)
        return 0;
    if (!output)
        av_frame_free(&frame);

    uint8_t* data[2] = { 0 };
    data[0] = output;
    int ret = swr_convert(audio_context, data, frame->nb_samples, (const uint8_t**)frame->data, frame->nb_samples);
    //int size =  ret * frame->channels * av_get_bytes_per_sample((AVSampleFormat)output_fmt);
    int size = av_samples_get_buffer_size(nullptr, frame->channels, frame->nb_samples, (AVSampleFormat)output_fmt, 1);
    if (ret < 0)
        return ret;
    return size;
}

MyAudioPlayer.cpp

bool open()
{
    close();
    QAudioFormat fmt;
    fmt.setSampleRate(sample_rate); // from audioStream->codecpar->sample_rate
    fmt.setSampleSize(16); //
    fmt.setChannelCount(channels); // from audioStream->codecpar->channels
    fmt.setCodec("audio/pcm");
    fmt.setByteOrder(QAudioFormat::LittleEndian);
    fmt.setSampleType(QAudioFormat::UnSignedInt);
    output = new QAudioOutput(fmt);
    io = output->start();
    if (io)
        return true;
    return false;
}

bool write(const unsigned char* data, int data_size)
{
    if (!data || data_size <= 0)
        return false;
    if (!output || !io)
    {
        return false;
    }
    int size = io->write((char*)data, data_size);
    if (data_size != size)
        return false;
    return true;
}

main.cpp中

MyAudioPlayer::open();
unsigned char* pcm = new unsigned char[1024 * 1024];
if (demux.get_media_type() == 1) { // audio 
    audio_decode.sendPacket(pkt);
    AVFrame* frame = audio_decode.receiveFrame();
    int len = resample.resample(frame, pcm);
    while (len > 0) {
        if (MyAudioPlayer::check_space() >= len) {
            MyAudioPlayer::write(pcm, len);
            break;
        }
        msleep(1);
    }               
}

Answer 1

如果您遇到最终质量和噪音问题，可能是您误解了重新取样的正确方法，或者您的配置存在错误。

看看这个例子：libswresample-example。

我不熟悉FFmpeg API因为要重新采样我倾向于使用libsamplerate。

关于旧示例，这些是使用FFMPEG执行基本重采样的步骤：

1. 首先配置重采样上下文：

//Set up resampling context
SwrContext *swr = swr_alloc();
av_opt_set_channel_layout(swr, "in_channel_layout", AV_CH_LAYOUT_STEREO, 0);
av_opt_set_channel_layout(swr, "out_channel_layout", AV_CH_LAYOUT_STEREO, 0);
av_opt_set_int(swr, "in_sample_rate", 44100, 0);
av_opt_set_int(swr, "out_sample_rate", 22050, 0);
av_opt_set_sample_fmt(swr, "in_sample_fmt", AV_SAMPLE_FMT_FLT, 0);
av_opt_set_sample_fmt(swr, "out_sample_fmt", AV_SAMPLE_FMT_FLT, 0);
swr_init(swr);

根据输入数据类型和期望的输出格式，您需要指定正确的格式。这是C++ standard中的等价：

----------------------------------------
| *AV_SAMPLE_FMT_S16* | `std::int16_t` |
| *AV_SAMPLE_FMT_S32* | `std::int32_t` |
| *AV_SAMPLE_FMT_FLT* | `float`        |
| *AV_SAMPLE_FMT_DBL  | `double`       |
| *AV_SAMPLE_FMT_U8P* | `std::uint8_t` |
| ...                 |                |

2. 以正确的格式从任何地方获取数据并估算您的抽样数。

之后，您可以通过几个步骤执行重采样：

3. 估计输出样本的数量

uint8_t* out_samples;
int out_num_samples = av_rescale_rnd(swr_get_delay(swr, in_samplerate) + in_num_samples, out_samplerate, in_samplerate, AV_ROUND_UP);

4. 为输出文件分配内存

av_samples_alloc(&out_samples, NULL, out_num_channels, out_num_samples, AV_SAMPLE_FMT_FLT, 0);

5. 将输入数据转换为预期的输出格式

out_num_samples = swr_convert(swr, &out_samples, out_num_samples, &in_samples, in_num_samples);

6. 别忘了释放你的记忆

av_freep(&out_samples);
swr_free(&swr);

如果您有噪音，可能输入格式和输出格式不正确或重新采样质量低。

例如，如果您获得的样本少于预期，请不要惊慌。由于过滤的工作方式，这是常见的行为。要获得剩余的尾随，您可以使用NULL作为输入执行步骤5，这将刷新内部数据。