语音频谱图python

❶ 【小项目-1】用python进行人声伴奏分离和音乐特征提取

比如采样率为22050，音频文件有36s，那么x为长度为22050*36=793800的float。

用到了python库 Spleeter
抽象地了解下原理吧
参考文章是这篇：Spleeter: a fast and efficient music source separation tool with pre-trained models
原理文章是这篇 SINGING VOICE SEPARATION: A STUDY ON TRAINING DATA
粗略扫了一眼，原理主要是用U-Net进行分割，然后这个Python工具主要是利用了一个pre-trained的model。

参考链接：机器之心的一篇文章

纵轴表示频率（从0到10kHz），横轴表示剪辑的时间。由于我们看到所有动作都发生在频谱的底部，我们可以将频率轴转换为对数轴。

可以对频率取对数。

感觉这个参数蛮有意思的

整个频谱被投影到12个区间，代表音乐八度音的12个不同的半音（或色度）， librosa.feature.chroma_stft 用于计算。

先对音频进行短时傅里叶变换

其中每行存储一个窗口的STFT，大小为1025*1551

这里要注意理解怎么基于stft的结果来画频谱图

没太了解，感觉就大概知道有这么个量可以用到就行。

librosa.feature.spectral_centroid 计算信号中每帧的光谱质心：

1. 先理解连续傅里叶变换

2. 再理解离散傅里叶变换
对连续函数进行离散采样

3. 最后进入短时傅里叶变换
是先把一个函数和窗函数进行相乘，然后再进行一维的傅里叶变换。并通过窗函数的滑动得到一系列的傅里叶变换结果，将这些结果竖着排开得到一个二维的表象。

❷ 怎么通过程序（如python）判断一个音频文件（如wav、mp3等格式）的声音清晰度

我用wpf画过wav的频谱图和语谱图，这里有个参考http://www.codeproject.com/Articles/488655/Visualizing-Sound
波形图应该更简单吧 计算声音强度就好了 至于mp3我想应该先解码成pcm

❸ Python 简单的扩音，音频去噪，静音剪切

数字信号是通过对连续的模拟信号采样得到的离散的函数。它可以简单看作一个以时间为下标的数组。比如，x[n]，n为整数。比如下图是一个正弦信号(n=0,1, ..., 9)：

对于任何的音频文件，实际上都是用这种存储方式，比如，下面是对应英文单词“skip”的一段信号(只不过由于点太多，笔者把点用直线连接了起来）：

衡量数字信号的 能量（强度） ，只要简单的求振幅平方和即可：

我们知道，声音可以看作是不同频率的正弦信号叠加。那么给定一个声音信号（如上图），怎么能够知道这个信号在不同频率区段上的强度呢？答案是使用离散傅里叶变换。对信号x[n], n=0, ..., N-1，通常记它的离散傅里叶变换为X[n]，它是一个复值函数。

比如，对上述英文单词“skip”对应的信号做离散傅里叶变换，得到它在频域中的图像是：

可以看到能量主要集中在中低音部分（约16000Hz以下）。

在频域上，也可以计算信号的强度，因为根据Plancherel定理，有：

对于一般的语音信号，长度都至少在1秒以上，有时候我们需要把其中比如25毫秒的一小部分单独拿出来研究。将一个信号依次取小段的操作，就称作分帧。技术上，音频分帧是通过给信号加一系列的 窗 函数 实现的。

我们把一种特殊的函数w[n]，称作窗函数，如果对所有的n，有0<=w[n]<=1，且只有有限个n使得w[n]>0。比如去噪要用到的汉宁窗，三角窗。

汉宁窗

三角窗

我们将平移的窗函数与原始信号相乘，便得到信号的“一帧”：

w[n+d]*x[n]

比如用长22.6毫秒的汉宁窗加到“skip”信号大约中间部位上，得到一帧的信号：

可见除一有限区间之外，加窗后的信号其他部分都是0。

对一帧信号可以施加离散傅里叶变换（也叫短时离散傅里叶变换），来获取信号在这一帧内（通常是很短时间内），有关频率-能量的分布信息。

如果我们把信号按照上述方法分成一帧一帧，又将每一帧用离散傅里叶变换转换到频域中去，最后将各帧在频域的图像拼接起来，用横坐标代表时间，纵坐标代表频率，颜色代表能量强度（比如红色代表高能，蓝色代表低能），那么我们就构造出所谓 频谱图 。比如上述“skip”发音对应的信号的频谱图是：

（使用5.8毫秒的汉宁窗）

从若干帧信号中，我们又可以恢复出原始信号。只要我们适当选取窗口大小，以及窗口之间的平移距离L，得到 ..., w[n+2L], w[n+L], w[n], w[n-L], w[n-2L], ...，使得对k求和有：

从而简单的叠加各帧信号便可以恢复出原始信号：

最后，注意窗函数也可以在频域作用到信号上，从而可以起到取出信号的某一频段的作用。

下面简单介绍一下3种音效。

1. 扩音

要扩大信号的强度，只要简单的增大信号的“振幅”。比如给定一个信号x[n]，用a>1去乘，便得到声音更大的增强信号：

同理，用系数0<a<1去乘，便得到声音变小的减弱信号。

2. 去噪（降噪）

对于白噪音，我们可以简单的用“移动平均滤波器”来去除，虽然这也会一定程度降低声音的强度，但效果的确不错。但是，对于成分较为复杂，特别是频段能量分布不均匀的噪声，则需要使用下面的 噪声门 技术，它可以看作是一种“多带通滤波器”。

这个特效的基本思路是：对一段噪声样本建模，然后降低待降噪信号中噪声的分贝。

更加细节的说，是在信号的若干频段f[1], ..., f[M]上，分别设置噪声门g[1], ..., g[M]，每个门都有一个对应的阈值，分别是t[1], ..., t[M]。这些阈值时根据噪声样本确定的。比如当通过门g[m]的信号强度超过阈值t[m]时，门就会关闭，反之，则会重新打开。最后通过的信号便会只保留下来比噪声强度更大的声音，通常也就是我们想要的声音。

为了避免噪声门的开合造成信号的剧烈变动，笔者使用了sigmoid函数做平滑处理，即噪声门在开-关2个状态之间是连续变化的，信号通过的比率也是在1.0-0.0之间均匀变化的。

实现中，我们用汉宁窗对信号进行分帧。然后对每一帧，又用三角窗将信号分成若干频段。对噪声样本做这样的处理后，可以求出信号每一频段对应的阈值。然后，又对原始信号做这样的处理（分帧+分频），根据每一帧每一频段的信号强度和对应阈值的差（diff = energy-threshold），来计算对应噪声门的开合程度，即通过信号的强度。最后，简单的将各频段，各帧的通过信号叠加起来，便得到了降噪信号。

比如原先的“skip”语音信号频谱图如下：

可以看到有较多杂音（在高频，低频段，蓝色部分）。采集0.25秒之前的声音作为噪声样本，对信号作降噪处理，得到降噪后信号的频谱图如下：

可以明显的看到大部分噪音都被清除了，而语音部分仍完好无损，强度也没有减弱，这是“移动平均滤波器”所做不到的。

3. 静音剪切

在对音频进行上述降噪处理后，我们还可以进一步把多余的静音去除掉。

剪切的原理十分简单。首先用汉宁窗对信号做分帧。如果该帧信号强度过小，则舍去该帧。最后将保留的帧叠加起来，便得到了剪切掉静音部分的信号。

比如，对降噪处理后的“skip”语音信号做静音剪切，得到的新信号的频谱图为：

❹ python绘制语谱图怎么设置成黄蓝色

语音的时域分析和频域分析是语音分析的两种重要方法，但是都存在着局限性。时域分析对语音信号的频率特性没有直观的了解，频域特性中又没有语音信号随时间的变化关系。而语谱图综合了时域和频域的优点，明显的显示出了语音频谱随时间的变化情况、语谱图的横轴为时间，纵轴为频率，任意给定频率成分在给定时刻的强弱用颜色深浅来表示。颜色深的，频谱值大，颜色浅的，频谱值小。语谱图上不同的黑白程度形成不同的纹路，称之为声纹，不同讲话者的声纹是不一样的，可用作声纹识别。

下面是在python中绘制语谱图：

# 导入相应的包
import numpy, waveimport matplotlib.pyplot as pltimport numpy as npimport os

filename = 'bluesky3.wav'
# 调用wave模块中的open函数，打开语音文件。f = wave.open(filename,'rb')
# 得到语音参数
params = f.getparams()
nchannels, sampwidth, framerate,nframes = params[:4]
# 得到的数据是字符串，需要将其转成int型
strData = f.readframes(nframes)
wavaData = np.fromstring(strData,dtype=np.int16)
# 归一化
wavaData = wavaData * 1.0/max(abs(wavaData))
# .T 表示转置
wavaData = np.reshape(wavaData,[nframes,nchannels]).T
f.close()
# 绘制频谱
plt.specgram(wavaData[0],Fs = framerate,scale_by_freq=True,sides='default')
plt.ylabel('Frequency')
plt.xlabel('Time(s)')
plt.show()