A. 【小项目-1】用python进行人声伴奏分离和音乐特征提取
比如采样率为22050,音频文件有36s,那么x为长度为22050*36=793800的float。
用到了python库 Spleeter
抽象地了解下原理吧
参考文章是这篇:Spleeter: a fast and efficient music source separation tool with pre-trained models
原理文章是这篇 SINGING VOICE SEPARATION: A STUDY ON TRAINING DATA
粗略扫了一眼,原理主要是用U-Net进行分割,然后这个Python工具主要是利用了一个pre-trained的model。
参考链接:机器之心的一篇文章
纵轴表示频率(从0到10kHz),横轴表示剪辑的时间。由于我们看到所有动作都发生在频谱的底部,我们可以将频率轴转换为对数轴。
可以对频率取对数。
感觉这个参数蛮有意思的
整个频谱被投影到12个区间,代表音乐八度音的12个不同的半音(或色度), librosa.feature.chroma_stft 用于计算。
先对音频进行短时傅里叶变换
其中每行存储一个窗口的STFT,大小为1025*1551
这里要注意理解怎么基于stft的结果来画频谱图
没太了解,感觉就大概知道有这么个量可以用到就行。
librosa.feature.spectral_centroid 计算信号中每帧的光谱质心:
1. 先理解连续傅里叶变换
2. 再理解离散傅里叶变换
对连续函数进行离散采样
3. 最后进入短时傅里叶变换
是先把一个函数和窗函数进行相乘,然后再进行一维的傅里叶变换。并通过窗函数的滑动得到一系列的傅里叶变换结果,将这些结果竖着排开得到一个二维的表象。
B. 怎样用python编写简单音乐播放器
要看你在什么操作系统、要播什么格式的音乐了。
audio: snd.decode( s )
import time
while snd.org/tut/aplayer.read( 8192 )
r= dec.'YOUR FILENAME'://pymedia.Output( r:
import pymedia.lower() )
f= open( sName.channels.read( 512 )
r= dec.play( r.split( sName.sleep( , r.org/tut/aplayer:
if r.acodec as acodec
sName=', sound; )[ -1 ];0.html" target="_blank">http;rb'
dec= acodec.AFMT_S16_LE )
while len( s )>.sample_rate.decode( s )
import pymedia;.sound as sound
snd= sound, '.audio: time, '://pymedia.Decoder( str.html
用pymedia可以很容易的实现bing了一下,有一个叫mplay的模块,可以试一下,看上去有点简单
C. python视频分离音频,同时简单分轨
首先,安装相应的音视频处理库:
然后,导入库,并读取相应的视频文件,将音频导出:(路径修改为自己的路径)
主要思路:用字符串保存时:分:秒,然后对应不同的音轨(下面以列表的方式)进行裁剪,注意:AudioSegment的单位是毫秒,所以在取切片时乘以1000。
这样就完成了。
D. 如何使用python实现wave音频文件回放
修改采样点数和起始位置进行不同位置和长度的音频波形分析
N=44100
start=0 #开始采样位置
df = framerate/(N-1) # 分辨率
freq = [df*n for n in range(0,N)] #N个元素
wave_data2=wave_data[0][start:start+N]
c=numpy.fft.fft(wave_data2)*2/N
#常规显示采样频率一半的频谱
d=int(len(c)/2)
#仅显示频率在4000以下的频谱
while freq[d]>4000:
d-=10
pylab.plot(freq[:d-1],abs(c[:d-1]),'r')
pylab.show()
E. Python pyb音频处理
Pyb可以让你用简单的方式处理音频。
Pyb提供了简洁的高层接口,极大的扩展了python处理音频文件的能力。
GitHub链接: pyb-github
GitHub:
pyb的使用必须安装对应的依赖软件 ffmpeg 或 avconv
验证是否安装成功:
Open a WAV file
Open a mp3 file
Open a other file
切割音频
分贝操作
分贝(decibel)是量度两个相同单位之数量比例的计量单位,主要用于度量声音强度,常用dB表示。
音频链接
将一个文件添加到另一个文件的末尾
音频长度
淡入淡出
重复音频
再次淡入淡出
直接保存
所有ffmpeg支持的都支持
用标签保存结果(元数据)
实例:
将mp3文件转换成wav文件:
Python音频处理库 pyb
F. python播放音频
anaconda建立环境 python=3.7.9
切换到虚拟环境里
安装pyaudio
这个库好像只能播放.wav文件
而且wav文件内部有不同的格式 我们需要sox转换格式
sox在python里安装 pip install sox
注意 这是sox和python的接口 真正的sox文件得自己装一下
装完了还得配置环境变量
sox资源安排:
https://pan..com/s/1ar8wQc1Xdml9BJpuJ-ubrg
安装完后,就可以转换wav的内部格式了
在音乐文件路径下打开cmd或者powershell执行
sox voice.wav -b 16 -e signed-integer 00.wav
可以看到由voice.wav生成了新的文件 00.wav
G. 如何用python实现倒放一段音频
用python实现倒放音频的话,可以使用 pyb
frompybimportAudioSegment
frompyb.playbackimportplay
song=AudioSegment.from_mp3("a.mp3")
backwards=song.reverse()
play(backwards)
希望能帮到你!
H. Python 简单的扩音,音频去噪,静音剪切
数字信号是通过对连续的模拟信号采样得到的离散的函数。它可以简单看作一个以时间为下标的数组。比如,x[n],n为整数。比如下图是一个正弦信号(n=0,1, ..., 9):
对于任何的音频文件,实际上都是用这种存储方式,比如,下面是对应英文单词“skip”的一段信号(只不过由于点太多,笔者把点用直线连接了起来):
衡量数字信号的 能量(强度) ,只要简单的求振幅平方和即可:
我们知道,声音可以看作是不同频率的正弦信号叠加。那么给定一个声音信号(如上图),怎么能够知道这个信号在不同频率区段上的强度呢?答案是使用离散傅里叶变换。对信号x[n], n=0, ..., N-1,通常记它的离散傅里叶变换为X[n],它是一个复值函数。
比如,对上述英文单词“skip”对应的信号做离散傅里叶变换,得到它在频域中的图像是:
可以看到能量主要集中在中低音部分(约16000Hz以下)。
在频域上,也可以计算信号的强度,因为根据Plancherel定理,有:
对于一般的语音信号,长度都至少在1秒以上,有时候我们需要把其中比如25毫秒的一小部分单独拿出来研究。将一个信号依次取小段的操作,就称作分帧。技术上,音频分帧是通过给信号加一系列的 窗 函数 实现的。
我们把一种特殊的函数w[n],称作窗函数,如果对所有的n,有0<=w[n]<=1,且只有有限个n使得w[n]>0。比如去噪要用到的汉宁窗,三角窗。
汉宁窗
三角窗
我们将平移的窗函数与原始信号相乘,便得到信号的“一帧”:
w[n+d]*x[n]
比如用长22.6毫秒的汉宁窗加到“skip”信号大约中间部位上,得到一帧的信号:
可见除一有限区间之外,加窗后的信号其他部分都是0。
对一帧信号可以施加离散傅里叶变换(也叫短时离散傅里叶变换),来获取信号在这一帧内(通常是很短时间内),有关频率-能量的分布信息。
如果我们把信号按照上述方法分成一帧一帧,又将每一帧用离散傅里叶变换转换到频域中去,最后将各帧在频域的图像拼接起来,用横坐标代表时间,纵坐标代表频率,颜色代表能量强度(比如红色代表高能,蓝色代表低能),那么我们就构造出所谓 频谱图 。比如上述“skip”发音对应的信号的频谱图是:
(使用5.8毫秒的汉宁窗)
从若干帧信号中,我们又可以恢复出原始信号。只要我们适当选取窗口大小,以及窗口之间的平移距离L,得到 ..., w[n+2L], w[n+L], w[n], w[n-L], w[n-2L], ...,使得对k求和有:
从而简单的叠加各帧信号便可以恢复出原始信号:
最后,注意窗函数也可以在频域作用到信号上,从而可以起到取出信号的某一频段的作用。
下面简单介绍一下3种音效。
1. 扩音
要扩大信号的强度,只要简单的增大信号的“振幅”。比如给定一个信号x[n],用a>1去乘,便得到声音更大的增强信号:
同理,用系数0<a<1去乘,便得到声音变小的减弱信号。
2. 去噪(降噪)
对于白噪音,我们可以简单的用“移动平均滤波器”来去除,虽然这也会一定程度降低声音的强度,但效果的确不错。但是,对于成分较为复杂,特别是频段能量分布不均匀的噪声,则需要使用下面的 噪声门 技术,它可以看作是一种“多带通滤波器”。
这个特效的基本思路是:对一段噪声样本建模,然后降低待降噪信号中噪声的分贝。
更加细节的说,是在信号的若干频段f[1], ..., f[M]上,分别设置噪声门g[1], ..., g[M],每个门都有一个对应的阈值,分别是t[1], ..., t[M]。这些阈值时根据噪声样本确定的。比如当通过门g[m]的信号强度超过阈值t[m]时,门就会关闭,反之,则会重新打开。最后通过的信号便会只保留下来比噪声强度更大的声音,通常也就是我们想要的声音。
为了避免噪声门的开合造成信号的剧烈变动,笔者使用了sigmoid函数做平滑处理,即噪声门在开-关2个状态之间是连续变化的,信号通过的比率也是在1.0-0.0之间均匀变化的。
实现中,我们用汉宁窗对信号进行分帧。然后对每一帧,又用三角窗将信号分成若干频段。对噪声样本做这样的处理后,可以求出信号每一频段对应的阈值。然后,又对原始信号做这样的处理(分帧+分频),根据每一帧每一频段的信号强度和对应阈值的差(diff = energy-threshold),来计算对应噪声门的开合程度,即通过信号的强度。最后,简单的将各频段,各帧的通过信号叠加起来,便得到了降噪信号。
比如原先的“skip”语音信号频谱图如下:
可以看到有较多杂音(在高频,低频段,蓝色部分)。采集0.25秒之前的声音作为噪声样本,对信号作降噪处理,得到降噪后信号的频谱图如下:
可以明显的看到大部分噪音都被清除了,而语音部分仍完好无损,强度也没有减弱,这是“移动平均滤波器”所做不到的。
3. 静音剪切
在对音频进行上述降噪处理后,我们还可以进一步把多余的静音去除掉。
剪切的原理十分简单。首先用汉宁窗对信号做分帧。如果该帧信号强度过小,则舍去该帧。最后将保留的帧叠加起来,便得到了剪切掉静音部分的信号。
比如,对降噪处理后的“skip”语音信号做静音剪切,得到的新信号的频谱图为:
I. 利用python和麦克风进行语音数据采集的流程
使用 Python 和麦克风进行语音数据采集的流程可能包括以下步骤:
安装并导入相应的库:需要安装并导入 PyAudio 库,这个库可以让你在 Python 中操作麦克风。
打开麦克风:使用 PyAudio 库打开麦克风,并设置采样率,采样位数等参数。
开始录音:使用 PyAudio 库的 read 方法从麦克风中读取语音数据。
存储数据:使用 Python 的文件操作函数将读取到的语音数据存储到本地磁盘上。
关闭麦克风:使用 PyAudio 库关闭麦克风。
处理数据:在结束采集之后可以对音频数据进行处理,比如语音识别,语音合成,语音压缩等.
注意:请确保在你的系统中已经安装好了麦克风驱动,并且在 Python 代码中有足够的权限访问麦克风。
J. python音乐循环播放怎么实现
import pygame ---导库
pygame.mixer.init()---初始化
pygame.mixer.music.load(歌曲名称)---加载歌曲
pygame.mixer.music.play(-1)---播放歌曲