❶ 移動端短語音消息音頻格式選擇
1. 移動端原生音頻支持
1.1 android Supported media formats
https://developer.android.com/guide/topics/media/media-formats
Format / File Type(s) / Container Formats
AAC LC••Support for mono/stereo/5.0/5.1 content with standard sampling rates from 8 to 48 kHz.• 3GPP (.3gp)
• MPEG-4 (.mp4, .m4a)
• ADTS raw AAC (.aac, decode in Android 3.1+, encode in Android 4.0+, ADIF not supported)
• MPEG-TS (.ts, not seekable, Android 3.0+)
HE-AACv1 (AAC+)•
(Android 4.1+)
•
HE-AACv2 (enhanced AAC+)•Support for stereo/5.0/5.1 content with standard sampling rates from 8 to 48 kHz.
AAC ELD (enhanced low delay AAC)•
(Android 4.1+)
•
(Android 4.1+)
Support for mono/stereo content with standard sampling rates from 16 to 48 kHz
AMR-NB••4.75 to 12.2 kbps sampled @ 8kHz3GPP (.3gp)
AMR-WB••9 rates from 6.60 kbit/s to 23.85 kbit/s sampled @ 16kHz3GPP (.3gp)
FLAC•
(Android 4.1+)
•
(Android 3.1+)
Mono/Stereo (no multichannel). Sample rates up to 48 kHz (but up to 44.1 kHz is recommended on devices with 44.1 kHz output, as the 48 to 44.1 kHz downsampler does not include a low-pass filter). 16-bit recommended; no dither applied for 24-bit.FLAC (.flac) only
MIDI•MIDI Type 0 and 1. DLS Version 1 and 2. XMF and Mobile XMF. Support for ringtone formats RTTTL/RTX, OTA, and iMelody• Type 0 and 1 (.mid, .xmf, .mxmf)
• RTTTL/RTX (.rtttl, .rtx)
• OTA (.ota)
• iMelody (.imy)
MP3•Mono/Stereo 8-320Kbps constant (CBR) or variable bit-rate (VBR)MP3 (.mp3)
Opus•
(Android 5.0+)
Matroska (.mkv)
PCM/WAVE•
(Android 4.1+)
•8- and 16-bit linear PCM (rates up to limit of hardware). Sampling rates for raw PCM recordings at 8000, 16000 and 44100 Hz.WAVE (.wav)
Vorbis•• Ogg (.ogg)
• Matroska (.mkv, Android 4.0+)
1.2 Supported Audio File and Data Formats in OS X
https://developer.apple.com/library/content/documentation/MusicAudio/Conceptual/CoreAudioOverview/SupportedAudioFormatsMacOSX/SupportedAudioFormatsMacOSX.html
Allowable data formats for each file format.
File FormatData Formats
AAC (.aac, .adts)'aac '
AC3 (.ac3)'ac-3'
AIFC (.aif, .aiff,.aifc)BEI8, BEI16, BEI24, BEI32, BEF32, BEF64, 'ulaw', 'alaw', 'MAC3', 'MAC6', 'ima4' , 'QDMC', 'QDM2', 'Qclp', 'agsm'
AIFF (.aiff)BEI8, BEI16, BEI24, BEI32
Apple Core Audio Format (.caf)'.mp3', 'MAC3', 'MAC6', 'QDM2', 'QDMC', 'Qclp', 'Qclq', 'aac ', 'agsm', 'alac', 'alaw', 'drms', 'dvi ', 'ima4', 'lpc ', BEI8, BEI16, BEI24,BEI32, BEF32, BEF64, LEI16, LEI24, LEI32, LEF32, LEF64, 'ms\x00\x02', 'ms\x00\x11', 'ms\x001', 'ms\x00U', 'ms \x00', 'samr', 'ulaw'
MPEG Layer 3 (.mp3)'.mp3'
MPEG 4 Audio (.mp4)'aac '
MPEG 4 Audio (.m4a)'aac ', alac'
NeXT/Sun Audio (.snd, .au)BEI8, BEI16, BEI24, BEI32, BEF32, BEF64, 'ulaw'
Sound Designer II (.sd2)BEI8, BEI16, BEI24, BEI32
WAVE (.wav)LEUI8, LEI16, LEI24, LEI32, LEF32, LEF64, 'ulaw', 'alaw'
Core Audio includes a number of audio codecs that translate audio data to and from Linear PCM. Codecs for the following audio data type are available in OS X v10.4. Audio applications may install additional encoders and decoders.
Audio data typeEncode from linear PCM?Decode to linear PCM?
MPEG Layer 3 ('.mp3')NoYes
MACE 3:1 ('MAC3')YesYes
MACE 6:1 ('MAC6')YesYes
QDesign Music 2 ('QDM2')YesYes
QDesign ('QDMC')NoYes
Qualcomm PureVoice ('Qclp')YesYes
Qualcomm QCELP ('qclq')NoYes
AAC ('aac ')YesYes
Apple Lossless ('alac')YesYes
Apple GSM 10:1 ('agsm')NoYes
ALaw 2:1 'alaw')YesYes
Apple DRM Audio Decoder ('drms')NoYes
AC-3NoNo
DVI 4:1 ('dvi ')NoYes
Apple IMA 4:1 ('ima4')YesYes
LPC 23:1 ('lpc ')NoYes
Microsoft ADPCMNoYes
DVI ADPCMYesYes
GSM610NoYes
AMR Narrowband ('samr')YesYes
µLaw 2:1 ('ulaw')YesYes
1.3 總結:
android/ios都可以對mp3解碼,但不能編碼,編碼依賴lame;
android/ios支持對aac進行編解碼;
mp3,aac均是音樂編碼器,android支持對amr窄帶與寬頻編解碼,ios文檔顯示對窄帶支持編解碼,但有人說ios4.3.x版本之後不再支持AMR，剔除了AMR的硬解,如需使用依賴libopencore庫;
結論:
h5 audio標簽對mp3支持最好(audio標簽除了firefox與opera都支持mp3,ogg,wav;flash播放器可以支持到mp3,aac,speex,nellymoser),考慮對純web的兼容性,使用mp3;
android,ios硬體對aac支持最好,考慮硬編碼的性能與效率,使用aac;
amr是語音編碼器,考慮使用場景,推薦amr.
對比微信,微信短語音,6.0之前用的amr,6.0之後用的silk_v3.
2.音頻基礎概念
2.1聲音三要素
聲音的特性可由三個要素來描述，即響度、音調和音色。
響度：人耳對聲音強弱的主觀感覺稱為響度。響度和聲波振動的幅度有關。一般說來，聲波振動幅度越大則響度也越大。當我們用較大的力量敲鼓時，鼓膜振動的幅度大，發出的聲音響；輕輕敲鼓時，鼓膜振動的幅度小，發出的聲音弱。音叉振動時發出的聲波為單音，即只有一個頻率成分。若設法將音叉的振動規律記錄下來，可發現其振動波形為一正弦波。當用不同力量敲擊某個音叉時，音叉發出的聲波幅度不同，這意味著聲音的響度不同。給出了兩個聲音波形，其幅度一大一小，幅度大的波形其聲音響度大，幅度小的波形其聲音響度小。另外，人們對響度的感覺還和聲波的頻率有關，同樣強度的聲波，如果其頻率不同，人耳感覺到的響度也不同。
音調：人耳對聲音高低的感覺稱為音調。音調主要與聲波的頻率有關。聲波的頻率高，則音調也高。當我們分別敲擊一個小鼓和一個大鼓時，會感覺它們所發出的聲音不同。小鼓被敲擊後振動頻率快，發出的聲音比較清脆，即音調較高；而大鼓被敲擊後振動頻率較慢，發出的聲音比較低沉，即音調較低。如果分別敲擊一個小音叉和一個大音叉時，同樣會感覺到小音叉所發聲音的音調較高，大音叉所發聲音音調較低。如果設法把大、小音叉所發出的聲波記錄下來，可發現小音叉在單位時間內振動的次數多，即頻率高，大音叉在單位時間內振動的次數少，即頻率低。給出了兩個頻率不同的聲音波形，從聲音可聽出，頻率高的聲音波形聽起來音調較高，而頻率低的聲音波形聽起來則音調較低。
音色：音色是人們區別具有同樣響度、同樣音調的兩個聲音之所以不同的特性，或者說是人耳對各種頻率、各種強度的聲波的綜合反應。音色與聲波的振動波形有關，或者說與聲音的頻譜結構有關。前面說過，音叉可產生一個單一頻率的聲波，其波形為正弦波。但實際上人們在自然界中聽到的絕大部分聲音都具有非常復雜的波形，這些波形由基波和多種諧波構成。諧波的多少和強弱構成了不同的音色。各種發聲物體在發出同一音調聲音時，其基波成分相同。但由於諧波的多少不同，並且各次諧波的幅度各異，因而產生了不同的音色。例如當我們聽胡琴和揚琴等樂器同奏一個曲子時，雖然它們的音調相同，但我們卻能把不同樂器的聲音區別開來。這是因為，各種樂器的發音材料和結構不同，它們發出同一個音調的聲音時，雖然基波相同，但諧波構成不同，因此產生的波形不同，從而造成音色不同。給出了小提琴和鋼琴的波形和聲音，這兩個聲音的響度和音調都是相同的，但聽起來卻不一樣，這就是因為這兩個聲音的音色不同（波形不同）。
2.2采樣率和采樣大小
聲音其實是一種能量波，因此也有頻率和振幅的特徵，頻率對應於時間軸線，振幅對應於電平軸線。波是無限光滑的，弦線可以看成由無數點組成，由於存儲空間是相對有限的，數字編碼過程中，必須對弦線的點進行采樣。采樣的過程就是抽取某點的頻率值，很顯然，在一秒中內抽取的點越多，獲取得頻率信息更豐富，**為了復原波形，一次振動中，必須有2個點的采樣**，人耳能夠感覺到的最高頻率為20kHz，因此要滿足人耳的聽覺要求，則需要至少每秒進行40k次采樣，用40kHz表達，這個40kHz就是采樣率。我們常見的CD，采樣率為44.1kHz。光有頻率信息是不夠的，我們還必須獲得該頻率的能量值並量化，用於表示信號強度。量化電平數為2的整數次冪，我們常見的CD位16bit的采樣大小，即2的16次方。采樣大小相對采樣率更難理解，因為要顯得抽象點，舉個簡單例子：假設對一個波進行8次采樣，采樣點分別對應的能量值分別為A1-A8，但我們只使用2bit的采樣大小，結果我們只能保留A1-A8中4個點的值而舍棄另外4個。如果我們進行3bit的采樣大小，則剛好記錄下8個點的所有信息。采樣率和采樣大小的值越大，記錄的波形更接近原始信號。
2.3有損和無損
根據采樣率和采樣大小可以得知，相對自然界的信號，音頻編碼最多隻能做到無限接近，至少目前的技術只能這樣了，相對自然界的信號，任何數字音頻編碼方案都是有損的，因為無法完全還原。在計算機應用中，能夠達到最高保真水平的就是PCM編碼，被廣泛用於素材保存及音樂欣賞，CD、DVD以及我們常見的WAV文件中均有應用。因此，PCM約定俗成了無損編碼，因為PCM代表了數字音頻中最佳的保真水準，並不意味著PCM就能夠確保信號絕對保真，PCM也只能做到最大程度的無限接近。我們而習慣性的把MP3列入有損音頻編碼范疇，是相對PCM編碼的。強調編碼的相對性的有損和無損，是為了告訴大家，要做到真正的無損是困難的，就像用數字去表達圓周率，不管精度多高，也只是無限接近，而不是真正等於圓周率的值。
2.4頻率與采樣率的關系
采樣率表示了每秒對原始信號采樣的次數，我們常見到的音頻文件采樣率多為44.1KHz，這意味著什麼呢？假設我們有2段正弦波信號，分別為20Hz和20KHz，長度均為一秒鍾，以對應我們能聽到的最低頻和最高頻，分別對這兩段信號進行40KHz的采樣，我們可以得到一個什麼樣的結果呢？結果是：20Hz的信號每次振動被采樣了40K/20=2000次，而20K的信號每次振動只有2次采樣。顯然，在相同的采樣率下，記錄低頻的信息遠比高頻的詳細。這也是為什麼有些音響發燒友指責CD有數碼聲不夠真實的原因，CD的44.1KHz采樣也無法保證高頻信號被較好記錄。要較好的記錄高頻信號，看來需要更高的采樣率，於是有些朋友在捕捉CD音軌的時候使用48KHz的采樣率，這是不可取的！這其實對音質沒有任何好處，對抓軌軟體來說，保持和CD提供的44.1KHz一樣的采樣率才是最佳音質的保證之一，而不是去提高它。較高的采樣率只有相對模擬信號的時候才有用，如果被采樣的信號是數字的，請不要去嘗試提高采樣率。
亨利·奈奎斯特(Harry Nyquist)采樣定理:當對連續變化的信號波形進行采樣時,若采樣率fs高於該信號所含最高頻率的兩倍,那麼可以由采樣值通過插補技術正確的回復原信號中的波形,否則將會引起頻譜混疊(Aliasing),產生混疊噪音(Aliasing Noise),而重疊的部分是不能恢復的.(同樣適用於模擬視頻信號的采樣)
根據人聲語音的特點,人類的聽力感知范圍是從20Hz到20kHz。這個頻寬范圍被劃分成四個頻寬類別：窄帶、寬頻、超寬頻和全帶。
窄帶（narrowband）普通電話所覆蓋的頻寬，從300Hz到3.4kHz，對應采樣率6.8kHz。普通電話的采樣率是8kHz，對應頻寬4kHz，對於人聲語音是足夠的。
寬頻（wideband）從50Hz到7kH的頻寬，對應采樣率14khz，可以很好地捕捉和還原人聲，然而對於音樂聲還是不夠的。這是在人聲語音通話場景下的所謂高清語音。
超寬頻（super-wideband）從50Hz到14kHz，對應采樣率28kHz，基本可以覆蓋人聲和音樂聲，對於非專業音樂人的用戶來說，不管是人聲通話還是音樂直播，這樣的頻寬都是足夠的。
全帶（fullband）從20Hz到20kHz，對應40kHz采樣率，全面覆蓋人類的聽覺范圍，能夠滿足音樂發燒友或者專業音樂人的需求。超過40Hz都可以稱作全帶語音。CD的采樣率就是44.1kHz。
因此，窄帶(narrowband)的音質是能滿足人聲錄制回放的。
從四個角度衡量音頻編碼:
成本:開發成本,伺服器流量成本
音質:
系統影響:對系統資源的暫用,軟編解碼器比硬編解碼器佔用更多cpu
兼容性:對移動端以及web端的兼容
適合產品場景的編碼器具備以下四個特點
碼率相對低，滿足成本可控的要求，一般不要超過16kbps。一個sample用1bit就能編好，那麼8kHz采樣率（narrowband）對應8kbps的碼率，16kHz采樣率（wideband）對應16kbps的碼率。碼率的本質就是成本。
演算法復雜度要比較低，對系統CPU、內存和電量消耗少，對系統影響要盡量低。
音質可以適當作出犧牲，以保障上面三個因素，8kHz采樣率對人聲場景是夠用的，16kHz采樣率可以提供高清語音。
兼顧兼容性
3.主流音頻編碼器
音頻編碼格式的比較: https://zh.wikipedia.org/wiki/%E9%9F%B3%E9%A2%91%E7%BC%96%E7%A0%81%E6%A0%BC%E5%BC%8F%E7%9A%84%E6%AF%94%E8%BE%83
下圖列舉一組主流的音頻編解碼器，展示了隨著碼率變化，音質相應變化的情況。這是基於編解碼器聽音測試的結果繪畫出來的，對選取音頻編解碼器有參考意義。根據上面的分析並且參照下圖，發現碼率低於16kbps的低碼率人聲編解碼器（speech codecs）包含：Opus（SILK）,Speex，AMR-NB，AMR-WB，和iLBC。
下圖是另外一組主流的音頻編解碼器，展示了隨著碼率的變化，演算法延遲時間相應變化的情況。根據上面的分析並且參照下圖，發現演算法延遲時間低於60毫秒，碼率低於16kbps的人聲編解碼器（speech codecs）包含：Opus（SILK）、Speex(NB,WB)、G.729、和G.729.1。
從圖中我們可以獲得如下幾方面信息：
對於固定碼率的編碼標准：如G.711或者G.722，圖中採用單點表示，說明這兩個編碼標準是固定碼率編碼標准。其他如Opus、Speex，它們的曲線是連續的，說明這類編碼標準是可變碼率的編碼標准。
從頻帶方面看：G.711、G.722、AMR和iLBC等標准適用於narrowband（8khz采樣率）和wideband（16khz采樣率）范圍，針對普通的語音通話場景。AAC和MP3適用於fullband（48khz采樣率）范圍，針對特殊的音樂場景。而Opus適用於整個頻帶，可以進行最大范圍的動態調節，適用范圍最廣。
從標準的收費情況看：適用於互聯網傳輸的iLBC、Speex和Opus都是免費且開源的；適用於音樂場景的MP3和AAC，需要license授權，而且不開源。
綜合上面的兩個圖，我們可以大致總結，比較適合人聲短語音的音頻編解碼器包含Opus（SILK）、Speex（NB,WB）、AMR-NB、AMR-WB、iLBC、G.729、和G.729.1。
碼率采樣率演算法延遲
OPUS(SILK)6-12,7-25，
8-30,12-40kbps
8，12，
16，24kHz
25ms
Speex2.15–24.6 kbps (NB)
4–44.2 kbps (WB)
8, 16,
32, 48kHz
30 ms(NB)
34 ms (WB)
AMR-NB4.75, 5.15, 5.90,
6.70, 7.40, 7.95,
10.20, 12.20 kbps
8kHz25ms (20ms per frame
plus 5ms look-ahead,
20ms for 12.2 kbps)
AMR-WB6.60, 8.85, 12.65,14.25, 15.85, 18.25, 19.85, 23.05, 23.85 kbps16kHz25ms (20ms per frame
plus 5ms look-ahead)
iLBC13.33 kbps
15.20 kbps
8kHz25 ms
40 ms
G.7298kbps8kHz15 ms
G.729.18 kbps,
12–32 kbps
8kHz
16kHz
48.94ms
Codec20.7, 1.2, 1.3, 1.4,
1.6, 2.4, 3.2 kbps
8kHz20–40 ms
（額外增加的，超低碼率）
短語音不同於實時語音,可以忽略延遲
上面都是為人聲場景設計的低碼率音頻編解碼器，具有碼率低（16kbps以下），演算法延遲低（大部分在40ms以下），和采樣率在8kHz和16kHz之間的特點，都可供短語音編碼方案選擇。其中，有幾個語音編解碼器值得在這里稍作介紹：
Opus（SILK）
https://en.wikipedia.org/wiki/Opus_(audio_format)
完全開源而且免費，包含了SILK、CELT、以及兩者的混合模式，是目前最為兼容並包的音頻編解碼器。在處理窄帶和寬頻人聲語音（speech）的時候，採用SILK; 在處理超寬頻和全帶音樂聲音（music）的時候，採用CELT。在人聲和音樂聲混合的場景中，甚至可以智能切換兩個編解碼器。WebRTC就採用了Opus作為語音編解碼器。而SILK是Skype網路電話所用的語音編解碼器。Opus真可謂是久經考驗的名門精品。根據即構科技的測試結果，Opus雖然在音樂場景中表現並非首選，但是在人聲場景中表現十分出色。
iLBC
完全開源而且免費的，由GIPS開發並被IETF標准化，曾經被QQ和Skype使用過，現在被WebRTC使用，是被世界頂級產品證明過的窄帶實時語音編解碼器。iLBC能夠通過平滑降低語音質量的方式來處理IP網路丟包。由於iLBC的語音幀塊之間是相互獨立的，在丟幀出現的時候也不會導致錯誤蔓延，因此具有較強的抗丟包能力。在窄帶應用環境中，iLBC具有延遲低，無斷續或雜音的特點，通話效果可以和行動電話媲美。
Speex
免費的人聲音頻編解碼器。因為Speex是為VoIP專門設計的，所以Speex對IP網路有很強的抗丟包能力。為了達到這個目的，Speex採用了CELP演算法。市場上狼人殺產品的游戲實時語音技術，廠商自研的方案採用了Speex。
Codec2
開源並且專利免費，碼率超低的人聲語音編解碼器。碼率在0.7 kbps至3.2 kbps。Codec2填補了開源編碼器在5 kbps碼率以下的空白。
評估音頻編碼指標,除碼率、采樣率、和演算法延遲以外，還要參考MOS、VBR/CBR、和基礎演算法等。其中，MOS （Mean Opinion Score）是語音編解碼器的主觀評估指標。MOS是一個廣為接受的有統計意義的主觀聽音指標。上面音視頻編解碼器的列表沒有把它包含進去，是因為同一個編解碼器，在不同碼率下，表現出來的MOS值是會變化的。對一個音頻編解碼器給出一個固定的MOS值，反而會起誤導的作用。另外，雖然MOS值已經是主觀的聽覺測試評估結果，但是音頻工程師在選用音頻編解碼器的時候，還要以自己親身的聽感作為最終的依據。
下圖是Nokia在2011年的時候對Opus、AMR、和G.722.1C等音頻編解碼器在無噪音和有噪音的環境里做的MOS語音測試的結果。我們可以從語音測試的結果看出：
1）MOS值會隨著碼率變化。固定的MOS值並沒有絕對的參考意義。
2）在低碼率情況下，AMR-NB和AMR-WB都表現相對出色。
參考:
1.Getting Started with Audio & Video: https://developer.apple.com/library/content/referencelibrary/GettingStarted/GS_MusicAudio/_index.html
2.Opus ios: https://github.com/chrisballinger/Opus-iOS
3.android opus: https://gitlab.com/axet/android-opus
4.opus_android: https://github.com/louisyonge/opus_android
5.opuscodec: https://github.com/martoreto/opuscodec
6.與大家討論如何用opencore amr在iOS上decode: https://blog.csdn.net/devday/article/details/6804553
7. ios支持 https://developer.apple.com/library/archive/documentation/MusicAudio/Conceptual/CoreAudioOverview/CoreAudioEssentials/CoreAudioEssentials.html#//apple_ref/doc/uid/TP40003577-CH10-SW13
❷ android如何播放g729格式的音頻
g729是一種itu制定的語音編碼的標准，碼率為8kbps/s，如果在android上找不到合適的解碼器，可以轉換成adpcm或gsm的格式，這兩個比較常見，應該比較好找。
mp3，在低碼率的情況下，音質太差。碼率高了，文件就太大。
源碼有，怎麼給你
❸ android 網路電話開發，VOIP/SIP 那麼多開源選哪個好
Freeswitch
FreeSWITCH 遵循RFC並支持很多高級的SIP特性，如 presence、BLF、SLA以及TCP、TLS和sRTP等。它也可以用作一個SBC進行透明的SIP代理（proxy）以支持其它媒體如T.38等。FreeSWITCH 支持寬頻及窄帶語音編碼，電話會議橋可同時支持8、12、16、24、32及48kHZ的語音. 而在傳統的電話網路中，要做到三方通話或多方通話需要通過專門的晶元來處理，其它像預付費，彩鈴等業務在PSTN網路中都需要依靠智能網(IN)才能實現，而且配置起來相當不靈活。
FreeSWITCH 是一個開源的電話交換平台，從一個簡單的軟電話客戶端到運營商級的軟交換設備幾乎無所不能。能原生地運行於Windows、Max OS X、Linux、BSD 及 solaris 等諸多32/64位平台。可以用作一個簡單的交換引擎、一個PBX，一個媒體網關或媒體支持IVR的伺服器等。它支持SIP、H323、Skype、Google Talk等協議，並能很容易地與各種開源的PBX系統如sipXecs、Call Weaver、Bayonne、YATE及Asterisk等通信。
視頻編解碼器（直通）：
Theora的
H.261
H.263
H.264
MP4
另見：編解碼器
支持多種編解碼器
CELT（32千赫 AHD 48千赫）
G.722.1（寬頻）
G.722.1C（寬頻32千赫）
G.722協議（寬頻）
G.711
G.726（16K，24K，32K，48K）AAL2和RFC 3551
G.723.1（直通）
G.729AB（需要許可證，除非使用直通）
AMR（直通）
iLBC的
Speex語音（窄帶和寬頻）
LPC - 10
DVI4（ADPCM），8 kHz和16 kHz
主要是用於商業不會產生糾紛