視頻插幀演算法之采樣

1. pr輸出設置中，最後的時間插值有 幀采樣 光流法 幀混合這三種有什麼區別

1、空缺幀的生成方式不同

幀采樣：在調整視頻的播放速度之後，多出來的幀或空缺的幀按現有的幀來生成。

光流法：軟體根據上下幀來推斷像素移動的軌跡，自動生成新的空缺幀。

幀混合：混合上下兩幀合並生成一個新的幀來填補空缺。

2、渲染速度不同

幀采樣：渲染起來比較快。

光流法：比較消耗資源，渲染的時間會很長。

幀混合：渲染速度比幀采樣慢一點，比光流法快一點。

3、產生效果不同

幀采樣：可能會讓視頻看起來不是很流暢。

光流法：讓生成的視頻更平滑、流暢。

幀混合：屬於上面兩種方法的折中。

(1)視頻插幀演算法之采樣擴展閱讀：

視頻慢放的方法：

1、要在不更改選定剪輯速度的情況下更改持續時間，請單擊綁定按鈕以便其顯示中斷的鏈接 。取消綁定操作還允許您在不更改持續時間的情況下更改速度。

2、要倒放剪輯，請選中「倒放速度」。

3、要在速度或持續時間變化時保持音頻在其當前音調，請選中「保持音頻音調」。

4、要讓變化剪輯後方相鄰的剪輯保持跟隨，請單擊「波紋編輯，移動尾部剪輯」。

5、為速度更改選擇時間插值選項：幀采樣、幀混合或光流。

2. 華為p50pro手機參數

華為P50 Pro手機參數如下：
1、屏幕：屏幕尺寸6.6英寸，解析度FHD+ 2700 x 1228 像素，看電影更加舒暢。
2、相機：後置攝像頭：原色攝像頭（彩色)5000萬像素+原色攝像頭（黑白）4000萬像素+超廣角攝像頭1300萬像素+長焦攝像頭6400萬像素，支持自動對焦。前置攝像頭1300萬像素，支持自動對焦，拍照更加細膩，更加清晰。
3、性能：採用HarmonyOS 2系統，搭載麒麟9000 4G及驍龍888 4G，八核處理器 ，帶來高速、流暢的體驗。
4、電池：配備4360mAh（典型值）大容量電池，續航持久。
您可以點擊下方鏈接進入華為商城查詢更多信息，根據個人需求和愛好選擇。

華為商城

3. 視頻相關的理論知識與基礎概念

本文將視頻相關的理論知識與基礎概念劃分為 11 個知識點，如下：

根據人眼視覺暫留原理，每秒超過 24 幀的圖像變化看上去是平滑連續的，這樣的連續畫面叫視頻。

解析度是以橫向和縱向的像素數量來衡量的，表示平面圖像的精細程度。視頻精細程度並不只取決於視頻解析度，還取決於屏幕解析度。
1080P 的 P 指 Progressive scan（逐行掃描），即垂直方向像素點，也就是 "高"，所以 1920X1080 叫 1080P， 不叫 1920P。
當 720P 的視頻在 1080P 屏幕上播放時，需要將圖像放大，放大操作也叫上采樣。
上采樣幾乎都是採用內插值方法，即在原有圖像的像素點之間採用合適的插值演算法插入新的元素，所以圖像放大也稱為圖像插值。
簡單的記錄一下插值演算法：

（1）鄰插值演算法：
將四個像素（放大一倍）用原圖一個像素的顏色填充，較簡單易實現，早期的時候應用比較普遍，但會產生明顯的鋸齒邊緣和馬賽克現象。
（2）雙線性插值法：
是對鄰插值法的一種改進，先對兩水平方向進行一階線性插值，再在垂直方向上進行一階線性插值。能有效地彌補鄰插值演算法的不足，但還存在鋸齒現象並會導致一些不期望的細節柔化。
（3）雙三次插值法：
是對雙線性插值法的改進，它不僅考慮到周圍四個直接相鄰像素點灰度值的影響，還考慮到它們灰度值變化率的影響，使插值生成的像素灰度值延續原圖像灰度變化的連續性，從而使放大圖像濃淡變化自然平滑。

除此之外還有很多更復雜效果更優的演算法，比如小波插值、分形等等。

當 1080P 的視頻在 720P 屏幕上播放時，需要將圖像縮小，縮小操作也叫下采樣。

下采樣的定義為：對於一個樣值序列，間隔幾個樣值取樣一次，得到新序列。
對於一幅解析度為 M N 的圖像，對其進行 s 倍下采樣，即得到 (M/s) (N/s) 解析度的圖像（s 應為 M、N 的公約數），就是把原始圖像 s*s 窗口內的圖像變成一個像素，這個像素點的值就是窗口內所有像素的均值。

最佳體驗為屏幕與視頻解析度相同且全屏播放，視頻解析度過高的話屏幕沒有能力去呈現，視頻解析度過低的話無法發揮屏幕的能力。

比特率即碼率，在不同領域有不同的含義，在多媒體領域，指單位時間播放音頻或視頻的比特數，可以理解成吞吐量或帶寬。

單位為 bps , 即 bits per second，每秒傳輸的數據量，常用單位有：kbps、mbps 等。

計算公式：碼率（kbps）= 文件大小（kb）/ 時長（s）
通俗一點理解就是取樣率，取樣率越大，精度就越高，圖像質量越好，但數據量也越大，所以要找到一個平衡點：用最低的比特率達到最少的失真。
在一個視頻中，不同時段畫面的復雜程度是不同的，比如高速變化的場景和幾乎靜止的場景，所需的數據量也是不同的，若都使用同一種比特率是不太合理的，所以引入了動態比特率。

（1）動態比特率
簡稱為 VBR，即 Variable Bit Rate，比特率可以隨著圖像復雜程度的不同而隨之變化。
圖像內容簡單的片段採用較小的碼率，圖像內容復雜的片段採用較大的碼率，這樣既保證了播放質量，又兼顧了數據量的限制。
比如 RMVB 視頻文件，其中的 VB 就是指 VBR，表示採用動態比特率編碼方式，達到播放質量與體積兼得的效果。

（2）靜態比特率
簡稱為 CBR，即 Constant Bit Rate，比特率恆定。
圖像內容復雜的片段質量不穩定，圖像內容簡單的片段質量較好。
上面列出的計算公式顯然是針對 CBR ，除 VBR 和 CBR 外，還有 CVBR（Constrained VariableBit Rate） 、ABR (Average Bit Rate) 等等。

定義：每秒從連續信號中提取並組成離散信號的采樣個數，單位為赫茲（Hz）。
對於取樣率、采樣率和抽樣率，沒必要糾結它們的區別，都是同義詞。
（1）音頻中的采樣率
指把音頻信號數字化後 1 個通道 1 秒鍾採取多少個樣本，如 44.1kHz 的采樣率，就是指 1 個通道 1 秒鍾有 44.1k 個數據。
（2）視頻中的采樣率
視頻一般不標識采樣率屬性，比如：

采樣率本身就是一個可泛化的概念，對於視頻來說，若非要用采樣率來描述的話，那就要分為兩個層面：幀頻和場頻。
從幀頻層面來說，采樣率就是指幀率，指 1 秒鍾顯示多少幀圖像。
從場頻層面來說，采樣率就是指像素頻率，指 1 秒鍾顯示多少個像素。
像素頻率是顯示器的一個指標，可以理解成顯示器的最大帶寬，可以起到限制解析度和刷新率的作用，根據含義可得出一個公式：
像素頻率 = 幀率 X 幀像素數量
對於：

定義：用於測量顯示幀數的量度。單位為 FPS（Frames per Second，每秒顯示幀數）或赫茲（Hz）。
幀率越高，畫面越流暢、逼真，對顯卡的處理能力要求越高，數據量越大。
1 中提到每秒超過 24 幀的圖像變化看上去是平滑連續的，這是針對電影等視頻而言，對游戲來說 24 幀是不流暢的。
為什麼 24fps 的電影感覺流暢，而 24fps 的游戲就感覺很卡呢？
第一個原因：兩者圖像生成原理不同
電影的一幀在一段時間曝光，每一幀都包含一段時間的信息，而游戲的畫面則是由顯卡計算生成的，一幀只包含那一瞬間的信息。
比如一個圓從左上角移動到右下角：

前者為電影的一幀，後者為游戲的一幀，可以看到在電影中動作會出現拖影，給人以動感的效果，連貫而不卡。
第二個原因：電影的FPS是穩定的，而游戲則是不穩定的
電影若為 24fps，那就表示每隔 1/24 秒刷新一次畫面，幀間隔是固定的。
游戲若為 60fps，表示大約每隔 1/60 秒刷新一次畫面，幀間隔是不穩定的，即使 1 秒能顯示 60 幀，那也可能是前半秒顯示了 59 幀，後半秒顯示了 1 幀。

定義：通過特定的壓縮技術，將某個視頻格式的文件轉換成另一種視頻格式。
視頻數據在時域和空域層面都有極強的相關性，這也表示有大量的時域冗餘信息和空域冗餘信息，壓縮技術就是去掉數據中的冗餘信息。

（1）去除時域冗餘信息
運動補償：通過先前的局部圖像來預測、補償當前的局部圖像，可有效減少幀序列冗餘信息。
運動表示：不同區域的圖像使用不同的運動矢量來描述運動信息，運動矢量通過熵編碼進行壓縮（熵編碼在編碼過程中不會丟失信息）。
運動估計：從視頻序列中抽取運動信息。
通用的壓縮標准使用基於塊的運動估計和運動補償。

（2）去除空域冗餘信息
變換編碼：將空域信號變換到另一正交矢量空間，使其相關性下降，數據冗餘度減小。
量化編碼：對變換編碼產生的變換系數進行量化，控制編碼器的輸出位率。
熵編碼： 對變換、量化後得到的系數和運動信息，進行進一步的無損壓縮。
視頻壓縮編碼技術可分為兩大類：無損壓縮和有損壓縮。
（1）無損壓縮
無損壓縮也稱為可逆編碼，重構後的數據與原數據完全相同，適用於磁碟文件的壓縮等。
主要採用熵編碼方式，包括香農編碼、哈夫曼編碼和算術編碼等。
<1>香農編碼
香農編碼採用信源符號的累計概率分布函數來分配碼字，效率不高，實用性不大，但對其他編碼方法有很好的理論指導意義。
<2>哈夫曼編碼
哈夫曼編碼完全依據出現概率來構造異字頭的平均長度最短的碼字。
基本方法為：先對圖像數據掃描一遍，計算出各種像素出現的概率，按概率的大小指定不同長度的唯一碼字，由此得到一張該圖像的霍夫曼碼表。
編碼後的圖像數據記錄的是每個像素的碼字，而碼字與實際像素值的對應關系記錄在碼表中。
<3>算術編碼
算術編碼是用符號的概率和編碼間隔兩個基本參數來描述的，在給定符號集和符號概率的情況下，算術編碼可以給出接近最優的編碼結果。
使用算術編碼的壓縮演算法通常先要對輸入符號的概率進行估計，然後再編碼，估計越准，編碼結果就越接近最優的結果。
（2）有損壓縮
有損壓縮也稱為不可逆編碼，重構後的數據與原數據有差異，適用於任何允許有失真的場景，例如視頻會議、可視電話、視頻廣播、視頻監控等。
編碼方式包括預測編碼、變換編碼、量化編碼、混合編碼等。

定義：為保證編碼的正確性，編碼要規范化、標准化，所以就有了編碼標准。
研製視頻編碼標準的有兩大正式組織：ISO/IEC（國際標准化組織）、ITU-T（國際電信聯盟通信標准部）。
ISO/IEC 制定的編碼標准有：MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21 和 MPEG-H 等。
ITU-T 制定的編碼標准有：H.261、H.262、H.263、H.264 和 H.265 等。
MPEG-x 和 H.26x 標準的視頻編碼都是採用有損壓縮的混合編碼方式，主要區別在於處理圖像的解析度、預測精度、搜索范圍、量化步長等參數的不同，所以其應用場合也不同。
MPEG-x 系列：
（1）MPEG-1
MPEG-1 共 5 部分。
第 2 部分視頻編碼方案，規定了逐行掃描視頻的編碼方案。
第 3 部分音頻編碼方案，將音頻流的壓縮分為 3 層並依次增大壓縮比，廣為流傳的 MP3（MPEG-1 Layer 3）就是按照此部分編碼方案壓縮之後的文件格式。
（2）MPEG-2
MPEG-2 共 11 個部分，在 MPEG-1 的基礎上提高了碼率和質量。
第 2 部分視頻編碼方案，規定了隔行掃描視頻的編碼方案，是和 ITU-T 共同開發的，ITU-T 稱其為 H.262。
第 3 部分音頻編碼方案，延續了 MPEG-1 的 3 層壓縮方案，壓縮後文件格式仍未 MP3，但在壓縮演算法上有所改進。
第 7 部分首次提出 AAC（MPEG Advanced Audio Coding）編碼，目的以更小的容量和更好的音質取代 MP3 格式。
（3）MPEG-4
MPEG-4 共 27 個部分，更加註重多媒體系統的交互性和靈活性。
第 3 部分音頻編碼方案，優化了 AAC 編碼演算法，並在推出後逐漸取代 MP3，比如和視頻封裝在一起的音頻優先考慮 AAC 格式，但就民用而言大部分還是使用 MP3 格式。
第 10 部分提出 AVC（Advanced Video Coding）編碼，是和 ITU-T 共同開發的，ITU-T 稱其為 H.264。
第 14 部分提出了 MP4 格式封裝，官方文件後綴名是 ".mp4"，還有其他的以 mp4 為基礎進行的擴展或縮水版本的格式，包括：M4V, 3GP, F4V 等。
（4）MPEG-7
MPEG-7 不同於 MPEG-1、MPEG-2、MPEG-4，它不是音視頻壓縮標准。
MPEG-7 被稱為 "多媒體內容描述介面"，目的就是產生一種描述多媒體信息的標准，並將該描述與所描述的內容相聯系，以實現快速有效的檢索。
（5）MPEG-12
MPEG-12 其實就是一些關鍵技術的集成，通過這種集成環境對全球數字媒體資源進行管理，實現內容描述、創建、發布、使用、識別、收費管理、版權保護等功能。
（6）MPEG-H
MPEG-H 包含了 1 個數字容器標准、1 個視頻壓縮標准、1 個音頻壓縮標准和 2 個一致性測試標准。
其中視頻壓縮標准為高效率視頻編碼（HEVC），和 ITU-T 聯合開發，相比 H.264/MPEG-4 AVC 數據壓縮率增加了 1 倍。
H.26x 系列：
（1）H.261
H.261 是第一個實用的數字視頻編碼標准，使用了混合編碼框架，包括了基於運動補償的幀間預測，基於離散餘弦變換的空域變換編碼，量化，zig-zag 掃描和熵編碼。
H.261 的設計相當成功，之後的視頻編碼國際標准基本上都是基於 H.261 的設計框架，包括 MPEG-1，MPEG-2／H.262，H.263，甚至 H.264。
（2）H.262
H.262 由 MPEG-1 擴充而來，支持隔行掃描，在技術內容上和 MPEG-2 視頻標准一致，DVD 就是採用了該技術。
（3）H.263
H.263 是一種用於視頻會議的低碼率視頻編碼標准，在 H.261 基礎上發展而來。
與 H.261 相比採用了半象素的運動補償，並增加了 4 種有效的壓縮編碼模式，在低碼率下能夠提供比 H.261 更好的圖像效果。
H.263 於 1995 年推出第一版，後續在 1998 年和 2000 年還推出了第二版 H.263+、第三版 H.263++ 。
（4）H.264
H.264 又稱為 MPEG-4 第 10 部分，即 MPEG-4 AVC，它是一種面向塊，基於運動補償的視頻編碼標准。
於 2003 年正式發布，現在已經成為高精度視頻錄制、壓縮和發布的最常用格式之一。
H.264 可以在低碼率情況下提供高質量的視頻圖像，相比 H.263 可節省 50% 的碼率。
相比 H.263，H.264 不需設置較多的編碼選項，降低了編碼的復雜度。
H.264 可以根據不同的環境使用不同的傳輸和播放速率，並且提供了豐富的錯誤處理工具，可以很好的控制或消除丟包和誤碼。
H.264 性能的改進是以增加復雜性為代價而獲得的，H.264 編碼的計算復雜度大約相當於 H.263 的 3 倍，解碼復雜度大約相當於 H.263 的 2 倍。
H.264 協議中定義了三種幀，分別為 I 幀、P 幀以及 B 幀。
<1>I 幀
I幀即幀內編碼幀、關鍵幀，可以理解為一幀畫面的完整保留，解碼時只需要本幀數據就可以完成，不需要參考其他畫面，數據量比較大。
<2>P 幀
P幀即前向預測編碼幀，記錄當前幀跟上一關鍵幀（或P幀）的差別，解碼時依賴之前緩存的畫面，疊加上本幀定義的差別，才能生成最終畫面，數據量較 I 幀小很多。
<3>B 幀
B幀即雙向預測編碼幀，記錄當前幀跟前後幀的差別，解碼時依賴前面的I幀（或P幀）和後面的P幀，數據量比I幀和P幀小很多。
數據壓縮比大約為： I幀：P幀：B幀 = 7：20：50，可見 P 幀和 B 幀極大的節省了數據量，節省出來的空間可以用來多保存一些 I 幀，以實現在相同碼率下，提供更好的畫質。
（5）H.265
H.265 即高效視頻編碼（High Efficiency Video Coding ，簡稱 HEVC），於 2013 年正式推出。
H.265 編碼架構和 H.264 相似，主要也包含，幀內預測、幀間預測、轉換、量化、去區塊濾波器、熵編碼等模塊。
H.265 編碼架構整體被分為編碼單位、預測單位和轉換單位。
H.265 在 H.264 的基礎之上，使用先進的技術用以改善碼流、編碼質量、延時和演算法復雜度之間的關系，達到最優化設置。
在碼率減少 51-74% 的情況下，H.265 編碼視頻的質量還能與 H.264 編碼視頻近似甚至更好。
H.265 可以在有限帶寬下傳輸更高質量的網路視頻，智能手機、平板機等移動設備將能直接在線播放 1080p 的全高清視頻，讓網路視頻跟上了顯示屏 「高解析度化」 的腳步。
來張圖感受一下吧：

除 MPEG-x 和 H.26x 系列標准外，還有其他的編碼標准，如谷歌的 VP 系列，對視頻編碼標准歸納一下，如圖：

視頻封裝格式如 mp4、mkv，用來存儲或傳輸編碼數據，可以理解成一個容器。

封裝就是按照一定規則把音視頻、字幕等數據組織起來，包含編碼類型等公共信息，播放器可以按照這些信息來匹配解碼器、同步音視頻。

不同的封裝格式支持的視音頻編碼格式是不一樣的，比如 MKV 格式支持比較多，RMVB 則主要支持 Real 公司的視音頻編碼格式。

這里 列出了常見的視頻封裝格式，可以查看各封裝格式支持的音視頻編碼格式等信息。

定義：將視頻壓縮編碼過的數據，解壓縮成為視頻原始數據，即視頻編碼的反過程。

對於一個播放器來說，很重要的一個指標就是能支持多少種視頻解碼。

播放一個本地視頻文件，需要經過解封裝，解碼音視頻，音視頻同步等步驟。

解封裝：就是將輸入的封裝格式的數據，分離成為音頻壓縮編碼數據和視頻壓縮編碼數據。例如，FLV 格式的數據，經過解封裝操作後，輸出 H.264 編碼的視頻碼流和 AAC 編碼的音頻碼流。
解碼：將視頻/音頻壓縮編碼數據，解碼成為非壓縮的視頻/音頻原始數據。音頻的壓縮編碼標准包含 AAC，MP3，AC-3 等等，視頻的壓縮編碼標准則包含 H.264，MPEG2，VC-1 等等。解碼是整個系統中最重要也是最復雜的一個環節。通過解碼，壓縮編碼的視頻數據輸出成為非壓縮的顏色數據，例如 YUV420P，RGB 等等；壓縮編碼的音頻數據輸出成為非壓縮的音頻抽樣數據，例如 PCM 數據。
視音頻同步：根據解封裝模塊處理過程中獲取到的參數信息，同步解碼出來的視頻和音頻數據，並將視頻音頻數據送至系統的顯卡和音效卡播放出來。

上面播放原理中分析的是本地視頻文件，如果播放的是互聯網上的視頻，步驟則為：解協議，解封裝，解碼音視頻，音視頻同步，多了一個解協議的步驟。
解協議：將流媒體協議的數據，解析為標準的相應的封裝格式數據。
視音頻在網路上傳播的時候，常常採用各種流媒體協議，例如 HTTP，RTMP， MMS 等等。這些協議在傳輸視音頻數據的同時，也會傳輸一些信令數據。
這些信令數據包括對播放的控制（播放，暫停，停止），或者對網路狀態的描述等。
解協議的過程中會去除掉信令數據而只保留視音頻數據。例如，採用 RTMP 協議傳輸的數據，經過解協議操作後，輸出 FLV 格式的數據。

4. 一文搞懂音頻視頻中的采樣率、采樣精度、碼率、解析度

計算碼率（bit rate）

音頻：
CD音質，一般2通道，原始音頻數據1秒鍾的數據量是44.1k（采樣率）*16（位深度）*2（聲道數）=1411.2kbits，可求得整個音頻文件的大小=時長（300s）*碼率(1411.2)/1024/8=51.67M。壓縮成128kbps的MP3，1秒鍾數據就變成了128kbits了。

視頻：
圖像原始的格式是RGB888，一秒鍾的數據量就是30（幀率）*8（采樣精度）*3（通道數）*1920*1080（1080P解析度）= 1,492,992kbits。同樣視頻也存在壓縮演算法，如H.264，壓縮完1秒鍾的數據就叫碼率。假設H.264壓縮1080p的視頻，碼率是10Mbps，就是說1秒中的數據量為10*1024*1024= 10,485,760 bits。壓縮比=壓縮前的碼率/壓縮後的碼率

5. 愛普生幀補插有什麼用

愛普生幀補插可以讓電影、視頻、動漫變絲滑順暢。

補幀本質上是插幀，在原始視頻中前後不同的兩個幀之間插入一個由演算法模擬兩個幀之間畫面內容的運動過程從而生成的中間幀。

首先我們先從補幀的原理上來簡單分析，從技術角度來說，補幀實現的技術也有著區別。

我把它們分為實時補幀和後期補幀兩類，這兩類補幀的效果有所區別，實時是為了泛用性，他們的運算量不大，通過固有的模式進行插幀，對平移畫面的補幀效果比較顯著。

對於動畫片來說，對於鏡頭的移動，例如搖鏡頭（PAN）和移動鏡頭，都會有著顯著的提升效果，但是人物運動的時候，容易出現果凍效應和多餘的拖影，影響觀感。

復雜的補幀，例如運用了AI補正技術，由於運算量大，只能在後期完成，無法實時運用在觀看中，但是效果非常流暢，不容易出現拖影。

例如B站上常見的「藤原書記舞」的插幀，大都是通過後期補幀，例如光流法插幀完成的，效果非常平滑，但是，對於效果要求越高，需要付出的代價就越大。

首先，目前來說，官方是絕對不會做補幀的，官方甚至會去用超解析度的方式來修正動畫片的畫質，但也不會去補幀，原因後述，那麼，所謂的「補幀」，都是建立於第三方。

或者說民間的非專業流程，可以說是沒有一個標准去判斷它到底是不是好的，即便有標准，最後判斷好壞的還是觀眾，所以就從一個客觀問題變成了主觀的問題。