H.264/AVC?是ITU-T VCEG?和ISO/IEC MPEG?共同開發(fā)的視頻處理標準，ITU-T作為標準建議H.264，ISO/IEC作為國際標準14496-10（MPEG-4?第10部分）高級視頻編碼（AVC）。
?
??? MPEG-2視頻編碼標準（又稱為ITU-T H.262[2]）已有10年的歷史了，由MPEG-1擴充而來，支持隔行掃描。使用十分廣泛，幾乎用于所有的數(shù)字電視系統(tǒng)，適合標清和高清電視，適合各種媒體傳輸，包括衛(wèi)星、有線、地面等，都能有效地傳輸。然而，類似xDSL、UMTS（通用移動系統(tǒng)）技術(shù)只能提供較小的傳輸速率，甚至DVB-T，也沒有足夠的頻段可用，提供的節(jié)目很有限，隨著高清電視的引入，迫切需要高壓縮比技術(shù)的出現(xiàn)。
?
????應(yīng)用于電信的視頻編碼經(jīng)歷了ITUT H.261、H.262（MPEG-2）、H.263、H.263+、H.263++，提供的服務(wù)從ISDN和T1/E1到PSTN、移動無線網(wǎng)和LAN/INTERNET網(wǎng)。
?
????最近MPEG-4?第二部分進入了實用領(lǐng)域，提供了視頻形狀編碼，目標是與MPEG-2一樣獲得廣泛的數(shù)字電視應(yīng)用。
?
??? 1998年，視頻編碼專家組（VCEG-ITU-T SG16 Q.6）啟動了H.26L工程，旨在研制出新的壓縮標準，與以前的任何標準相比，效率要提高一倍，同時具有簡單、直觀的視頻編碼技術(shù)，網(wǎng)絡(luò)友好的視頻描述，適合交互和非交互式應(yīng)用（廣播、存儲、流煤體）。
?
??? 2001年12月，VCEG和運動圖像專家組（MPEG-ISO/IEC JTC 1/SC 29/WG 11）組成了聯(lián)合視頻組（JVT，Joint Video Team），研究新的編碼標準H.264/AVC，該標準于2003年3月正式獲得批準。
?
????視頻的各種應(yīng)用必須通過各種網(wǎng)絡(luò)傳送，這要求一個好的視頻方案能處理各種應(yīng)用和網(wǎng)絡(luò)接口。H.264/AVC為了解決這個問題，提供了很多靈活性和客戶化特性。H.264/AVC的設(shè)計方案包含兩個層次，視頻編碼層（VCL，Video Coding Layer）和網(wǎng)絡(luò)抽象層（NAL，Network Abstraction Layer）。視頻編碼層主要致力于有效地表示視頻內(nèi)容，網(wǎng)絡(luò)抽象層格式化VCL視頻表示，提供頭部信息，適合多種傳輸和存儲媒體。
?
??? VCL的設(shè)計同以前的ITU-T和?ISO/IEC JTC一樣，基于塊的混合視頻編碼方法?；镜脑淳幋a算法是：利用時間統(tǒng)計的相關(guān)性，開發(fā)幀間預(yù)測算法；利用預(yù)測殘留變換編碼，開發(fā)空間統(tǒng)計的相關(guān)性。在提高編碼效率方面，沒有一個單一的算法做出特別的貢獻，而是大量的小的改善算法綜合產(chǎn)生的結(jié)果。
?
????一 主要特性
?
??? 1. H.264/AVC相對以前的編碼方法，以MPEG-2為例，在圖像內(nèi)容預(yù)測方面提高編碼效率，改善圖像質(zhì)量的主要特點如下：
?
????●可變塊大小運動補償：選擇運動補償大小和形狀比以前的標準更靈活，最小的亮度運動補償塊可以小到4×4。
?
????●?1/4采樣精度運動補償：以前的標準最多1/2精度運動補償，首次1/4采樣精度運動補償出現(xiàn)在MPEG-4第二部分高級類部分，但H.264/AVC大大減少了內(nèi)插處理的復(fù)雜度。
?
????●運動矢量可跨越圖像邊界：在以前的標準中，運動矢量限制在已編碼參考圖像的內(nèi)部。圖像邊界外推法作為可選技術(shù)首次出現(xiàn)在H.263中。
?
????●多參考圖像運動補償：在MPEG-2及以前的標準中，P幀只使用一幀，B幀只使用兩幀圖像進行預(yù)測。H.264/AVC使用高級圖像選擇技術(shù)，可以用以前已編碼過且保留在緩沖區(qū)的大量的圖像進行預(yù)測，大大提高了編碼效率。
?
????●消除參考圖像順序和顯示圖像順序的相關(guān)性：在以前的標準中，參考圖像順序依賴顯示圖像順序，H.264/AVC消除了該限制，可以任意選擇。
?
????●消除參考圖像與圖像表示方法的限制：在以前的標準中，B幀圖像不能作為預(yù)測圖像，H.264/AVC?在很多情況可以利用B幀圖像作為參考。
?
????●加權(quán)預(yù)測：?H.264/AVC采用新技術(shù)，允許加權(quán)運動補償預(yù)測和偏移一定量。在淡入淡出場景中該技術(shù)極大提高編碼效率，該技術(shù)還可用于其他多種用途。
?
????●改善“跳過”和“直接”運動推測：在以前的標準中，預(yù)測編碼圖像的“跳過”區(qū)不能有運動。當編碼有全局運動的圖像時，該限制非常有害。H.264/AVC對“跳過”區(qū)的運動采用推測方法。對雙預(yù)測的B幀圖像，采用高級運動預(yù)測方法，稱為“直接”運動補償，進一步改善編碼效率。
?
????●幀內(nèi)編碼直接空間預(yù)測：將編碼圖像邊沿進行外推應(yīng)用到當前幀內(nèi)編碼圖像的預(yù)測。
?
????●循環(huán)去塊效應(yīng)濾波器：基于塊的視頻編碼在圖像中存在塊效應(yīng)，主要來源于預(yù)測和殘余編碼。自適應(yīng)去塊效應(yīng)濾波技術(shù)是非常著名的技術(shù)，能有效消除塊效應(yīng)，改善視頻的主觀和客觀質(zhì)量。
?
??? 2.?除改善預(yù)測方法外，其他改善編碼效率的特性如下：
?
????●小塊變換：以前的標準變換的塊都是8×8，H.264/AVC主要使用4×4塊變換，使編碼器表示信號局部適應(yīng)性更好，更適合預(yù)測編碼，減少“鈴”效應(yīng)。另外圖像邊界需要小塊變換。
?
????●分級塊變換：?H.264/AVC通常使用小塊變換，但有些信號包含足夠的相關(guān)性，要求以大塊表示，H.264/AVC有兩種方式實現(xiàn)。低頻色度信號可用8×8，；對幀內(nèi)編碼，可使用特別的編碼類型，低頻亮度信號可用16×16塊。
?
????●短字長變換：所有以前標準使用的變換要求32位運算，H.264/AVC只使用16位運算。
?
????●完全匹配反變換：所有以前標準反變換和變換之間存在一定容限的誤差，因此，每個解碼器輸出視頻信號都不相同，產(chǎn)生小的漂移，最終影響圖像的質(zhì)量，H.264/AVC實現(xiàn)了完全匹配。
?
????●基于上下文的熵編碼：?H.264/AVC使用兩種熵編碼方法，CAVLC（上下文自適應(yīng)的可變長編碼）和CABAC（上下文自適應(yīng)二進制算術(shù)編碼），兩種都是基于上下文的熵編碼技術(shù)。
?
??? 3. H.264/AVC具有強大的糾錯功能和各種網(wǎng)絡(luò)環(huán)境操作靈活性，主要特性如下：
?
????●參數(shù)集結(jié)構(gòu)：H.264/AVC參數(shù)集結(jié)構(gòu)設(shè)計了強大、有效的傳輸頭部信息。在以前的標準中，如果少數(shù)幾位關(guān)鍵信息丟失，可能解碼器產(chǎn)生嚴重解碼錯誤。H.264/AVC采用很靈活、特殊的方式，分開處理關(guān)鍵信息，能在各種環(huán)境下可靠傳送。
?
????●?NAL單元語法結(jié)構(gòu)：H.264/AVC中的每一個語法結(jié)構(gòu)放置在稱為NAL的單元中，以前的標準采用強制性特定的位流接口。NAL單元語法結(jié)構(gòu)允許很自由的客戶化，幾乎適合所有的網(wǎng)絡(luò)接口。
?
????●靈活的像條大?。涸贛PEG-2中，規(guī)定了嚴格的像條結(jié)構(gòu)，頭部數(shù)據(jù)量大，降低預(yù)測效率，編碼效率低。在H.264/AVC可采用非常靈活的像條大小。
?
????●靈活宏塊排序（FMO）：H.264/AVC可以將圖像劃分為像條組，又稱為圖像區(qū)，每個像條可以獨立解碼。FMO通過管理圖像區(qū)之間的關(guān)系，具有很強的抗數(shù)據(jù)丟失能力。
?
????●任意像條排序：因為每個像條幾乎可以獨立解碼，所以像條可以按任意順序發(fā)送和接收，在實時應(yīng)用中，可以改善端到端的延時特性，特別適合于接收順序和發(fā)送順序不能對應(yīng)的網(wǎng)絡(luò)中，如使用INTERNET網(wǎng)絡(luò)協(xié)議的應(yīng)用。
?
????●冗余圖像：為提高抗數(shù)據(jù)丟失的能力，H.264/AVC設(shè)計中包含一種新的能力，允許編碼器發(fā)送圖像區(qū)的冗余表示，當圖像區(qū)的主表示丟失時仍可以正確解碼。
?
????●數(shù)據(jù)劃分：視頻流中的編碼信息的重要性不同，有些信息（如運動矢量、預(yù)測信息等）比其他信息更為重要。H.264/AVC可以根據(jù)每個像條語法元素的范疇，將像條語法劃分為3部分，分開傳送。
?
????二 網(wǎng)絡(luò)層
?
??? NAL規(guī)范視頻數(shù)據(jù)的格式，主要是提供頭部信息，以適合各種媒體的傳輸和存儲。NAL支持各種網(wǎng)絡(luò)，包括：
?
????●任何使用RTP/IP協(xié)議的實時有線和無線Internet?服務(wù)。
?
????●作為MP4文件存儲和多媒體信息文件服務(wù)。
?
????●?MPEG-2系統(tǒng)。
?
????●其他網(wǎng)。
?
??? 1. NAL?單元
?
????編碼的視頻流組織成NAL單元，視頻數(shù)據(jù)放置在網(wǎng)絡(luò)單元中傳輸，每個網(wǎng)絡(luò)單元包含整數(shù)個字節(jié)，第一個字節(jié)是頭部信息，指示NAL單元的數(shù)據(jù)類型，其余是凈荷。
?
????凈荷數(shù)據(jù)與仿真預(yù)防字節(jié)做交織處理，仿真預(yù)防字節(jié)是特殊值字節(jié)，防止偶然在凈荷中出現(xiàn)同步字節(jié)圖樣。
?
??? NAL規(guī)定一種通用的格式，既適合面向包傳輸，也適合流傳送。實際上，包傳輸和流傳輸?shù)姆绞绞窍嗤?，不同之處是流傳輸前面增加了一個起始碼前綴。
?
??? 2. NAL單元在字節(jié)流中的應(yīng)用
?
????類似H.320和MPEG-2/H.222.0等傳輸系統(tǒng)，傳輸NAL作為有序連續(xù)字節(jié)或比特流，同時要依靠數(shù)據(jù)本身識別NAL單元邊界。在這樣的應(yīng)用系統(tǒng)中，H.264/AVC規(guī)范定義了字節(jié)流格式，每個NAL單元前面增加3個字節(jié)的前綴，即同步字節(jié)。在比特流應(yīng)用中，每個圖像需要增加一個附加字節(jié)作為邊界定位。還有一種可選特性，在字節(jié)流中增加附加數(shù)據(jù)，用做擴充發(fā)送數(shù)據(jù)量，能實現(xiàn)快速邊界定位，恢復(fù)同步。
?
??? 3. NAL單元在面向包傳送中的應(yīng)用
?
????在類似Internet/RTP面向包傳送協(xié)議系統(tǒng)中，包結(jié)構(gòu)中包含包邊界識別字節(jié)，在這種情況下，不需要同步字節(jié)。
?
??? 4. VCL和非VCL的NAL單元
?
??? NAL單元分為VCL和非VCL兩種，VCL NAL單元包含視頻圖像采樣信息，非VCL包含各種有關(guān)的附加信息，例如參數(shù)集（頭部信息，應(yīng)用到大量的VCL NAL單元）、提高性能的附加信息、定時信息等。
?
??? 5.?參數(shù)集
?
????參數(shù)集是很少變化的信息，用于大量VCL NAL單元的解碼，分為兩種類型：
?
????●序列參數(shù)集，作用于一串連續(xù)的視頻圖像，即視頻序列。
?
????●圖像參數(shù)集，作用于視頻序列中的一個或多個個別的圖像。
?
????序列和圖像參數(shù)集機制，減少了重復(fù)參數(shù)的傳送，每個VCL NAL單元包含一個標識，指向有關(guān)的圖像參數(shù)集，每個圖像參數(shù)集包含一個標識，指向有關(guān)的序列參數(shù)集的內(nèi)容，因此，只用少數(shù)的指針信息，引用大量的參數(shù)，大大減少每個VCL NAL單元重復(fù)傳送的信息。
?
????序列和圖像參數(shù)集可以在發(fā)送VCL NAL單元以前發(fā)送，并且重復(fù)傳送，大大提高糾錯能力。序列和圖像參數(shù)集可以在“帶內(nèi)”，也可以用更為可靠的其他“帶外”通道傳送。
?
??? 6.?存儲單元
?
????一組指定格式的NAL單元稱為存儲單元，每個存儲單元對應(yīng)一個圖像。每個存儲單元包含一組VCL NAL單元，組成一個主編碼圖像，VCL NAL單元由表示視頻圖像采樣的像條所組成。存儲單元前面可以加一個前綴，分界存儲單元，附加增強信息（SEI）（如圖像定時信息）也可以放在主編碼圖像的前面。
?
????主編碼圖像后附加的VCL NAL單元，包含同一圖像的冗余表示，稱為冗余編碼圖像，當主編碼圖像數(shù)據(jù)丟失或損壞時，可用冗余編碼圖像解碼。
?
??? 7.?編碼視頻序列
?
????一個編碼視頻序列由一串連續(xù)的存儲單元組成，使用同一序列參數(shù)集。每個視頻序列可獨立解碼。編碼序列的開始是即時刷新存儲單元（IDR）。IDR是一個I幀圖像，表示后面的圖像不用參考以前的圖像。一個NAL單元流可包含一個或更多的編碼視頻序列。（未完待續(xù)）
?
?
三 視頻編碼層????
??? 視頻編碼層在原理上與MPEG2是一致的，采用變換編碼，使用空間和時間預(yù)測的混合編碼。圖1是一個宏塊的視頻編碼層的框圖。總之圖像劃分成塊，一個序列的第一個圖像，即隨機存取點，典型是幀內(nèi)編碼，幀內(nèi)每個采樣的預(yù)測只利用幀內(nèi)已編碼的空間相鄰的采樣，選擇哪些相鄰采樣進行預(yù)測，以及如何預(yù)測，這些附加信息必須同時被傳送到解碼器同步處理。隨機存取點之間的圖像使用幀間編碼。
??? 為了實現(xiàn)下一塊或下一個圖像的預(yù)測，編碼器包含一個解碼器，對量化變換系數(shù)進行與解碼器解碼相同的反量化和反變換過程，導(dǎo)出解碼預(yù)測殘余，解碼殘余與預(yù)測相加，結(jié)果送到去塊效應(yīng)濾波器，產(chǎn)生解碼視頻輸出。
??? 1. 圖像、幀和場
??? 一個編碼視頻序列由連續(xù)的編碼圖像組成，編碼圖像可以是整個一幀圖像，也可以是一場圖像。H.264/AVC編碼是基于幾何概念的表示方法，而不是基于定時的概念。
??? 2. YcbCr色度空間和4:2:0采樣
??? 人的視覺特性按照亮度和色度信息分別感知世界。視頻的傳輸可以利用該特性減少色度信息傳送。H.264/AVC目前采用與MPEG-2主類相同的4:2:0采樣結(jié)構(gòu)、8比特精度，高精度顏色和高比特精度的建議正在討論中。
??? 3. 宏塊劃分
??? 每個視頻圖像幀或場都可以劃分為固定大小的宏塊，宏塊是解碼的基本模塊單元，通常是一個16×16亮度像素和兩個8×8彩色分量像素的長方型區(qū)域。所有宏塊的亮度和色度采樣在空間或時間上進行預(yù)測，對預(yù)測殘余進行變換編碼。
??? 4. 像條和像條組
??? 像條由宏塊組成，像條是圖像的子集，包含圖像參數(shù)集，語法元素可以被分析，圖像可以被獨立解碼。按照宏塊映射表規(guī)定的順序，在位流中安排宏塊的傳輸順序，而不是按光柵掃描順序。
??? 利用像條組的概念，H.264/AVC支持靈活宏塊排序特性（FMO）。FMO改變了圖像劃分為像條和宏塊的方式。每個像條組是多個宏塊集合，通過宏塊到像條組的影射表定義，該影射表在圖像參數(shù)集中指定。每個宏塊有一個像條組標識號，所有像條組標識號構(gòu)成宏塊到像條組影射表。每個像條組由一個或多個像條組成，因此像條是一個宏塊序列，同一像條組中的宏塊，按光柵順序處理。
??? 利用FMO，圖像可以劃分為許多宏塊掃描圖樣，例如交織圖樣、點綴圖樣，一個或多個前景像條組、剩余像條組，或棋盤型圖樣影射等。每個像條組分別傳送，后兩種如圖2所示，左邊宏塊到像條組的影射證明在關(guān)注局部型的編碼應(yīng)用中非常有用。右邊宏塊到像條組的影射證明適合保密型會議系統(tǒng)等應(yīng)用。?
??? 無論是否使用FMO，H.264/AVC支持5種像條編碼類型：
??? I像條：最簡單的編碼類型，所有的宏塊不參考視頻序列中其他的圖像。
??? P像條：除了I像條編碼類型外，P像條的部分宏塊可以利用幀間預(yù)測，每個預(yù)測塊至多可使用一個運動補償預(yù)測信號。
??? B像條：除了P像條編碼類型外，B像條的部分宏塊可以利用幀間預(yù)測，每個預(yù)測塊可使用兩個運動補償預(yù)測信號。
??? 以上三種與以前的標準相似，主要是參考圖像不同，其余兩種像條類型是SP（切換P） SI（切換I），是新的類型，用于在不同位率編碼碼流之間進行有效切換。
??? SP像條： 稱作切換P像條，能在不同編碼圖像之間有效地切換。
??? SI像條：稱作切換I像條，允許SP像條的宏塊完全匹配，達到隨機讀取數(shù)據(jù)進行解碼和恢復(fù)錯誤的目的。
??? 5. 宏塊的編解碼過程
??? 所有宏塊的亮度和色度采樣要進行空間或時間的預(yù)測，對預(yù)測的殘余進行變換編碼，為了實現(xiàn)變換編碼，每個顏色分量的預(yù)測殘余要再劃分為更小的4×4塊，每塊利用整數(shù)變換，變換系數(shù)被量化，最后是熵編碼。
??? 如圖1所示，一個宏塊視頻編碼層的方框圖，輸入的視頻信號劃分為宏塊，映射宏塊和像條組的關(guān)系，逐個選擇像條，處理像條中每個宏塊。
??? 6. 自適應(yīng)幀/場編碼操作
??? 在隔行掃描幀中，當有移動的對象或攝像機移動時，與逐行相比，兩個相鄰行傾向減少統(tǒng)計的相關(guān)性，這種情況應(yīng)比每場分別壓縮更為有效。為了達到高效率，H.264/AVC在編碼幀時，有以下可選方案：
??? ● 結(jié)合兩場成一個完整幀，作為幀編碼，稱為幀模式。
??? ● 兩場分別編碼，稱為場模式。
??? ● 結(jié)合兩場成一個完整幀，作為幀壓縮。在編碼時，劃分垂直相鄰的兩個宏塊對成兩個場宏塊對或幀宏塊，再進行編碼。
??? 每幀圖像可自適應(yīng)選擇3種模式之一進行編碼。在前兩種之間進行選擇稱為圖像自適應(yīng)幀/場編碼（PAFF），當一幀作為兩場編碼時，每場劃分為宏塊，編碼方式與幀編碼方式很相似，主要有下面的例外：
??? ● 運動補償用參考場，而不是參考幀。
??? ● 變換系數(shù)的“之字型”掃描方式不同。
??? ● 宏塊水平邊沿去塊濾波器的強度不選用“強”，因為場行在空間上是兩倍幀行的距離。
??? 在研制H.264/AVC標準時，據(jù)報道，采用ITU-601分辨率，PAFF編碼技術(shù)與幀編碼相比可減少碼率16%到20%。
??? 如果圖像由運動區(qū)和非運動區(qū)混合組成，非運動區(qū)用幀模式、運動區(qū)用場模式是最有效的編碼方法。因此每個垂直宏塊對（16×32）可獨立選擇編碼（幀/場）模式。這種編碼選擇稱為宏塊自適應(yīng)幀/場編碼（MBAFF）。對于幀模式宏塊對，每個宏塊包含幀行，對于場模式宏塊對，頂部宏塊包含頂場行，底部宏塊包含底場行。
??? 處理場宏塊對的每個宏塊與幀PAFF模式相似，然而，因為在MBAFF幀中發(fā)生場/幀宏塊對混合，需要修改用作下列用途的方法：
??? ● 之字型掃描。
??? ● 運動矢量預(yù)測。
??? ● 幀內(nèi)預(yù)測模式的預(yù)測。
??? ● 幀內(nèi)預(yù)測幀采樣精度。
??? ● 去塊效應(yīng)濾波器。
??? ● 上下文模型的熵編碼。
??? 主要思想是盡可能保留多的空間一致性，MBAFF幀的空間相鄰的規(guī)范相當復(fù)雜，下面講到的空間相鄰都是指非MBAFF幀。
??? MBAFF 和PAFF的另一個重要區(qū)別是：使用MBAFF方法， 一個場不能使用同一幀的另一個場中的宏塊作為運動補償參考。這樣，有時PAFF比MBAFF編碼更有效，特別是在快速全局運動、變換場景、圖像刷新等情況下。
??? 在開發(fā)MBAFF標準期間，據(jù)報道，采用ITU-601分辨率，MBAFF編碼技術(shù)比PAFF相比可減少碼率14%到16%。
??? 7. 幀內(nèi)預(yù)測
??? 根據(jù)像條編碼類型，每個宏塊可以選擇幾種編碼類型之一。所有像條類型支持兩級幀內(nèi)編碼，稱為INTRA-4×4 和 INTRA-16×16。
??? INTRA-4×4模式基于分別預(yù)測每個4 ×4亮度塊，適合表現(xiàn)圖像細節(jié)部分。而INTRA-16×16模式將整個16×16亮度塊進行預(yù)測，適合平滑圖像區(qū)。此外對這兩種亮度預(yù)測類型，色度單獨進行預(yù)測。作為INTRA-4×4和INTRA-16×16的另一種選擇，I_PCM編碼類型允許編碼器簡單跳過預(yù)測和變換編碼過程，直接發(fā)送采樣值。I_PCM允許編碼器精確地表示采樣，通常表示一些反常圖像，而沒有明顯增加數(shù)據(jù)量。
??? 8. 幀間預(yù)測
??? ● p像條幀間預(yù)測
??? 除了幀內(nèi)宏塊編碼類型外，P像條宏塊使用多種預(yù)測類型，即運動補償編碼類型。為了方便運動描述，每個P型宏塊對應(yīng)于指定的固定大小的宏塊劃分。亮度塊的劃分大小為：16×16、16×8、8×16、8×8。
??? 語法允許運動矢量跨越圖像邊界，這種情況參考幀需用外插法推算出圖像外的采樣值。利用鄰近塊的平均或方向預(yù)測，用差分編碼計算運動矢量。
??? 語法支持多圖像運動補償預(yù)測，以前編碼的多個圖像都可用作運動補償參考，每個運動補償需要指示參考圖像的索引。一個8×8塊劃分成的小于8×8塊的運動補償使用同一參考圖像索引，該功能要求編碼和解碼器具有多幀圖像緩沖器，解碼器通過位流中的管理控制操作信息與編碼器同步。
??? 除了運動補償宏塊模式外，P宏塊可使用P_Skip模式，這種模式?jīng)]有量化預(yù)測誤差、不用傳送運動矢量和參考索引參數(shù)。信號重建與P_16×16宏塊類型預(yù)測信號類似，采用多幀緩沖區(qū)索引0的圖像作為參考圖像。重建P_Skip宏塊的運動矢量與16×16塊運動矢量預(yù)測類似。P_Skip編碼類型適合沒有變化或固定運動的區(qū)域，如搖鏡頭等，有極高的壓縮率。
??? ● B像條的幀間預(yù)測
??? B像條相對P像條的概念與以前的標準類似，但有些不同，B像條可以作為運動補償預(yù)測的參考圖像，B像條可以對兩個補償預(yù)測值進行加權(quán)運算。
??? 9. 變換和量化
??? 與以前的視頻編碼標準類似，H.264/AVC利用預(yù)測殘余變換編碼。然而，H.264/AVC變換施加4×4塊上，不用離散余弦變換（DCT），采用與離散余弦變換相似特性的整數(shù)變換。因為使用整數(shù)運算，所以反變換沒有誤差。
??? 10. 熵編碼
??? H.264/AVC支持兩種熵編碼方法，最簡單的熵編碼方法是：對所有的語法元素，除了量化系數(shù)外，使用單一無限可擴展的碼字表。這樣不必為每個語法元素設(shè)計一個專用的VLC表，只需要按照數(shù)據(jù)的統(tǒng)計特性，客戶化影射到單一碼字表。使用exp-Golomb碼建立單一碼表，具有很簡單、有規(guī)則的解碼特性。
??? 為了有效傳送量化的變換系數(shù)，CAVLC（上下文自適應(yīng)的可變長編碼）是很有效的方法。在該方案中，對于各種語法元素的VLC碼表按照已傳送的語法元素可以進行切換。因為VLC表設(shè)計匹配相應(yīng)的條件統(tǒng)計，改善了熵編碼的性能。
??? 在H.264/AVC中的算術(shù)編碼引擎，與概率相關(guān)的估計等都不使用乘法操作，而是使用簡單的移位和查找操作，與CAVLC操作相比，CABAC典型減少碼率5%～15%。在隔行掃描視頻，效果更明顯。
??? 11. 去塊循環(huán)濾波器
??? 基于塊編碼的壓縮算法的特點是偶爾產(chǎn)生可見的塊結(jié)構(gòu)，由于塊邊沿的精度比內(nèi)部差，塊效應(yīng)是目前壓縮算法的常見人工瑕疵。H.264/AVC定義了一個自適應(yīng)循環(huán)濾波器，濾波的強度通過幾個語法元素控制。
??? 濾波的基本思想是： 如果塊邊沿的絕對差值相對比較大，出現(xiàn)塊人工瑕疵的可能性就很大，因此需要進行相應(yīng)處理。然而，如果差值幅度很大，編碼量化過程的誤差不能解釋，邊沿很可能反映了源圖像的實際樣值，不需處理。
??? 經(jīng)過濾波處理，減少了塊效應(yīng)，而圖像的質(zhì)量基本不受影響，因此主觀質(zhì)量大大改善。如果不濾波，同樣的主觀質(zhì)量，需要多出5%~10%的碼率。圖3說明了塊濾波器的效果。????
??? 12. 假想?yún)⒖冀獯a器模型
??? 標準的好處在于保證所有符合標準的解碼器能夠解碼出一致的視頻質(zhì)量。要實現(xiàn)標準，僅僅提供編碼算法的描述是不夠的，在實時系統(tǒng)中，指定如何饋送碼流比特給解碼器，解碼的圖像如何移出解碼器等都是很重要的。要實現(xiàn)該功能，必須指定輸入/出緩沖器模型和開發(fā)與實現(xiàn)無關(guān)的接收機模型。這樣的接收機模型稱為假想?yún)⒖寄Ｐ停℉RD）。編碼器不允許產(chǎn)生假想?yún)⒖寄Ｐ筒荒芙獯a的位流。因此如果所有接收機都模擬假想?yún)⒖寄Ｐ偷男袨椋梢员ＷC所有解碼器解出的碼流具有很好的一致性。
?
??? 四 類和級及其應(yīng)用
??? 1. 類和級
??? 類和級指定符合點，這些符合點用于實現(xiàn)各種標準應(yīng)用之間的互操作性。類定義一組編碼工具和算法，用于產(chǎn)生一致性的比特流，級限定比特流的部分關(guān)鍵參數(shù)。
??? 所有的解碼器符合指定的類必須支持該類定義的所有特性，編碼器不必要求使用該類支持的任何特定的特性集，但必須提供一致性的比特流，即使支持該類的解碼器能實現(xiàn)解碼。
??? H.264/AVC定義了3類：基類、主類和擴展類。
??? 基類支持除下面兩組特性外的所有的H.264/AVC特性：
??? （1）B像條、加權(quán)預(yù)測、CABAC、場編碼、圖像或宏塊在幀場編碼之間自適應(yīng)切換。
??? （2） PI/SI像條和像條數(shù)據(jù)分割。
??? 主類支持第一組特性，但主類不支持FMO、ASO和冗余圖像特性，擴展類支持除CABAC外所有H.264/AVC特性，序列參數(shù)中包含了一些標志指示解碼該碼流要求解碼器支持的類。
??? 在H.264/AVC，所有類使用相同的級定義，但個別實現(xiàn)時，可能每個支持的類支持的級不完全相同。H.264/AVC定義了15個級。
??? 2. 新標準類的使用領(lǐng)域
??? H.264/AVC的高壓縮效率，擴充了現(xiàn)有的應(yīng)用領(lǐng)域，至少包含以下領(lǐng)域：
??? （1）交互視頻服務(wù)，通常速率1Mbps以下，低延遲。ITU-T SG16正在修改有關(guān)系統(tǒng)建議， IETF正在設(shè)計RTP凈荷打包器，以支持H.264/AVC在交互視頻方面的應(yīng)用。近期主要利用基類，然后過渡到另兩類。主要應(yīng)用如下：
??? H.320 交互式視頻服務(wù)，利用基于ISDN視頻會議的電路交換；
??? 3 GPP交互式H.324/M服務(wù)；
??? H.323交互式視頻服務(wù)，基于INTERNET，利用IP/RTP協(xié)議。
??? （2）娛樂視頻應(yīng)用，1Mbps～8Mbps碼率，0.5 到 2秒中等時延。H.222.0|MPEG-2正在被修改以支持這方面的應(yīng)用，這些應(yīng)用主要利用主類，主要應(yīng)用如下：
??? 有線、衛(wèi)星、地面、DSL等廣播電視；
??? 標清和高清DVD；
??? 通過各種媒體的視頻點播。
??? （3）流媒體服務(wù)，典型50kbps 到1.5Mbps，2秒以上的時延，這些應(yīng)用主要利用基類或擴展類。有線或無線使用情況有所不同，主要應(yīng)用如下：
??? 3GPP 流， 利用IP/RTP傳輸，RTSP作會話設(shè)置，3GPP規(guī)范的擴充部分可能僅使用基類；
??? 有線INTERNET 流，利用IP/RTP傳輸，RTSP作會話設(shè)置。
??? （4）其他服務(wù)，主要是低碼率，以文件傳送方式，不考慮時延，根據(jù)不同應(yīng)用，可能用到3類，主要應(yīng)用如下：
??? 3GPP 多媒體信息服務(wù)；
??? 視頻郵件。
????五 結(jié)論
??? H.264代表了當前業(yè)界最先進的視頻壓縮技術(shù)，且具有以下無可比擬的優(yōu)越性。
??? 1. 碼率低：和MPEG-2等壓縮技術(shù)相比，在同等圖像質(zhì)量下，采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG-2的1/2~1/3。顯然，H.264壓縮技術(shù)的采用將大大節(jié)省用戶的下載時間和數(shù)據(jù)流量收費。
??? 2. 圖像質(zhì)量高：H.264能提供連續(xù)、流暢的高質(zhì)量圖像。
??? 3. 容錯能力強：H.264提供了解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下容易發(fā)生的丟包等錯誤的必要工具。
??? 4. 網(wǎng)絡(luò)適應(yīng)性強：H.264提供了網(wǎng)絡(luò)適應(yīng)層， 使得H.264的文件能容易地在不同網(wǎng)絡(luò)上傳輸。
??? H.264超越以往的視頻編解碼標準，成為各個廠商競爭的焦點。目前，各主流廠商紛紛宣布，已經(jīng)或?qū)⒃诿髂晖瞥霎a(chǎn)品化的H.264。在視頻廣播領(lǐng)域，美國哈雷公司宣布其產(chǎn)品MV100編碼器可以支持H.264協(xié)議，哈雷原來的MPEG-2編碼器MV100硬件平臺已經(jīng)兼容H.264能力，只需從軟件升級即可。在歐洲，有兩個用戶已經(jīng)選用了此種編碼器。其中一個是法國的衛(wèi)星及直播星運營商CanalSatellite，它采用哈雷高性能的數(shù)字前端系統(tǒng)在ADSL上傳輸視頻業(yè)務(wù)，MV100超低碼率編碼能力可以實現(xiàn)在多種電信網(wǎng)上傳輸廣播級視頻節(jié)目。另外是第一個即將投入正式商業(yè)運營的英國Video network limited。
