overview of the hevc standard - skkumcsl.skku.edu/.../overview-of-the-hevc-standard-_-mcsl.pdf ·...

1 © 2016 Gachon University. All rights reserved.

Overview of the HEVC standard

Dec. 23. 2016

Yeongil Ryu ([email protected])

Multimedia Communications and Systems Lab (MCSL)

http://mcsl.gachon.ac.kr

Department of Computer Engineering

Gachon University


차례

1. Introduction

2. Block Structure and Parallelism Features

3. Intra-Picture Prediction

4. Inter-Picture Prediction

5. Transform and Quantization

6. In-loop Filters

7. Conclusion

8. References


1. Introduction

HEVC(High Efficiency Video Coding)란?

ITU-T VCEG과 ISO/IEC MPEG의협업기구인 JCT-VC가 2013년에표준화한최신비디오압축표준기술

HEVC의목표

- Improved coding efficiency

- Ease of transport system integration and data loss resilience

- Implementability using parallel processing architectures

기존비디오압축표준인 H.264/AVC와비교하여동일한주관적화질대비 Bit-

rate 50% 감소


1. Introduction

Typical HEVC Video Encoder

Decoded Picture Buffer

Inter-Picture Prediction

Intra-Picture Prediction

DeblockingFilter

Sample Adaptive

Offset(SAO)

Inverse Transform

De-quantization

Transform Quantization Entropy Coding+

+

CodedBitstream

Input Video Signal (Splited into CTUs)



Block Partitioning for Prediction and Transform Coding

HEVC는 Block-based hybrid video coding 구조로설계됨

기존 H.264/AVC는 16x16이라는고정적인크기의 Macroblock을기반으로 Encoding

및 Decoding

HEVC는 64x64, 32x32, 16x16의가변적인크기를갖는 CTU를사용

CTU

TU

CU

PU

HEVC가지원하는 4종류의블록

CTU: 슬라이스를구성하는한개이상의블록

CU(코딩의 기본 단위): CTU를 구성하는 한 개이상의블록

PU(예측의 기본 단위): CU를 분할하여 생성한한개이상의블록

TU(변환의 기본 단위): CU를 분할하여 생성한한개이상의블록



CTU (Coding Tree Unit)

HEVC에서지원하는가장큰개념의블록

64x64, 32x32, 16x16의크기를가질수있음

영상의 해상도에 따라 적합한 크기의 CTU를 적용하여 압축 효율을 증대시킬 수있음

Coding efficiency

Increasing the encoder/decoder delay

Memory requirements

Computational complexity

CTU 크기에따른 Trade Off 관계

CTU 로분할된영상의예시



CU (Coding Unit)

코딩의기본단위로 CTU를구성하는 1개이상의블록

H.264/AVC에서의 Macroblock과대응되는개념의블록

64x64, 32x32, 16x16, 8x8의가변적크기를가질수있음

Intra-picture prediction을 적용할 지, 또는 Inter-picture prediction을 적용할 지를CU 레벨에서결정

64x64 CTU를다양한크기의 CU로분할한예



PU (Prediction Unit)

예측의기본단위로효과적인압축을위하여 CU를 PU로분할

CU나 TU의 쿼드-트리 구조 분할과는 다르게 단일 계층 다수 분할 모드 사용 (블록을다양한모양과크기로한번만분할)

Intra-picture prediction 모드인경우, 2Nx2N, NxN 모드로분할가능

Inter-picture prediction 모드인 경우, 비대칭적 분할인 AMP를 지원하며 8가지 모드로분할가능

Intra-picture prediction 모드의 PU 분할 Inter-picture prediction 모드의 PU 분할



TU (Transform Unit)

변환부호화의기본단위로 CU를쿼드-트리구조로분할하여생성

다양한크기의 CU를지원할수있도록 4x4, 8x8, 16x16, 32x32 크기로 TU 분할가능

변환 블록의 크기가 커지면 압축 효율이 증가하지만, 변환 과정의 복잡도가 크게증가함

Intra-picture prediction 모드인 PU는주변의 PU가역변환되어있어야만예측을할수있으므로 TU의크기가 PU의크기보다클수없음

TU0

PU3PU2

PU1PU0

CU CU

Intra-picture prediction 모드에서의잘못된 TU 분할



Existing Parallelization Techniques

Picture-Level Parallelization

Slice-Level Parallelization

Block-Level Parallelization

New Parallelization Tools in HEVC

Tiles

Wavefront Parallel Processing (WPP)

Video Sequence

Pic1 Pic2 Pic4Pic3

. . .

CPUCore

1Core

3

Picture-Level Parallelization의예시

Core2

Core4

Block-level Parallelization의예시(Macroblock-level Pipeline)

Core1 Core3Core2

dedicated forprediction

dedicated forin-loop filter

dedicated forentropy coding


2. Block Structure and Parallelism Feature

Slice-Level Parallelization

Slice란?

• 서로간의 의존성 없이 독립적으로 Decoding 가능한 구역으로 각 Picture를 분할

한단위

Slice의목적

• Error Robustness

• MTU Size Matching

• Parallel Processing

Slice1

Slice2

Thread1

Thread2

분할된 Slice와 Slice-level parallelization의예시


2. Block Structure and Parallelism Feature

Tile-Level Parallelization

Tiles란?

• HEVC에새롭게추가된 Parallelization Tool

• Slice와 비슷한 Picture partitioning mechanism을 갖지만, Picture를 가변적인

크기의사각형으로분할가능

• Tile은 Slice를가로질러분할할수없음 TilesThread1

분할된 Tiles와 Tile-level parallelization의예시

Thread2 Thread3 Thread4



Intra-Picture Prediction이란?

Picture를구성하는각픽셀들간의 Spatial redundancy를제거하는과정

HEVC는 35가지의 Intra-picture prediction 모드를지원

HEVC의 Intra-picture prediction은 PU와 TU간의 종속성이 존재하므로 PU단위로

예측모드를결정하고 TU단위로실제예측과재구성수행

Mode 0: Intra_Planar

Mode 1: Intra_DC+

휘도성분의 35가지예측모드 Directional prediction의예시

Current PU

Boundary samplesfrom decoded PUs


𝑝𝑟𝑒𝑑𝑆𝑎𝑚𝑝𝑙𝑒𝑠 𝑥 𝑦

= ൫ 𝑛𝑇 − 1 − 𝑥 ∗ 𝑝 −1 𝑦 + 𝑥 + 1 ∗ 𝑝 𝑛𝑇 −1 + 𝑛𝑇 − 1 − 𝑦 ∗ 𝑝 𝑥 −1

?

20 20 20 20 20

10

10

10

10

10

𝑝𝑟𝑒𝑑𝑆𝑎𝑚𝑝𝑙𝑒𝑠 0 0 = (3𝑝 −1 0 + 𝑝 4 −1 + 3𝑝 0 −1 + 𝑝 −1 4 + 4 ≫ 3= 3 ∗ 10 + 20 + 3 ∗ 20 + 10 + 4 ≫ 3

= 50 + 70 + 4 ≫ 3= 15

15 16 18 19

14 15 16 18

13 14 15 16

11 13 14 15

20 20 20 20 20

10

10

10

10

10

Intra_Planar



20 20 20 20

10

10

10

10

15 16 16 16

14 15 15 15

14 15 15 15

14 15 15 15

20 20 20 20

10

10

10

10

𝑑𝑐𝑉𝑎𝑙 = (

𝑥′=0

𝑛𝑇−1

𝑝 𝑥′ −1 +

𝑦′=0

𝑛𝑇−1

𝑝 −1 𝑦′ + 𝑛𝑇) ≫ 𝑘 + 1 ,

𝑤ℎ𝑒𝑟𝑒 𝑘 = 𝐿𝑜𝑔2(𝑛𝑇)

𝑝𝑟𝑒𝑑𝑆𝑎𝑚𝑝𝑙𝑒𝑠 𝑥 0 = 𝑝 𝑥 −1 + 3𝑑𝑐𝑉𝑎𝑙 + 2 ≫ 2

𝑝𝑟𝑒𝑑𝑆𝑎𝑚𝑝𝑙𝑒𝑠 0 0 = 𝑝 −1 0 + 2𝑑𝑐𝑉𝑎𝑙 + 𝑝 0 −1 + 2 ≫ 2

𝑝𝑟𝑒𝑑𝑆𝑎𝑚𝑝𝑙𝑒𝑠 0 𝑦 = 𝑝 −1 𝑦 + 3𝑑𝑐𝑉𝑎𝑙 + 2 ≫ 2

𝑝𝑟𝑒𝑑𝑆𝑎𝑚𝑝𝑙𝑒𝑠 𝑥 𝑦 = 𝑑𝑐𝑉𝑎𝑙

{1/4, 2/4, 1/4} Filter

{1/4, 3/4} Filter

{1/4, 3/4} Filter

Intra_DC




Inter-Picture Prediction이란?

Video sequence를구성하는 Picture들간의 Temporal redundancy를제거하는과정

Reference Picture List에서 현재 블록과 유사한 예측 블록을 선택하여 현재 PU와의

Residual을부호화

Pic1 Pic2 Pic4Pic3

. . .

Pic1 Pic2 Pic4Pic3

. . .

Uni-prediction의예시 Bi-prediction의예시



AMVP(Advanced Motion Vector Prediction)과 Merge Mode

영상 해상도의 증가와 HEVC의 세분화 된 PU로부터 발생하는 Motion data는 압축

효율을저하시키는요인

위와같은현상을완화시키기위하여 AMVP 모드와 Merge 모드사용

Merge 모드

• 시공간적 주변 블록으로부터 참조 방향(Reference picture list 0, 1), 참조픽쳐 인덱스, 움직임 벡처 예측

값(MVP: Motion Vector Predictor)을유도하는방법

AMVP 모드

• Merge 모드와 비슷한 개념이나 시공간적 주변 블록으로부터 움직임 예측 값만 유도하여 움직임 벡터

차분값(MVD: Motion Vector Difference)만전송하는방법



HEVC Transform

비디오 압축에서의 변환 부호화는 공간 영역(Spatial domain)의 신호를 주파수

영역(Frequency domain)의신호로변경하여표현하는것

HEVC는 4x4, 8x8, 16x16, 32x32 크기의 TU에 DCT(Discrete Cosine Transform)

적용

4x4 크기의 TU는예외적으로 DST(Discrete Sine Transform) 적용가능

HEVC Quantization

Quantization은비디오압축기술에서유일하게정보의손실이발생되는단계

Transform의결과로구해진변환계수를몇개의대표값으로근사화하는과정



Encoder와 Decoder의 Transform과 Quantization 과정

Input block

-Intra/Inter prediction

Forwardtransform

Quant

Entropyencode

Bitstream

U

c

Qstep

level

coeff

Reconstructedblock

+Intra/Inter prediction

Forwardtransform

De-quant

Entropydecode

Bitstream

U

c

Qstep

level

= coeffx Q

c: Transform matrix

Qstep: Quantization step size


6. In-loop Filters

In-loop Filter란?

Encoding/Decoding loop에포함된화질개선용필터

HEVC에는 Deblocking filter와 SAO(Sample Adaptive Offset)라는 2가지필터가적용

Deblocking filter는블록간의불연속성(Block artifact)의제거를목표로함

SAO는 Ringing artifact의제거를목표로함

Block artifact의예시 Ringing artifact의예시


7. Conclusion

HEVC는 ITU-T VCEG과 ISO/IEC MPEG의협업으로개발됨

Encoding/Decoding 과정에서 연산 복잡도에 비교적 많은

에너지를투입하여높은압축효율을얻음

기존 Video coding standards에 비해 고해상도 영상 처리시

압축효율이특출남

In-loop filter에 SAO가추가됨


8. References

“Overview of the High Efficiency Video Coding (HEVC) Standard”, Gary J. Sullivan,

Jens-Rainer Ohm, Woo-jin Han, Thomas Wiegand

“고효율영상부호화기술 HEVC 표준기술의이해“, 심동규, 조현호

“High Efficiency Video Coding(HEVC)”, Vivienne Sze, Madhukar Budagavi, Gary J.

Sullivan

overview of the hevc standard - skkumcsl.skku.edu/.../overview-of-the-hevc-standard-_-mcsl.pdf ·...

Documents