L t t Fi i t Q lit A tLatent Fingerprint Quality Assessment

Anil K. Jain, Soweon Yoon, Eryun Liu and Kai CaoMichigan State University

Project # 12S 04W 12Project # 12S‐04W‐12

Image Quality• Image quality indicates “perceived” image degradation with/without relation to a referencedegradation with/without relation to a reference image

• Factors affecting image qualityFactors affecting image quality– Sharpness, contrast, noise, distortion, resolution, dynamic range,..

S d d D fi i i Hi h D fi iti• Quality assessment 

– Qualitative (Good/bad/ugly)

Standard Definition  High Definition

vs.Quantitative (SNR)

Fingerprint Image Quality• Prediction of AFIS performance for feature extraction and matching

– “Perceived” fingerprint image quality may not necessarily correlate with AFIS performance

Good quality fingerprint image (NFIQ* = 1) Poor quality fingerprint image (NFIQ = 5)

* NIST Fingerprint Image Quality; value is from 1 (highest quality) to 5 (lowest quality) 

Rolled vs. Latent Quality  Rolled Fingerprint

Assessment• Rolled quality assessmentq y

– Clean background; central part of the finger– Clarity of ridge and valley structures– Minutiae quality and number

• Latent quality assessment– Background noise, off‐center finger, skin 

dLatent Fingerprint

distortion– Local ridge quality alone not adequate– No existing work to predict AFIS 

performanceperformance• Latent ridge clarity assessment in [1] targets at correlating the automatic metric to human examiner’s assessment

[1] R. A. Hicklin et al., “Assessing the clarity of friction ridge impressions”, Forensic Science International, 2013

Latent Quality Assessment by Examinersy y

• ACE‐V methodologygy• Examiner determines latent value in analysis phase:

– Value for Individualization (VID)( )– Value for Exclusion Only (VEO)– No Value (NV)

• Only VID or VEO latents are searched via AFIS• Concern: Reliability and consensus of examiners

– Visual perception, expertise of examiners, workload, etc.

Goals of Our Studyy• Provide an objective measure of latent quality to avoid 

i l di l i i bj ti lit ( l ) l timisleading conclusions in subjective quality (value) evaluation

• Identify latents which can be processed in “Lights‐out” mode

Good quality latent (VID) Poor quality latent (NV)

Both latents were identified at rank 1 by AFIS

Latent Value vs. Identification Rate

Value for  Value for  No ValueIndividualization Exclusion Only No Value

NIST SD27* (258 latents) 210 41 7

WVU (449 latents) 370 74 5

Rank‐1 ID Rate 491 (85%) 46 (40%) 1 (8%)

Rank‐100 ID Rate 525 (91%) 72 (63%) 7 (58%)

A significant number of VEO or NV latents can be successfully identified by AFIS

Identification rate is obtained by combining multiple AFIS; if the mate of a latent is retrieved within rank m by any of the AFIS, it is considered as a successful match within rank m

* Hicklin et al., “Latent Fingerprint Quality: A Survey of Examiners”, Journal of Forensic Identification, 61(4), 2011

Latent Quality DefinitionLatent Quality Definition

• Salient featuresSalient features– Local ridge clarity in presence of background noiseVicinity of good quality ridge areas– Vicinity of good quality ridge areas

– Position of markMi ti li bilit– Minutiae reliability

h h• Matcher‐independent vs. matcher‐dependent

Matcher‐Independent vs. Matcher‐DependentMatcher Independent vs. Matcher Dependent

• Matcher‐Independent Quality MeasureMatcher Independent Quality Measure– A latent is considered VID if any one of the AFIS can successfully retrieve its mate from a referencecan successfully retrieve its mate from a reference database within the candidate list

• Matcher‐Dependent Quality MeasureMatcher Dependent Quality Measure– A latent is considered VID if a specific AFIS can successfully retrieve its mate from a referencesuccessfully retrieve its mate from a reference database within the candidate list

AFIS Interoperabilityp y

Retrieval Rank AFIS 1 AFIS 2 AFIS 3

Proprietary Minutiae 32 561 222

Markup Minutiae 31,997 156 1

Local Ridge Qualityg Q y• Ridge Clarity

FFTx =

• Ridge Continuity

Gaussian Mask

Power Spectrum

Local Block

• Ridge ContinuityContinuous blocks Discontinuous blocks

Orientation Frequency Phase

Minutiae Reliability: Learningy g• Minutiae patch dictionary learning

Hi h Q lit

Dictionary Elements

High QualityMinutiae Patches (48x48)High Quality Fingerprints

…

…

Minutiae ReliabilityMinutiae ReliabilityLatent Fingerprint Minutia Patch Dictionary Elements

…

P D = {dm|m = 1, 2, …, M}

Reliability of a patch P (Qm) is defined as the Structural SIMilarity (SSIM) between P and its

{ m| , , , }

Structural SIMilarity (SSIM) between P and its closest dictionary element dm:

Qm = max {SSIM(P, D)}Qm  max {SSIM(P, D)}

Wang et al., “Image Quality Assessment: From Error Visibility to Structural Similarity”, TIP, 13(4), 2004

Reference Point DetectionReference Point Detection

Orientation Field Curvature map Weight Map(Reconstructed from minutiae)

• Reference point is determined as the point where the curvature is maximum

A. Yoshida and M. Hara, “Fingerprint Image Quality Metrics That Guarantees Matching Accuracy”, Biometric Quality Workshop, 2006.

Latent Fingerprint Image Quality (LFIQ)

• For each minutiae triangle Ti,

3

1jMMRT ijijii

WQQQ

QMMij TQM thatsuchfor QMMij TQMijthatsuchfor

iR TQi

 in quality ridge Average :

iM TjQij

 in minutia th theof  Reliablity :

• Quality score of a latent:

positionfingertheonbasedWeight :ijMW

• Quality score of a latent:

N

iTi

QLFIQ1

latentintrianglesof Number :N

LFIQ Distribution15

)

707 Latents

10

rcen

tage

(%)

5Per

0 20 40 60 80 100 120 140 160 180 2000

LFIQ

30Quality Index = 1 10050 80

LFIQ PerformanceLFIQ Performance• 707 latents from NIST SD27 

d WVU L D b90

100

and WVU Latent Database• 31,997 exemplar fingerprints• Three COTS matchers; 70

80

90

Rat

e (%

)

matcher‐independent quality• Minutiae from examiners’ 

markup and AFIS40

50

60

Iden

tific

atio

n

• Oracle: Knows the true retrieval rank of the latent

10

20

30

Ran

k-1

Oracle (Q = True Retrieval Rank)Latent Quality Measure in [1]

≡

10 20 30 40 50 60 70 80 90 1000

Quality Index

Proposed LFIQ

[1] S. Yoon, E. Liu, and A. K. Jain, “On Latent Fingerprint Image Quality”, International Workshop on Computational Forensics, 2012

Successful Prediction• Quality Index 96 (LFIQ = 70); Mate retrieved at rank 1; examiner labeled it as NV latent 

Latent Mated Rolled Print

Unsuccessful Prediction• High quality, but low matching performance

Latent Mated Rolled PrintLatent Mated Rolled Print

• Quality Index 93 (LFIQ = 64)• Value determination by examiner: VID• Retrieval rank of the mate: 600

Latent Examiners’ Value Determination vs. LFIQ

100

LFIQ is correlated with value determination by latent examiners

80

90

100

Mean LFIQ of VEO Latents

Mean LFIQ of VID Latents

50

60

70

ndex

Mean LFIQ of NV Latents

Mean LFIQ of VEO Latents

30

40

50

LFIQ

I

10

20

VID VEO NV0

Value Determination by Latent Examiners

LFIQ as Tenprint Quality MeasureLFIQ as Tenprint Quality MeasureLFIQ COTS Quality Measure

0.8

0.9

1

0.8

0.9

1

0 4

0.5

0.6

0.7

atch

Sco

re

0 4

0.5

0.6

0.7

atch

Sco

re0 1

0.2

0.3

0.4Ma

0 1

0.2

0.3

0.4MaOracle

(Q ≡Match Score)

0 20 40 60 80 1000

0.1

Quality Index

0 20 40 60 80 100

0

0.1

Quality Index

(Q ≡ Match Score)

• LFIQ scores are highly correlated with COTS match scores for NIST SD4 LFIQ can also be used as a tenprint quality measure

LFIQ vs. NFIQ for Rolled FingerprintsLFIQ vs. NFIQ for Rolled Fingerprints

LFIQ NFIQ

0.8

0.9

1

0.8

0.9

1

0 4

0.5

0.6

0.7

atch

Sco

re

0 4

0.5

0.6

0.7

atch

Sco

re

0 1

0.2

0.3

0.4Ma

Oracle(Q ≡Match Score) 0 1

0.2

0.3

0.4Ma

0 20 40 60 80 1000

0.1

Quality Index

(Q ≡ Match Score)

1 2 3 4 50

0.1

NFIQ

• Both LFIQ and NFIQ are correlated to genuine match scores of fingerprints in NIST SD4

Conclusions

• Latent image quality measure is crucial for properly g q y p p ydetermining latent value as forensic evidence

• Defining latent quality in terms of a single index is g q y gchallenging

• Proposed LFIQ is an objective measure of latent qualityProposed LFIQ is an objective measure of latent quality– Can distinguish latents that can be processed in “lights‐out” mode

– Complement latent examiners’ value determination

Future WorkFuture Work

• Incorporate features from ridge clarity that areIncorporate features from ridge clarity that are robust to noise; develop a mapping function from feature vector to quality scorefrom feature vector to quality score

• Normalize and quantize LFIQ score to provide better interpretationbetter interpretation

Publications & PresentationPublications & Presentation

• Publicationsub cat o s– S. Yoon, K. Cao, E. Liu, and A. K. Jain, "LFIQ: Latent Fingerprint Image Quality", BTAS, Washington, D.C., S t 29 O t 2 2013Sept. 29‐Oct. 2, 2013

– S. Yoon, E. Liu, and A. K. Jain, "On Latent Fingerprint Image Quality", ICPR IWCF Workshop, Tsukuba, Japan, g Q y , p, , p ,Nov. 11, 2012

• Presentation– “Latent Fingerprint Image Quality”, Fingerprint Image Quality Assessment NFIQ 2.0, Winchester, U.K., April 26 201326, 2013

Thank you