미국 국제표준기술연구소(NIST) 글로벌 얼굴인식 테스트(FRVT) 이해하기 Part 2

FRVT 평가항목

지난번 파트 1에서는 여러 공급업체에서 개발한 얼굴인식 알고리즘 및 시스템의 성능과 기능을 평가하는 테스트인 미국 국립표준기술연구소(NIST)의 FRVT(Face Recognition Vendor Test)의 특징과 구성에 대해 전반적으로 소개해 드렸습니다. 알체라는 FRVT 1:1 검증(1:1 Verification)의 두 부문에서 높은 점수를 기록하며, 국내 기업 중 1위를 차지한 바 있습니다. 파트 2에서는 알체라가 FRVT에서 어떻게 우수한 성과를 낼 수 있었는지 살펴보도록 하겠습니다.

‍

FRVT 1:1 검증 테스트 평가 지표

FRVT 1:1 검증 테스트는 알고리즘이 서로 다른 두 사진 속 인물이 동일인인지 아닌지 구별하는 기술을 측정하는 항목입니다. 1:1 검증 테스트에서는 프로브와 갤러리 두 이미지가 사용됩니다. 프로브는 얼굴인식을 시도하는 이미지입니다. 갤러리는 시스템에 이미 등록된 것으로, 프로브와 비교하는 이미지입니다. 프로브와 갤러리 이미지를 어떤 데이터세트로 사용하는 지에 따라 1:1 검증 세부 테스트 항목이 나뉩니다.

‍

FRVT 1:1 검증 테스트에서는 FNMR@FMR이라는 평가 지표를 사용합니다. FNMR(False Non Match Error)은 동일인을 타인이라고 매칭하는 비율이며,
FMR(False Match Error)은 타인을 동일인이라고 매칭한 비율입니다. FNMR@FMR은 FNMR을 특정 FMR 값에서 측정하는 것을 의미합니다. FNMR과 FMR은 임계값에 대해 서로 반비례 관계를 가집니다.  

여러 알고리즘을 동일한 수준에서 비교하기 위해서는 기준이 되는 수치 하나를 정할 필요가 있습니다.  기준을 임계값으로 정하면 임계값이 변경될 때 마다 알고리즘마다 다르게 FNMR과 FMR이 변경되는 문제가 있습니다. FNMR@FMR은 이러한 문제를 방지하기 위해 동일한 보안 수준에서 알고리즘을 비교하기 위한 지표입니다. 특정 FMR 값, 즉 타인을 같은 사람으로 판단하는 비율을 기준으로 FNMR을 측정합니다. 이렇게 함으로써 모든 알고리즘을 동일한 보안 수준에서 평가하고 비교할 수 있습니다.

‍

FRVT 1:N 식별 테스트 평가 지표

‍

FRVT 1:N 식별 테스트는 대규모 갤러리 이미지에서 특정 얼굴을 찾아내는 알고리즘의 성능을 평가합니다. 1:1과 마찬가지로 프로브와 갤러리 이미지를 어떤 데이터세트로 사용하는 지에 따라 1:N 세부 테스트 항목이 나뉩니다. 1:N 식별에서는 FNIR@FPIR이라는 평가 지표를 사용하고 있습니다. FNIR(False Negative Identification Rate)은 등록인을 미등록인이라고 식별한 비율이며, FPIR(False Positive Identification Rate)은 미등록인을 등록인이라고 식별한 비율입니다.

‍

알체라의 FRVT 평가 결과

알체라가 FRVT 1:1 검증에서 국내 1위로 평가받은 2개 부문은 머그샷 얼굴 노화 인식(Mugshots with 12+ years)과 출입국 심사대(Border)입니다. 다양한 변수가 존재하는 환경에서 안정적인 성능을 보이면서 높은 점수를 받았습니다.

출입국 심사대 사진 부문에서 알체라는 국내 1위, 글로벌 12위로 최상위권에 올랐습니다. 해당 부문은 실제 출입국 현장과 유사한 상황에서 평가가 진행됩니다. 촬영한 단말기마다 각도, 조명들이 다르고, 인물들의 포즈가 달라 낮은 품질의 이미지가 많습니다. 역광 및 조명 변화 등 다양한 환경 변수와 제약이 많아 높은 난이도의 기술력이 필요한 부문입니다.

출입국 심사대 사진 부문의 정확도를 높이기 위해서는 위해서는 고난도의 기술력이 요구되며, 촬영 단말기의 다양한 조건에 대응할 수 있는 알고리즘과 이미지 처리 기술이 중요합니다. 해당 부문은 보안 검사 및 신원 확인을 위한 중요한 기술로 사용되고 있습니다. 신원 사기나 위조된 신분증을 탐지하고 출입국 시도를 식별하는 데 큰 역할을 합니다.

‍

다음으로, 머그샷 얼굴 노화 인식 부문입니다. 이는 최소 12년의 나이 차이가 발생하는 인물 사진의 정면, 측면, CCTV 사진을 대조합니다. 얼굴 특징과 피부 조직의 변화를 정확하게 인식해야 하는 등 노화된 얼굴을 인식하는 것은 기술적으로 매우 복잡합니다. 노화는 개인에 따라 다양한 요소로 나타날 수 있으며, 주름, 주근깨, 피부 탄력의 감소 등이 영향을 줄 수 있습니다. 해당 기술은 비대면 신분증 확인, 무인 주류판매 등 얼굴 인증 솔루션에 필수로 요구되는 기능으로 주목받고 있습니다.

‍

알체라의 FRVT 도전기

• 모델크기 및 시간제한 설정

FRVT 테스트에서 640x480 해상도 이미지 기준으로 특징점 추출 시간은 1500ms로 제한됩니다. 또한 하드웨어 스펙도 하기와 같이 제한돼 있습니다.

   Intel® Xeon® Gold 6254 CPU @ 3.10GHz

   Intel® Xeon® E5-2630 v4 CPU @ 2.20GHz²

   Intel® Xeon® E5-2680 v4 CPU @ 2.4GHz²

   Intel® Xeon® Gold 6140 CPU @ 2.30GHz³

제시된 하드웨어 스펙을 기준으로 모델 특징점 추출시 소요시간을 정확하게 예측하기 위해 CPU의 클럭 속도를 강제로 테스트 CPU의 클럭 속도와 일치시키고, 단일 코어만을 사용하도록 설정했습니다. 이후, 기존에 제출한 모델을 사용하여 FRVT 보고서에서 보고된 시간과 테스트 시간을 비교했습니다. 해당 방법을 통해 얼마나 더 큰 모델을 사용할 수 있는 지와 소요시간을 어느 정도 예측할 수 있었습니다.

‍

• 분산된 학습 환경 구축

얼굴인식 모델을 학습할 때 사용하는 데이터셋은 굉장히 큽니다. 얼굴인식에서는 많은 얼굴(ID)과 각 ID별 이미지가 성능에 중요한 영향을 끼칩니다. 이 많은 양의 데이터셋을 하나의 서버(노드)에서 학습한다면 굉장히 많은 학습시간이 소요됩니다. 또한, 메모리 제약으로 인해 작은 배치 사이즈에서도 학습을 해야 합니다. 배치 사이즈가 작다면 한 반복(iteration)에 학습되는 ID의 수가 적어 좋은 성능을 기대하기 어렵습니다.

이를 해결하기 위해, 알체라는 파이토치(Pytorch)의 데이터분산연산(DDP) 기능을 이용하였습니다. DDP는 여러 서버(노드)에 데이터를 분산시켜 학습할 수 있도록 하는 기능입니다. 이 기능을 통해 여러 대의 서버를 이용하여 학습 속도를 개선함과 동시에 배치 사이즈 크기를 증가시킬 수 있었습니다.

‍

• 대규모 데이터셋 구축

모델의 성능에는 데이터의 중요성이 매우 큽니다. 데이터셋을 확보하는 것은 어려울 뿐만 아니라, 해당 데이터를 학습 가능한 형태로 변환하는 과정도 복잡하며 시간이 많이 소요됩니다. 알체라는 자체 대규모 테스트셋을 구축함으로써 자사의 얼굴인식 모델들의 성능을 더 잘 비교하고자 하였습니다.

‍

국내 최고 수준의 기술력을 입증한 알체라

파트 2에서는 알체라의 FRVT 결과와 그 배경에 대해 살펴보았습니다. FRVT는 공정하고 경쟁력 있는 환경을 조성하여 얼굴인식 분야에서 매우 중요한 역할을 하며, 많은 발전에 기여하고 있습니다. FRVT와 같은 공정하고 신뢰도 높은 테스트들이 얼굴인식 분야에서 많이 개설되면, 얼굴인식 기술 생태계가 더욱 활성화될 것으로 기대됩니다.

알체라는 FRVT의 두 가지 부문에서 국내 기업 중 1위를 차지하여 얼굴인식 분야에서 대표적인 기업으로 자리매김하였습니다. 독보적인 기술력을 바탕으로 알체라는 금융, 보안 등 다양한 실생활에서 비즈니스 혁신을 지원하고 있습니다. 알체라의 기술력을 바탕으로 보다 정확하고 신속한 얼굴인식 시스템을 구축함으로써, 보안 수준을 향상시킬 수 있습니다.

알체라의 얼굴인식 AI 기술은 앞으로 더 많은 분야에서의 혁신과 발전에 기여할 것입니다. 알체라는 우리의 일상과 사회 전반에 긍정적인 영향을 제공하고, 더 안전하고 편리한 환경을 조성하는 데 앞장서겠습니다.

‍

연계 콘텐츠:‍

미국 국제표준기술연구소(NIST) 글로벌 얼굴인식 테스트(FRVT) 이해하기 Part 1.
안전한 금융거래의 해결책, 알체라 얼굴인식 AI

‍