Behavior Analysis Lab(BAL)연구주제 소개 : Person Re-Identification

Alchera 기술연구소 Behavior Analysis Lab에서는 사람의 신체와 관련된 다양한 연구들을 수행하고 있습니다.

• Person Detection
• Person Tracking (Single View)
• Person Pose Estimation
• Person Action Recognition
• Person Re-Identification

팀 이름에도 들어가다 싶이 인간의 행동을 분석하여 특정 행위를 추정하는 연구와 이를 수행하기 위한 사람 검출 및 추적 등의 기반기술들이 대표적입니다.

이번 글에서는 행동분석과 더불어 저희 팀의 핵심기술로 자리잡을 Person Re-Identification에 대한 이야기를 하려 합니다.

Person Re-Identification(Re-ID) ?

길거리에서 우연히 친구를 만났을 때 우리는 어떻게 친구를 알아볼까요?

1. 1. 안면정보

가까운거리에서는 상대방의 얼굴을 보고 친구인지 아닌지 알 수 있을 것입니다. 하지만 안면정보를 확인할 수 없는 환경이라면 어떻게 될까요 ?

2. 외형 (실루엣)
뒷 모습 또는 먼거리에서 걸어오는 대상에 대해서는 안면정보를 통한 식별이 불가능합니다. 이런 경우 이미알고있는 대상의 외형(실루엣) 등을 활용하여 해당 인원을 미약하게나마 식별할 수 있습니다. (이 친구가 맞나 ..?)

3. 헤어스타일, 신발, 의상
실루엣이 전체적인 정보라면 세부적으로는 헤어스타일과 신발, 의상 등을 통해 식별력을 조금 더 키울 수 있게 됩니다.
위 예시와 같이 Person Re-Identification은 영상에 등장하는 개인을 특정할 수 있는 기술을 말합니다. 다수의 카메라(시점)의 영상에서 식별을 위한 개인의 고유 특징을 규격화하고 규격화된 특징을 기반으로 이미 저장된 DB의 인원들과 비교하여 식별할 수 있습니다.

Person Re-ID 기술

Person Re-ID 수행과정 예시

Person Re-ID는 위 그림처럼 수행되는 것이 대표적입니다. 다른 여러 카메라에서 추출된 Gallery Set이 존재하고 특정 카메라에서 검출된 사람의 이미지 Query가 입력되었을 때, 추출된 특징 비교과정을 통해 가장 유사한 이미지로 매칭되어 개인을 특정하게 됩니다.

• Feature Representation Learning

Person Re-ID의 핵심 기술은 영상에서 사람을 검출하고 개인식별에 용이한 외형정보를 추출하는 것입니다.

과거에는 고정된 파라미터에 의해 추출되는 Feature Description을 활용하였으나 Illumination variation, viewpoint change, low resolution등의 제약으로 만족스러운 성능을 보이지 못 했습니다. 이후 딥러닝 기술의 발전과 더불어 대량의 데이터에 의해 외형정보를 스스로 학습하여 높은 성능을 보이고 있습니다.

다양한 형태의 Feature Representation Learning

딥러닝을 활용한 Appearance Feature학습은 다양한 방식으로 시도되었습니다. 입력된 영상에서 대상의 전체적인 Feature를 추출하는 Global Feature와 대상을 적절한 Part로 나누어 Feature를 학습하는 방식이 대표적입니다. (이외 추가 정보를 활용하는 Auxiliary Feature, Video에서 연속적인 Frame을 입력받아 Feature를 추출하는 방식 등)

• Multi-Modality

Multi-Modality 예시

최근 Person Re-ID에서는 센서융복합으로 다양한 형태의 데이터를 기반으로 시도되고 있습니다. 대표적으로 카메라의 위치와 대상의 등장시간을 영상데이터와 함께 사용하는 Spatio-Temporal Information과 Depth, Infrared Camera를 활용하여 사람의 특징을 추출하는 연구들이 수행되고 있습니다.

Person Re-ID 어떻게 사용될까요?

작년 초부터 시작된 COVID-19의 영향으로 국내외 인구 밀집지역에서 폭발적인 감염자수를 기록하게 되었습니다. 특히 병원과 같은 고위험 시설에서는 확진자 발생시 건물내부에서 확진자 동선을 필히 추적해야합니다. 지금까지 이러한 과정은 사람의 수작업으로 녹화되어있던 대량의 비디오를 검색하여 추적하였습니다.

만약 Person Re-ID 기술이 있었다면 사람이 수작업으로 수행하던 작업을 대폭 감소시켜 줄 수 있을것입니다.
이와 더불어 쇼핑몰에서 구매자의 동선추적을 통한 마케팅 지표활용과 공항 내 탑승자 정보를 활용한 탑승안내까지 다양한 범위에서 적용이 가능하며 많은 가능성을 가진 기술이라고 생각합니다.

Alchera BAL의 강점

딥러닝 기반의 Person Re-ID는 다양한 카메라 설치 환경에 따라 정확도의 큰 편차를 보이기 때문에 학습데이터가 매우 중요하게 작용합니다. 또한, 사람의 골격정보와 view의 변화 등 다수의 Label이 적용된 DB를 필요로 하기 때문에 Public Dataset에서 학습된 모델은 한계를 가지고 있습니다.

알체라에서는 DS사업본부를 운영하여 학습시 필요한 양질의 데이터를 빠르게 취득할 수 있다는 강점이 있습니다. 추후 DS사업본부와의 협업을 통해 Person Re-ID를 위한 Dataset을 구축한다면 모델의 정확도가 대폭 향상될 것입니다.

알체라는 국내 최상위 얼굴인식 기술을 보유하고 있습니다. 얼굴인식 기술을 Person Re-ID 솔루션과 융합하여 상호보완적인 솔루션 구성이 가능할 것입니다.