- 음성 정보 기반 치매 여부 분류 모델 성능
학습 알고리즘: DenseNet121 
학습 조건 
train batch size = 16
epoch = 100
optimizer = ADAM
initial ir = 1e-4

- 오각형 이미지 기반 정상/이상 분류 모델 성능
학습 알고리즘: DenseNet121 
학습 조건 
train batch size = 16
epoch = 100
optimizer = ADAM
initial ir = 1e-4

[그림] DenseNet

- 구간 영상 정보 기반 눈깜박임 정상/이상 분류 모델 성능
학습 알고리즘: CTR-GCN
학습 조건 
batch_size=32
earning_rate = 0.01
weight_decay=0.001
num_epochs=64
max_frames=90
ramdom_rot=False

- 구간 영상 정보 기반 입술떨림 정상/이상 분류 모델 성능
학습 알고리즘: CTR-GCN
학습 조건 
batch_size=32
learning_rate = 0.0001
weight_decay=0.0005
num_epochs=64
max_frames=90
ramdom_rot=True

- 구간 영상 정보 기반 머리 기울기 정상/이상 분류 모델 성능
학습 알고리즘: CTR-GCN
학습 조건 
batch_size=64
learning_rate = 0.01
weight_decay=0.001
num_epochs=128
max_frames=90
ramdom_rot=False

[그림] CTR-GCN

- 데이터 설명

□ 노인 정신건강 영상 데이터 설명

• 치매 환자의 경우 언어능력의 변화가 크기 때문에 이를 활용하여 치매 환자의 조기 발견을 시도할 수 있음.
• 치매 환자는 머뭇거림, 잦은 멈춤, 흐릿한 발음, 떨림, 가벼운 말더듬, 불규칙한 단어 사용, 언어 유창성 감소, 말의 리듬 변화, 단순한 문법 및 어휘 규칙에서 벗어나는 것과 같은 언어 관련 증상을 보일 수 있음.
• 따라서 정상, 치매 환자의 2그룹에 대하여 진단 검사를 시행하고, 동시에 동영상을 촬영하여 진단 중에 나타나는 피험자 음성, 오각형 그린 형상과 얼굴의 특이한 표정을 찾아내고자 함.
• 이때 진단 중 특이한 사항은 임상 전문가들이 Check sheet에 기록하여, 라벨링 시 반영할 예정임.
• 결론적으로 사전 정의된 AI 시스템 질의에 대한 일반인 답변의 음성특징과 일반인이 그린 특정 도형의 이미지 특징을 활용하여 치매 사전 진단을 준실시간 판별하는 서비스가 제공되어야 하며, 이를 위한 학습 데이터를 구축하였음.

□  노인 정신건강 영상 데이터 가공 주요 요소

• 본 사업에서 데이터는 동영상 분류 이외에 Label Studio 저작도구를 통해서 이루어지며, 오토라벨링 기법을 사용하지 않고 음성데이터의 구간 라벨링, 오각형 이미지의 이미지 분류, 그리고 얼굴 표현 영상 데이터에서 구간 라벨링을 수행함

□ 데이터 정보 및 항목

1) 음성 데이터 
 노인 정신건강 영상 데이터를 토대로, MMSE 질문에 대한 답변의 음성 특성 분석을 위한 응답 구간을 라벨링 하여, 음성 특성을 분석하고 라벨링 하도록 한다.

2) 오각형 데이터 
 피험자에게 겹친 오각형 형상을 그리게 하여, png 파일을 추출하여, 그린 결과에 대한 이상 여부를 분석하고 라벨링 하도록 한다.

3) 얼굴표현 데이터
 진단 검사 중 임상 전문가가 특이한 표정을 기록하여 라벨링하고, 별도 제작한 프로그램을 활용하여 face landmark 분석을 시행, 인공 진단 학습 데이터로 사용할 수 있도록 한다.

□ 데이터구성

• 음성 데이터 (voice)

• 오각형 데이터 (pentagon)

• 얼굴표현 데이터 (face)

2. 어노테이션 방식과 포맷 설명

□ 어노테이션 방식

□ 어노테이션 포맷
• 음성 데이터 (voice)

• 오각형 데이터 (pentagon)

• 얼굴 데이터 (face)

□ 실제 예시

• 음성 데이터 (voice)

• 오각형 데이터 (pentagon)

• 얼굴표현 데이터 (face)