활용 모델
1) 음성 인식 모델
● 모델 학습
Librosa를 통해 수집된 음성 데이터를 학습모델에 사용할 수 있도록 20초 미만의 음성으로 slicing을 통해 전처리 수행
전처리된 음성 데이터를 ESPNet 모델에 학습하여 명령어 음성 데이터를 인식하는  음성 인식 모델을 개발

● 서비스 활용 시나리오
구축한 모델은 구음장애를 가진 사람의 대화를 인식하는 서비스에 활용할 수 있음
1.  구음장애인 명령어를 인식하는 음성인식 서비스에 활용

2) 뇌졸중 분류 모델
● 모델 학습
뇌경색, 뇌출혈, 루게릭, 청각장애를 가진 사람의 음성을 학습하여 뇌졸중을 가진 사람을 분류하는 분류 모델을 개발

● 서비스 활용 시나리오
음성 인식으로 생성된 텍스트를 4가지 프로세스(예진, 초진, 투약 및 검사, 검사결과설명 및 퇴실)로 구분하여 텍스트 분류
1. 의료진-환자 간의 대화 내용 분류 서비스에 활용
- 음성 인식을 통해 생성되는 텍스트 정보를 내용에 따라 4가지 프로세스(예진, 초진, 투약 및 검사, 검사결과설명 및 퇴실로 구분하여 EMR에 작성할 수 있는 고도화 모델로 사용할 수 있음

데이터 포맷

1) 원문데이터 포맷
구음장애인 명령어 데이터 : WAV
음성 전사 및 메타 데이터 : JSON

구음장애인 명령어 데이터 구조 예시

데이터 구성

원천데이터는 3분할 Train, Test, Validation으로 구성
각 Train, Test, Validation 폴더에는 4개의 하위폴더 뇌경색, 뇌출혈, 루게릭, 청각장애로 구성되고 다음 하위 폴더에는 13개의 명령어 종류에 대한 폴더로 구성되어 있음

어노테이션 포맷

{
    "dataset": {
        "filename": "HM0001_SCO_A_1_001",
        "speakerID": "HM0001",
        "sentenceType": "SCO",
        "category": "A",
        "numberOfRecordings": "1",
        "sentenceID": "001",
        "recordingSystem": "CON",
        "recordingQuality": "16000Hz",
        "recordingDate": "20220729",
        "recordingTime": 3.714,
        "recordingDevice": "SM"
    },
    "speaker": {
        "gender": "M",
        "age": "50~60대",
        "education": "E4",
        "hospital": "HM",
        "classification": "CI",
        "intelligibility": "SIR3",
        "degree": "SEVERE",
        "diagnostics": "20220723",
        "device": null,
        "deviceUsedAge": null,
        "comunicationTool": null,
        "rehabilitation": null,
        "hearingLoss": null
    },
    "annotations": {
        "script": "외출할 때 티브이 꺼 줘.",
        "form": "(애츨할)/(외출할) 때 티브이 꺼 (즈어.)/(줘.)",
        "pronunciationForm": "애츨할 때 티브이 꺼 즈어.",
        "spellingForm": "외출할 때 티브이 꺼 줘.",
        "start": 0.000,
        "end": 3.714
    }
}