활용 모델
1) 음성 인식 모델
● 모델 학습
Librosa를 통해 수집된 음성 데이터를 학습모델에 사용할 수 있도록 20초 미만의 음성으로 slicing을 통해 전처리 수행
전처리된 음성 데이터를 OpenAI사의 Whisper모델에 Transfer Learning(전이학습) 하여 소음이 포함된 응급실 임상 대화를 인식하는 음성 인식 모델을 개발

● 서비스 활용 시나리오
구축한 모델은 응급실에서 발생하는 의료진-환자 간의 대화를 인식하는 서비스에 활용할 수 있음
1.  의료진-환자 간의 대화 내용 음성 인식 서비스에 활용
- 음성 인식을 통해 생성되는 텍스트 정보를 EMR에 작성할 수 있는 고도화 모델로 사용할 수 있음

2) 진료 프로세스 분류모델
● 모델 학습
4가지 프로세스(예진, 초진, 투약 및 검사, 검사결과설명 및 퇴실)로 분류되어 전사된 텍스트를 전처리 후 MLP 구조에 데이터 학습을 통해서 Multi Class Classification을 할 수 있는 모델을 개발

● 서비스 활용 시나리오
음성 인식으로 생성된 텍스트를 4가지 프로세스(예진, 초진, 투약 및 검사, 검사결과설명 및 퇴실)로 구분하여 텍스트 분류
1. 의료진-환자 간의 대화 내용 분류 서비스에 활용
- 음성 인식을 통해 생성되는 텍스트 정보를 내용에 따라 4가지 프로세스(예진, 초진, 투약 및 검사, 검사결과설명 및 퇴실로 구분하여 EMR에 작성할 수 있는 고도화 모델로
그림 MLP 구조
 사용할 수 있음

데이터 포맷

1) 원문데이터 포맷
응급실 임상 대화 데이터 : WAV
음성 전사 및 메타 데이터 : JSON

데이터 구성

어노테이션 포맷

실제 예시

{
    "dataset": {
        "date": 220710,
        "category": "초진",
        "ktas": 4,
    },
    "speaker": [
        {
            "id": 1,
            "age": "40대",
            "gender": "남성",
            "role": "의사",
        },
        {
            "id": 2,
            "age": "30대",
            "gender": "여성",
            "role": "환자",
        }
    ],
    "annotations": [
        {
            "id": 1,
            "form": "어디가 안 좋으신가요",
            "original_form": "어디가 안 좋으신가요",
            "annotations_form": "null",
            "start": "0.00",
            "end": "2.39",
            "annotations_List": "null",
    },
        {
            "id": 2,
            "form": "(삼 일)/(3일) 전부터 (@당뇨) 때문에 몸이 안 좋아서요",
            "original_form": "삼 일 전부터 당뇨 때문에 몸이 안 좋아서요",
            "annotations_form": "3일 전부터 당뇨 때문에 몸이 안 좋아서요",
            "start": "2.39",
            "end": "5.89",
            "annotations_List": [
                {
                    "annotations_id": 1,
            "annotations_word": "당뇨",
        }
        ]
    },
    ],
    "treatment": {
        "depart": 내과,
        "medical_history": "당뇨",
        "exam_treatment": NULL,
    },
}