DSM - Korea Design System

개인정보처리방침

공공 의료데이터 상세

썸네일

수술 단계별 영상 데이터

##헬스케어## 복강경수술## 로봇수술## 수술단계 분류## 장기## 출혈##헬스케어 의료
수술단계 분류모델 구축을 위한 6개 중대암(전립선암, 신장암, 우측결장암, 직장암, 위암, 자궁내막암) 복강경수술/로봇수술 동영상의 Cholec80 형식의 수술단계 Ground Truth 데이터와 6종의 장기 데이터, 출혈 데이터
분야
헬스케어
유형
텍스트,이미지,비디오
생성 방식
안심존(온라인)
  • 구축년도 : 2022
  • 버전 : 1.1
AI-HUB

데이터 변경이력

데이터 변경이력
버전 일자 변경내용 비고
1.1 2023-12-15 데이터 최종 개방
1.0 2023-07-05 데이터 개방 Beta Version

데이터 히스토리

데이터 히스토리
일자 변경내용 비고
2025-06-24 데이터셋 변경 구축업체정보 수정
2025-01-06 데이터셋 변경 메타데이터 데이터 구축량 정보 수정
2024-01-12 산출물 최종 공개

소개

수술단계 분류모델 구축을 위한 6개 중대암(전립선암, 신장암, 우측결장암, 직장암, 위암, 자궁내막암) 복강경수술/로봇수술 동영상의 Cholec80 형식의 수술단계 Ground Truth 데이터와 6종의 장기 데이터, 출혈 데이터

구축목적

6개 중대암 수술 동영상의 수술단계 분류가 가능한 인공지능 학습용 6개 중대암 수술 동영상 데이터 구축
메타데이터 구조표
데이터 영역 헬스케어 데이터 유형 텍스트 , 이미지 , 비디오
데이터 형식 MP4, PNG, CSV, JSON 데이터 출처 자체 수집 (가천대학교길병원, 서울특별시보라매병원(서울대학교병원 포함))
라벨링 유형 Cholec80 형식(동영상), 세그멘테이션(이미지), 바운딩박스(이미지), 임상데이터(동영상) 라벨링 형식 CSV(Cholec80 형식), JSON
데이터 활용 서비스 6개 중대암 수술단계 분류 서비스, 수술동영상 평가 시스템, 교육 서비스, 연구 보조 데이터 구축년도/
데이터 구축량		 2022년/9,952

데이터 통계
Ⅰ. 6개암 수술단계 Ground Truth 데이터
원천데이터 1,416건(동영상 708건, 텍스트 708건) / 라벨링데이터 708건 / 임상데이터 708건

Ⅰ. 6개암 수술단계 Ground Truth 데이터
데이터명 암종 수술종류 구축량 (건)
원천데이터 라벨링데이터 (CSV) 임상
데이터
(MP4) (CSV) (JSON)
6개암 수술단계 Ground Truth 데이터 위암 원위부위절제술 120 120 120 120
대장암 우측결장암 우측결장절제술 100 100 100 100
직장암 저위전방절제술 106 106 106 106
전립선암 근치적전립선적출술 141 141 141 141
신장암 부분신장적출술 141 141 141 141
자궁암 자궁내막암 100 100 100 100
합 계 708 708 708 708

 

 
수술명 연령대 구분
근치적전립선적출술 70세 미만(1)
70세 이상(2)
자궁내막암 60세 미만(3)
60세 이상(4)
그 외 60세 미만(5)
60세 이상(6)

 

 
구분 구성비 수량
(1) 10.88% 77건
(2) 9.04% 64건
(3) 6.78% 48건
(4) 7.34% 52건
(5) 65.54% 464건
(6) 0.42% 3건
합계 100% 708건

 

 
구분 구성비 수량
남성 61.02% 432건
여성 38.98% 276건
합계 100% 708건

 

 
구분 구성비 수량
원위부위절제술 16.95% 120건
우측결장절제술 14.12% 100건
저위전방절제술 14.97% 106건
근치적전립선적출술 19.92% 141건
부분신장적출술 19.92% 141건
자궁내막암 14.12% 100건
합계 100% 708건

 

Ⅱ. 장기 데이터

원천데이터 7,379건(이미지) / 라벨링데이터 6,363건

Ⅱ. 장기 데이터
데이터명 장기종류 구축량 (건)
원천데이터 (PNG) 라벨링데이터 (CSV)
장기 데이터 간 1,337 1,337
담낭 1,006 1,006
비장 1,017 1,017
자궁 1,001 1,001
난소 1,001 1,001
나팔관 1,001 1,001
기타 1,075 -
합 계 7,438 6,363

 

 
구분 구성비 수량
간 24.36% 2,111건
담낭 12.61% 1,093건
비장 13.60% 1,179건
자궁 11.96% 1,037건
난소 17.10% 1,482건
나팔관 20.36% 1,766건
합계 100% 8,667건
 
 
구분 구성비 수량
남성 25.37% 1,614건
여성 74.63% 4,749건
합계 100% 6,363건


Ⅲ. 출혈 데이터
원천데이터 1,016건(이미지) / 라벨링데이터 1,016건

Ⅲ. 출혈 데이터
수술명 연령대 구분
근치적전립선적출술 70세 미만(1)
70세 이상(2)
자궁내막암 60세 미만(3)
60세 이상(4)
그 외 60세 미만(5)
60세 이상(6)

 

 
구분 구성비 수량
(1) 14.47% 147건
(2) 35.93% 365건
(3) 5.51% 56건
(4) 4.04% 41건
(5) 40.06% 407건
(6) 0.00% 0건
합계 100% 1,016건

 

 
구분 구성비 수량
남성 77.07% 783건
여성 22.93% 233건
합계 100% 1,016건

활용 모델
Ⅰ. 수술별 수술단계 분류 서비스 시스템
수술단계 분류 모델 학습을 위해 검증용 데이터와 시험용 데이터를 각각 전체 데이터의 10%로 제시한다.

Ⅰ. 수술별 수술단계 분류 서비스 시스템
　 학습(Training) 검증(Validation) 시험(Test)
비율 80% 10% 10%

※ 최종품질검증 단계에서, 검증 대상이 수술별 수술단계 분류 모델 성능 검증에서 서비스 개발 중의 수술별 수술단계 분류 서비스 시스템의 현장 성능 검증으로 변경됨으로 각 수술별 수술단계 분류 모델에 대한 검증은 진행되지 못하였음.

※ 수술별 수술단계 분류 서비스 시스템은 수술동영상에 대한 수술도구 인식 모델과 장기 인식 모델, 출혈 인식 모델, 수술별 수술단계 분류 모델, 분석데이터 도식화 시스템이 결합된 수술동영상 분석 서비스 시스템임.

WGAN 도구 인식 모델 구조

● WGAN (도구 인식 모델)
- 수술동영상에서 단위 프레임에서 도구별 출현 여부 인식을 위해 도구 인식에 특화시킨 변형된 WGAN 모델 사용.

WGAN Model for Image Segmentation

< WGAN Model for Image Segmentation >

● EfficientNet-B3, EfficientNet-B7 (장기 분류 모델)
- 수술동영상에서 단위 프레임에서 장기별 출현 여부 인식을 위해 EfficientNet-B3와 –B7 모델을 사용

EfficientNet-B3, EfficientNet-B7 장기 분류 모델 구조

● Resnet101 (출혈 탐지 모델)
- 수술동영상에서 단위 프레임에서 출혈의 출현 여부 탐지를 위해 Resnet101 모델을 사용


● Bi-LSTM (수술단계 분류 모델)
- Bidirectional-LSTM is used for the prediction of phase detection.

Bi-LSTM 수술단계 분류 모델

- In bidirectional LSTM, input flows in two directions, making a bi-lstm different from the regular LSTM. With the regular LSTM, input flow in one direction, either backwards or forward. However, in bi-directional, the input flow in both directions to preserve the future and the past information. 

 

Ⅱ. 장기 분류 모델

장기 분류 모델 학습을 위해 검증용 데이터와 시험용 데이터를 각각 전체 데이터의 20%와 10%로 제시한다.

Ⅱ. 장기 분류 모델
　 학습(Training) 검증(Validation) 시험(Test)
비율 70% 20% 10%

● EfficientNet-B3, EfficientNet-B7 (장기 분류 모델)
- 수술동영상에서 단위 프레임에서 장기별 출현 여부 인식을 위해 EfficientNet-B3와 –B7 모델을 사용

EfficientNet-B3, EfficientNet-B7 장기 분류 모델 구조

 

Ⅲ. 출혈 탐지 모델
장기 분류 모델 학습을 위해 검증용 데이터와 시험용 데이터를 각각 전체 데이터의 10%로 제시한다.

Ⅲ. 출혈 탐지 모델
　 학습(Training) 검증(Validation) 시험(Test)
비율 80% 10% 10%

● Resnet101 (출혈 탐지 모델)
- 수술동영상에서 단위 프레임에서 출혈의 출현 여부 탐지를 위해 Resnet101 모델을 사용


서비스 활용 시나리오
○ 인공지능 수술 데이터 리포트 개발
- 수술단계분석 데이터를 타임라인 형태로 보여줌으로써 의사가 시계열로 Context를 쉽게 이해할 수 있게 함
- 수술단계에 대하여 시간별 통계를 보여줌으로써 수술에 대한 데이터 해석이 가능하게 함

○ 인공지능 기반 수술 평가 시스템 및 개인 데이터 관리 서비스 개발
- 수술단계를 추론하는 알고리즘이 개발되면 이를 분석 시스템에 Plug-in 하여 수술행위 분석 리포트를 제시
- 이를 토대로 행위별 가중치(시간, 빈도수 등)를 계산하여 다른 의사의 경우와 비교하여 평가 결과를 제시하는 수술 평가 시스템 구현
- 본인의 과거 데이터와 비교하여 수술 도구 종류별 이용 시간 평균이나 수술단계별 평균 출현 시간 및 횟수 등을 제시하는 개인 데이터 관리 서비스 제공

데이터 포맷
Ⅰ. 6개암 수술단계 Ground Truth 데이터
6개암 수술동영상에서 0.5초 간격으로 수술도구 및 장기, 출혈의 출현 여부를 0과 1로 작성(Cholec80 형식)된 라벨링데이터(csv)와 임상데이터(json)로 구성
  1. 원천데이터 – mp4 포맷
  2. 라벨링데이터 – csv 포맷 (Cholec80 형식)

라벨링데이터 csv 포맷 Cholec80 형식
  3. 임상데이터 – json 포맷

임상데이터 json 포맷

 

Ⅱ. 장기 데이터
수술동영상의 프레임 이미지에서 장기 6종에 대해 폴리곤 세그멘테이션한 라벨링데이터(json)로 구성
  1. 원천데이터 – png 포맷

원천데이터 png 포맷

  2. 라벨링데이터 – json 포맷

라벨링데이터 json 포맷

 

Ⅲ. 출혈 데이터
수술동영상의 출혈이 있는 프레임 이미지의 출혈 부위를 바운딩박스 라벨링데이터(json)로 구성
  1. 원천데이터 – png 포맷

원천데이터 png 포맷
  2. 라벨링데이터 – json 포맷
라벨링데이터 json 포맷


데이터 구성
Ⅰ. 6개암 수술단계 Ground Truth 데이터 (임상데이터)

데이터 구성 Ⅰ. 6개암 수술단계 Ground Truth 데이터 (임상데이터)
Key Description Type Child Type
videos 동영상정보 JsonObject  
id 동영상식별자 String  
width 동영상너비(pixel) String  
height 동영상높이(pixel) String  
filename 동영상파일명 String  
length 동영상길이 String  
metas 메타정보 JsonObject  
id 연관메타데이터식별자 String  
age 나이 String  
gender 성별 String  
operation 수술종류 String  
hospital 수술병원 String  
stage 병기 String  
grade 분화도 String  
pathology 조직학적 유형 String  
location 병변위치 String  
riskgroup D’Amico risk group String  
tumorsize 종양크기 String  
thyroiditis Thyroiditis String  
bmi BMI String  
plnd PLND String  
anastomosis 문합방법 String  
phases 단계정보 JsonObject  
[   JsonObject  
{   JsonAray JsonObject
id 단계식별자 String  
category_id 수술단계 정보 String  
category_name 수술단계 String  
time_start 단계 시작 시간 String  
time_end 단계 종료 시간 String  
}      
]    
 


Ⅱ. 장기 데이터

데이터 구성 Ⅱ. 장기 데이터
Key Description Type Child Type
images 이미지정보 JsonObject  
id 이미지식별자 String  
width 이미지너비(pixel) String  
height 이미지높이(pixel) String  
filename 이미지파일명 String  
length 이미지파일크기 String  
metas 메타정보 JsonObject  
id 연관메타데이터식별자 String  
age 나이 String  
gender 성별 String  
operation 수술종류 String  
annotations 라벨링정보 JsonObject  
[   JsonObject  
{   JsonAray JsonObject
id 라벨링식별자 String  
image_id 연관이미지식별자 String  
category_id 클래스정보 String  
category_name 클래스명 String  
types 라벨링방법 String  
points 라벨링폴리곤 List  
[ 좌표 JsonAray JsonObject
[      
]      
]      
}      
]    
 


Ⅲ. 출혈 데이터

데이터 구성 Ⅲ. 출혈 데이터
Key Description Type Child Type
images 이미지정보 JsonObject  
id 이미지식별자 String  
width 이미지너비(pixel) String  
height 이미지높이(pixel) String  
filename 이미지파일명 String  
length 이미지파일크기 String  
metas 메타정보 JsonObject  
id 연관메타데이터식별자 String  
age 나이 String  
gender 성별 String  
operation 수술종류 String  
annotations 라벨링정보 JsonObject  
[   JsonObject  
{   JsonAray JsonObject
id 라벨링식별자 String  
image_id 연관이미지식별자 String  
category_id 클래스정보 String  
category_name 클래스명 String  
types 라벨링방법 String  
points 라벨링바운딩박스 List  
[ 좌표 JsonAray JsonObject
[      
]      
]      
}      
]    
 

 

어노테이션 포맷
Ⅰ. 6개암 수술단계 Ground Truth 데이터 
  라벨링데이터 (CSV)

어노테이션 포맷 Ⅰ. 6개암 수술단계 Ground Truth 데이터 라벨링데이터 (CSV)
구분 항목 타입 필수 여부 비고
한글명 영문명
1 프레임 번호 Frame_No. String M 0,15,30,45,......,n
2 클래스_1 출현 여부 Classes_1 String M 0,1
3 클래스_2 출현 여부 Classes_2 String M 0,1
...   ...      
n 클래스_n 출현 여부 Classes_n String M 0,1
n+1 수술단계 정보 phases String M 0,PC01,PC02,... 

 

  임상데이터 (JSON)

어노테이션 포맷 Ⅰ. 6개암 수술단계 Ground Truth 데이터 임상데이터 (JSON)
구분 항목 타입 필수 여부 비고
한글명 영문명
1 동영상정보 videos Object    
  1-1 동영상식별자 videos[].id String Y  
1-2 동영상너비(pixel) videos[].width String Y 예) 1920
1-3 동영상높이(pixel) videos[].height String Y 예) 1080
1-4 동영상파일명 videos[].filename String Y  
1-5 동영상길이 videos[].length String   hh:mm:ss
2 메타정보 metas Object    
  2-1 연관메타데이터식별자 metas[].id String Y  
2-2 나이 metas[].age String Y/N  
2-3 성별 metas[].gender String Y F,M
2-4 수술종류 metas[].operation String Y LDG
2-5 수술병원 metas[].hospital String Y 서울대병원,
가천대길병원,
보라매병원
2-6 병기 metas[].stage String Y/N 1,2,3
  분화도 metas[].grade String Y/N  
  조직학적 유형 metas[].pathology String Y/N  
  병변위치 metas[].location String Y/N  
  D’Amico risk group metas[].riskgroup String Y/N  
  종양크기 metas[].tumorsize String Y/N  
  Tyroiditis metas[].tyroiditis String    
2-7 BMI metas[].bmi String    
2-8 문합방법 metas[].anastomosis String   RY,B-I,B-II,...
3 단계정보 phases Array    
  3-1 단계식별자 phases[].id String Y  
3-2 수술단계 정보 phases[].category_id String Y [PC01,PC02,...]
3-3 수술단계 phases[].category_name String Y 예) Preparation 등..
3-4 단계 시작 시간 phases[].time_start String Y  
3-5 단계 종료 시간 phases[].time_end String Y
 

 

Ⅱ. 장기 데이터

어노테이션 포맷 Ⅱ. 장기 데이터
구분 항목 타입 필수 여부 비고
한글명 영문명
1 이미지정보 Images Object Y  
  1-1 이미지식별자 images[].id String Y  
1-2 이미지너비(pixel) images[].width String Y 예) 1920
1-3 이미지높이(pixel) images[].height String Y 예) 1080
1-4 이미지파일명 images[].filename String Y  
1-5 이미지파일크기 images[].volume String   예) 1.04MB
2 메타정보 metas Object Y  
  2-1 연관메타데이터식별자 metas[].id String Y  
2-2 나이 metas[].age String    
2-3 성별 metas[].gender String Y F,M
2-4 수술종류 metas[].operation String Y LDG,RHC,LAR,
RALP,RALPN,
Endometrial cancer
3 라벨링정보 annotations Array Y  
  3-1 라벨링식별자 annotations[].id String Y  
  3-2 연관이미지식별자 annotations[].image_id String Y  
  3-3 클래스정보 annotations[].category_id String Y 10,20,30,40,50,60
  3-4 클래스명 annotations[].category_name String Y Liver, Gallbladder, Spleen,Uterus,
Ovary,
Fallopian tube
  3-5 라벨링방법 annotations[].type String Y 예) poly (polygon)
  3-6 라벨링좌표 annotations[].points List Y
 

 

Ⅲ. 출혈 데이터

어노테이션 포맷 Ⅲ. 출혈 데이터
구분 항목 타입 필수 여부 비고
한글명 영문명
1 이미지정보 Images Object Y  
  1-1 이미지식별자 images[].id String Y  
1-2 이미지너비(pixel) images[].width String Y 예) 1920
1-3 이미지높이(pixel) images[].height String Y 예) 1080
1-4 이미지파일명 images[].filename String Y  
1-5 이미지파일크기 images[].volume String   예) 1.04MB
2 메타정보 metas Object Y  
  2-1 연관메타데이터식별자 metas[].id String Y  
2-2 나이 metas[].age String    
2-3 성별 metas[].gender String Y F,M
2-4 수술종류 metas[].operation String Y LDG,RHC,LAR,
RALP,RALPN,
Endometrial cancer
3 라벨링정보 annotations Array Y  
  3-1 라벨링식별자 annotations[].id String Y  
  3-2 연관이미지식별자 annotations[].image_id String Y  
  3-3 클래스정보 annotations[].category_id String Y 70
  3-4 클래스명 annotations[].category_name String Y Bleeding
  3-5 라벨링방법 annotations[].type String Y 예) rect (rectangle/bounding box)
  3-6 라벨링좌표 annotations[].points List Y
 

 

실제 예시
Ⅰ. 6개암 수술단계 Ground Truth 데이터 
  라벨링데이터 (CSV)
라벨링데이터 CSV

  임상데이터 (JSON)

임상데이터 JSON

 

Ⅱ. 장기 데이터

장기 데이터 JSON

 

Ⅲ. 출혈 데이터

출혈 데이터 JSON

데이터셋 구축 담당자

수행기관(주관) : ㈜엠티이지
수행기관(주관)
책임자명 전화번호 대표이메일 담당업무
최승훈 02-859-3585 csh4170@mteg.co.kr 가공, 검수, 모델 구축
수행기관(참여)
수행기관(참여)
기관명 담당업무
(의료)길의료재단 수집, 가공, 검수, 모델 구축
서울특별시보라매병원 수집, 검수
㈜에스엔유에이치벤처 수집, 검수
데이터 관련 문의처
데이터 관련 문의처
담당자명 전화번호 이메일
최승훈 02-859-3585 csh4170@mteg.co.kr