npj Digital Medicine ·

Human-in-the-loop validation of a sequential multi-LLM medical education pipeline

Yoojin Nam, Taein An, Sung Il Hwang, Chawoong Jeon, Ji Won Jeong, Juhyun Jeong, Dong Yeong Kim, Pyeong Hwa Kim, So Yeon Kim, Sungkwan Kim, Yangwon Kim, Kwang Hwi Lee, Taehee Lee, Hee Sang Oh, Joon Hyung Park, Seunghyeon Shin, Yongsik Sim, Jeong Min Song, Seunghyun Song, Pa Hong, Namkug Kim

홍파: 공동 교신저자

2026년 10월 14일 확인한 출판사 공개본은 심사를 통과한 승인원고의 초기 공개본이다. 인용 가능하며, 추가 편집 후 최종 출판본으로 교체될 예정이다.

연구 질문

다중 LLM이 검증한 학습자료를 사람의 확인 없이 사용할 수 있을까?

자동 검증을 통과했다는 표시는 사람이 판단하는 안전성과 같지 않다. 이 연구는 영상의학 학습자료를 만드는 7단계 다중 LLM 파이프라인을 대상으로, 전문의와 전공의가 발견하는 중대한 오류와 자동 피드백 전후의 평가 변화를 조사했다.

연구 설계

파이프라인은 플래시카드 6,000개와 인포그래픽 833개를 생성했다. 전공의 9명과 전문의 11명이 11개 세부 분야의 플래시카드 1,284개를 평가했다. 생성 자료 수, 평가한 카드 수, 평가 건수는 서로 다른 분모다.

주요 결과

  • 텍스트 단계에서 통과한 카드 980개의 평가 1,100건에서 중대한 오류의 평가 건수 기준 위음성률(FNR)은 1.00%였다. 95% 신뢰구간은 0.50–1.78%로, 사전 안전 기준 0.3%를 초과했다.
  • 다섯 번째 단계의 자동 피드백 이후 중대한 오류 표시가 증가하고 기술적 정확성과 교육 품질 평점은 낮아졌다. 이 변화만으로 자동 피드백의 인과 효과를 분리할 수는 없다.
  • 이미지 19개의 예비 평가에서도 중대한 오류가 발견되었다. 표와 인포그래픽의 비교는 검정력이 부족했고 다중비교 보정 후 유의하지 않아 탐색 결과로 다뤘다.

해석 범위

안전성 추정은 연구의 선택·통과 조건 안에서 해석해야 한다. 참조표준의 신뢰도가 낮고 평가자와 업무량의 영향이 있었다. 단일군 설계로는 유용한 단서 제공, 앵커링, 재검토 효과를 분리할 수 없다. 모든 LLM이나 모든 교육 분야에 같은 오류율을 적용하지 않는다.

원문과 연구 자료

공개 원문과 공식 보충자료는 출판사 페이지에서 확인할 수 있다.

출판사 원문 초록

아래는 원문 초록이다. 위의 연구 해설은 초록 번역이나 새로운 논문이 아니다.

Large language models (LLMs) can generate medical educational content at scale, but multi-dimensional human validation of multi-LLM pipelines has not been performed at scale. We evaluated a 7-stage sequential multi-LLM pipeline implemented exclusively with the Gemini family (Gemini 3 Flash and Pro for text; Gemini 3 Pro Image, the Nano Banana Pro preview, for images), producing 6000 flashcards and 833 infographics for radiology board preparation. Nine residents and eleven attending radiologists evaluated 1284 flashcards across 11 subspecialties in a two-phase design around fifth-stage (S5) feedback. Among 1100 evaluations of 980 text-level PASS cards, the evaluation-level false-negative rate (FNR) for blocking errors was 1.00% (95% CI 0.50–1.78%), exceeding the pre-specified 0.3% safety threshold; card-level (1.12%) and majority-vote (0.82%) analyses converged. S5 feedback was associated with increased blocking-error flags (39–54 evaluation-level observations, McNemar p = 0.003) and decreased technical accuracy and educational quality scores (both p < 0.001). In unadjusted analyses, attending radiologists identified more errors than residents (odds ratio 4.52, 95% CI 2.38–8.57), although workload-matched sensitivity analyses attenuated this gap. A preliminary image pilot of 19 items showed critical errors in both tables and infographics, with between-format comparisons underpowered and not significant after Holm correction; this image-related observation should be interpreted as exploratory. The conditional safety estimates, low-reliability reference standard, and rater- and workload-dependent patterns do not support fully automated deployment; automated feedback was associated with sharpened evaluator scrutiny, though the single-arm design cannot isolate useful cueing from anchoring or re-review effects.

출처: npj Digital Medicine · CC BY-NC-ND 4.0. 초록 저작권은 원저자에게 있다. 원문 그림은 재배포하지 않는다.

인용 정보

Yoojin Nam, Taein An, Sung Il Hwang, Chawoong Jeon, Ji Won Jeong, Juhyun Jeong, Dong Yeong Kim, Pyeong Hwa Kim, So Yeon Kim, Sungkwan Kim, Yangwon Kim, Kwang Hwi Lee, Taehee Lee, Hee Sang Oh, Joon Hyung Park, Seunghyeon Shin, Yongsik Sim, Jeong Min Song, Seunghyun Song, Pa Hong, Namkug Kim. Human-in-the-loop validation of a sequential multi-LLM medical education pipeline. npj Digital Medicine. 2026. https://doi.org/10.1038/s41746-026-02978-8

10.1038/s41746-026-02978-8

서지·초록 확인: · 최신 출판 상태와 정정 사항은 출판사 원문에서 확인할 수 있다.