BMC Medical Education ·
Feasibility and psychometric evaluation of large language model–generated radiology learning materials for board examination preparation: a prospective pilot study
홍파: 공동 교신저자
온라인 출판일은 2026년 6월 15일이다. 출판사에는 최종 출판본 날짜가 별도로 2026년 8월 26일로 표시되어 있다.
연구 질문
인공지능 학습자료의 교육 효과를 시험하기 전에 무엇을 점검해야 할까?
자료를 배포할 수 있다는 것과 교육 효과를 입증할 준비가 되었다는 것은 다르다. 이 예비 연구는 전문의 시험을 준비하는 전공의에게 LLM 학습자료를 제공하고, 참여 유지와 자발적 사용, 효과 측정에 쓰일 설문 도구를 평가했다.
연구 설계
전향적 관찰 예비 연구에 전공의 41명이 등록했다. 시험 후 설문 완료자는 26명이었으며, 교육 변화 결과가 완전한 24명이 분석에 포함되었다. 분석 대상 중 15명은 자료를 사용했고 9명은 사용하지 않았다. 사용 여부는 무작위 배정이 아니라 참가자가 선택했다.
주요 결과
- 완전사례 분석 기준 유지율 58.5%는 사전 기준 80%에 미달했다. 분석 완료자 중 자발적 사용률은 62.5%였다.
- 인공지능 신뢰 척도의 역문항 보정 후 내적 일관성(Cronbach’s α)은 0.583으로, 통상 기준 0.70보다 낮았다. 외재적 인지부하 척도는 수용 가능한 신뢰도를 보였다.
- 인지부하와 자기효능감의 집단 간 추정치는 작고 신뢰구간이 넓었다. 교육 효과가 있거나 없다는 증거로 해석하지 않고, 후속 연구 설계에 필요한 탐색 추정치로 제시했다.
해석 범위
사용자 15명과 비사용자 9명의 자기선택 비교로 인과적 교육 효과를 추정할 수 없다. 자기보고 결과, 소표본과 탈락, 시험 전 짧은 노출 기간이 해석을 제한한다. 사용자가 오류를 경험하지 않았다는 자기보고는 독립적으로 검증한 정확도가 아니다.
원문과 연구 자료
비식별 자료는 합리적인 요청에 따라 교신저자에게 받을 수 있다고 명시한다. 요청에 따른 자료 제공이며 상시 공개 저장소와는 구분된다. 공식 원문에서 보충자료를 확인할 수 있다.
출판사 원문 초록
아래는 원문 초록이다. 위의 연구 해설은 초록 번역이나 새로운 논문이 아니다.
Background
Large language models (LLMs) can generate structured educational content at scale, yet their role in postgraduate radiology training remains untested.
Methods
This pilot study evaluated the feasibility of deploying LLM-generated radiology board preparation materials, the psychometric properties of adapted survey instruments, and exploratory effect-size estimates for sample-size planning of a future multicentre trial. We conducted a prospective observational pilot among 41 radiology residents preparing for the 2026 Korean Radiology Board Examination. A governed seven-stage LLM pipeline generated 6,000 Anki flashcards, 833 infographic summaries, and presentation slides. Materials were distributed freely, and 24 completers self-selected into users (n = 15) and non-users (n = 9). Outcomes included enrollment yield, retention rate, voluntary adoption rate, internal consistency (Cronbach’s alpha) of adapted cognitive load and satisfaction scales, and change scores in extraneous cognitive load (ECL) and self-efficacy (SE), compared using Mann–Whitney U tests with Cohen’s d and 95% confidence intervals.
Results
Of 114 registered candidates, 44 were recruited (38.6%); 41 were enrolled (yield 93.2%); retention was 58.5% (24 of 41), below the prespecified 80% threshold; and voluntary adoption was 62.5%. The ECL scale showed acceptable reliability (alpha = 0.87 baseline, 0.80 post-examination). After reverse-coding one reverse-worded item (E3), the corrected three-item trust-in-AI alpha was 0.583 (bootstrap 95% CI 0.151 to 0.746), below the conventional 0.70 threshold. Between-group differences were non-significant for ECL (d = − 0.28; 95% CI − 1.50 to 0.59) and SE (d = 0.26; − 0.62 to 1.24). Among users, educational quality was rated 3.33 of 5.00, and 86.7% reported encountering no factual inaccuracies. A medium-effect scenario (d = 0.50) would require 160 participants.
Conclusions
Retention (58.5%), the trust-scale alpha of 0.583, and the − 40 Net Promoter Score together indicate that the data-collection protocol, the AI-trust instrumentation, and the user-experience design all require modification before an efficacy trial is justified. Operational deployment was feasible at the levels of enrollment yield and voluntary adoption, but not retention. Adapted cognitive load and satisfaction scales reached acceptable reliability; the trust-in-AI and single-item self-efficacy outcomes did not meet conventional thresholds. Exploratory between-group point estimates were small and unstable across sensitivity strata; they are reported as inputs for sample-size planning and should not be interpreted as evidence for or against educational benefit.
출처: BMC Medical Education · CC BY-NC-ND 4.0. 초록 저작권은 원저자에게 있다. 원문 그림은 재배포하지 않는다.
인용 정보
Yoojin Nam, Taein An, Sung Il Hwang, Chawoong Jeon, Ji Won Jeong, Juhyun Jeong, Dong Yeong Kim, Pyeong Hwa Kim, So Yeon Kim, Sungkwan Kim, Yangwon Kim, Kwang Hwi Lee, Taehee Lee, Hee Sang Oh, Joon Hyung Park, Seunghyeon Shin, Yongsik Sim, Jeong Min Song, Seunghyun Song, Pa Hong, Namkug Kim. Feasibility and psychometric evaluation of large language model–generated radiology learning materials for board examination preparation: a prospective pilot study. BMC Medical Education. 2026;26:1369. https://doi.org/10.1186/s12909-026-09704-8
관련 연구
서지·초록 확인: · 최신 출판 상태와 정정 사항은 출판사 원문에서 확인할 수 있다.