델파이 결과가 기획 근거로 힘을 잃는 이유는 대개 응답이 아니라 설계에 있습니다. 문항과 보고서 주장의 연결, 합의 기준, 피드백 내용, 패널 구성을 조사 전에 문서로 정해 두어야 합니다.
"전문가 델파이를 돌렸는데, 이 결과를 보고서 어디에 넣어야 할지 모르겠습니다." 신규 R&D 기획 막바지에 실무자에게서 자주 듣는 질문입니다. 응답률도 괜찮고 2라운드까지 마쳤는데, 정작 추진 필요성 장이나 목표 설정 장에 옮기려 하면 문장이 서지 않습니다. 원인을 따라가 보면 대부분 1라운드 설문지를 보내기 전에 정했어야 할 것들이 비어 있습니다.
델파이 결과는 언제 기획 근거로 힘을 잃나
결과가 보고서의 특정 주장과 연결되지 않을 때 힘을 잃습니다. 응답 수나 라운드 수보다 이 연결이 먼저입니다.
델파이는 RAND가 1950년대에 기술이 전쟁에 미칠 영향을 예측하려고 만든 방법입니다. RAND의 Dmitry Khodyakov는 2023년 글에서 이 방법의 특징으로 익명성, 반복 수집, 참여자 피드백, 집단 응답의 통계적 산출을 꼽았습니다. 실증 자료가 없을 때 그 자리를 대신하는 근거로 쓰인다는 점도 적었습니다.
R&D 기획에서도 쓰임새는 같습니다. 시장 자료가 없는 신기술의 실현 시점, 국내 기술수준, 우선순위처럼 통계로 답할 수 없는 질문에 전문가 판단을 모읍니다. 그런데 그 판단이 "그래서 이 사업이 왜 지금 필요한가"라는 보고서의 문장에 닿지 않으면, 검토위원에게는 부록의 설문 결과표로만 보입니다.
문항은 보고서의 문장에서 거꾸로 만듭니다
설문지를 쓰기 전에, 결과가 나오면 보고서에 적을 문장을 먼저 써 봅니다. 문항은 그 문장의 빈칸을 채우는 질문이어야 합니다.
예를 들어 목표 설정 장에 "전문가 패널은 이 기술의 국내 실증 가능 시점을 20○○년으로 보았다"라고 적을 계획이라면, 문항은 실증 가능 시점을 연도 단위로 묻고 '실증'의 정의를 문항 안에 적어 두어야 합니다. 정의가 없으면 어떤 응답자는 실험실 시제품을, 어떤 응답자는 현장 적용을 떠올립니다. 응답 분포가 넓게 나와도 그것이 의견 차이인지 정의 차이인지 가릴 수 없습니다.
| 설계에서 놓치는 지점 | 결과에서 생기는 문제 | 1라운드 전에 정할 것 |
|---|---|---|
| 문항과 보고서 장의 연결 | 결과를 넣을 자리가 없음 | 문항별로 받칠 보고서 문장 |
| 한 문항에 두 개념 | 응답 기준을 알 수 없음 | 중요도, 시급성, 실현 시점의 분리 |
| 용어 정의 누락 | 정의 차이가 의견 차이로 보임 | 실증, 상용화, 기술수준의 정의 문구 |
| 합의 기준 사후 결정 | 결과를 맞춰 해석했다는 의심 | 합의 판단 통계값과 기준값 |
| 피드백 내용 미정 | 2라운드 응답 변화의 이유 불명 | 제공할 집단 응답 형식과 근거 자료 |
| 패널 구성 쏠림 | 이해관계자 의견으로 읽힘 | 소속 유형별 목표 인원과 별도 집계 |
중요도와 시급성을 한 문항에 묶는 경우도 자주 보입니다. "이 기술의 중요성과 시급성을 5점 척도로 평가해 주십시오" 같은 문항입니다. 4점이 나와도 중요해서인지 급해서인지 알 수 없고, 보고서에서는 어느 쪽으로도 인용하기 어렵습니다.
합의 기준은 1라운드 전에 적어 둡니다
어떤 통계값이 어느 수준이면 합의로 볼지는 조사 계획서 단계에서 정합니다. 결과를 본 뒤 정하면 기준이 결과에 맞춰졌다는 질문을 피하기 어렵습니다.
RAND의 설명에 따르면 델파이는 합의에 이르거나 미리 정한 라운드 수를 마칠 때까지 진행합니다. 두 조건 모두 조사 전에 정해 두어야 의미가 있다는 뜻이기도 합니다. 사분위범위, 특정 응답 구간의 비율 같은 지표 가운데 무엇을 쓸지, 기준값을 얼마로 둘지, 합의에 이르지 못한 문항은 보고서에서 어떻게 다룰지를 함께 적어 둡니다.
합의가 안 된 문항도 버릴 결과가 아닙니다. 전문가 사이에 판단이 갈린다는 사실 자체가 기획의 불확실성 항목이 됩니다. 다만 이것도 미리 정한 기준이 있어야 "합의 미달"이라고 말할 수 있습니다.
2라운드에 무엇을 보여 줄지가 결과를 바꿉니다
라운드 사이의 피드백은 응답을 움직이는 장치입니다. 그래서 설문지와 같은 무게로 설계해야 합니다.
1라운드 결과를 돌려줄 때 중앙값만 보여 줄지, 분포와 소수 의견의 사유까지 보여 줄지는 설계자가 정합니다. 응답자는 그 자료를 보고 답을 고치므로, 같은 패널이라도 피드백 형식이 다르면 2라운드 결과가 달라질 수 있습니다. 어느 형식을 택했는지가 보고서의 방법 설명에 들어가야 검토자가 결과의 무게를 가늠할 수 있습니다.
근거 자료를 먼저 주는 방식도 있습니다. KISTEP의 2024년도 기술수준평가는 기술별 논문·특허 분석 결과를 평가위원에게 먼저 제공하고 델파이 조사를 2라운드로 진행했습니다. 전문가 판단이 정량 지표를 참고한 위에서 이뤄졌다는 점이 결과 해석의 전제로 남습니다. 신규 사업 기획에서도 시장 자료나 선행 사업 실적처럼 쓸 수 있는 자료가 있다면 1라운드 설문과 함께 주는 편이 낫습니다.
패널은 누구로 채워야 하나
기획 대상 기술을 연구할 사람만으로 패널을 채우면 결과가 이해관계자의 의견으로 읽힙니다. 기술을 받아 쓸 쪽과 제도를 다루는 쪽을 함께 넣습니다.
RAND의 ExpertLens 방식은 패널에 서로 다른 종류의 지식을 가진 이해관계자를 넣는다고 설명합니다. R&D 기획으로 옮기면 대학·출연연 연구자, 수요 기업, 실증 현장의 기관, 정책·규제 담당 전문가가 됩니다. 소속 유형별 목표 인원을 미리 정하고, 결과도 유형별로 따로 집계해 둡니다. 예를 들어 연구자 집단은 실현 시점을 이르게, 수요 기업 집단은 늦게 본다면 그 차이 자체가 보고서에 쓸 내용입니다.
라운드가 진행되면서 응답자가 빠지는 것도 기록합니다. 2라운드에서 수요 기업 응답이 크게 줄었다면, 최종 결과는 연구자 쪽 판단에 가까워집니다. 라운드별 응답자 수와 소속 구성을 결과표 옆에 붙이면 검토 단계의 질문이 짧아집니다.
고쳐 쓴 문항 하나
처음 문항은 이랬습니다. "○○ 기술의 중요성과 국내 개발 시급성을 5점 척도로 평가해 주십시오."
고친 문항은 개념별로 나눴습니다. 먼저 국가 정책 목표 달성에 대한 이 기술의 기여도를 5점 척도로 묻고, 척도 양 끝의 뜻을 문장으로 적습니다. 다음 문항은 국내에서 현장 실증이 가능해지는 연도를 묻고, 문항 아래에 "현장 실증은 실제 운영 환경에서 시제품을 시험하는 단계를 말합니다"라고 정의를 붙입니다. 마지막 문항은 정부 지원이 없을 때 그 연도가 얼마나 늦어질지를 묻습니다.
마지막 문항의 응답이 기획보고서의 "정부 개입의 필요성" 문단을 받칩니다. 처음 문항으로는 이 문단에 쓸 숫자가 나오지 않았습니다.
자주 받는 질문
- 델파이 조사는 몇 라운드를 해야 하나요?
- 정해진 횟수는 없고, 합의에 이르거나 미리 정한 라운드 수를 마칠 때까지 진행합니다. KISTEP의 2024년도 기술수준평가는 논문·특허 분석 결과를 먼저 제공한 뒤 2라운드로 진행했습니다.
- 합의 기준은 언제 정하나요?
- 1라운드 설문을 보내기 전에 정합니다. 어떤 통계값으로 합의를 판단하는지와 기준값을 조사 계획서에 적어 두면 결과 해석을 두고 생기는 이견이 줄어듭니다.
- 사업을 수행할 연구자만 패널로 모아도 되나요?
- 그 경우 결과가 이해관계자의 의견으로 읽힐 수 있습니다. 수요 기업, 현장 기관, 정책 담당 전문가를 함께 넣고 소속 유형별 응답을 따로 집계해 두는 편이 안전합니다.
- 한 문항에서 중요도와 시급성을 같이 물어도 되나요?
- 나눠서 묻는 편이 맞습니다. 두 개념을 한 척도에 묶으면 응답자가 어느 쪽을 기준으로 답했는지 알 수 없어 결과를 근거로 인용하기 어렵습니다.
- 응답자가 라운드마다 줄어들면 어떻게 하나요?
- 라운드별 응답자 수와 소속 구성을 함께 보고합니다. 특정 집단이 빠졌다면 그 사실을 결과 해석 옆에 적어 두어야 검토 단계에서 질문을 줄일 수 있습니다.
- Delphi Method · RAND Corporation
- Generating Evidence Using the Delphi Method · RAND Corporation · 2023-10-17
- Methodological Guidance for Conducting and Critically Appraising Delphi Panels · RAND Corporation · 2023-12-29
- 2024년도 기술수준평가 결과(안) (제78회 운영위원회 보고안건) · 국가과학기술자문회의 · 2025-12-26
- 2025년 기술수준평가(2차년도) · 한국과학기술기획평가원 · 2026-02-05