収集する記録を判断用途までつなぐ
説明用の架空例です。申込20人の見守り研修を、次回の演習と支援の判断に使います。
| 問い | 不足すると困る情報 | 次の確認 |
|---|---|---|
| 参加後に手順を使えたか | 回答者の実施だけでは未回答者や機会のない人が見えない | 対象20人、回答15人など分母を分け、機会なしと未実施を別区分にする |
| なぜ使いにくかったか | 回答者だけの印象では欠けた声が分からない | 実施・未実施・機会なしの異なる声を探し、対象選定と例外を記録する |
| 追加演習が役立つか | 過去の参加を事後に無作為割付へ変更できない | 次回の比較条件・割付・主要指標を実施前に検討する |
この例から判断できること
問いごとに集める記録と判断用途が結び付けば、不要な調査を増やさず、説明できる範囲も先に示せます。
判断で間違えやすいこと
参加者数をそのまま成果として扱う
見直し方: 参加量と、理解・行動などの変化の指標を分けて記す
理由: 参加は活動の提供状況であり、参加者に起きた変化とは役割が異なるためです。
事業終了後にRCTで過去の効果を確かめる計画にする
見直し方: 今後の新規割付ができるかを確認し、過去のデータは条件に合う別の設計で検討する
理由: 過去の介入を後から無作為割付に変更できないためです。
次に手を動かす
評価マトリクスに問い・指標・データ源・測定時期・分析・主張限界を記入する
次に見るべき評価手法
設計・セオリー評価クエスチョン設定
設計・セオリー評価デザインマトリクス
設計・セオリー指標設計
データ収集質問紙調査
よくある質問
前後を比べれば事業の効果が分かりますか？
対象者の観測された変化は確認できますが、他の要因もあり、前後差だけで事業の因果効果を確定しません。比較条件と方法の前提を別途設計します。
未回答者を集計から外してよいですか？
回答者の集計はできますが、その分母、対象者全体の人数、未回答者の数と偏りを示します。回答者だけの割合を全体の割合としません。
参照資料と確認箇所
- Choose methods and processesBetterEvaluation / Global Evaluation Initiative
- 参照箇所
- 2: types of key evaluation questions / 3: situation / 5–6: complementary methods and evaluation matrix / 7–9: feasibility, review, revision
- 本文との対応
- 記述・因果・価値判断・行動の問いを分け、問いを中心に複数方法、実行可能性、設計のレビューを組む。
- CDC Program Evaluation Framework, 2024Centers for Disease Control and Prevention (CDC), MMWR
- 参照箇所
- Types of Evaluation / Step 1: evaluability assessment / Step 2: program roadmap / Step 4: Indicators and data sources / Step 6: Act on findings
- 本文との対応
- 文脈から行動までの6段階と、協働・公平性・学習利用を横断的に扱う。指標は活動にもアウトカムにも置ける。アウトカムの確認だけでは因果を帰属できない。
- Quality in qualitative evaluation (QQE)HM Treasury / Evaluation Task Force
- 参照箇所
- §4.2: guiding principles / Framework questions 4, 7–8, 12: inference, sample coverage, diversity
- 本文との対応
- 質的評価の主張には分析過程、事例選定、異なる声、より広い推論の根拠と限界を示す。
- Magenta Book: Central Government guidance on evaluationHM Treasury / Evaluation Task Force
- 参照箇所
- §1.6 pp.23–24: early planning / §2.2: evaluation scoping / §3.2–3.5 pp.71–84: method choice and causal approaches / §6.2 pp.144–145: use and dissemination
- 本文との対応
- 評価設計を事業設計に早く組み込み、問いと利用目的に見合う方法を選ぶ。影響評価は変化の確認と因果寄与を区別する。
- Magenta Book Annex A: Analytical methods for use within an evaluationHM Treasury / Evaluation Task Force
- 参照箇所
- A2.1 RCT pp.20–21 / A2.7 Difference-in-difference pp.29–30 / A5.4 Output or performance monitoring p.54
- 本文との対応
- RCTの実施条件、DiDの事前推移と比較条件、モニタリングで把握できる実施と変化を扱う。
- UNEG Ethical Guidelines for EvaluationUnited Nations Evaluation Group (UNEG); official copy hosted by UNODC
- 参照箇所
- pp.7–10: integrity, accountability, respect, beneficence / pp.20–22: conduct, consent, confidentiality, power / Annex 3 pp.30–35: phase checklists
- 本文との対応
- 誠実性・説明責任・尊重・善行を全段階に適用し、同意、撤回、守秘の範囲、害の軽減を具体化する。
このページの引用情報
評価コンパス編集.「評価の問いからデータ収集計画へ」. 評価コンパス, 2026-10-07更新. https://evalcompass.jun-nakatani.com/guides/evaluation-design-brief/
閲覧日は利用者が追記してください。本サイトが作成した本文の再利用はCC BY 4.0。引用・外部資料・同梱フォントには、それぞれの利用条件が適用されます。再利用時は出所とライセンスへのリンクを示し、変更した場合はその旨を表示してください。
更新履歴
- — 公式一次資料に対応づけた架空の地域活動研修の通し例を追加。分母・欠測・因果の範囲と、改善判断の担当・期限を具体化。