CSOネットワークのブログ

こんにちは。評価事業コーディネーターの千葉です。

今回はCSOネットワークがDE（発展的評価）の実践で用いている“現状をシステムで捉える方法”について紹介します。

DEでは、複雑な状況を捉えるために『システム理論』を用いることが推奨されています。DEの８原則の中に「複雑系の考え方」、「システム思考」の２つが入っていることからも、“現状をシステムで捉えること”に重きを置いていることがお分かりいただけると思います。

▲複雑系理論とシステム理論（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

評価のツールとしてロジックモデルがありますが、ロジックモデルで表現されるような単純な因果関係・単線的なモデルは、現実世界を正確に描写するものではありません。ロジックモデルを否定するわけではありませんが、ロジックモデルは現実のごく一部を切り取って表現したものであり、こればかりに頼ることは現実を見る阻害要因になりえるということは理解しておく必要があります。

▲ロジックモデルの考え方（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

『伴走評価エキスパート育成』研修では、DEを「実際にやる」出発点に立つため、現状をシステムで捉えることの一歩目として

（A）複雑系理論・システム理論をいかにDEに応用できるか理解する

（B）現状をシステムで捉えるツールを学ぶ

を行っています。

『システム理論』で良く出てくるものがシステムマップです。これはものごとをシステムとして捉えるための方法で、例えば以下のような種類があります。

１．現状を把握するためのシステムマップ

（１）ステークホールダーマップ（ステークホルダー間の関係図）

（２）因果ループ図（変数間の因果関係図）

（３）リッチピクチャー（要素の有機的なつながりのビジュアル化）

など。

２．目指す望ましい状態を確認するためのシステムマップ

（１）成功の姿のイメージング”What does success look like?”（団体や事業が目指す成功の姿をシステムとして描く）

（２）イノベーションマッピング（製品・サービスの成功要因の把握、イノベーション実現のための戦略的決定を促す）

など。

▲システムマップの例「肥満に関係する要因（英国保健省）」（CSOネットワークの伴走評価エキスパート育成研修資料「評価の基礎概念とDE」（源由理子氏）より）▲

今回は多くの種類があるシステムマップの中で、「リッチピクチャー」について紹介します。この「リッチピクチャー」はかなり自由度が高く使えるツールで、「ステークホールダーマップ」と「因果ループ図」のいいとこ取りの合わせ技のようなイメージです。評価対象の団体や事業の内側・外側にどんな登場人物（団体、人物）がいて、どんなことが起きていて、それぞれの関係性がどのようになっているかを整理・可視化することができます。「現状の姿を描くときに使われる場合」と「未来の理想の姿を描くときに使われる場合」がありますが、通常は前者で使われることが多いです。

「リッチピクチャー」を描くための３ステップを紹介します。みんなで一枚の絵を描くことができるので、参加者に例を示しながら説明すると良いでしょう。
＝＝＝

【ステップ１】登場人物（個人・組織など）や起こっている事柄の絵を描いてもらう

【ステップ２】その絵の関係性を矢印で示してもらい、矢印の説明の言葉をかいてもらう

【ステップ３】描いたものをみんなで話し合う。話し合った内容を記録する

＝＝＝

「リッチピクチャー」のメリットは、

・誰でも参加できること（子供でも描けます）

・複雑な現状を簡単に、しかも関係者みんなでとらえやすくなること

・文字ではなく、「絵」や「アイコン」を使うことで右脳・左脳も活用できること

などがあります。

▲リッチピクチャーの例（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

ちなみにCSOネットワークのDE実践では、伴走先団体のスタッフが見えている現状を可視化するために、まずは「リッチピクチャー」を描いてもらい、そしてその「リッチピクチャー」をもとにインタビューをおこなうというやり方を試してみました。これをスタッフ間でオープンで行うことによって、「ああ、スタッフのAさんは団体を取り囲む環境について、こんな見方をしていたんだ」、「スタッフのBさんは団体のこういう価値を大切にしていたんだ」と、団体側も評価者も多くの気づきを得ることができました。

団体／事業を取り囲む現実が複雑なこと、様々なステークホルダーがいること、彼らの微妙な関係性など細かい点までわかった上で、その現実をそのまま受け入れて評価に臨む。

この姿勢をもつだけで、評価によって引き出される価値が変わるのかもしれません。

いかがでしたか？
システムマップ、ぜひ活用してみてください。

こんにちは。評価事業コーディネーターの千葉です。

今回はCSOネットワークがDE（発展的評価）の実践で用いている『３つの質問』について紹介します。

DE提唱者であるマイケル・パットンは、この『３つの質問』について著書の中でほとんど述べていませんが、複雑で変化が激しい現実世界の状況変化を捉えるために、DEの概念に触れたジェイミー・ギャンブル（＊１）が提唱したものです。

静的な世界、すなわちゴールポスト（評価目的）が動かない世界では、評価目的にあわせた設問や評価基準を設定して、そのデータをとることで評価が進みます。一方、DEが想定している動的な現実世界、すなわちゴールポストが動く（つまり評価目的が一律に定まらない）世界では、常に状況変化をウォッチして評価の姿勢を柔軟に変えていく必要があります。

このような動的な現実世界に対応するには、『３つの質問』が有効です。

具体的には、

What？（どうした？）

So What？（だから何？）

Now What？（それでどうする？）

の３つです。

これらの質問は

・常に「状況」を把握し続ける

・常にそれらの「状況」を読み解こうとする

・そして、常に「状況」に適応しようとする

ことを支援するものです。

これらの一連のプロセスについては、『DE実践者ガイド（マッコーネル財団）』（＊２）に詳しく掲載されています。

DEでは、評価者がこの『３つの質問』を実践することで、評価対象の事業やそれを取り囲む状況の把握、そしてその状況に対応するための意識・姿勢を持つことが可能となります。

なぜ質問はこの３つなのでしょうか。

我々人間は通常、情報（データ）を自分の解釈を入れて取り入れ、判断する傾向があるからです。つまりWhatがあるときに、Whatで止まれずSo What まで一足飛びに行ってしまう傾向がある、ということです。それが、解釈そして解決を早める効果がある一方で、バイアスを助長する／叙述以上のことをしてしまうことにつながります。そして肝心の叙述がわからなくなる、というデータ収集にとっては致命的なことにつながってしまう可能性があるのです。

What（事実）とSo What（解釈）を分けて捉えることは、評価者のデータに対する姿勢を正すと同時に、評価に必要なデータを集める上でキモになります。

So Whatの過程では、自分が気づいていないことに気がつくチャンスがあります。集めたWhatを主観や経験値のフィルターを外した状態で読み解き、そこからありとあらゆる可能性を考えます。そして判断は行わない。それによって思考の枠組みから解放され、評価に必要な真実を浮かび上がらせるかもしれません。『３つの質問』をおこなうことによって、自分の思考の癖を把握でき、DE実践に必要なデータが得られるでしょう。

▲３つの質問のイメージ（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

そしてこの『３つの質問』を回し続けながら、評価者が伴走先団体（事業者）に対してリアルタイムのフィードバックをおこない、団体の学習や意思決定、そして発展の支援をおこないます。

▲３つの質問のサイクルを回すイメージ（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

この『３つの質問』を使うタイミングは、

（a）評価のバウンダリー（領域）を定めるとき

（b）評価のバウンダリーが定まって、そこで実際の評価に使うデータを溜めるとき

の２パターンがあるように思います。

（a）は、ゴールポストが動く動的な世界においてゴールポストを捉えるために行うものです。DEが目指すソーシャルイノベーションの種がどこに落ちているか分からない状況の中で、その当たりをつけるための第１歩目として、まずは事実（What）を集めていくことが必要になります。

（b）は、（a）で定めた評価バウンダリーの中で具体的にデータを集める際に使います。ここでは評価者だけでなく事業者もWhat（事実）を収集する仕組みをつくることが大切になると思います。『３つの質問』を回すことは、団体と評価者で集めたWhatを読み解いたり（So What）、次の動きを決める（Now What）ためのコミュニケーションにも使えるでしょう。（ただし一度評価のバウンダリーを定めたからといっても、必ずしもそれで固定される訳ではなく、バウンダリーの変更が必要となることもあるでしょう。そのため例え（b）の段階に進んでも、（a）を意識し続ける必要があるように思います）

（a）でも（b）でも、「こんなにWhatばかりを集めてどうなるの？」という意見もあると思います。

“Connecting the dots”という言葉をご存知でしょうか。

Apple創業者のスティーブ・ジョブスのスピーチで有名になった言葉です。

一見すると何も関係ない様々な出来事（dots）が、振り返ってみるとあとから一本の線としてつながり、その時にこれまでのdotsの意味がはじめてわかるというものです。

DEにおけるWhatは、dotであり、Whatをたくさん集めていくとそれが一本の線としてつながる瞬間がくる、すなわちConnecting the dotsに通じることがあるように思います。DE実践において、静的な世界での評価で見逃していたWhatをいかに捉えるか、そしてそれをいかに読み解き伴走先団体の気づきや変容につなげるか、DE実践者の腕の見せどころなのかもしれません。

以上は、DEを試行錯誤しながら研修をつくり実践を行う研修事務局の現時点での見解です。正解はありませんし、評価を実践する読者の皆さまの中で、この『３つの質問』についてもっと良い意味づけや活用方法を見出していただければと思います。

ご参考までに、研修事務局で作成した『３つの質問シートの埋め方のヒント』を公開します。評価の実践の役に立てば幸いです。

（＊１）Jamie Gamble (2008), A Developmental Evaluation Primer, The J.W. McConnell Family Foundation

（＊２）DE 201: A Practitioner’s Guide to Developmental Evaluation (McConnell Family Foundation) https://mcconnellfoundation.ca/report/de-201-a-practitioners-guide-to-developmental-evaluation/   

　２０１８年１０月３日から５日、ギリシャのテッサロニキで開かれているヨーロッパ評価学会（EES: European Evaluation Society）の２年に１度の大会に来ています。500人ぐらいが参加していますが、日本から来る「もの好き」は私ぐらいで（最終日に明治大学の源さんが参加しましたが）、もの好きついでに、日本で発展的評価（DE）を学んでみたらこういう解釈になりましたという Prezi を使った発表をやってみました（文末のリンク参照）。

　今回の大会のテーマは、「よりレジリエントな社会のための評価」。このテーマで繰り返し出て来たキーワードに、次の２つがありました。

1.  「複雑」：世界も組織もより複雑になっており、それを意識した評価が必要になっている。

2.  「倫理」：評価者の責任は変化しつつあり、中立な立場から価値判断をするのが評価者という常識が通じなくなってきている。そこで考えないといけないのは、評価者としての倫理。

　そもそも日本でDEの研修事業を始める直前の昨年（2017年）７月、我らが師匠、マイケル・クイン・パットンのワシントンDCでのDE研修に参加して、ランチをともにしながら日本の研修の打合せをしました。日本のNPOやソーシャルセクターではまだまだ評価の経験値が少ないという話をしたら彼が次のように返答しました。「そうか、よかったじゃないか。評価の学びを外さなくてよいのだから。。。（Well, then, you don’t have to unlearn evaluation…）」。今回のEES大会で、このことばの意味が少しわかったタイミングがあったのでご紹介しましょう。

　基調講演者のひとり、トマス・シュワント氏（イリノイ大学名誉教授）の話。世はトランプ時代。事実の価値が軽んじられる、いわゆるポスト真実社会（Post-truth world）になったという言説は欧米ではよく聞かれます。そういう時代だからこそ、評価（事実特定と価値判断！）が果たせる役割を再認識しなければならないというところから氏の講演は始まりました。確かに、事実の価値を重んじる人々からすれば、とんでもない世界になったものです。評価者としては当然の観察ですよね。

　ところがそこから話は急展開し、「ポスト・ノーマル時代の評価」になりました。なんだそりゃ？

↑基調講演で「ポスト・ノーマル時代の評価？」と問いかけるシュワント氏

「ポスト・ノーマル」の用語は、「ポスト・ノーマル科学」から来るものです。彼の主張をかいつまんで言えば、こんな感じになるでしょうか。

そもそも評価とは合理的思考を信じている／合理的思考では、評価者が独立した立場を維持し、精緻な方法で、エビデンスの力を信じて行動すれば、正しい価値判断ができると考える／正しい価値判断を繰り返すことによって社会は進歩していく／評価専門家はこの意味で社会の進歩に貢献することができる。

　これが「ノーマル時代の評価」だとすれば、いつのまにか時代は移ってしまっているのでは？というのが彼の問いかけです。そして、もしそうだとすれば、評価者の仕事とは一体なんなのか？

　簡単に答えが見つかるわけではない、と前置きしたうえで、シュワント氏は評価専門家が考えるべきいくつかの糸口を提供しました。例えば、「ポスト・ノーマル時代」においては、

• イノベーションは、技術が生むものから別物に変容する。
• ガバナンスは、「ＡからＢへモノ（政策、制度、仕組み、事業）を届ける」モードから「関係性により構築する」モードへ変化する。
• 政治は、代表制から人々のもとへ帰る。
• 生産の価値は「ともに行うこと」に宿る。
• 知識の創造の中心には倫理が据えられる。

• 評価者は、中立な観察者からファリシテーターになる。

　「さて、いかがかな？」とシュワント氏。会場では質疑応答が始まりました。そこで私が思い出したのが、マイケルの、Well, then, you don’t have to unlearn evaluation…　のことば。まさに彼が実用重視の評価を実践しながら、たどり着いたひとつの答えとしてのDE。そして、その背景にあった時代の変化。つながりましたね。

この項つづく。 

「DEやってみよう！（昨年のDE研修一期生の最終的なDEの理解の発表をもとに、CSOネットワークとしてまとめたもの）」は、こちら↓

http://prezi.com/my8gkimhpcch/?utm_campaign=share&utm_medium=copy&rc=ex0share

同じものの英語版（EES大会で発表したもの）はこちら↓

http://prezi.com/eqbamsx8h-77/?utm_campaign=share&utm_medium=copy&rc=ex0share