CSOネットワークのブログ

こんにちは。CSOネットワークの千葉です。

今回は複雑な世界に対応するための、『Pattern Spotting（パターン発見）』というフレームワークを紹介します。2018年度DE研修で、Kate McKegg（ケイト・マッケグ）氏（Kinnectグループ所属、ニュージーランド評価学会副会長）が紹介をしてくれたものです。

以前のブログ「“複雑な世界”では、「もう犯人探しはやめよう」（＊１）で紹介した�@単純（simple）な状況と�A煩雑（complicated）な状況では、物事は要素分解ができるので、打ち手が見えやすいです。

しかし、�B複雑（complex）な状況では、物事は要素分解ができないため、明確な原因や打ち手がわかりません。この複雑な状況への対処の方法は、物事のなんらかの規則性や例外を捉えることで状況を把握する、介入ポイントを検討するというアプローチをとります。

『Pattern Spotting（パターン発見）』のフレームワークは複雑なシステムにおいてパターンを捉えることに適した手法で、状況把握や物事の解釈などで用いることができます。

複雑な状況を説明する『複雑系理論』というものがありますが、性質のひとつである生成・創発（エマージェンス）に自己組織性（self-organization）という特徴があります。これは、個々の主体が独自の動きをすることにより、主体の間に関係性が生まれ、誰も意図しないパターンが生成される、というものです。

『Pattern Spotting（パターン発見）』により、このような複雑なシステムにおいてパターンを捉えることが可能です。具体的に以下のような問いに答えることです。

どんなに複雑な状況でも、なんらかのパターンはあります。（ちなみにパターンがないこともパターンです）

１〜３の設問は、観察を続け、状況把握をしようとしていれば、答えられるでしょう。例えば、１であれば「団体のスタッフ同士で描く成功の姿が共有されていない」、「この団体の事業のファンが全国にたくさんいるが、地元にはあまりいない」などです。３は「Aというスタッフと代表のみが成功の姿を共有している、しかしAは出勤日数が少ないパート従業員である」、「地元であまり存在が知られていないが、近所の学生さんが時々事務所に立ち寄って話をしていく」などです。

さらに深く観察・解釈を進めすると、４〜６の設問に対応できるようになり、そして７に答えられるようになります。

『Pattern Spotting（パターン発見）』をおこなうタイミングは、ある程度情報が溜まったらいつでもです。例えば、『３つの質問』（＊２）をまわしていると常に組織の中で出てくるキーワードを拾ったり、システムマッピングをしていて、様々なステークホルダーに影響を与えている事象や人・組織に注目したり、逆に評価者が重要だと思っていたのに、スタッフたちから全く情報がでてこない新規事業プロジェクトなど、例外やサプライズも含めた上記の１〜７のいろんなパターンに気がつくことでしょう。

この“パターン認識能力・発見能力”は、事業者やDE評価者をはじめ “複雑な状況”に向き合う方達が普段から持つべき「思考」と言えるでしょう。先行き不透明な複雑な状況でも、パターンを見つけることで次の一手が見えてくるかもしれません。ぜひ実践ください。

以下のブログを参照ください。

＊１：“複雑な世界”では、「もう犯人探しはやめよう」

https://blog.canpan.info/csonj/archive/27

＊２：現実世界を『３つの質問』で捉えよう

https://blog.canpan.info/csonj/archive/25

こんにちは。評価事業コーディネーターの千葉です。

今回はCSOネットワークがDE（発展的評価）の実践で用いている“現状をシステムで捉える方法”について紹介します。

DEでは、複雑な状況を捉えるために『システム理論』を用いることが推奨されています。DEの８原則の中に「複雑系の考え方」、「システム思考」の２つが入っていることからも、“現状をシステムで捉えること”に重きを置いていることがお分かりいただけると思います。

▲複雑系理論とシステム理論（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

評価のツールとしてロジックモデルがありますが、ロジックモデルで表現されるような単純な因果関係・単線的なモデルは、現実世界を正確に描写するものではありません。ロジックモデルを否定するわけではありませんが、ロジックモデルは現実のごく一部を切り取って表現したものであり、こればかりに頼ることは現実を見る阻害要因になりえるということは理解しておく必要があります。

▲ロジックモデルの考え方（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

『伴走評価エキスパート育成』研修では、DEを「実際にやる」出発点に立つため、現状をシステムで捉えることの一歩目として

（A）複雑系理論・システム理論をいかにDEに応用できるか理解する

（B）現状をシステムで捉えるツールを学ぶ

を行っています。

『システム理論』で良く出てくるものがシステムマップです。これはものごとをシステムとして捉えるための方法で、例えば以下のような種類があります。

１．現状を把握するためのシステムマップ

（１）ステークホールダーマップ（ステークホルダー間の関係図）

（２）因果ループ図（変数間の因果関係図）

（３）リッチピクチャー（要素の有機的なつながりのビジュアル化）

など。

２．目指す望ましい状態を確認するためのシステムマップ

（１）成功の姿のイメージング”What does success look like?”（団体や事業が目指す成功の姿をシステムとして描く）

（２）イノベーションマッピング（製品・サービスの成功要因の把握、イノベーション実現のための戦略的決定を促す）

など。

▲システムマップの例「肥満に関係する要因（英国保健省）」（CSOネットワークの伴走評価エキスパート育成研修資料「評価の基礎概念とDE」（源由理子氏）より）▲

今回は多くの種類があるシステムマップの中で、「リッチピクチャー」について紹介します。この「リッチピクチャー」はかなり自由度が高く使えるツールで、「ステークホールダーマップ」と「因果ループ図」のいいとこ取りの合わせ技のようなイメージです。評価対象の団体や事業の内側・外側にどんな登場人物（団体、人物）がいて、どんなことが起きていて、それぞれの関係性がどのようになっているかを整理・可視化することができます。「現状の姿を描くときに使われる場合」と「未来の理想の姿を描くときに使われる場合」がありますが、通常は前者で使われることが多いです。

「リッチピクチャー」を描くための３ステップを紹介します。みんなで一枚の絵を描くことができるので、参加者に例を示しながら説明すると良いでしょう。
＝＝＝

【ステップ１】登場人物（個人・組織など）や起こっている事柄の絵を描いてもらう

【ステップ２】その絵の関係性を矢印で示してもらい、矢印の説明の言葉をかいてもらう

【ステップ３】描いたものをみんなで話し合う。話し合った内容を記録する

＝＝＝

「リッチピクチャー」のメリットは、

・誰でも参加できること（子供でも描けます）

・複雑な現状を簡単に、しかも関係者みんなでとらえやすくなること

・文字ではなく、「絵」や「アイコン」を使うことで右脳・左脳も活用できること

などがあります。

▲リッチピクチャーの例（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

ちなみにCSOネットワークのDE実践では、伴走先団体のスタッフが見えている現状を可視化するために、まずは「リッチピクチャー」を描いてもらい、そしてその「リッチピクチャー」をもとにインタビューをおこなうというやり方を試してみました。これをスタッフ間でオープンで行うことによって、「ああ、スタッフのAさんは団体を取り囲む環境について、こんな見方をしていたんだ」、「スタッフのBさんは団体のこういう価値を大切にしていたんだ」と、団体側も評価者も多くの気づきを得ることができました。

団体／事業を取り囲む現実が複雑なこと、様々なステークホルダーがいること、彼らの微妙な関係性など細かい点までわかった上で、その現実をそのまま受け入れて評価に臨む。

この姿勢をもつだけで、評価によって引き出される価値が変わるのかもしれません。

いかがでしたか？
システムマップ、ぜひ活用してみてください。

こんにちは。評価事業コーディネーターの千葉です。

今回はCSOネットワークがDE（発展的評価）の実践で用いている『３つの質問』について紹介します。

DE提唱者であるマイケル・パットンは、この『３つの質問』について著書の中でほとんど述べていませんが、複雑で変化が激しい現実世界の状況変化を捉えるために、DEの概念に触れたジェイミー・ギャンブル（＊１）が提唱したものです。

静的な世界、すなわちゴールポスト（評価目的）が動かない世界では、評価目的にあわせた設問や評価基準を設定して、そのデータをとることで評価が進みます。一方、DEが想定している動的な現実世界、すなわちゴールポストが動く（つまり評価目的が一律に定まらない）世界では、常に状況変化をウォッチして評価の姿勢を柔軟に変えていく必要があります。

このような動的な現実世界に対応するには、『３つの質問』が有効です。

具体的には、

What？（どうした？）

So What？（だから何？）

Now What？（それでどうする？）

の３つです。

これらの質問は

・常に「状況」を把握し続ける

・常にそれらの「状況」を読み解こうとする

・そして、常に「状況」に適応しようとする

ことを支援するものです。

これらの一連のプロセスについては、『DE実践者ガイド（マッコーネル財団）』（＊２）に詳しく掲載されています。

DEでは、評価者がこの『３つの質問』を実践することで、評価対象の事業やそれを取り囲む状況の把握、そしてその状況に対応するための意識・姿勢を持つことが可能となります。

なぜ質問はこの３つなのでしょうか。

我々人間は通常、情報（データ）を自分の解釈を入れて取り入れ、判断する傾向があるからです。つまりWhatがあるときに、Whatで止まれずSo What まで一足飛びに行ってしまう傾向がある、ということです。それが、解釈そして解決を早める効果がある一方で、バイアスを助長する／叙述以上のことをしてしまうことにつながります。そして肝心の叙述がわからなくなる、というデータ収集にとっては致命的なことにつながってしまう可能性があるのです。

What（事実）とSo What（解釈）を分けて捉えることは、評価者のデータに対する姿勢を正すと同時に、評価に必要なデータを集める上でキモになります。

So Whatの過程では、自分が気づいていないことに気がつくチャンスがあります。集めたWhatを主観や経験値のフィルターを外した状態で読み解き、そこからありとあらゆる可能性を考えます。そして判断は行わない。それによって思考の枠組みから解放され、評価に必要な真実を浮かび上がらせるかもしれません。『３つの質問』をおこなうことによって、自分の思考の癖を把握でき、DE実践に必要なデータが得られるでしょう。

▲３つの質問のイメージ（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

そしてこの『３つの質問』を回し続けながら、評価者が伴走先団体（事業者）に対してリアルタイムのフィードバックをおこない、団体の学習や意思決定、そして発展の支援をおこないます。

▲３つの質問のサイクルを回すイメージ（CSOネットワークの伴走評価エキスパート育成研修資料より）▲

この『３つの質問』を使うタイミングは、

（a）評価のバウンダリー（領域）を定めるとき

（b）評価のバウンダリーが定まって、そこで実際の評価に使うデータを溜めるとき

の２パターンがあるように思います。

（a）は、ゴールポストが動く動的な世界においてゴールポストを捉えるために行うものです。DEが目指すソーシャルイノベーションの種がどこに落ちているか分からない状況の中で、その当たりをつけるための第１歩目として、まずは事実（What）を集めていくことが必要になります。

（b）は、（a）で定めた評価バウンダリーの中で具体的にデータを集める際に使います。ここでは評価者だけでなく事業者もWhat（事実）を収集する仕組みをつくることが大切になると思います。『３つの質問』を回すことは、団体と評価者で集めたWhatを読み解いたり（So What）、次の動きを決める（Now What）ためのコミュニケーションにも使えるでしょう。（ただし一度評価のバウンダリーを定めたからといっても、必ずしもそれで固定される訳ではなく、バウンダリーの変更が必要となることもあるでしょう。そのため例え（b）の段階に進んでも、（a）を意識し続ける必要があるように思います）

（a）でも（b）でも、「こんなにWhatばかりを集めてどうなるの？」という意見もあると思います。

“Connecting the dots”という言葉をご存知でしょうか。

Apple創業者のスティーブ・ジョブスのスピーチで有名になった言葉です。

一見すると何も関係ない様々な出来事（dots）が、振り返ってみるとあとから一本の線としてつながり、その時にこれまでのdotsの意味がはじめてわかるというものです。

DEにおけるWhatは、dotであり、Whatをたくさん集めていくとそれが一本の線としてつながる瞬間がくる、すなわちConnecting the dotsに通じることがあるように思います。DE実践において、静的な世界での評価で見逃していたWhatをいかに捉えるか、そしてそれをいかに読み解き伴走先団体の気づきや変容につなげるか、DE実践者の腕の見せどころなのかもしれません。

以上は、DEを試行錯誤しながら研修をつくり実践を行う研修事務局の現時点での見解です。正解はありませんし、評価を実践する読者の皆さまの中で、この『３つの質問』についてもっと良い意味づけや活用方法を見出していただければと思います。

ご参考までに、研修事務局で作成した『３つの質問シートの埋め方のヒント』を公開します。評価の実践の役に立てば幸いです。

（＊１）Jamie Gamble (2008), A Developmental Evaluation Primer, The J.W. McConnell Family Foundation

（＊２）DE 201: A Practitioner’s Guide to Developmental Evaluation (McConnell Family Foundation) https://mcconnellfoundation.ca/report/de-201-a-practitioners-guide-to-developmental-evaluation/   

　２０１８年１０月３日から５日、ギリシャのテッサロニキで開かれているヨーロッパ評価学会（EES: European Evaluation Society）の２年に１度の大会に来ています。500人ぐらいが参加していますが、日本から来る「もの好き」は私ぐらいで（最終日に明治大学の源さんが参加しましたが）、もの好きついでに、日本で発展的評価（DE）を学んでみたらこういう解釈になりましたという Prezi を使った発表をやってみました（文末のリンク参照）。

　今回の大会のテーマは、「よりレジリエントな社会のための評価」。このテーマで繰り返し出て来たキーワードに、次の２つがありました。

1.  「複雑」：世界も組織もより複雑になっており、それを意識した評価が必要になっている。

2.  「倫理」：評価者の責任は変化しつつあり、中立な立場から価値判断をするのが評価者という常識が通じなくなってきている。そこで考えないといけないのは、評価者としての倫理。

　そもそも日本でDEの研修事業を始める直前の昨年（2017年）７月、我らが師匠、マイケル・クイン・パットンのワシントンDCでのDE研修に参加して、ランチをともにしながら日本の研修の打合せをしました。日本のNPOやソーシャルセクターではまだまだ評価の経験値が少ないという話をしたら彼が次のように返答しました。「そうか、よかったじゃないか。評価の学びを外さなくてよいのだから。。。（Well, then, you don’t have to unlearn evaluation…）」。今回のEES大会で、このことばの意味が少しわかったタイミングがあったのでご紹介しましょう。

　基調講演者のひとり、トマス・シュワント氏（イリノイ大学名誉教授）の話。世はトランプ時代。事実の価値が軽んじられる、いわゆるポスト真実社会（Post-truth world）になったという言説は欧米ではよく聞かれます。そういう時代だからこそ、評価（事実特定と価値判断！）が果たせる役割を再認識しなければならないというところから氏の講演は始まりました。確かに、事実の価値を重んじる人々からすれば、とんでもない世界になったものです。評価者としては当然の観察ですよね。

　ところがそこから話は急展開し、「ポスト・ノーマル時代の評価」になりました。なんだそりゃ？

↑基調講演で「ポスト・ノーマル時代の評価？」と問いかけるシュワント氏

「ポスト・ノーマル」の用語は、「ポスト・ノーマル科学」から来るものです。彼の主張をかいつまんで言えば、こんな感じになるでしょうか。

そもそも評価とは合理的思考を信じている／合理的思考では、評価者が独立した立場を維持し、精緻な方法で、エビデンスの力を信じて行動すれば、正しい価値判断ができると考える／正しい価値判断を繰り返すことによって社会は進歩していく／評価専門家はこの意味で社会の進歩に貢献することができる。

　これが「ノーマル時代の評価」だとすれば、いつのまにか時代は移ってしまっているのでは？というのが彼の問いかけです。そして、もしそうだとすれば、評価者の仕事とは一体なんなのか？

　簡単に答えが見つかるわけではない、と前置きしたうえで、シュワント氏は評価専門家が考えるべきいくつかの糸口を提供しました。例えば、「ポスト・ノーマル時代」においては、

• イノベーションは、技術が生むものから別物に変容する。
• ガバナンスは、「ＡからＢへモノ（政策、制度、仕組み、事業）を届ける」モードから「関係性により構築する」モードへ変化する。
• 政治は、代表制から人々のもとへ帰る。
• 生産の価値は「ともに行うこと」に宿る。
• 知識の創造の中心には倫理が据えられる。

• 評価者は、中立な観察者からファリシテーターになる。

　「さて、いかがかな？」とシュワント氏。会場では質疑応答が始まりました。そこで私が思い出したのが、マイケルの、Well, then, you don’t have to unlearn evaluation…　のことば。まさに彼が実用重視の評価を実践しながら、たどり着いたひとつの答えとしてのDE。そして、その背景にあった時代の変化。つながりましたね。

この項つづく。 

「DEやってみよう！（昨年のDE研修一期生の最終的なDEの理解の発表をもとに、CSOネットワークとしてまとめたもの）」は、こちら↓

http://prezi.com/my8gkimhpcch/?utm_campaign=share&utm_medium=copy&rc=ex0share

同じものの英語版（EES大会で発表したもの）はこちら↓

http://prezi.com/eqbamsx8h-77/?utm_campaign=share&utm_medium=copy&rc=ex0share

　バックキャスティングが流行っています。訳せば「未来からの逆算」でしょうか。SDGs（持続可能な開発目標）関連では、「アウトサイド・イン」という用語もだいたい同じ意味で使われているようです。要するに、まず目標を定め、そこから「どうすれば（どうなれば）そうなるか」という論理をつなぐ思考実験を繰り返すことによって、直近のアクションを定めることができるという計画・作戦の立て方です。

　ロジック・モデルの説明の際にも、私は「これはバックキャスティング思考です」と説明するようにしています。まず事業の上位目標・最終目標を確認する→そこに到達するための中間アウトカムをしっかり言語化する→中間アウトカムを達成するための初期アウトカムを設定する→初期アウトカムが実現するためのアウトプット（事業の直接の結果）を確認する。これをやると、「今なんでこの作業をやっているのか」という疑問が出た際に（よく出ます）、最終的な目標までのつながりが可視化されているので、「そうか、OK」となることができます、というわけです。もちろん、実際には、ロジック・モデルに描いたように単線的に物事は進みませんが、そこはロジック・モデルを推進する人々もよくわかっています（私の見たところ、これには「仮説検証」論と「作戦」論があります。それについては別の機会に）。

　「日本人は論理的思考が苦手で」などという言明がまことしやかに流通することもありますが、その真偽は別にして、ここでいう論理的思考というのはバックキャスティング思考を指していることも多いようです。SDGsは2030年までの時限つき目標ですが、「そんなことできないよ」と考えられがちな高めの目標設定をし、バックキャスティング思考を行動原理にまで昇華させて推し進めれば長期目標を達成できる、という前向きな姿勢（これを「ムーンショット」と呼ぶ人もいます）が流行りの一因でしょうか。

　ところがDE（発展的評価）はちょっと違います。「バックキャスティング使えればよし、フォアキャスティング使えればよし」と、例によって「すべて文脈によりますよ」という姿勢です。バックキャスティングの反対のフォアキャスティング（訳せば「現在からの順算」でしょうか）で一番わかりやすのは天気予報（ウエザー・フォアキャスト）です。天気を2030年からバックキャストするのはちょっと難しいですね。。。

　DEでは、現代の世の中は天気の変化のように複雑で予測が難しいと考えます。バックキャスティング思考の効用を認めたうえで、それには限界があること、フォアキャスト的なやり方の価値を見直し、その方法を洗練させていくことに意義があることを説きます。そのやり方はいろいろあるのですが、まず大事になるのが、前回（その２）で書いた「評価的思考」に代表されるような、自分（評価者）の「思考の型」を取り外す心がけです。

　いよいよ今週(8/24-25)、発展的評価の２年目の研修が始まります。今年も16人の参加者を得て、一緒に楽しく学んでいきたいと思っています。「評価手法をしっかり学ぼう！」と考えて参加する人は、昨年と同様、最初は拍子抜けするかもしれません。DEは評価手法に行き着くまでに何度も立ち止まらなければならないので。そこで出るモヤモヤ感を大事にするのもDEの醍醐味です。

この項つづく。

DEの基礎については、こちら↓

「DEやってみよう！（昨年のDE研修一期生の最終的なDEの理解の発表をもとに、CSOネットワークとしてまとめたもの）」は、こちら↓

https://prezi.com/kev4ofrn8zb8/de_ver10/?utm_campaign=share&utm_medium=copy

こんにちは。

評価事業コーディネーターの千葉です。

2/14（水）〜16（金）に、『伴走評価エキスパート育成講座』最後の研修である第３回定期研修を開催しました。

最後の研修のテーマは、“おいしいカレーライスのレシピをつくろう！”でした。

１６名の参加者の『伴走評価』の取り組みをケース・ストーリーとして発表いただき、うまくいった要因、うまくいかなかった要因などを抽出し、伴走評価の実践に必要なエッセンスを抽出してレシピにまとめます。

今回は、カレーライスのメタファーとして以下のように対応づけて参加者に提示しました。

�@素材：伴走先団体の基本情報、評価対象となっている活動についての情報など。

�A調理工程：評価設問および実際の評価調査で、何を具体的に行ったかを時系列に記述したもの。

�Bできたカレーライス：評価結果のハイライト。

�C美味しく調理するために活用した職人の技：伴走評価に活かした参加者のそれぞれのスキル・ノウハウ（暗黙知）など。

�Dレシピの秘訣（スパイス？）：参加者から、伴走評価やDEの経験からの学びと、今後DEを実践する人へのアドバイス。

初日は、アイスブレーカーで言葉のカードをめくりながら近況報告をおこなったあと、１２月の集中研修の振り返りからスタート。少し時間が経っていますが、皆さん大事なことはしっかり覚えていました。

１６名の参加者にケース・ストーリーを発表してもらい、グループディスカッションによりうまくいった要因、うまくいかなかった要因などを抽出し、レシピとして�@〜�Dをまとめていきます。

初日は参加者のポテンシャルを十分に引き出せたと言えずでしたが、翌日の朝どのように進めたらよいかを参加者と一緒に議論したことで、２日目からは議論がとても盛り上がりました。研修内容もまさに参加型でタイムリーに発展的に変えたことで、とても学びの多い時間となりました。

最終日は、御茶ノ水のソラシティカンファレンスセンターに会場を変えて、明治大学の教授で本事業の指南役でもある源先生にも加わっていただき、４グループがまとめたレシピを発表しました。

どのグループの発表も本当に素晴らしく、ノウハウがたくさん詰まっていました。１期生の皆さんにご協力いただいたおかげさまで、国内でDE・伴走評価を実践していく上での具体的なレシピがたくさん出てきました。この多すぎる学びをどうまとめ消化していくか、運営側も真剣に考えています。

そのほか、参加者によるマイストーリー（人生を語ってもらい、相互理解を深めつつ伴走評価の学びにも落とすセッション）やリフレッシュのためのクリエイティブな体操などもおこないました。

源先生には出来上がったレシピへのコメントの他、源先生のマイストーリーや評価者倫理についても語っていただき、あらためて評価者としてあるべき姿を考える機会もいただきました。

最後に参加者からの感想を一部紹介します。

★16のケースからDEのエッセンスを抽出し、レシピにまとめたことでDEの世界観が実感につながった感じがしました。

★全員のケースワークを聞いて、同じＤＥを実践していても、16組の団体×伴走評価者の組み合わせが、すべて違う色を放っていたことが驚きとともに新鮮でした。誰かのノウハウが直ぐに自分の伴走評価に役立つというより、自分の伴走のやり方や考え方の癖や足りないところを知る機会となりました。

★DEは、ソーシャルイノベーターとの共創。団体へのタイムリーなフィードバックは、評価者にもとても大切な気づきと成長の機会を与えてくれる。どちらかが一方的に与え、与えられるものではないことが実感として得られたことで、意識が変わりました。とにかくとっても気づきの多い３日間でした。

今年度の『伴走評価エキスパート育成講座』研修は、これで終わりになります。

次年度は、１期生の方々にも協力いただきながら、国内でDE・伴走評価が実践されるような環境づくりに取り組んでいきたいと思います。

次年度の動きもお楽しみに！！