CANPAN ブログ検索
Loading
  • もっと見る

CSOネットワークのブログ

一般財団法人CSOネットワークのブログです。
一人一人の尊厳が保障される公正な社会の実現に向けて、
持続可能な社会づくりの担い手をセクターを越えてつなぎ、
人々の参加を促すことを目的に活動しています。
評価事業、SDGs関連事業などについての記事を書いていきます。


事業のサクセス(成功)を描こう! [2018年12月03日(Mon)]

こんにちは。CSOネットワークの千葉です。


今回はCSOネットワークがDE(発展的評価)の実践で用いている『成功の状態(サクセスイメージ)』について紹介します。『伴走評価エキスパート育成講座』の指南役であるニュージーランドのDE実践者Kate McKegg(ケイト・マッケグ)氏に教えてもらったものです。評価実践者や財団などによって編み出されたようです。


まずはDE実践における『成功の状態(サクセスイメージ)』の位置付けを整理しましょう。「評価(evaluation)」の語源は、価値(value)を引き出す(ex+です。この言葉の通り、DEでは常に状況把握をおこないながら、事業が持つ価値をどんな観点で引き出せばよいかを考えます。『成功の状態(サクセスイメージ)』を描くことは、事業の価値を引き出す上での大きな一歩であり、次のステップである『評価設問(Evaluation Question)』の設定につながります。ここまでを整理すると、下図のようなイメージになります。

図1.png
▲状況を把握することと価値を引き出すことの関係▲

事業が置かれる環境が複雑であり次の一手が見えづらいとき、様々なステークホルダーがいて多様な意見があるとき、いきなり評価設計を行うことは困難を極めるでしょう。


一方でこの事業の『成功の状態(サクセスイメージ)』は状況や関係者の多さに限らずに描きやすいものです。このサクセスイメージが描けると、そこから評価目的や評価設問の設定まで下ろしやすくなります。


『成功の状態(サクセスイメージ)』について、

DE実践においては)何がおこったら成功なのかを第一に考えること。データを取ることは二の次である

McKegg氏は言います。


『成功の状態(サクセスイメージ)』は、事業や取り組みが最良の形でうまくいく場合はどんな状態かをイメージするものです。この『成功の状態(サクセスイメージ)』が描けると、たくさんのいいことが起こります。


例えば、

・この『成功の状態(サクセスイメージ)』を描く過程で、組織内部や重要なステークホルダーの相互理解が深まる

・設定した目標があっという間に無効になってしまう複雑な世界において、どの方向に進めばいいかの北極星となる

・対象事業にとって必要な『評価目的』の設定や、『評価設問(Evaluation Question)』づくりにつながる

などです。


『成功の状態(サクセスイメージ)』の見本として、McKegg氏が紹介してくれたニュージーランドでの学校教育に関するある取り組みの例を紹介しましょう。この地域では、白人系と先住民がうまく混ざり合わず、学校では先住民系の子供たちの学力が下がっていたそうです。これを解消するために事業のステークホルダーでプロジェクトのサクセスイメージを描いたら、以下のようになりました。


ニュージーランドでの学校教育に関するある取り組みのサクセスイメージ>

様々な民族の人が(この取り組みに)参加していること、男性も参加している、いろんな家族形態の家庭からの参加者があること、新しい人とこれまでの人たちがちゃんと混ざり合っている状態である


評価で、事業の価値を最大限引き出すために『成功の状態(サクセスイメージ)』をなるべく詳細に描くことが必要になります。具体的な描き方のポイントを紹介します。


1)事業のステークホルダーの中にある大切なことが反映されていること(ステークホルダー間で合意すること

2)話し合いや成功の姿のイラストを描くのみにとどまらず、出てきたことを言語化・テキスト化すること


の2点です。描き方は自由ですが、例えば関係者でありたい未来をイメージしながら「リッチピクチャー」を描くこと(その後言語化・テキスト化すること)、協働事業であればそれぞれの組織の究極的な姿を話し合い、それを統合することもできるかもしれません。


複雑な世界を想定しているDEでは、詳細な行動計画ではなく、『成功の状態(サクセスイメージ)』を描くことがとても大事で、これが大海原の航海における北極星のような役割を果たしてくれます。常に海面の状態が変化する航海において、このサクセスという北極星は事業者や評価者を正しい方向に導いてくれるでしょう。


さあ、みなさんも取り組んでみてください。


(*)図表の『3つの質問』や『システムマッピング』は、以下のブログを参照ください。

現実世界を『3つの質問』で捉えよう

http://blog.canpan.info/csonj/archive/25



現状をシステムで把握するシステムマップ

http://blog.canpan.info/csonj/archive/26


複雑なシステムのパターンを捉えよう [2018年12月03日(Mon)]

こんにちは。CSOネットワークの千葉です。


今回は複雑な世界に対応するための、『Pattern Spotting(パターン発見)』というフレームワークを紹介します。2018年度DE研修で、Kate McKegg(ケイト・マッケグ)氏Kinnectグループ所属、ニュージーランド評価学会副会長)が紹介をしてくれたものです。


以前のブログ「複雑な世界では、「もう犯人探しはやめよう」(*1)で紹介した@単純(simple)な状況とA煩雑(complicated)な状況では、物事は要素分解ができるので、打ち手が見えやすいです。


しかし、B複雑(complex)な状況では、物事は要素分解ができないため、明確な原因や打ち手がわかりません。この複雑な状況への対処の方法は、物事のなんらかの規則性や例外を捉えることで状況を把握する、介入ポイントを検討するというアプローチをとります。


Pattern Spotting(パターン発見)』のフレームワークは複雑なシステムにおいてパターンを捉えることに適した手法で、状況把握や物事の解釈などで用いることができます。


複雑な状況を説明する『複雑系理論』というものがありますが、性質のひとつである生成・創発(エマージェンス)に自己組織性(self-organization)という特徴があります。これは、個々の主体が独自の動きをすることにより、主体の間に関係性が生まれ、誰も意図しないパターンが生成される、というものです。


Pattern Spotting(パターン発見)』により、このような複雑なシステムにおいてパターンを捉えることが可能です。具体的に以下のような問いに答えることです。

スクリーンショット 2018-12-03 13.36.15.png

どんなに複雑な状況でも、なんらかのパターンはあります。(ちなみにパターンがないこともパターンです)

1〜3の設問は、観察を続け、状況把握をしようとしていれば、答えられるでしょう。例えば、1であれば「団体のスタッフ同士で描く成功の姿が共有されていない」、「この団体の事業のファンが全国にたくさんいるが、地元にはあまりいない」などです。3は「Aというスタッフと代表のみが成功の姿を共有している、しかしAは出勤日数が少ないパート従業員である」、「地元であまり存在が知られていないが、近所の学生さんが時々事務所に立ち寄って話をしていく」などです。

さらに深く観察・解釈を進めすると、4〜6の設問に対応できるようになり、そして7に答えられるようになります。

Pattern Spotting(パターン発見)』をおこなうタイミングは、ある程度情報が溜まったらいつでもです。例えば、『3つの質問』(*2)をまわしていると常に組織の中で出てくるキーワードを拾ったり、システムマッピングをしていて、様々なステークホルダーに影響を与えている事象や人・組織に注目したり、逆に評価者が重要だと思っていたのに、スタッフたちから全く情報がでてこない新規事業プロジェクトなど、例外やサプライズも含めた上記の1〜7のいろんなパターンに気がつくことでしょう。

このパターン認識能力・発見能力は、事業者やDE評価者をはじめ複雑な状況に向き合う方達が普段から持つべき「思考」と言えるでしょう。先行き不透明な複雑な状況でも、パターンを見つけることで次の一手が見えてくるかもしれません。ぜひ実践ください。


以下のブログを参照ください。

*1:複雑な世界では、「もう犯人探しはやめよう」

http://blog.canpan.info/csonj/archive/27


*2:現実世界を『3つの質問』で捉えよう

http://blog.canpan.info/csonj/archive/25


図1.png




“複雑な世界”では、「もう犯人探しはやめよう」 [2018年12月03日(Mon)]

こんにちは。CSOネットワークの千葉です。


今回はDE(発展的評価)が向き合う世界である複雑な世界について、これがどんな性質をもった世界なのか、そして我々はその世界の中でどう処することができるかについて考えたいと思います。


みなさんの目の前に現れる困っている人、そして日々ニュースなどで流れている社会的な問題として取り上げられる困った状態を考えてみてください。例えば、親による小さな子供への虐待の問題、母子家庭や高齢世帯の貧困の問題、学校でのいじめの問題など。これらの問題には心が痛みます。このような問題が起こる原因ですが、もちろん被害者の人たちに非があるわけでもなく、また特定の加害者だけが悪いわけでもないかもしれません。


こういった不幸なことが起こるのは、その背後にこのようなことを生み出すシステムがあり、そのシステムが様々な作用をした結果、上記のような社会的な問題が顕在化したと言えるでしょう。言い換えるならば、目の前の困った人困った状態は氷山の一角であり、その水面下に全貌が見えないくらいのものすごく大きな氷塊が隠れています。全貌が見えないくらいのものすごく大きな氷の塊こそが我々の目の前に現れる現象の背後に隠れた見えないシステムであり、このあまりの大きさ、実態の見えなさが複雑な世界の難しさと言えるでしょう


複雑な世界で、我々がとるべきスタンスを示すならば、

「もう特定の犯人さがしはやめよう」

ということだと思います。

問題が起きる原因を分かりやすい犯人に求めることなく、その背後にある見えづらいシステム複雑な世界を見る努力をして、そこに向き合い続けるというスタンスを取るしかないということです。


複雑な世界を考える一歩目として、状況の分類を考えてみましょう。

発展的評価(DE)では、状況を次の3つに分類して紹介しています。

*状況の分類について、詳細はCynefinフレームワークというもので紹介されており、ここでは4〜5つに分類されています。興味のある方は、参考にしてください。


@単純(simple)な状況とは、物事の因果関係などの仮説が立てやすく、レシピがあればものごとが簡単に再現できる世界です。お菓子や料理や簡単なおもちゃなど、きちんとしたレシピやマニュアルがあれば誰でも精度高く再現できるような世界です。


A煩雑(complicated)な状況とは、難度が高いが、次で紹介する複雑性が低いという状況です。例えば、時計や自動車、ロケットなどの機械を思い浮かべてください。これらはパーツ(要素)に分解して分析することで構造が明らかになりますし、一度分解しても詳細なマニュアルがあれば再び組み立てることができます。故障したら分解して、その原因を突き止めることもできるでしょう。煩雑な状況には、厳密な方程式やしっかりとした計画、すなわちロジックがあれば、対応することができます。目標を立てて、現実とのギャップを捉えて目標達成までのタスクを細分化して計画を立てるプロジェクトマネジメントは、この煩雑な状況への対応の一例といえるでしょう。


一方で、実際の世界、みなさんの身の回りに起こっている様々な現象やニュースなどで流れる社会的な問題はどうでしょうか?上記の@やAとは異なるのではありませんか?


みなさんの頭の中に思い浮かんだものは、B複雑(complex)な状況かもしれません。

DEでは、この複雑な状況を前提としています。この世界はあまりに多くの要因が複雑に絡み合っているので、解きほぐすことが困難です。ここでは物事が複雑に絡み合うことで生まれる相互作用(こっちのボタンを押すと、あっちのボタンが出てくる)、時間的な変化(短期的に良くなったと思っても中長期的に悪化する)などがあります。


複雑な状況では、容易に解決できるものではなく、例えある方法で一度うまくいったからといって、次に同じ方法が通じるかわかりません。よく子育てが例に挙げられますが、この世界に成功のためのレシピはありません。子どもは唯一無二の存在ですし、その子の性格や置かれた環境は違います。それなのに無理矢理枠に当てはめようとしたら、グレてしまいますよね。

図1.png
▲状況の分類(CSOネットワークの伴走評価エキスパート育成研修資料より)▲

この複雑な状況について、もう少し理解を深めるために、象徴的なイラストを2枚紹介しますね。


1枚目は、このイラスト。

おじさんが自分の横にある壁を「邪魔だ」といって倒しています。

この後、何が起きるか、お分かりですよね。

このイラストが示唆することは、「今日の解決策が、明日の問題になる」ということ。

短期的な目線での行動が長期的な成果につながるとは限らない・・・という複雑な世界をよくあらわしていると思います。

図2.png

▲複雑な状況を表すイラスト@(CSOネットワークの伴走評価エキスパート育成研修資料より。元データは『システム思考をはじめてみよう』(英治出版、ドネラ・H・メドウズ ())の表紙から)▲

2枚目は、このイラスト。

DEの生みの親であるパットン氏の講義資料で、「群盲、象を撫でる」と、紹介されています。

これは「立場によって見えているものが違う」「部分からは、全体はわからない」ということを示唆しています。


他の例えとして、大きなルービックキューブのそれぞれの面に6人が向き合っている姿を考えてみてください。同じルービックキューブに向かって、それぞれが自分の目の前の一面だけあわせようとしているという滑稽な状況に陥ってしまっているかもしれません。


図3.png
▲複雑な状況を表すイラストA(CSOネットワークの伴走評価エキスパート育成研修資料より元データは、Michael Quinn Patton講義スライド)▲

最近 “VUCA(ブーカ)という言葉を耳にしたことがあるかもしれません。

これは、Volatility(変動性・不安定さ)、Uncertainty(不確実性・不確定さ)、Complexity(複雑性)、Ambiguity(曖昧性・不明確さ)という4つのキーワードの頭文字から取った言葉で、まさにこのような状況を表すものです。これは、個人レベル、組織レベル、社会レベルにおいても、まさに予測不能な状態をあらわしており、DE“VUCAな世界における評価という言い方もできるかもしれません。


@〜Bの世界をまとめると、次のように整理できます。

スクリーンショット 2018-12-03 13.18.33.png

常に変化する動的な世界、非線形なバックキャスティング的な思考が通じないこの複雑な現実世界で、事業者やコンソーシアム(事業者の集合体)はどう問題に立ち向かい、評価者はそれらの事業の価値をどう引き出していくのかが問われているのです。まさにDEは評価の文脈でここを追求していると言えるでしょう。


このような複雑な状況へのアプローチは、

状況を把握する →トライする →失敗して学習する →問題への理解が深まる →打ち手の精度が上がる →トライする ・・・ 

つまり、常に状況把握とそれにあわせた対応をおこなうこと、トライアル・アンド・エラーをしながら組織学習のスピードをあげること、これらのサイクルを早く回していくしかないと思います。これがフォアキャスティング的な思考と言えるでしょう。


詳細は別のブログに書きたいと思いますが、この複雑な状況の拠り所になるものが2つあります。それは航海する上での北極星となるサクセスイメージであり、事業者の行動基準の拠り所で一歩一歩を確実に踏み出すためのプリンシパルです。これらについては別の機会に紹介したいと思います。



複雑な世界を無理に単純化しようとせず、複雑さをそのまま受け入れて向き合っていく、複雑な世界で生きる事業者やDE実践者はこのような姿勢を求められているように思います。

現状をシステムで把握するシステムマップ [2018年10月18日(Thu)]

こんにちは。評価事業コーディネーターの千葉です。

今回はCSOネットワークがDE(発展的評価)の実践で用いている現状をシステムで捉える方法について紹介します。


DEでは、複雑な状況を捉えるために『システム理論』を用いることが推奨されています。DEの8原則の中に「複雑系の考え方」、「システム思考」の2つが入っていることからも、現状をシステムで捉えることに重きを置いていることがお分かりいただけると思います。

図4.png

▲複雑系理論とシステム理論(CSOネットワークの伴走評価エキスパート育成研修資料より)▲


評価のツールとしてロジックモデルがありますが、ロジックモデルで表現されるような単純な因果関係・単線的なモデルは、現実世界を正確に描写するものではありません。ロジックモデルを否定するわけではありませんが、ロジックモデルは現実のごく一部を切り取って表現したものであり、こればかりに頼ることは現実を見る阻害要因になりえるということは理解しておく必要があります。

図3.png

▲ロジックモデルの考え方(CSOネットワークの伴走評価エキスパート育成研修資料より)▲


『伴走評価エキスパート育成』研修では、DEを「実際にやる」出発点に立つため、現状をシステムで捉えることの一歩目として

A)複雑系理論・システム理論をいかにDEに応用できるか理解する

B)現状をシステムで捉えるツールを学ぶ

を行っています。


『システム理論』で良く出てくるものがシステムマップです。これはものごとをシステムとして捉えるための方法で、例えば以下のような種類があります。

1.現状を把握するためのシステムマップ

(1)ステークホールダーマップ(ステークホルダー間の関係図)

(2)因果ループ図(変数間の因果関係図)

(3)リッチピクチャー(要素の有機的なつながりのビジュアル化)

など。


2.目指す望ましい状態を確認するためのシステムマップ

(1)成功の姿のイメージング”What does success look like?”(団体や事業が目指す成功の姿をシステムとして描く)

(2)イノベーションマッピング(製品・サービスの成功要因の把握、イノベーション実現のための戦略的決定を促す)

など。

図2.png

▲システムマップの例「肥満に関係する要因(英国保健省)」(CSOネットワークの伴走評価エキスパート育成研修資料「評価の基礎概念とDE」(源由理子氏)より)▲


今回は多くの種類があるシステムマップの中で、「リッチピクチャー」について紹介します。この「リッチピクチャー」はかなり自由度が高く使えるツールで、「ステークホールダーマップ」と「因果ループ図」のいいとこ取りの合わせ技のようなイメージです。評価対象の団体や事業の内側・外側にどんな登場人物(団体、人物)がいて、どんなことが起きていて、それぞれの関係性がどのようになっているかを整理・可視化することができます。「現状の姿を描くときに使われる場合」と「未来の理想の姿を描くときに使われる場合」がありますが、通常は前者で使われることが多いです。


「リッチピクチャー」を描くための3ステップを紹介します。みんなで一枚の絵を描くことができるので、参加者に例を示しながら説明すると良いでしょう。
===

【ステップ1】登場人物(個人・組織など)や起こっている事柄の絵を描いてもらう

ステップ2その絵の関係性を矢印で示してもらい、矢印の説明の言葉をかいてもらう

ステップ3描いたものをみんなで話し合う。話し合った内容を記録する

===

「リッチピクチャー」のメリットは、

・誰でも参加できること(子供でも描けます)

・複雑な現状を簡単に、しかも関係者みんなでとらえやすくなること

・文字ではなく、「絵」や「アイコン」を使うことで右脳・左脳も活用できること

などがあります。

図1.png

▲リッチピクチャーの例(CSOネットワークの伴走評価エキスパート育成研修資料より)▲


ちなみにCSOネットワークのDE実践では、伴走先団体のスタッフが見えている現状を可視化するために、まずは「リッチピクチャー」を描いてもらい、そしてその「リッチピクチャー」をもとにインタビューをおこなうというやり方を試してみました。これをスタッフ間でオープンで行うことによって、「ああ、スタッフのAさんは団体を取り囲む環境について、こんな見方をしていたんだ」、「スタッフのBさんは団体のこういう価値を大切にしていたんだ」と、団体側も評価者も多くの気づきを得ることができました。


団体/事業を取り囲む現実が複雑なこと、様々なステークホルダーがいること、彼らの微妙な関係性など細かい点までわかった上で、その現実をそのまま受け入れて評価に臨む。


この姿勢をもつだけで、評価によって引き出される価値が変わるのかもしれません。


いかがでしたか?
システムマップ、ぜひ活用してみてください。



現実世界を『3つの質問』で捉えよう [2018年10月18日(Thu)]

こんにちは。評価事業コーディネーターの千葉です。

今回はCSOネットワークがDE(発展的評価)の実践で用いている『3つの質問』について紹介します。




DE提唱者であるマイケル・パットンは、この『3つの質問』について著書の中でほとんど述べていませんが、複雑で変化が激しい現実世界の状況変化を捉えるために、DEの概念に触れたジェイミー・ギャンブル(*1)が提唱したものです。




静的な世界、すなわちゴールポスト(評価目的)が動かない世界では、評価目的にあわせた設問や評価基準を設定して、そのデータをとることで評価が進みます。一方、DEが想定している動的な現実世界、すなわちゴールポストが動く(つまり評価目的が一律に定まらない)世界では、常に状況変化をウォッチして評価の姿勢を柔軟に変えていく必要があります。




このような動的な現実世界に対応するには、『3つの質問』が有効です。




具体的には、


What?(どうした?)


So What?(だから何?)


Now What?(それでどうする?)


の3つです。




これらの質問は


・常に「状況」を把握し続ける


・常にそれらの「状況」を読み解こうとする


・そして、常に「状況」に適応しようとする


ことを支援するものです。




これらの一連のプロセスについては、『DE実践者ガイド(マッコーネル財団)』(*2)に詳しく掲載されています。




DEでは、評価者がこの『3つの質問』を実践することで、評価対象の事業やそれを取り囲む状況の把握、そしてその状況に対応するための意識・姿勢を持つことが可能となります。




なぜ質問はこの3つなのでしょうか。


我々人間は通常、情報(データ)を自分の解釈を入れて取り入れ、判断する傾向があるからです。つまりWhatがあるときに、Whatで止まれずSo What まで一足飛びに行ってしまう傾向がある、ということです。それが、解釈そして解決を早める効果がある一方で、バイアスを助長する/叙述以上のことをしてしまうことにつながります。そして肝心の叙述がわからなくなる、というデータ収集にとっては致命的なことにつながってしまう可能性があるのです。




What(事実)とSo What(解釈)を分けて捉えることは、評価者のデータに対する姿勢を正すと同時に、評価に必要なデータを集める上でキモになります。




So Whatの過程では、自分が気づいていないことに気がつくチャンスがあります。集めたWhatを主観や経験値のフィルターを外した状態で読み解き、そこからありとあらゆる可能性を考えます。そして判断は行わない。それによって思考の枠組みから解放され、評価に必要な真実を浮かび上がらせるかもしれません。『3つの質問』をおこなうことによって、自分の思考の癖を把握でき、DE実践に必要なデータが得られるでしょう。

図2.png


▲3つの質問のイメージ(CSOネットワークの伴走評価エキスパート育成研修資料より)▲



そしてこの『3つの質問』を回し続けながら、評価者が伴走先団体(事業者)に対してリアルタイムのフィードバックをおこない、団体の学習や意思決定、そして発展の支援をおこないます。


図3.png

▲3つの質問のサイクルを回すイメージ(CSOネットワークの伴走評価エキスパート育成研修資料より)▲




この『3つの質問』を使うタイミングは、


a)評価のバウンダリー(領域)を定めるとき


b)評価のバウンダリーが定まって、そこで実際の評価に使うデータを溜めるとき


の2パターンがあるように思います。




a)は、ゴールポストが動く動的な世界においてゴールポストを捉えるために行うものです。DEが目指すソーシャルイノベーションの種がどこに落ちているか分からない状況の中で、その当たりをつけるための第1歩目として、まずは事実(What)を集めていくことが必要になります。


b)は、(a)で定めた評価バウンダリーの中で具体的にデータを集める際に使います。ここでは評価者だけでなく事業者もWhat(事実)を収集する仕組みをつくることが大切になると思います。『3つの質問』を回すことは、団体と評価者で集めたWhatを読み解いたり(So What)、次の動きを決める(Now What)ためのコミュニケーションにも使えるでしょう。(ただし一度評価のバウンダリーを定めたからといっても、必ずしもそれで固定される訳ではなく、バウンダリーの変更が必要となることもあるでしょう。そのため例え(b)の段階に進んでも、(a)を意識し続ける必要があるように思います)




a)でも(b)でも、「こんなにWhatばかりを集めてどうなるの?」という意見もあると思います。




“Connecting the dots”という言葉をご存知でしょうか。


Apple創業者のスティーブ・ジョブスのスピーチで有名になった言葉です。


一見すると何も関係ない様々な出来事(dots)が、振り返ってみるとあとから一本の線としてつながり、その時にこれまでのdotsの意味がはじめてわかるというものです。




DEにおけるWhatは、dotであり、Whatをたくさん集めていくとそれが一本の線としてつながる瞬間がくる、すなわちConnecting the dotsに通じることがあるように思います。DE実践において、静的な世界での評価で見逃していたWhatをいかに捉えるか、そしてそれをいかに読み解き伴走先団体の気づきや変容につなげるか、DE実践者の腕の見せどころなのかもしれません。




以上は、DEを試行錯誤しながら研修をつくり実践を行う研修事務局の現時点での見解です。正解はありませんし、評価を実践する読者の皆さまの中で、この『3つの質問』についてもっと良い意味づけや活用方法を見出していただければと思います。


ご参考までに、研修事務局で作成した『3つの質問シートの埋め方のヒント』を公開します。評価の実践の役に立てば幸いです。


(*1)Jamie Gamble (2008), A Developmental Evaluation Primer, The J.W. McConnell Family Foundation


(*2)DE 201: A Practitioner’s Guide to Developmental Evaluation (McConnell Family Foundation) https://mcconnellfoundation.ca/report/de-201-a-practitioners-guide-to-developmental-evaluation/   



図1.png
発展的評価について考える(その4〜ポスト・ノーマル時代の評価?) [2018年10月06日(Sat)]
CSOネットワーク   今田 克司 

 2018年10月3日から5日、ギリシャのテッサロニキで開かれているヨーロッパ評価学会(EES: European Evaluation Society)の2年に1度の大会に来ています。500人ぐらいが参加していますが、日本から来る「もの好き」は私ぐらいで(最終日に明治大学の源さんが参加しましたが)、もの好きついでに、日本で発展的評価(DE)を学んでみたらこういう解釈になりましたという Prezi を使った発表をやってみました(文末のリンク参照)。


 今回の大会のテーマは、「よりレジリエントな社会のための評価」。このテーマで繰り返し出て来たキーワードに、次の2つがありました。



1.  「複雑」:世界も組織もより複雑になっており、それを意識した評価が必要になっている。

2.  「倫理」:評価者の責任は変化しつつあり、中立な立場から価値判断をするのが評価者という常識が通じなくなってきている。そこで考えないといけないのは、評価者としての倫理。

 そもそも日本でDEの研修事業を始める直前の昨年(2017年)7月、我らが師匠、マイケル・クイン・パットンのワシントンDCでのDE研修に参加して、ランチをともにしながら日本の研修の打合せをしました。日本のNPOやソーシャルセクターではまだまだ評価の経験値が少ないという話をしたら彼が次のように返答しました。「そうか、よかったじゃないか。評価の学びを外さなくてよいのだから。。。(Well, then, you don’t have to unlearn evaluation…)」。今回のEES大会で、このことばの意味が少しわかったタイミングがあったのでご紹介しましょう。


 基調講演者のひとり、トマス・シュワント氏(イリノイ大学名誉教授)の話。世はトランプ時代。事実の価値が軽んじられる、いわゆるポスト真実社会(Post-truth world)になったという言説は欧米ではよく聞かれます。そういう時代だからこそ、評価(事実特定と価値判断!)が果たせる役割を再認識しなければならないというところから氏の講演は始まりました。確かに、事実の価値を重んじる人々からすれば、とんでもない世界になったものです。評価者としては当然の観察ですよね。


 ところがそこから話は急展開し、「ポスト・ノーマル時代の評価」になりました。なんだそりゃ?


CIMG0034-2.jpg

↑基調講演で「ポスト・ノーマル時代の評価?」と問いかけるシュワント氏


「ポスト・ノーマル」の用語は、「ポスト・ノーマル科学」から来るものです。彼の主張をかいつまんで言えば、こんな感じになるでしょうか。

そもそも評価とは合理的思考を信じている/合理的思考では、評価者が独立した立場を維持し、精緻な方法で、エビデンスの力を信じて行動すれば、正しい価値判断ができると考える/正しい価値判断を繰り返すことによって社会は進歩していく/評価専門家はこの意味で社会の進歩に貢献することができる。

 これが「ノーマル時代の評価」だとすれば、いつのまにか時代は移ってしまっているのでは?というのが彼の問いかけです。そして、もしそうだとすれば、評価者の仕事とは一体なんなのか?


 簡単に答えが見つかるわけではない、と前置きしたうえで、シュワント氏は評価専門家が考えるべきいくつかの糸口を提供しました。例えば、「ポスト・ノーマル時代」においては、


  • イノベーションは、技術が生むものから別物に変容する。
  • ガバナンスは、「AからBへモノ(政策、制度、仕組み、事業)を届ける」モードから「関係性により構築する」モードへ変化する。
  • 政治は、代表制から人々のもとへ帰る。
  • 生産の価値は「ともに行うこと」に宿る。
  • 知識の創造の中心には倫理が据えられる。
そして、
  • 評価者は、中立な観察者からファリシテーターになる。

 「さて、いかがかな?」とシュワント氏。会場では質疑応答が始まりました。そこで私が思い出したのが、マイケルの、Well, then, you don’t have to unlearn evaluation… のことば。まさに彼が実用重視の評価を実践しながら、たどり着いたひとつの答えとしてのDE。そして、その背景にあった時代の変化。つながりましたね。


この項つづく。 


DEやってみよう!(昨年のDE研修一期生の最終的なDEの理解の発表をもとに、CSOネットワークとしてまとめたもの)」は、こちら↓

http://prezi.com/my8gkimhpcch/?utm_campaign=share&utm_medium=copy&rc=ex0share




同じものの英語版(EES大会で発表したもの)はこちら↓

http://prezi.com/eqbamsx8h-77/?utm_campaign=share&utm_medium=copy&rc=ex0share



発展的評価について考える(その3〜バックキャスティングとフォアキャスティング) [2018年08月20日(Mon)]
CSOネットワーク   今田 克司

 バックキャスティングが流行っています。訳せば「未来からの逆算」でしょうか。SDGs(持続可能な開発目標)関連では、「アウトサイド・イン」という用語もだいたい同じ意味で使われているようです。要するに、まず目標を定め、そこから「どうすれば(どうなれば)そうなるか」という論理をつなぐ思考実験を繰り返すことによって、直近のアクションを定めることができるという計画・作戦の立て方です。


 ロジック・モデルの説明の際にも、私は「これはバックキャスティング思考です」と説明するようにしています。まず事業の上位目標・最終目標を確認する→そこに到達するための中間アウトカムをしっかり言語化する→中間アウトカムを達成するための初期アウトカムを設定する→初期アウトカムが実現するためのアウトプット(事業の直接の結果)を確認する。これをやると、「今なんでこの作業をやっているのか」という疑問が出た際に(よく出ます)、最終的な目標までのつながりが可視化されているので、「そうか、OK」となることができます、というわけです。もちろん、実際には、ロジック・モデルに描いたように単線的に物事は進みませんが、そこはロジック・モデルを推進する人々もよくわかっています(私の見たところ、これには「仮説検証」論と「作戦」論があります。それについては別の機会に)。


 「日本人は論理的思考が苦手で」などという言明がまことしやかに流通することもありますが、その真偽は別にして、ここでいう論理的思考というのはバックキャスティング思考を指していることも多いようです。SDGs2030年までの時限つき目標ですが、「そんなことできないよ」と考えられがちな高めの目標設定をし、バックキャスティング思考を行動原理にまで昇華させて推し進めれば長期目標を達成できる、という前向きな姿勢(これを「ムーンショット」と呼ぶ人もいます)が流行りの一因でしょうか。


 ところがDE(発展的評価)はちょっと違います。「バックキャスティング使えればよし、フォアキャスティング使えればよし」と、例によって「すべて文脈によりますよ」という姿勢です。バックキャスティングの反対のフォアキャスティング(訳せば「現在からの順算」でしょうか)で一番わかりやすのは天気予報(ウエザー・フォアキャスト)です。天気を2030年からバックキャストするのはちょっと難しいですね。。。


 DEでは、現代の世の中は天気の変化のように複雑で予測が難しいと考えます。バックキャスティング思考の効用を認めたうえで、それには限界があること、フォアキャスト的なやり方の価値を見直し、その方法を洗練させていくことに意義があることを説きます。そのやり方はいろいろあるのですが、まず大事になるのが、前回(その2)で書いた「評価的思考」に代表されるような、自分(評価者)の「思考の型」を取り外す心がけです。


 いよいよ今週(8/24-25)、発展的評価の2年目の研修が始まります。今年も16人の参加者を得て、一緒に楽しく学んでいきたいと思っています。「評価手法をしっかり学ぼう!」と考えて参加する人は、昨年と同様、最初は拍子抜けするかもしれません。DEは評価手法に行き着くまでに何度も立ち止まらなければならないので。そこで出るモヤモヤ感を大事にするのもDEの醍醐味です。


この項つづく。


DEの基礎については、こちら↓


DEやってみよう!(昨年のDE研修一期生の最終的なDEの理解の発表をもとに、CSOネットワークとしてまとめたもの)」は、こちら↓

https://prezi.com/kev4ofrn8zb8/de_ver10/?utm_campaign=share&utm_medium=copy



DEで大事なポイントはだいたいお釈迦様が教えてくれる [2018年05月21日(Mon)]

DEを学んでいく中で、その大事なポイントの解説を聞くと「仏教哲学的だなぁ」と感じることが多くあります。「だからなんなの?(SO WHAT?)」とDE的ツッコミを受けそうですが(笑)、自分の思考の整理のためにまとめてみたいと思います。


n   DEは「縁起(=関係性)」に着目する

「縁起」とは仏教では、「すべての存在は、原因(因)と条件(縁)によって、成立【結果(果)】する」という考え方です。DEでは、事業とその結果にとどまらず、事業者(内部環境)と外部環境、さらにはDE評価者としての自分と伴走先事業者など多様な「関係性(=縁起)」に着目していくアプローチといえます。


n   「縁起(=関係性)」は「重々無尽」と捉えるべし

 次に「重々無尽」とは仏教(華厳経)では、「あらゆる物事が相互に無限の関係もって互いに作用し合っていること」を意味します。つまり、DEで重要なのは、この「関係性(=縁起)」が1つ1つ独立した関係性として存在しているわけではなく「重々無尽」な「縁起」として存在していると捉えることが必要だと思います。複雑系理論やシステム思考と通じるところですね。


n   DE評価者は「融通無碍」であれ

「融通無碍」とは仏教(華厳経)では、「考え方や行動にとらわれるところがなく、自由であること」を意味します。複雑系理論を活用するDEにおいて、事象を非単線系の事象の連鎖として捉えたり、評価者の立ち位置を外部評価者、内部評価者のいずれにも状況に応じて置くことができる(時にはソーシャル・イノベーターを見守り育てる母親のような)「融通無碍」の在り方がDE評価者には求められると思います。


n   DE評価者は「直観力」を養うべし

「直観」とは仏教では、「物事を直接的かつ本質的に理解すること(直観智)」を意味し「分析的理解(分別智)」と区別しています。DEにおいては、もちろんあらゆるデータから分析的に事象を捉えることも重要ですが、それ以上に上記のような重々無尽な縁起を的確に捉え、即時にその中から本質的な価値を見出す「直観力」がより重要だと思います。また、DE評価者には、事業の現場や団体スタッフから得られるミクロなファクトと伴走先団体が向き合う社会課題や外部環境などのマクロなファクトを同時に直観していく「木も森も同時に見る」力が求められます。


以上、かなり強引ではありますが(笑)、DEで大事なポイントはだいたい2500年前からお釈迦様が教えてくれていんだね、というお話でした。DEDE評価者に関心のある方の何らか参考になれば幸いです。


作成:NPO法人日本ファンドレイジング協会 事務局長 鴨崎貴泰


DE(発展的評価)登山 [2018年04月13日(Fri)]

こんにちは。
評価士の三浦宏樹です。

発展的評価の提唱者であるマイケル・クイン・パットンは、ブランディン財団と共同で「アカウンタビリティ・マウンテン(Mountain of Accountability)」https://blandinfoundation.org/content/uploads/vy/Final_Mountain_6-5.pdfというレポートを発表しています。

この中でパットンは、アカウンタビリティ(説明責任)には3つの階層があると論じています。「経営プロセスの基本的アカウンタビリティ」「インパクトのアカウンタビリティ」「学習・発展・適応のアカウンタビリティ」の3層です。

1階層「経営プロセスの基本的アカウンタビリティ」で主に問われるのは、事業(プログラム)を計画・認可されたとおりに実施したかどうかという点です。ロジックモデルの言葉を用いれば、第1階層はインプット(投入)、アクティビティ(活動)、アウトプット(結果)に関わるアカウンタビリティといえます。コンプライアンス(法令遵守)の視点も、この階層に含まれます。第2階層「インパクトのアカウンタビリティ」では、プログラムのアウトカム(成果)やインパクト(効果)が満足すべき水準かどうかが主に問われます。世間でいう「アカウンタビリティ」は、この2つの階層で十分にカバーされるように感じます。

一方、パットンが提示する第3階層は「学習・発展・適応のアカウンタビリティ」と名づけられています。ここで彼は、伝統的な評価(第2階層に対応)がプログラムの漸進的改善や意思決定に重きを置くのに対して、発展的評価(第3階層に対応)は、組織全体のミッションを達成するための戦略の実施や改革を支援するとしています。第2階層までのアカウンタビリティが、組織が手がけるプログラムが現時点で成果を挙げているか否かを評価するのに対し、それだけでは、組織が中長期にわたり存続・発展し、自らのミッションを達成するのは覚束ないという認識が、おそらくそこにあるのだと思います。自らを取り巻く環境の絶え間ない変化に適応し、現場で得た経験を新たな戦略へと練り上げていくイノベーションのプロセスが求められるのでしょう。

でもこれってアカウンタビリティの一種なのでしょうか? 評価の目的としてよく挙げられる「アカウンタビリティ確保」と「学び・改善」でいえば、後者の方に含まれるのでは?

そうした点について自分なりに考察を深めるうえで、営利企業におけるアカウンタビリティを取りあげてみたいと思います。というのも、今日アカウンタビリティというと行政機関やNPOのそれを連想しがちですが、この言葉はもともとAccounting(会計)+Responsibility(責任)に由来し、会社が株主に対して経営状況を説明する義務を意味したからです。

会社が株主を満足させるうえで最重視されるのは、まず間違いなく「利益」でしょう。その利益を計算するために作成・公表されるのが損益計算書(Profit and LossP/L)です。ざっくりいえば、収入から費用を差っ引いて利益(または損失)を計算した書類です。NPOでもP/Lを作成しますが、会社と違ってNPOの場合は、利益を増やすことが目的ではありません。利益に代わって目的となるのが、アウトカムやインパクトです。その意味で、アカウンタビリティの第12階層は、営利企業でいえばP/Lに対応するといえるかもしれません。この部分の測定を特に重視したのが、社会的インパクト評価です。


しかし会社も、何もない真空から利益を稼ぎ出しているわけではありません。会社は、価値を生み出す源泉として工場・店舗・事務所などの資産を所有し、それらに要する資金を借入や株式、内部留保で調達しています。そうした資産と負債・資本の状況を示すのが、貸借対照表(Balance SheetB/S)です。会社の経営状況を説明するうえで、P/Lと並んで基本になる書類です(他にキャッシュフロー計算書がありますが、ここでは説明省略)。


とはいえ、企業による価値創出の源泉は、こうした有形の資産だけではありません。会社で働く社員の皆さんの力や、経営者の指導のもとで発揮される組織の総合力、研究開発などを通じて獲得した特許などの知的財産といった無形資産(インタンジブルズ)があってこそ、企業は利益を生み出すことができるのです。こうした無形資産はB/Sには載っていません。しかし、企業価値を正しく評価するうえでその重要性は増しており、企業会計の世界でもそれらを「見える化」しようという動きが進んでいるようです。有形・無形資産は、その会社が将来に創出する価値(利益)の源といえます。


ひるがえってNPOのことを考えてみましょう。NPOの中には事業用の施設や設備を抱えるところもあるでしょうが、多くのNPOでは、そこで働くスタッフと、経営者のマネジメントが財産のほぼ全てではないでしょうか。要するに、NPOがいかにして社会的価値を創出するかを理解するには、B/Sだけ見ていても無意味。NPOが将来、自らのミッションを達成できるかどうかを判断するには、NPOの経営者や職員の能力構築(キャパシティビルディング)や、受益者や協力者などの多様な利害関係者(ステークホルダー)間の関係構築、それらを総合した組織としての経営力を見ることが大切です。すなわち、第3階層のアカウンタビリティは、営利企業になぞらえればB/S(&無形資産)に対応するといえそうです。学習・発展・適応を通じてイノベーションを生むNPOの能力は、B/Sに計上できる有形資産と違ってお金に換算することは困難です。しかし、複雑で不安定な現代社会の中で、自らが掲げたビジョンを中長期的に実現していくうえでは欠かすことができません。こうした意味で、パットンのいう第3階層――「学習・発展・適応のアカウンタビリティ」は、すぐれて未来志向のアカウンタビリティと呼べるのではないでしょうか。


Mountain of Accountability.png


▲Mountain of Accountability レポート(Blandin Foundation)より
第3回定期研修開催しました! [2018年03月02日(Fri)]

こんにちは。

評価事業コーディネーターの千葉です。


2/14(水)〜16(金)に、『伴走評価エキスパート育成講座』最後の研修である第3回定期研修を開催しました。


最後の研修のテーマは、“おいしいカレーライスのレシピをつくろう!”でした。


16名の参加者の『伴走評価』の取り組みをケース・ストーリーとして発表いただき、うまくいった要因、うまくいかなかった要因などを抽出し、伴走評価の実践に必要なエッセンスを抽出してレシピにまとめます。


今回は、カレーライスのメタファーとして以下のように対応づけて参加者に提示しました。

@素材:伴走先団体の基本情報、評価対象となっている活動についての情報など。

A調理工程:評価設問および実際の評価調査で、何を具体的に行ったかを時系列に記述したもの。

Bできたカレーライス:評価結果のハイライト。

C美味しく調理するために活用した職人の技:伴走評価に活かした参加者のそれぞれのスキル・ノウハウ(暗黙知)など。

Dレシピの秘訣(スパイス?):参加者から、伴走評価やDEの経験からの学びと、今後DEを実践する人へのアドバイス。


初日は、アイスブレーカーで言葉のカードをめくりながら近況報告をおこなったあと、12月の集中研修の振り返りからスタート。少し時間が経っていますが、皆さん大事なことはしっかり覚えていました。

IMG_4082.JPG 


16名の参加者にケース・ストーリーを発表してもらい、グループディスカッションによりうまくいった要因、うまくいかなかった要因などを抽出し、レシピとして@〜Dをまとめていきます。


初日は参加者のポテンシャルを十分に引き出せたと言えずでしたが、翌日の朝どのように進めたらよいかを参加者と一緒に議論したことで、2日目からは議論がとても盛り上がりました。研修内容もまさに参加型でタイムリーに発展的に変えたことで、とても学びの多い時間となりました。

IMG_4171.JPG 

最終日は、御茶ノ水のソラシティカンファレンスセンターに会場を変えて、明治大学の教授で本事業の指南役でもある源先生にも加わっていただき、4グループがまとめたレシピを発表しました。

 IMG_4176.JPG

どのグループの発表も本当に素晴らしく、ノウハウがたくさん詰まっていました。1期生の皆さんにご協力いただいたおかげさまで、国内でDE・伴走評価を実践していく上での具体的なレシピがたくさん出てきました。この多すぎる学びをどうまとめ消化していくか、運営側も真剣に考えています。


そのほか、参加者によるマイストーリー(人生を語ってもらい、相互理解を深めつつ伴走評価の学びにも落とすセッション)やリフレッシュのためのクリエイティブな体操などもおこないました。

 IMG_4139.JPG

源先生には出来上がったレシピへのコメントの他、源先生のマイストーリーや評価者倫理についても語っていただき、あらためて評価者としてあるべき姿を考える機会もいただきました。

 IMG_4211.JPG

最後に参加者からの感想を一部紹介します。

16のケースからDEのエッセンスを抽出し、レシピにまとめたことでDEの世界観が実感につながった感じがしました。


★全員のケースワークを聞いて、同じDEを実践していても、16組の団体×伴走評価者の組み合わせが、すべて違う色を放っていたことが驚きとともに新鮮でした。誰かのノウハウが直ぐに自分の伴走評価に役立つというより、自分の伴走のやり方や考え方の癖や足りないところを知る機会となりました。


DEは、ソーシャルイノベーターとの共創。団体へのタイムリーなフィードバックは、評価者にもとても大切な気づきと成長の機会を与えてくれる。どちらかが一方的に与え、与えられるものではないことが実感として得られたことで、意識が変わりました。とにかくとっても気づきの多い3日間でした。

 IMG_4178.JPG

今年度の『伴走評価エキスパート育成講座』研修は、これで終わりになります。


次年度は、1期生の方々にも協力いただきながら、国内でDE・伴走評価が実践されるような環境づくりに取り組んでいきたいと思います。


次年度の動きもお楽しみに!!

| 次へ