CSOネットワークのブログ

こんにちは。

評価事業コーディネーターの千葉です。

2017年7月に行ったカナダでの現地視察レポートの後編です。

前編はこちらをご覧ください。

https://blog.canpan.info/csonj/archive/16

２）GAFF

GAは、複数の「食」をテーマに活動する財団により結成されたアライアンス（）です。４年前に結成されて、現在は約25の財団が加盟しているそうです。

パットン氏が評価アドバイザーとして関わっていたことから紹介いただき、GAFFの評価者である事務局長のRuth氏と、DE外部評価者のPablo氏にインタビューをさせてもらいました。

DEを取り入れた背景は、食のシステムという分野の複雑性、異なる関心分野・人柄が新たに集まったネットワークという複雑性等から、評価手法はDEが最適と判断したとのことでした。

●ストラテジーをもとに、「12ヶ月の優先取り組み課題」を策定

●行動指針としてのプリンシプルがあり

●行動記録としてのロードマップをつけている

ということです。

詳細は省きますが、複雑な状況にある組織運営の方法として、とても興味深かったです。

３）J.W.McConnell Foundation（マッコーネル財団）

トロントから、早朝の便でモントリオールに飛び、マッコーネル財団に訪問しました。この財団は、DEのイロハをガイドブックにまとめ、発行しています。

対応いただいたBeth氏とJohn氏に、DEの価値について熱く語ってもらい、お土産にガイドブックをもらいました。

このガイドブックは、WEBでも見ることができます。

A Developmental Evaluation Primer（The J.W. McConnell Family Foundation）

http://communitysector.nl.ca/sites/default/files/practical_resources/2011/a_developmental_evaluation_primer_-_en.pdf

A Practitioner’s Guide to Developmental Evaluation（The J.W. McConnell Family Foundation）

http://vibrantcanada.ca/files/development_evaluation_201_en.pdf

４）オタワ大学

オタワ大学のBrad教授とは、今田がAMAの大会の分科会で彼のクラスを受講したことがきっかけで知り合ったそうです。

モントリオールから電車でオタワに移動しました。大草原の中を電車で走って気持ちよかったです。Brad教授には駅まで車で迎えにきていただき、オタワ大学で彼の研究室の研究者たちと、DEからソーシャル・イノベーションまで、幅広く意見交換しました。

帰りには、ドライブ、食事と、とても歓待いただきました。

▲Brad教授に川辺のレストラン美味しい食事をご馳走いただきました▲

以上、簡単ですが、カナダ現地視察の報告でした。

ここでの学びを、日本の研修に活かしていきます。

最後まで読んでいただき、ありがとうございました。

評価事業コーディネーターの千葉です。

今回のブログでは、2017年7月に行ったカナダでの現地視察、ヒアリングの様子をレポートします。CSOネットワークからは、代表の今田、研修担当の白石、コーディネーターの千葉が訪問しました。

１）Ontario Ministry of Education（オンタリオ州教育省）

２）Global Alliance for the Future of Food（GAFF）

３）J.W.McConnell Foundation（マッコーネル財団）

４）University of Ottawa（オタワ大学） 

の４件を訪問し、お話を伺いました。

１）Ontario Ministry of Education（オンタリオ州教育省）

カナダ在住の日本人評価者のKeikoさんにコーディネートいただき、彼女が評価者として仕事をしているオンタリオ州教育省に訪問しました。午前中は評価チームの１０数名と面会、午後はKeikoさんが評価で関わっているオンタリオ州北部にある学校の副校長Jennifer McMasterさん（正確には、Keewatin-Patricia 学校区、Queen Elizabeth 高等学校副校長）と面会をおこないました。

オンタリオ州は広くて、特に北部は先住民の割合が多く、主たる産業がないそうです。そのため失業率が高く、公教育の質（生徒のスコアや進学率・退学率）に課題を抱えていたそうです。しかし現在は教育省としてDEを取り入れて適切な改善活動をおこなったことにより、教育の質があがり生徒の成績も向上したとのこと。そのため、海外からの視察が多く、年間１００近くを受け入れているとのことでした。

特に印象的だったのが、データを活用する体制です。生徒の成績のみならず、子供を見守る大人の数（Caring adult）などのデータまで集めていて、それを分析する仕組みができていました。子どもたち一人ひとりのカルテができており、評価者たちはこれを教師と見ながら何が必要か指南できる環境がある、ということでした。

Jenniferさんが評価者のKeikoさんのことを次のように話していました。

「Keikoは私たちにとって、メンターでありお母さん。タスク・セラピストであり、状況分析官。長けた質問者。決して『こうしろ』とは言わないし、批判しない。常にやさしく、厳しい」

「Keikoとの会話には常に目的があり、問題の解決策を出すこと、行動アイテムをしっかり決めることなど、いつもメリハリが効いている」

「日常的に大変なことがいろいろあって、なかなか全体像が見えない。そんなとき、Keikoが来てくれて、物事を整理してくれる」

ここに、評価者としてのあるべき姿が凝縮されている気がします。

この日の夜はKeikoさんの自宅でホームパーティに招かれ、彼女やJenniferさんのつながりで学校関係者も多く集まりワイワイと時間を過ごしました。

▲Keikoさん（左）とJenniferさん（右）▲

▲教育省でのラウンドテーブルの様子▲

今回のブログでは、アメリカのワシントンDCでの現地視察、ヒアリングの様子をレポートします。CSOネットワークからは、代表の今田、研修担当の白石、コーディネーターの千葉が訪問しました。

ワシントンDCでは二人の方とお会いできました。

1人目は、Ann Doucette（アン・ドゥシェット）さんで、彼女自身DE評価者として活躍されている方です。 

２人目は、Jacqueline Greene（ジャクライン・グリーン）さんで、USAID（アメリカ合衆国国際開発庁、United States Agency for International Development）の職員の方です。

Ann Doucette（アン・ドゥシェット）さん

今田とAMA（アメリカ評価学会）の大会で知り合ったことがきっかけで、今回話を聞かせてもらいことになりました。

Ann氏は、以前TEIディレクターをしており、現在は世銀における新しい評価の仕組みを構築されているとのことです。

実際に現場でDEを適用した経験が豊富です。2011年から、世界各国の多分野21プロジェクトでDEを適用したりと豊富な評価経験をお持ちで、DEについてもわかりやすい例えを用いながら教えてくれました。（幸福度の評価もおこなったということでした）

Jacqueline Greene（ジャクライン・グリーン）さん

TEIでのパットン氏によるDE研修でご一緒したJacqueline氏が所属する組織USAIDでのDEを適用しているということで、ご縁を活かしてヒアリングさせてもらいました。

USAID（アメリカ合衆国国際開発庁、United States Agency for International Development）は、1961年に設置されたアメリカ合衆国のほぼすべての非軍事の海外援助を行う政府組織です。ホームページによると、より良い生活をたてるためにもがいたり、災害からの復興、自由で民主的な国で生活できるように努力するなどの海外の人々へ援助の手を広げているそうです。

USAIDでは、Complex（複雑）な状況で、ロジックモデルやロードフレームを使うことの限界を感じており、パットン氏をアドバイザーとして招き入れてDEを取り入れている最中ということでした。アカウンタビリティの確保や具体的な困難について、現場の声を聞かせてもらいました。USAIDにおいても組織的にDEの考え方を取り込みたいと考える方々は多いようでした。

参考情報：Program Cycle Operational Policy
https://www.usaid.gov/ads/policy/200/201

白石さんからは、

世銀やUSAIDのように世界中で様々なプロジェクトを実施する組織においては、プロジェクトの運営における不確実性の認識や、生成的・発展的な取り組みの必要性・重要性を理解しており、DEの考え方がとても良くマッチする印象を持ちました。

と、振り返りのコメントをいただきました。

私のスーツケースの半分は、このようなシーンで使う訪問先団体へのお土産で埋まっていて大変でしたが、このようにDEについて、具体的な事例を交えながらパットン氏以外の人からとても分かりやすく解説してもらったおかげで、理解が深まったような気がします。

以上、簡単ですが、ワシントンDCでのヒアリング報告でした。

最後まで読んでいただき、ありがとうございました。

こんにちは。

評価事業コーディネーターの千葉です。

2017年7月、『伴走評価エキスパート』育成事業の事業に携わってから３ヶ月というタイミングで、発展的評価（Developmental Evaluation：DE）が多く実践されているアメリカとカナダに、研修受講と現地視察で訪問してきました。

CSOネットワークからは、代表の今田、研修担当の白石、千葉が、そして後にチームに加わる評価アドバイザーの中谷も参加しました。

7月19日（水）、20日（木）、晴天のワシントンDCの中心街から電車で約30分、郊外のホテルが研修会場でした。主催はTEI（The Evaluators' Institute）、講師は、もちろんDEの唱者であるマイケル・クィン・パットン氏。

事前に講義資料が送られてきていたので、なんとなく資料と著書に目を通し、英語があまりできない私は不安半分・期待半分で会場入りしました。

パットン氏は、事業評価コンサルタントとして50年以上のキャリアがあり、様々な国や機関で仕事をされてきたそうです。1985年に、『実用重視の評価（Utilization-Focused Evaluation）』を出版し、その流れを受けて、2011年に『発展的評価（Developmental Evaluation）』を発表しています。現在は全米評価学会の大会で多くのセッションがDEに関するものになっていたりと、研究・実践ともに積み上がっておりスタンダードになっているようです。パットン氏は、とても熱心な研究者という雰囲気でした。

会場に入ると、（当たり前ですが）様々な人種の方おり、３０名ほどの受講者がいました。大小様々な非営利組織で評価を行なっている人、学校関係者などもいました。グループに分かれて、講義＋グループディスカッションの形で進みました。研修の内容は、DEの目的や原則の他に、複雑系の理論の話などもありました。

『情熱的なキスを取り巻くシステムは？』

これには、会場から笑いが起こり、議論が白熱しました。パットン氏曰く、マッケグ氏（当法人研修の指南役の一人）の考案とのこと。

▲研修は２日間とも、パットン氏とランチ▲

この時研修を受けて、当時私の頭に引っかかったことをそのまま列挙すると、以下のような感じです。

・DEが出てきた背景として、既存の評価の限界、複雑な現実の世界・課題への対応という問題意識がある

・DEは、明確な進め方や『型』があるわけではない。決められたトレーニングの方法もない。評価の『手法』というよりは、評価をおこなう際の『思想』や『評価者としての在り方』、『評価活動や伴走の仕方』という意味合いが強い

・DEは個別性が非常に高い。評価先団体の状態や、評価者に大きく左右される。属人的なので、日本で普及していくには良い人材の輩出（ロールモデル）と、事例蓄積が必要

・今回の研修は評価の知識と経験があることが前提のようだが、いわゆる『評価手法』の話は全くなかった。伝統的な評価者は、アン・ラーリング（学習棄却）の必要があり、習得が大変という話があった

▲研修では、DEに関するモヤモヤ・疑問を記載▲

評価者として実務を経験してきた中谷さんは、パットン氏のDE研修を受けて、こう総括しています。

“16年前カナダで開催されたパットン先生の研修をきっかけに評価の世界に飛び込みました。長いレポートばかりで誰も読まない・使わない「評価」のイメージを、生き生きとした現場で「使える」ものとして紹介された時、自分の前に新たな道が開けたと実感しました。その後現場で評価の経験を積み多くの壁にぶちあたることもありましたが、今回のDEの研修を受け、これらの壁を軽やかに回避できる「思考の自由」と新たな冒険への「ワクワク感」を得ることができました！”

以上、簡単ですが、ワシントンDCでのDE研修の報告でした。

ここでの学びを、日本の『伴走評価エキスパート』研修に活かしていきます。

最後まで読んでいただき、ありがとうございました。

(一社)参加型評価センターの田中博です。

私は評価の専門家として、参加型評価（Participatory Evaluation）を専門に活動しています。「伴走評価エキスパート」育成プログラムには、評価の専門性を高めるために、発展的評価（DE）に関心を持って参加しています。

12月は10日に明治大学でDEをテーマにしたシンポジウムがあり、翌日から4日間の集中研修がありました。私は残念ながら緊急の仕事で最初の2日間は欠席したのですが、残りの3日間は出席し、充実した時間を持つことができました。なによりものこの3日間は、CSOネットワークさんがニュージーランドからDEの専門家として招へいした、ケイト・マッケグ氏の講義だったのでラッキーでした。

先住民族であるマオリの人々を対象とした教育プログラム（MPEI）のDE評価を事例に、質問に答える形で講義は始まり、DEの考え方や厳密さ（Rigour）、評価設問の設定など多彩な内容でした。

私が印象に残ったことは「DEも本質的にはしっかりした評価なのだ」という、いまさらながら失礼というか、あたりまえといえばあたりまえのことでした。これまでの研修で、DEは流動的な状況の中で、臨機応変に対応する性格であるとわかり、通常の評価と比べて、なんとなくルーズというか「特殊な評価」といったイメージを勝手に持っていました（ごめんなさい）。

しかしケイトさんが強調したのは、例えば「評価の哲学者」ともいわれるスクリーヴェン先生が仰っている「The logic of evaluation」などを徹底することでした。要は評価を行う際に、何に価値を置くか、何を持って「成功」と見なすかをしっかりと明確にすることです。具体的には評価の設計を丁寧に行うことであり、あらゆる評価の基本になることです。特にDEは評価者が評価対象の人々と共にそれを、時間をかけて行う点に共感しました。

また私はDEにおけるデータや判断の妥当性（validity）・信頼性（reliability）について質問しました。答えは「相互の権力関係を含めて、関係者分析をしっかりやることでバイアスを排除し、妥当性・信頼性を高める」というもので、参加型評価の考えに近いものでした。DEは評価の基本を踏まえた上で、それを柔軟に応用する「自由度の高い評価」であるというのが今の私のイメージです。

なお、ケイトさんはヨーロッパ系の方のようですが、マオリの方と仕事をしているためかマオリ文化にもお詳しいようで、その方面の話ももっと聞いてみたいと思いました。

こんにちは。

CSOネットワーク主催『伴走評価エキスパート』育成事業事務局の松田（日本ファンドレイジング協会所属）です。

2017/12/10(日) に、明治大学駿河台キャンパス・グローバルフロント1階グローバルホールにて、明治大学ガバナンス研究科シンポジウム「ソーシャル・イノベーションを支える”評価”〜発展的評価（DE）の可能性〜」が開催されました。『伴走評価エキスパート』の育成研修はDEを用いて行っており、今回は日本で初のお披露目イベントでした。当日は、今回の研修参加者のほか、評価者や研究者、学生など、１２０名以上もの評価やソーシャル・イノベーションに関心ある方々に参加いただきました。

第一部は、DE研修で既にビデオ通話での質問セッションをもったパットン氏による、基調講演から始まりました。DEが誕生した背景として、大きな変革をもたらすため、イノベーティブな取り組みを評価する必要性が生まれたことが挙げられ、DEの定義や特徴、８つのプリンシパルについて改めて確認することができました。また、DEとSDGsの関係についても講演では触れられました。国と国や、分野横断的な課題解決が求められている中、各課題をシステム論的に理解し、その複雑な状況の中で実施された事業を評価するときに、DEが有用であると述べられました。

第二部では、集中研修の講師も務めていただくマッケグ氏により、DEの特徴とニュージーランドの事例の発表が、また源氏より、日本におけるDE的な事例の発表がありました。既に過去の研修でも一部触れられていた内容について、改めて本人から聞くことで内容の理解を深めることができました。また、経営学を専門とされる北大路氏より、経営学における「創発戦略」とDEの親和性について、話を伺うことができました。研修参加者から、「マネジメントとDEの違いは？」という質問が出ることもあり、その問いを整理するのに役立ったという声を聴くことができました。

また、評価を専門とする参加者が多く見受けられたため、質疑応答も評価に関する専門的な内容が多くみられ、普段の研修とはまた異なる視点を得ることのできるシンポジウムだったのではないかと思います。

参加者の感想のご紹介です。

「全体的に非常に示唆的な内容であった。さらなる内容習得や、実践事例を知るための方法を知りたいと感じた。（源先生のDE的手法とDEとの違いの有無など）」

「日常では、煩雑状況でのプロジェクト評価の機会が圧倒的に多いなか、今後複雑状況における評価も必要になってくると思われる。様々な機会を通じこうした評価についても学び試行していきたい。」

「海外からの識者と日本の研究者の議論を聞けてよかったです。DEのケース・スタディを１本なり２本を３０分程度例示してもらえたらより理解が深まったと思う。」

このシンポジウムを皮切りに、4日間の集中研修がスタートしました。次のブログでは、参加者の田中さんより、この研修の様子をご紹介させていただきます！