• もっと見る

CSOネットワークのブログ

一般財団法人CSOネットワークのブログです。
一人一人の尊厳が保障される公正な社会の実現に向けて、
持続可能な社会づくりの担い手をセクターを越えてつなぎ、
人々の参加を促すことを目的に活動しています。
評価事業、SDGs関連事業などについての記事を書いていきます。


大いに共感できる集中講義に満足しました! [2017年12月27日(Wed)]
こんにちは。

(一社)参加型評価センターの田中博です。


私は評価の専門家として、参加型評価(Participatory Evaluation)を専門に活動しています。「伴走評価エキスパート」育成プログラムには、評価の専門性を高めるために、発展的評価(DE)に関心を持って参加しています。


IMG_0310.JPG


12月は10日に明治大学でDEをテーマにしたシンポジウムがあり、翌日から4日間の集中研修がありました。私は残念ながら緊急の仕事で最初の2日間は欠席したのですが、残りの3日間は出席し、充実した時間を持つことができました。なによりものこの3日間は、CSOネットワークさんがニュージーランドからDEの専門家として招へいした、ケイト・マッケグ氏の講義だったのでラッキーでした。


 IMG_0354.JPG


先住民族であるマオリの人々を対象とした教育プログラム(MPEI)のDE評価を事例に、質問に答える形で講義は始まり、DEの考え方や厳密さ(Rigour)、評価設問の設定など多彩な内容でした。


私が印象に残ったことは「DEも本質的にはしっかりした評価なのだ」という、いまさらながら失礼というか、あたりまえといえばあたりまえのことでした。これまでの研修で、DEは流動的な状況の中で、臨機応変に対応する性格であるとわかり、通常の評価と比べて、なんとなくルーズというか「特殊な評価」といったイメージを勝手に持っていました(ごめんなさい)。


IMG_3737.JPG


しかしケイトさんが強調したのは、例えば「評価の哲学者」ともいわれるスクリーヴェン先生が仰っている「The logic of evaluation」などを徹底することでした。要は評価を行う際に、何に価値を置くか、何を持って「成功」と見なすかをしっかりと明確にすることです。具体的には評価の設計を丁寧に行うことであり、あらゆる評価の基本になることです。特にDEは評価者が評価対象の人々と共にそれを、時間をかけて行う点に共感しました。


IMG_3800.JPG


また私はDEにおけるデータや判断の妥当性(validity)・信頼性(reliability)について質問しました。答えは「相互の権力関係を含めて、関係者分析をしっかりやることでバイアスを排除し、妥当性・信頼性を高める」というもので、参加型評価の考えに近いものでした。DEは評価の基本を踏まえた上で、それを柔軟に応用する「自由度の高い評価」であるというのが今の私のイメージです。


なお、ケイトさんはヨーロッパ系の方のようですが、マオリの方と仕事をしているためかマオリ文化にもお詳しいようで、その方面の話ももっと聞いてみたいと思いました。


IMG_3861.JPG


DEシンポジウム「ソーシャル・イノベーションを支える”評価”〜発展的評価(DE)の可能性〜」開催しました! [2017年12月26日(Tue)]


こんにちは。

CSOネットワーク主催『伴走評価エキスパート』育成事業事務局の松田(日本ファンドレイジング協会所属)です。


2017/12/10() に、明治大学駿河台キャンパス・グローバルフロント1階グローバルホールにて、明治大学ガバナンス研究科シンポジウム「ソーシャル・イノベーションを支える”評価”〜発展的評価(DE)の可能性〜」が開催されました。『伴走評価エキスパート』の育成研修はDEを用いて行っており、今回は日本で初のお披露目イベントでした。当日は、今回の研修参加者のほか、評価者や研究者、学生など、120名以上もの評価やソーシャル・イノベーションに関心ある方々に参加いただきました。


IMG_0170.JPG


第一部は、DE研修で既にビデオ通話での質問セッションをもったパットン氏による、基調講演から始まりました。DEが誕生した背景として、大きな変革をもたらすため、イノベーティブな取り組みを評価する必要性が生まれたことが挙げられ、DEの定義や特徴、8つのプリンシパルについて改めて確認することができました。また、DESDGsの関係についても講演では触れられました。国と国や、分野横断的な課題解決が求められている中、各課題をシステム論的に理解し、その複雑な状況の中で実施された事業を評価するときに、DEが有用であると述べられました。


patton.png


第二部では、集中研修の講師も務めていただくマッケグ氏により、DEの特徴とニュージーランドの事例の発表が、また源氏より、日本におけるDE的な事例の発表がありました。既に過去の研修でも一部触れられていた内容について、改めて本人から聞くことで内容の理解を深めることができました。また、経営学を専門とされる北大路氏より、経営学における「創発戦略」とDEの親和性について、話を伺うことができました。研修参加者から、「マネジメントとDEの違いは?」という質問が出ることもあり、その問いを整理するのに役立ったという声を聴くことができました。


IMG_0217.JPG


IMG_0221.JPG


また、評価を専門とする参加者が多く見受けられたため、質疑応答も評価に関する専門的な内容が多くみられ、普段の研修とはまた異なる視点を得ることのできるシンポジウムだったのではないかと思います。


参加者の感想のご紹介です。

「全体的に非常に示唆的な内容であった。さらなる内容習得や、実践事例を知るための方法を知りたいと感じた。(源先生のDE的手法とDEとの違いの有無など)」


「日常では、煩雑状況でのプロジェクト評価の機会が圧倒的に多いなか、今後複雑状況における評価も必要になってくると思われる。様々な機会を通じこうした評価についても学び試行していきたい。」


「海外からの識者と日本の研究者の議論を聞けてよかったです。DEのケース・スタディを1本なり2本を30分程度例示してもらえたらより理解が深まったと思う。」


このシンポジウムを皮切りに、4日間の集中研修がスタートしました。次のブログでは、参加者の田中さんより、この研修の様子をご紹介させていただきます!



松田典子

発展的評価について考える(その2〜評価的思考について思考する) [2017年12月09日(Sat)]

こんにちは。

CSOネットワークの今田です。


本ブログで、発展的評価について考えたいと思います。

その1は、こちらから↓

https://blog.canpan.info/csonj/archive/6



 「型」=「一連のやり方・手法」が評価の主旋律でないのだとしたら、評価の中核にはなにがあるのでしょう。「発展的評価(DE)では…」、と考える前に、その周辺を少しウロウロしてみたいと思います。


 評価が研究・実践の分野として発展していて、評価学会に7000人を超えるメンバーを擁する米国で、2000年を過ぎたあたりから、特に評価の能力強化を加速させる概念として注目されているものに、評価的思考(Evaluative Thinking)があります。評価能力を高めたければ評価的思考を高めることに尽力しましょう、というわけです。


 評価的思考とは、例えば、次のように定義されます(*1)。


評価的思考とは、好奇心に駆られ、エビデンスの価値を信じて、

1.     物事の想定事項を見える化し、

2.     思慮深い質問を投げかけ、

3.     内省や視点の選択を通じて物事の深い理解を追求し、

4.     状況をよく理解した上での決断を下し、行動を用意する

認知プロセスである。


 そんなに難しい定義ではないですね。学校教育などで言われる「批判的思考」に通じるものがあります。ではなぜこれが大事なのか?それは、評価的思考のクセを組織文化に取り入れた組織はぐんと伸びるということが言われるようになったからです。


 評価的思考のクセを取り入れた組織とは、例えば、オフィスを訪ねてみると、スタッフが互いにこんな質問を投げかけているような組織だといいます。


「どうしてそれが言えるの?」

「裏付けは?」

「そもそもの前提はそれでいいの?」

「ほかにどういう説明があり得る?」

「結論づける前に足りない情報は?」

「◯◯(ステークホルダーの種類)の視点が欠けてるんじゃない?」

等々。


 そう、上の定義では「エビデンスの価値を信じて」とありますが、このクセを持つことで、エビデンスを使って自分たちの思考形態を崩してみよう、ズラしてみよう、意思決定や行動をエビデンス・ベースで考えよう、という習慣につながるというわけです。評価の型や手法は、あくまでもこの過程をサポートする手段になるのです。


 評価的思考は、内部評価であれ外部評価であれ、良質の評価を繰り返し行うことによって育てられるといいます。また、それは自然に身に着くものではなく、意識してクセとして持つようにしないと身に着かないといいます。評価を「しなければいけないからする」態度では到底育つものではないといいます。(*3


 評価手法をよりよく使うために評価的思考を身に着けるのではなく、評価的思考を最大限活用できるように評価手法を使う。主客逆転。


この項つづく。


DEの基礎については、こちら↓

https://www.slideshare.net/CSONetworkJapan/ss-82079836


ba47ba84f5003d830581c9ba7f7b7486_s.jpg


参考資料

1. Tom Archibald and Jane Buckley, Promoting Evaluative Thinking: A Key Ingredient in Evaluation Capacity (2012)

http://www.eers.org/sites/default/files/Archibald_PromotingEvaluativeThinking.pdf


2. What is Evaluative Thinking?

http://www.evaluativethinkingcapacity.com/what-we-do/

より一部改編。


3. Embracing Evaluative Thinking for Better Outcomes: Four NGO Case Studies

https://www.interaction.org/sites/default/files/EvaluativeThinkingReport_FINAL_online.pdf


DEとの出逢い 〜“冒険”に憧れた、あの頃を思い出して [2017年12月06日(Wed)]

はじめまして!
『伴走評価エキスパート』育成講座 受講生の東樹(とうじゅ)と申します。


私は現在、藤沢市や神奈川県でNPOを応援するNPOに務める他、国際協力や里山保全、ソーシャルワーカー支援のNPOに関わっております。


さて、今回初めて「発展的評価(以下DE)」に触れ、「DEとは何か?」についてモヤモヤを抱えつつも、ワクワクしながら、この“冒険の世界”に参加させていただいています。


そんな“冒険”に憧れた少年時代。私は、『巌窟王 モンテ=クリスト伯』※1や『植村直己 地球冒険62万キロ』※2、『三銃士』※3をボロボロになるまで読み漁り、公園裏のがけで秘密基地をつくって友人たちと日が暮れるまで遊んでいました。

大人になってもその思いは変わらず、学生時代には、バックパッカーのマネゴトをして、インドへひとり旅したり、東南アジアや沖縄などへ。旅先で出会った兄貴分に、「これがオレのバイブルだ」、と教えてもらった『路上』※4の世界に憧れるも、仕事に就くと時間的になかなか冒険へと一歩を踏み出す勇気を持てずにいました。

あれから10数年、今回、「DEとは何か?」を探ることは、自分の幼い頃に夢見た“冒険”の続きなのかもしれません!


まっすぐ天に向かって伸びる竹は、強風に煽られても、そうそう折れない、「しなやかさ」を兼ね備えています。DEもそれと同じで、組織を動かす人や社会情勢の変化に伴う、組織の有り様に柔軟に対応できることが大きな特徴ではないか、と感じています。


 いま全国から集った15名の仲間や事務局の皆さんと共に、切磋琢磨しながら、この研修に取組んでいます。私は、僭越ながら、今後、DEの日本スタイルを確立させていく、その一員になれたらと密かに思っています(笑)。そのためにも、伴走先の団体の方々や共に学ぶ仲間、事務局の皆さんといっしょに、さらなる“冒険の旅”へと歩みを進めて行きたいと思います!

DEにご関心のある方はぜひ、1210日のシンポジウムに足を運んでみてはいかがでしょうか?


▼発展的評価(DE)のシンポジウム▼

https://www.csonj.org/news_de20171210.html


東樹康雅


IMG_3417.JPG


IMG_3069.JPG


出典:

※1.アレクサンドル=デュマ、矢野徹訳、講談社青い鳥文庫、19914

※2.岡本文良作、金の星社、19912

※3.アレクサンドル・デュマ作、吉田加南子文、ポプラ社、19903

※4.ジャック・ケルアック著、福田実訳、河出書房新社、2002年7月


発展的評価について考える(その1〜「型」を求めるのか、それとも…) [2017年12月04日(Mon)]
こんにちは。
CSOネットワークの今田です。

本ブログで、発展的評価について考えたいと思います。

物事には「型」というものがあります。

私の母は茶道を教えますが、茶道は最初から「型」の連続です。
客人として座ってみると、目の前を亭主が何度も通り過ぎ、道具を運び、お茶を点てます。

その動作には、道具の持ち手でない方の手の位置、足の運び、目線にいたるまで、ひとつひとつ決まりがあります。細部に至るまで間違えれば直されます。そういった点前の動作からは、初心者であればぎこちなさや固さが伝わってくるし、熟達した茶人からは荘厳な雰囲気が醸し出されます。

565d5e5aae02a90fa532f521ccfb14b7_m.jpg

もしかしたら評価も似たようなものかもしれません。

「型」があります。
プログラム(事業)評価は、例えば、『事業の活動、特徴、アウトカムの情報を体系的に収集し、プログラムについて何らかの価値判断を行い、プログラムの効果の改善や将来のプログラムについての決定を行うことである』と定義されますが(Patton, 1997)、データの体系的な収集や分析を行うにはさまざまな手法があります。「やり方」があります。「型」があります。

そして、最近わかってきたのが、どうやら、世の中では、一連のやり方・手法が評価の主旋律であると理解されているようだということです。

発展的評価(Developmental Evaluation: DE)に注目して、研修プログラムを作りました。

研修プログラムはこちら↓
https://www.csonj.org/activity2/human-resource

私たち運営側(そしてもしかしたら参加者側)にわかってきたのは、評価という営みを伝達することの難しさです。それは、評価=「一連のやり方・手法」という理解がドミナントな中で(参加者に限らず、参加者が伴走する団体、その向こうに広がる社会全般)、いかにDEの考え方・アプローチの革新性を中心に据えるか、そしてそれを共有するか、その難しさです。

まず「型」から入る。
いわば守破離ですが、DEでは、「型なんて気にしなくていいんだよ。それよりね…」と語りかけます。でもそれって、評価を学ぼうと意気込んで来た人にとっては、「えっ?」なのですね。主旋律がない??

この項つづく。

DEの基礎については、こちら↓
https://www.slideshare.net/CSONetworkJapan/ss-82079836

CSOネットワーク   今田 克司

参考資料:
Patton, M. Q., 1997, Utilization-Focused Evaluation: The New Century Text, 3rd Edition, Sage Publications(マイケル・クイン・パットン『実用重視の事業評価入門』大森弥監修 山本泰・長尾眞文編集、清水弘文堂書店、2001)