禾平台|什么是重要的?社区公益行动观测与评估探索
各位伙伴:
在过去几个月,社区基金会的诸多伙伴向我们提出一些问题,例如,是否有社区公益评估的成功案例?社区公益项目的评估需要注意什么等……从禾平台的视角看,评估相关问题一直是社区公益实践中待重新反思和探索的课题,但就问题答案而言,我们不认为有一套放之四海而皆准的解法可在我们开展该项工作的时候直接使用。为更好地与各位伙伴探讨该话题,我们分享一篇题为“Measuring What Matters”(笔者译:衡量“真正的重要”)的研究(以下简称“研究”)。严格意义上来说,这篇研究是一个针对评估问题讨论过程的概述,笔者将这些讨论中的关键观点进行了翻译和总结,分享给对此带有困惑和探索意向的伙伴,希望能够启发如何理解社区行动评估的挑战以及如何找寻解法。
该研究由全球社区基金会基金(GFCF)、Candid(美国一个公益慈善信息平台)、以及社会正义与和平慈善事业(PSJP)联合发起,在过去的两年里,来自世界各地社区公益领域的130人参与到研究中,他们以在线或面对面的方式进行了针对社区公益评估话题相关的一系列平行或交叉的对话。这些对话直面社区公益实践中的问题和挑战,探索未来有可能涉足的方向,并提出了一些行动方法论予以讨论及实践参考,从某种程度上,这份研究也赋予了社区公益行动评估这个“悬而未决”的“旧问题”以“新血液”。
社区公益行动评估问题“何来”
正如研究所提及,关于社区公益行动的评估问题已不是“新鲜”话题,早在二十世纪60年代,美国学者Peter Marris 与Martin Rein 便已在其作品:Dilemmas of Social Reform: Poverty and Community Action in the United States(社会改革的困境:美国的贫困与社区行动)中提到社区行动评估存在的问题及挑战,以及所谓科学的评价手段往往很难捕捉到社区行动中的一些重要内容。
因涉及到“受捐”或是“资助”相关语言设定的影响,社区公益似乎一直承载着“自上而下”的“资金给与”的事实,关系不对等问题是行动价值难以得到较为准确衡量的最主要原因之一。一线社区工作者们常觉得自己对“到底什么是重要的”这个问题的看法和对重要事情的感受与资助者想听到的之间存在着差异,因此,诸如“‘自上而下’和‘自下而上’之间的桥梁在哪里?” “如何在评估中展示希望、参与感、复原力、尊严和信任?” “这样的现状会迎来改变吗?”等问题则不断涌现。
长期以来,社区公益行动者及相关学者不断在寻找一种可以逃离简单化、标准化的评估工作范式和解决方案,换句话说,其试图寻找一种非单线、非片面的、能观测和能充分反映社区公益行动价值的评估体系。尽管国外学者,如Robert Chambers、Rajesh Tandon、Madine Vanderplaat等,已在评估概念和工作流机制上做了诸多开创性的研究工作,但其研究结果始终未能被纳入反映真实社区公益行动影响力和价值的评估材料中,举个简单的例子,在实际评估工作中,“社区成员的尊严提升”似乎远不及“钻了几口井的数量”来得有力和有义。
近年来,社区公益相关领域学者和行动者多次将话题引向对“非盈利事业给出的‘答卷’难以令资方或利益相关者满意” “目前仍然没有找到能够客观衡量复杂、非线性社区行动的指标” “即使采纳了参与式方法论,也难以平衡上报材料和现实实践之间的权力差异”等相关问题的探讨。从某种程度上,这种探讨无疑是实践者们开始将这个“悬而未决”的问题从“抽屉里”取出,并“摆上桌面”的一次勇敢尝试。在“悬浮”时代的当下,直面问题、解剖问题、回答问题才是解决不安与焦虑的最有效途经,随时时间推移,这些问题有了也越来越多“被重提”和“被回答”的期待和必要。
社区公益行动评估问题“何在”
如果评估已不是一个“新鲜”话题,那么在多年的实践和发展中,到底是什么阻碍着评估问题的有效解决?换句话说,造成评估始终存在问题的“问题”究竟“何在”?
根据研究和现实实践观点,社区公益行动者们越来越认识到评估本身就是一种具有挑战的能力,社区公益往往缺乏资源(时间、员工、培训、方法论)等进行较为全面的评估,类似的问题有如应该优先考虑评估什么——一个项目的影响?一个组织的影响?还是一个网络或领域的影响?有时,可能有评估三个层面的愿望,但实践一个层面就已经颇具压力。
的确,从具体实践来看,评估受到诸多因素的影响,这些影响因素的存在从某种程度上也揭示了评估面临的挑战和问题所在,主要归为如下五个方面:
一是多元竞争世界观的挑战。
在分析现有的社会影响测量工具和方法时,学者们注意到了不同范式对评估结果的影响。在社会科学研究中,人们认为有四种可能的范式或哲学世界观会对评估过程产生影响,分别为实证主义观、变革观、解释主义观以及实用主义观。这些多元的、存在内部矛盾对立的世界观往往会影响评估者对测量工具的选择、使用和评估,从而导致因研究范式的不同产生不同的评估偏向和结果。
二是显隐性评估目的的挑战。
美国的精神科医生Brian L. Weiss提出,评估是为了公开或秘密的目的而进行的,表面上看,评估为帮助组织决策、促进组织学习、表现行为结果(主要指向利益相关者)提供指引。然而他也注意到,在某些情况下,进行评估似乎具有隐藏的原因,例如,一个组织可能想要通过评估推出某个决定或想要避免因决定而产生的失败或责任,那么干预过程和其中的变化就有可能受到掩盖,而评估报告只能反映出一个项目结束后的结果。
三是不同利益相关方的挑战。
丹麦哥本哈根大学政治科学系教授Peter Dahler-Larsen提到,评估是一种“意义构建”形式,换言之,评估过程中包含了一种界限,这个界限源自人们有限的知识和经验,用以决定哪些要素应当或不应当纳入评估的考量范围。此外,有关测量和问责的广泛文献表明,社区公益组织将越来越多的资源投入到理解并满足捐赠者和政府的需求上(即向上问责),而不是投入到服务个人和社区上(即向下问责),这种倾向揭示了评估过程中的权力动态、利益关系、以及评估焦点和结果的塑造。值得一提的是,当涉及性别、性取向、种族、民族、社会经济水平、种姓、宗教、国籍等方面的工作时,这些价值差异和权力动态则会得到进一步强调。例如,研究中提到南非一个较小、不太成熟的非营利组织的代表在访谈中提及,他们发现资助方提出的监测和评估要求对他们真正工作的造成了干扰,且令人困惑甚至具有破坏性,但他们不敢与资方分享这些担忧。
四是评估能力受制约的挑战。
一些研究者提出,在具体实践中,非营利组织在评估能力方面面临着多种挑战,例如时间不足、资金缺乏、收集、解释和分析数据的技能或知识不足、对评估的负面经历和态度等。这些阻碍都或多或少限制和影响了非营利组织收集和分析有意义指标的能力。一方面,资助方通常要求非盈利组织提交数据和报告,却很少提供关于需要收集什么数据或如何收集数据的指导;另一方面,受“科学原则”和“商业逻辑”影响,“极具冲击里的数据”和“对等或超额的投资回报比”看似客观,但当讨论社会影响力时,使用诸如“产出到成果”或“受控实验设计”等术语可能带来的是一种工厂流水线或实验室般的冰冷感,而涉及真实的“人”、“互动”、“反思”、“学习”和“行动影响”等内容则在不经意间被忽视。
五是评估的使用或误用的挑战。
评估的使用(误用)也是一个重要的挑战,其包括工具使用(评估结果被付诸行动)、概念使用(评估结果用于启发或可能使人们对问题的理解更加模糊)、象征性使用(评估被用来掩盖不作为或加强先前的信念或观点)等都是影响评估的过程和结果产生的重要因素。
社区公益行动评估问题“何解”
就评估问题“何解”的问题,研究给出了两个主要原则,即“内在和谐”(Inner Harmony)与“外部标准”(External Standard)。内在和谐的测量理念强调万物各得其所,须意识到事物内在的尺度将带来有序的行动以及和谐的生活。例如,黄金分割的发现和应用体现了内在和谐测量理念的核心,即通过理解事物间的比例和关系来达到和谐与平衡。
而随着时间的推移“内在和谐”的测量范式被一种新的测量范式所取代,即从外部对物质对象进行评估,例如,评估的逻辑模型往往是由识别、输入、过程、产出和结果等不同部分组成,这已体现了这种由内而外的观察视角的分离。一些学者将这种重点转移归因于评估过程变得日益例行化和习惯性的结果,以至于内在和谐的外在迹象被不断制定成衡量事物的关键指标,当这种过程被机械地应用时,往往会造成对一些重要要素的忽视。例如,在《纽约时报》的文章 “Redefining the meaning of no. 1”(“重新定义第一的意义”)中,David J. Rothkopf引用GDP的发明者Simon Kuznets的警告:“一个国家的福利情况几乎不能从国民收入的测量中推断出来” ,在反映一个国家的福利情况方面,GDP 具有“如此根本的缺陷,以至于无关紧要或更糟……” 。
然而,正如Rothkopf所说,纵然GDP存在诸多缺陷,“这并没有阻止我们使这个误导性的数字成为世界上最有影响力的统计数据”。因此,以上关于“内外部”认知论的探讨揭示出一个重要反思——所有测量系统都只是一种启发式工具,其只能在一定范围内和一定使用方式上有效。科学精神固然宝贵,但过分狭隘的方法论可能限制人们对宇宙复杂性的理解。因此,需要将艺术与科学相结合,将直觉、观察、理性和创造力融入我们的探索和表达之中。在设计评估系统时,应始终保持更加谦逊和谨慎的态度,目标不是简单地揭示“真理”,而是提供更深入的见解。评估的价值在于能否产生有助于人们判断他们所处世界内在和谐感的数据;评估的指标不应由外部强加,而应由内部人员根据具体情境分享和探索。这样的评估方法强调将权力下放,赋予那些最了解情况的人更多的发言权和参与权,使评估更加贴近实际,更具生命力。
同时,为进一步讨论评估方法论,研究通过扩展目前社区公益实践中使用相对普遍的资产、能力和信托(ACT)框架,探索社区评估发展的新路径。研究强调在社区中建立和增强包括物质和非物质在内的各类资产的重要性,提供了包括减贫、社区信任建设、性别和种族平等、社区资产建设等20个关键指标,用以衡量组织在资产、能力和信任方面的工作,鼓励组织专注于提升社区成员的能力,将权力和主导权转移到社区成员手中,并跟踪信任建立和维护的过程,以展现社区公益实践在促进社区凝聚力和合作方面的效果。
在实践方法上,研究给出三个可供讨论提案:
重新定义社区
社区是一个超越传统行政边界的概念,它被定义为一种由居民主导的发展形式,其核心在于通过成员间的交流和团结共同产生资源和支持。这种基于地方的社区行动与自上而下的权力结构截然不同,其更加强调文化和社会联系、共同目标与利益的追求、以及自治与自我管理的能力。社区的多样性和包容性使其成为一个充满活力和适应性的集体,能够响应不断变化的内外环境,并展现出持续发展和自我更新的特质。
进行力量转移
重视社区成员的直接参与和决策权,要求资助者和组织将实际的资源和权力下放给社区,从而促进社区成员在项目设计、执行和评估中的积极参与。同时,其倡导对社区公益事业的评估方法进行改革,以更全面地反映社区工作的影响,使用故事叙述、结果映射等方式迭代传统量化指标,捕捉到社区成员的感受和行为变化,从而更真实地评估社区慈善事业的社会价值。
推进在地试验
在地试验是具有创新性工作方法,更准确地说,是一种基于案例研究和与资助者的互动对话而开发的新型测量方法。这种方法强调社区内生视角,即围绕社区成员和社区公益行动者的共同生产活动展开,通过深度倾听和深度反馈,助推评估结果真实地反映社区的需求和期望。在地实验倡导建立一个灵活的、自发的、适应性强的“支持系统”,一是尝试使用更多元的工具进行知识共享、信任建立和网络延续;二是通过对不同工具的使用和实践介入,促使一些在地的、个性化的、生成性的评估方法和反思自然而然地“生长”出来,并能够马上用于在地实践并进行检验,这样的评估方法产出及检验将产出一条更具启发性、实用性和适应性的社区公益实践价值循环链;三是通过不断的学习、适应、改善,持续强化和迭代该价值循环,以科学有效性和合理推理性为基础,建立一个开放、进步的评估生态系统,以更好地尊重和提升社区公益实践的影响和价值。
笔者:Victor SAI
希望这篇文章可以提供一些启发,也希望大家可以和我们分享阅读感受以及实践经验。点击文末“阅读原文”获取《Measuring What Matters》英文版,提取码:teq4
联系我们:fengxiaojuan@ghfmail.cn
禾平台社区公益共建网络由广东省千禾社区公益基金会、云南连心社区公益基金会、四川社区基金会发展网络、福建公益生态共建小组作为核心共建方,旨在通过链接、培育和倡导,支持和推动全国社区公益发展,促进多议题的社区公益枢纽合作,最终推动一个支持草根公益行动者,可持续动员在地资源,助力在地居民的可持续参与,并且能够持续响应在地社区多元问题的社区公益生态构建。