pdf document

경기도 장애인단체 지원사업 평가는 장애인 복지서비스의 주요 전달 창구 역할을 수행하고 있는 도내 장애인단체의 도비 지원 단위사업을 대상으로 지원사업의 효율성 및 효과성을 검증하고 이를 통해 장애인 단체 도비 지원사업의 질적 향상을 도모하고자 하는 것이다. 또한 도비 지원사업의 책임성 강화를 통한 단체 사업수준의 질적 향상과 사업의 전문성을 기하며, 평가결과를 적극 활용하여 지원사업의 활성화와 발전 방향을 제시하기 위한 목적으로 수행된다. 특히, 경기도 장애인단체 지원사업 평가는 ｢지방재정법 시행령｣ 제30조 제2항(보조사업 사후평가)을 근거로 경기도 지원사업의 평가를 실시하고 있으며, 동 시행령의 사후평가에서는 해당사업의 성과, 보조사업의 유지 필요성 등에 대한 평가가 명시되어 있다. 이에 따라 2013년 17개 단체 45개 사업(2012년 사업), 2014년 18개 단체 46개 사업(2013년 사업)에 대한 평가가 이루어졌다. 이와 같은 경기도의 평가는 단순히 사업실적 평가에 앞서 평가위원들의 컨설팅 및 SWOT분석을 통해 장애인단체의 운영개선과 서비스 향상 등 장애인단체의 사업영향력을 향상시키는 데 기여해 왔다. 그러나 평가 영역 및 기준, 정성지표 구체화 등을 통해 좀 더 합리적인 평가가 될 수 있도록 평가지표 재검토 논의가 제기되어왔다. 따라서, 본 연구는 경기도 장애인단체 지원사업 평가지표를 재구성하여 新 지표를 개발하는 것으로서, 지원사업의 효율적･효과적 수행을 도모하여 장애인복지 사업 활성화에 그 목적이 있다. 이 연구는 본 재단의 이병화 책임연구원의 책임 하에 호남대학교 강민희 교수, 평택대학교 권선진 교수, 우석대학교 김동주 교수, 경기복지재단 양희택 책임연구원(가나다순)의 노력에 의해 완성되었다. 또한 본 연구를 위해 재단 내에서 각종 업무지원을 해 준 곽유나 위촉연구원, 지표개발에 발 간 사

ii 요 약 道 담당자를 대상으로 2차 자문회의를 실시하여 세부문항수정이 이루어짐. - 넷째, 18개 장애인단체 실무진을 대상으로 설명회를 실시함. 3. 신 평가지표 □ 경기도장애인단체 평가지표의 기본 구성요소는 논리모형의 투입, 활동, 산출, 성과의 구성요소와 평가지표로 측정될 수 없는 단체의 현장성을 평가하는 현장평가위원 평가 등의 영역으로 구성. - 첫째, 투입은 사업목적의 적절성, 사업목표의 적절성, 사업수행 계획의 적절성, 사업예산의 적절성, 업무분장의 적절성과 직원교육 6개 지표로 구성. ∙ 사업 목적의 적절성은 사업의 기획 단계에서 수립된 목적이 수행 이유에 부합하도록 적절하게 수립되었는지를 평가하는 지표. ∙ 목표의 적절성은 사업 기획 단계에서 설정된 목표가 사업 목적의 달성 여부를 확인하기에 적합하고 구체적인 지표로 제시되었 는지를 평가하는 지표 ∙ 사업계획의 적절성은 사업의 실행을 위해 작성된 계획서가 목표를 달성하기 위해 가장 효과적이고 효율적인 방법을 채택하고 있으며, 사업 주체가 이행할 과제와 역할, 일정 등의 수행방법을 체계적이고 구체적으로 제시하고 있는지 평가하는 지표. ∙ 예산의 적절성은 사업 수행을 위해 꼭 필요한 항목들로 작성되어 있고, 기관의 예산확보와 효율적이고 합리적인 집행을 위한 절감 노력이 반영되어 있는지를 평가하는 지표. ∙ 업무분장의 적절성, 직원교육은 논리모형에서 인적투입과 관련된 내용으로 업무분장이 적절한지, 단체에서 직원의 역량 강화와 전문성 향상을 위해 노력하고 있는지를 평가하는 지표. - 둘째, 활동은 사업수행 절차의 적절성, 사업수행 관리의 적절성, 재정관리의 투명성 3개의 지표로 구성.

요 약 iii ∙ 사업수행 절차의 적절성은 사업 수행의 과정에서 당초 계획된 절차가 원만하게 이행되었고, 사업의 홍보와 내･외부 자원의 활용을 적절하게 이루어졌는지를 평가하는 지표. ∙ 사업 수행관리의 적절성은 사업 수행의 과정에서 적절한 중간 점검과 모니터링이 이루어졌고, 모니터링을 통해 나타난 개선과 수정보완 사항이 반영되었으며, 이러한 내용을 포함하는 모든 사업의 진행과정이 체계적으로 기록 및 보존되었는지를 평가 하는 지표. ∙ 재정관리의 투명성은 단체의 재정 관리에 대한 평가로 재무회계 규정의 유무, 회계감사 실시 여부, 회계 또는 감사를 전문자격인 활용 여부, 예･결산서 공개여부, 경기도 보조금 교부 준수 여부 등을 평가하는 지표. - 셋째, 산출은 사업성과의 달성수준을 평가하는 영역으로 사업성과의 달성수준은 사업수행 후 달성된 성과는 계획에서 설정한 목표에 적절한 수준에 도달하였음을 객관적으로 입증하고 있는지를 평가 하는 지표. - 넷째, 성과는 사업성과 환류의 적절성을 평가하는 영역으로 사업 성과 환류의 적절성은 사업 수행의 성과를 평가하는 방식과 과정은 공정하고 객관적이었고, 사업의 결과가 후속사업이나 내･외부의 긍정적 변화에 영향을 끼쳤으며, 사업에 널리 공유되어 파급효과를 가져왔는지를 평가하는 지표. - 다섯째, 현장위원평가는 평가지표로 측정할 수 없는 장애인복지 단체의 전반적인 분위기 및 평가준비성, 협조성, 단체의 운영철학, 사업에 대한 직원들 간 공유, 단체의 잠재역량, 합리적 운영 등을 평가하는 항목으로 단체의 현장성을 평가함으로써 서류평가에 집중되는 평가의 한계를 보완하고자 구성한 평가지표.

차 례 v 서 론Ⅰ 1 1. 연구의 필요성과 목적 ·································································· 3 2. 지표개발과정 ··············································································· 6 (중앙)국고지원 장애인단체 평가제도Ⅱ 9 1. 장애인단체 국고보조사업 평가 개요 ·········································· 13 2. 장애인단체 국고보조사업 평가지표 ············································· 22 경기도 장애인단체 지원사업 평가제도Ⅲ 47 1. 2012년 장애인단체 지원사업 진단 및 평가 ································· 49 2. 2013년 장애인단체 지원사업 진단 및 평가 ································· 58 경기도 장애인단체 지원사업 평가지표Ⅳ 69 1. 논리모형(Logic Model) ······························································ 71 2. 경기도 장애인단체 지원사업 평가지표 ········································ 92 결론 및 제언Ⅴ 105 1. 결론 ························································································ 107 2. 제언 ························································································ 112 참고문헌 ······················································································ 113 C･o･n･t･e･n･t

차 례 vii 표 차례 <표 Ⅰ-1> 경기도 장애인단체 지원사업 평가지표 개발과정 ························· 6 <표 Ⅰ-2> 평가지표개발위원회 및 자문위원 ··············································· 7 <표 Ⅱ-1> 연도별 장애인단체 국고보조금 지원현황 ·································· 11 <표 Ⅱ-2> 2013년도 장애인단체 국고보조사업 평가대상 단체 및 사업 ······ 14 <표 Ⅱ-3> 2013년 장애인단체 국고보조사업 평가 진행 ····························· 19 <표 Ⅱ-4> 2010년도 평가지표 구성 체계 및 배점 ···································· 33 <표 Ⅱ-5> 2011년도 평가지표 구성 체계 및 배점 ···································· 35 <표 Ⅱ-6> 2012년 평가지표 구성 체계 및 배점 ······································· 38 <표 Ⅱ-7> 2013년 평가지표 특성 및 구조 ··············································· 39 <표 Ⅱ-8> 2014년 평가지표 특성 및 구조 ··············································· 40 <표 Ⅲ-1> 2012년 장애인단체 평가 진행일정 ··········································· 50 <표 Ⅲ-2> 장애인복지기금 공모사업 컨설팅 수행을 위한 지표 ·················· 57 <표 Ⅲ-3> 2013년 장애인단체 평가진행일정 ············································· 59 <표 Ⅲ-4> 장애인단체 지원사업 평가지표와 배점 ····································· 61 <표 Ⅲ-5> 장애인단체 지원사업 연도별 평가영역 평균점수 ······················· 62 <표 Ⅲ-6> SWOT분석을 통한 장애인단체 지원사업의 발전 계획과 실행 행동 ················································································ 66 <표 Ⅳ-1> 논리모형의 구성내용 ······························································· 78 <표 Ⅳ-2> 논리모형의 혜택 ··································································· 81 <표 Ⅳ-3> 형성평가와 결과평가와의 차이점 ············································· 92 <표 Ⅳ-4> 투입에 관련된 지표 ································································ 97 <표 Ⅳ-5> 과정에 관련된 지표 ································································ 99 <표 Ⅳ-6> 산출 및 성과에 관련된 지표 ················································· 100 <표 Ⅳ-7> 현장평가위원 평가지표 ·························································· 102 <표 Ⅳ-8> 기존지표와 신지표 비교표 ····················································· 103

4 경기도 장애인단체 지원사업 평가지표 개발 연구 의 유용성이 증대된다고 할 수 있다. 공공재원으로 운영되는 사업에 있 어 모니터링과 평가의 중요성은 더욱 크다고 할 수 있다. 최상미･최재성(2006)는 변화하는 사회적 환경 하에서 사회복지서비스 를 제공하는 조직들은 조직의 효율적인 운영과 프로그램의 성과를 지속 적으로 증명해야 하는 현실에 직면하였고 이는 필요로 하는 재정자원을 확보하기 위해 복지프로그램이 이용자에게 도움을 주었다는 측정가능한 성과물을 제시하도록 요구받고 있다고 주장하였다. 박진필(2010:8)은 사 회복지조직에 대한 평가와 사회복지서비스의 양적 팽창, 사회복지적 개 입에 대한 효과성 검증과 한정된 자원의 효율성 제고, 실천현장에서의 전문성 제고, 사회복지공급주체의 다원화 등으로 인해 성과측정이 더욱 강조된다고 하였으며, 국민의 복지욕구 충족의 과정이 효과적으로 행해 지기 위해서는 사회적 투자의 관점에 의해 수요와 공급이라는 전달체계 는 과거 복지서비스 전달 체계화는 달라질 수밖에 없어 사회적 투자로 서의 서비스는 배분보다 성과를 중심으로 하는 전달체계로의 구성이 복 지서비스를 준비하고 진행하는 과정에 매우 중요한 영향을 끼치며 확대 되고 있다. 사회복지서비스에 대한 투자가 확대되면서 복지서비스의 결 과에 대한 관심이 고조되고 있다. 평가와 성과측정을 어떻게 할 것인가에 대한 접근방법 모색이 중요 관심사로 떠오르고 있다. 사회복지에 있어 평가란 복지서비스가 필요한 곳에 적절하게 개입하고 있는지, 구체적인 욕구 해결에 충분한지, 서비 스가 계획적으로 준비되고 그 서비스가 도움이 필요한 사람들에게 실질 적인 제공 방법과 기술 등 프로그램의 기획과 재정확보 단계는 물론, 사 회복지프로그램의 시행, 서비스 결과에 이르기까지 프로그램의 전 과정 을 평가한다. 또한 프로그램 전 과정에 상호작용을 하는 이런 모든 단계 들이 욕구가 있는 클라이언트에게 양질의 서비스를 계획하고 전달함에 프로그램의 목표가 달성되고 클라이언트의 삶의 질적 향상을 위한 정보 를 제공하는 전 과정을 점검하는 것이 가장 큰 목적이다. 조직이나 단체가 클라이언트의 복지를 위한 양질의 서비스를 제공하는 과정에서 평가는 기 본적으로 효과성과 효율성을 측정하거나 검증하는 것과 밀접한 관련이

Ⅰ. 서 론 5 있다. 사회복지현장에서는 복지서비스의 성과에 대한 측정가능하고 설득력 있는 결과물을 제시하기 위해 다양한 방법의 연구를 시도하여 복지서비 스의 성과측정을 어떻게 할 것인가에 대한 많은 고민 속에서 체계적인 접근방법을 찾아가고 있다. 사회복지사업이 과학적인 평가를 필요로 하는 것은 개인이나 사회 환 경의 문제에 개입하여 변화를 유도하는 전문적인 개입과정이기 때문이 다. 그러므로 시작과 결과에 대한 성과가 파생되었다는 객관적인 결과물 을 제시하여야 한다. 또한 더 좋은 성과를 얻기 위해서 투입, 활동, 산출, 성과에 대한 단계별 상관관계를 살펴보며 상호관계 속에서 측정 가능한 결과물을 얻도록 하는 것이 중요하다. 보건복지부는 2010년부터 민간 외부전문가를 활용하여 국고지원 장애 인단체 지원사업을 평가해 오고 있다. 이를 통해 장애인 단체 운영의 내 실화 및 장애인단체 국고보조사업의 질적 향상을 도모하고 적합한 평가 도구 마련을 위한 개선작업도 병행하고 있다. 경기도도 2012년, 2013년 평가를 통해 경기도 장애인단체는 도비 보조금사업을 통해 경기도 장애 인단체의 특성을 고려한 사업기획과 수행, 평가와 환류까지 일정수준 이 상의 사업수행 및 실적을 나타내었고, 사업의 내용에 있어서도 차별성 있고 창의적인 사업 아이템을 개발하고, 단체 종사자의 역량이 향상되었 다는 긍정적인 결과를 얻었다. 그러나 정성지표 내용을 좀 더 구체화하 고 객관성을 높이는 노력과 함께 사업의 실질적 효과를 극대화 할 수 있 는 투입, 과정, 산출, 성과의 논리모형에 입각하여 사업을 기획하고 평가 해야 한다는 의견이 계속 제기되었다. 이에 본 연구는 경기도 장애인단체 지원사업 평가지표를 투입, 과정, 산출, 성과에 입각한 논리모형을 개발함에 있어 다음과 같이 진행하였 다. 첫째, 국고지원 장애인단체 평가제도에 대한 살펴본다. 둘째, 경기도 장애인단체 지원사업 평가제도를 살펴보았다. 셋째, 논리모형에 따라 평가 지표개발이 이루어졌다.

6 경기도 장애인단체 지원사업 평가지표 개발 연구 2 지표개발과정 본 연구는 신(新) 지표를 개발을 목적으로 하고 있다. 이에 따른 지표 개발과정은 다음과 같이 진행되었다. 첫째, 지표개발에 앞서 지표의 방 향을 구체적으로 설정하기 위해 18개 장애인단체 및 道 담당자, 2013년 사업평가위원을 대상으로 1차 자문회의를 실시하여 기존 세부영역은 유 지하되 평가내용과 평가기준 등의 수정작업과 논리모형으로 재구성하기 로 결정하였다. 둘째, 자문회의 결과에 따라 지표수정보완 작업을 위해 평가지표개발위원회를 구성하여 3차에 걸친 위원회의를 통해 수정보완 작업이 이루어졌다. 셋째, 수정된 지표에 대해 학계, 관련기관담당자, 18 개 장애인단체, 道 담당자를 대상으로 2차 자문회의를 실시하여 세부문 항수정이 이루어졌다. 넷째, 완성된 지표를 18개 장애인단체 실무진을 대상으로 설명회를 실시하였다<표 Ⅰ-1>, <표 Ⅰ-2>. <표 Ⅰ-1> 경기도 장애인단체 지원사업 평가지표 개발과정 장애인단체 및 道 담당자 1차 자문회의 - 대상: 18개 장애인단체 사무총장 및 사무국장(대행자 참석가능), 경기도 담당자(팀장), 2013년 평가위원 - 2013년 평가지표와 수정사항에 대한 의견수렴 - 신(新) 지표개발일정 설명 평가지표 수정･보완 - 평가지표개발위원회 구성 - 3회 지표개발회의 장애인단체 및 道 담당자 2차 자문회의 - 대상: 18개 장애인단체 사무총장 및 사무국장(대행자 참석가능), 경기도 담당자(팀장, 담당주무관) - 평가지표 및 평가안내서 배포 - 평가지표 구성 설명 평가지표설명회 - 대상: 18개 장애인단체 지원사업 실무자 및 사무총장, 사무국장, 학계, 경기도 담당자(팀장) - 평가지표 및 평가안내서 배포 - 평가지표 구성 설명 및 종합적 의견수렴 지원사업 평가 지표 - 차기 평가에 사용될 평가지표 제시

12 경기도 장애인단체 지원사업 평가지표 개발 연구 장애인단체 국고보조사업 평가는 그동안 다소 방만하게 이루어지던 정부지원을 좀 더 효율적으로 집행할 수 있도록 하는 계기를 만든다는 측면에서 긍정적인 평가를 얻고 있다. 그런 반면, 재정이 취약한 장애인 단체들이 정부 지원을 통해 사업수행 및 경영 등의 측면에서 그 역량을 키우기도 전에 압박하는 결과를 낳게 된다는 회의적인 시각도 있다. 정 부는 국고보조금 지원의 성과 및 예산회계의 투명성 제고를 위해 장애 인단체의 현황을 정확히 평가해 볼 필요성이 있기 때문에 평가가 반드 시 필요하다는 입장을 견지하고 있다. 평가에 대한 전문가 및 당사자 단체 등 외부의 입장은, 기관의 순위 등 평가결과에 치중하기보다 장애인단체 국고보조사업의 효과성을 면밀 히 분석할 필요가 있기 때문에 이에 초점이 맞추어진 평가가 필요하다 는 것이며, 반복적으로 평가결과가 낮은 사업들에 대해서는 미래성 있는 신규 사업들로 대체하는 등의 조치가 필요하다는 것이다. 이를 위해서는 사업에 대한 면밀한 모니터링이 필요할 뿐 아니라 장애인단체의 적극적 인 협조가 필요하다. 장애인단체의 협조를 이끌어내기 위해서는 국고보 조사업 평가에 대한 장애인단체의 신뢰도를 높이는 것이 우선적으로 이 루어져야 하며, 이에 앞서 장애인단체의 의견을 수렴하여 기존의 평가지 표 및 평가체계를 수정･보완하여 장애인단체 국고보조사업의 자원투입, 조직관리, 사업운영 등의 적절성 등이 합리적으로 평가될 수 있게 해야 할 것이다. 또한 평가를 위한 장애인단체의 책임성을 강화하여 장애인단 체 국고보조사업의 질적 향상을 도모하는 것이 중요한 일일 것이다. 장애인단체 국고보조사업 평가는 보건복지부가 진행의 전반적인 책임 을 맡고, 한국장애인개발원이 간사 역할을 이행한다. 평가결과보고서는 장애인개발원이 서면평가 및 회계평가결과를 분석･정리하여 발간한다. 평가결과보고서의 내용은 장애인단체 국고보조사업 평가 수행 개요 및 평가방법, 평가방향, 평가지표의 특성과 구조를 설명하고, 평가영역별로 평균점수와 점수분포를 제시하여 세부 평가영역별 표를 통해 결과를 분 석한다.

14 경기도 장애인단체 지원사업 평가지표 개발 연구 단체명 사업명 단체명 사업명 장애우 권익문제 연구소 (5개) 월간 함께걸음 전국 장애인 부모연대 (2개) 권익증진 및 인식 개선 (전국장애인부모활동가대회 발달장애 정보자료 발간 사업) 장애인정책사업 장애인인권사업 장애인 역량강화 (장애부모교육)동화책제작 및 보급사업 장애인일자리창출사업 ｢장애인먼저｣ 실천 운동본부 (4개) 인식개선센터운영 한국지적 장애인 복지협회 (5개) 지적장애인권익옹호지원 사회통합지원사업 지적장애인부모대학운영 장애인먼저실천캠페인 자원봉사형 장애체험사업고충상담실운영사업 한국장애인 복지관협회 (2개) 장애인복지관경영지원사업국제교류협력사업 장애인사례관리지원사업 자립지원센터 전문요원교육사업 국제키비탄 한국본부 (1개) 키비탄 특수어린이 대잔치 한국장애인 직업재활시설 협회(2개) 장애인생산품우선구매지원사업 유형개편솔루션사업 한국신체 장애인 복지회 (1개) 사랑의끈연결운동 한국 뇌병변 장애인 인권협회 (1개) 뇌병변장애인인권센터 한국 농아인 협회 (5개) 수화통역사 자격관리 한국여성 장애인연합 (5개) 역량강화 평생교육 수화통역센터 지원본부운영 한국여성장애인대회 한국수화 확대사업 인식개선사업 한국수화방송 정책개발사업 국제교류사업 국내외연대사업 한국 시각 장애인 연합회 (10개) 흰지팡이의 날 기념행사사업 한국 장애인복지 시설협회 (5개) 시설운영지원사업 권익증진 및 인식개선 (웹 및 모바일 접근성 평가사업) 정책연구사업 종사자교육연수사업 권익증진 및 인식개선 (격주간 ‘브레일 타임즈’ 발간사업) 결연후원 및 자원개발사업 장애인거주시설 인권지킴이단지원사업 권익증진 및 인식개선 <표 Ⅱ-2> 2013년도 장애인단체 국고보조사업 평가대상 단체 및 사업

Ⅱ. (중앙)국고지원 장애인단체 평가제도 15 단체명 사업명 단체명 사업명 (묵자소식지‘손으로 보는 세상’발간사업) 한국척수 장애인 협회 (4개) 정보제공사업 자원봉사 및 장애･문화체험 (장애체험스쿨) 역량강화사업 권익증진 및 인식개선 (점자명함이름갖기) 사회재활사업 장애인 역량강화사업 장애인 일자리 (점역･교정사양성사업) 해냄복지회 (1개) 중증장애인가족지원사업 장애인 일자리 (시각장애인 보행지도사 양성교육사업) 한국장애인 연맹 (6개) 국제교류사업 장애인식개선 사업 장애인 역량 강화 (시각장애인순회재활교육사업) 장애인청년학교운영 사업 유엔장애인권리협약활동 사업장애인 역량 강화 (시각장애인 역량강화사업) 장애인당사자대회 사업 한국 장루장애 인협회 (3개) 장루관리 방문교육 및 간호 DPI매거진발간 사업 홈페이지 관리 및 회보 발행 한국신장장 애인협회 (4개) 복지정보지발간사업 장루회원 재활교육 전국신장장애인대회 신장장애발생 예방을 위한 세미나 한국장애 인재활 협회 (5개) 새로운10년의 국제개발과 협력 RIKOREA운영과 정책활동 신장장애투병수기 공모 및 출판사업 장애가정청소년 꿈지원, 두드림 한국장애인 인권포럼 (4개) 정책과 대안포럼꿈경영사례관리와 농장지기 운영 장애인식개선 캠페인 유니버셜디자인공모전 및 전시회 한국 장애인 단체 총연맹 (4개) 단체종사자 역량강화 (장애인단체 역량강화) 이 거리를 바꾸자. 장애인권네트워크단체교류협력 한국자폐인 사랑협회(1 개) 자폐성장애인을 위한 상담 및 통합정보관운영사업 권익증진 및 제도개선 인식개선 및 정책홍보 한국 장애인 자립 자립생활 컨퍼런스 한국장애인 부모회 (4개) 한마음지 발행 장애인부모교육 장애인자립생활센터 조직원역량강화사업

16 경기도 장애인단체 지원사업 평가지표 개발 연구 단체명 사업명 단체명 사업명 생활센터 총연합회 (3개) 전국장애인부모대회 장애인인권소리샘센터운영 사업 가족지원사업(가정도우미파견) 한국장애인 단체총연합 회 (6개) 장애인단체연대사업 한국지체 장애인협 회 (7개) 상담지원사업 사회교육사업(솔로탈출 119) 장애학연구센터운영사업 지체장애인대회 및 체육대회 장애인인권감시단운영사업 간행물 발행사업 국제교류협력사업 장애인종합예술제 장애인사회통합지원사업 중증장애인배우자 대회 문화체험사업 자립운영지원 2) 평가의 원칙 및 특징 장애인단체 국고보조사업 평가는 다음과 같은 기본원칙을 설정하고 진행한다. 첫째, 객관성과 공정성을 확보된 평가를 한다. 둘째, 장애인단 체 국고보조사업의 전문성과 효과성을 측정한다. 셋째, 장애인단체의 자 체평가와 제3자 외부 민간전문가 집단으로 구성된 중립적인 평가팀에 의하여 평가를 실시한다. 넷째, 전문회계사에 의해 장애인단체별 예산 및 재정관리의 투명성을 확인한다. 다섯째, 평가를 통해 장애인단체의 우수한 국고보조사업에 대해 단체 간 벤치마킹 자료로 활용한다. 평가의 주요 특징을 살펴보면, 네 가지 정도로 정리될 수 있다. 첫 번 째로는 참여적 평가라는 점이다. 이는 평가대상 장애인단체가 2010년 이 루어진 평가지표의 개발과 이후 이루어진 수정 과정에 직접 참여한다는 점에서 그러하고, 또한 장애인단체가 자체평가를 우선 실시하게 함으로 써 스스로 문제점 파악 및 개선방안을 마련할 수 있도록 한다는 점에서 그러하다고 볼 수 있다. 두 번째로는 절대평가의 원칙을 따른다는 점이다. 장애인단체의 평가 는 일부 평가지표를 제외하고 절대평가를 원칙으로 하여, 상대평가를 최

Ⅱ. (중앙)국고지원 장애인단체 평가제도 17 소화하고 절대평가를 중심으로 하여 이루어진다는 점에서 그러하다. 세 번째로는 성과중심의 평가라는 점이다. 성과중심의 평가를 강화하 기 위해 특히 2013년 평가지표에 ‘사업성과’ 지표 추가하였는데, 이는 기 존과 다르게 사업성과를 산출결과와 주요성과로 구분하여 목표치 산출 근거 및 자료수집 방법 등을 기술하도록 2013년 변경한 데에서 잘 나타 난다. 네 번째로는 효율성을 추구한다는 점이다. 이러한 점은 다양화와 효과 성 확대의 형태로 나타나는데, 다양화의 측면은 서면평가와 현장평가를 병행실시하고 평가위원 역시 사회복지 전문가 외에 평가전문가와 회계 사 등 다양한 인력으로 구성･운영하였다는 점에서 그러하다고 볼 수 있 다. 또한 효과성 확대의 측면은 지표의 축소 및 확대를 추구하며 평가의 효율성을 높이려고 한다는 점에서 그러하다. 특히 2013년의 지표는 2012 년 평가지표를 토대로 조직 및 운영관리 영역의 평가지표 비중은 대폭 축소하고, 사업영역의 평가지표 비중은 높였다. 전체적으로 평가지표는 2012년도의 21개에서 12개 지표로 축소되었다. 점수비중을 살펴보면, 단 체별 편차가 없는 조직관리 영역의 평가지표 비중은 축소(30→15점)하 고, 사업영역의 비중은 확대(60→80점)하였으며, 사업결과 항목 중 사업 의 차별성･효과성, 사업대상 만족도 항목은 삭제하여 전년보다 더욱 효 율적인 지표로 수정되었음을 알 수 있다. 효율성 추구라는 특징은 사업 결과의 활용에서도 잘 나타난다. 이는 단위사업별로 평가결과를 탁월, 우수, 보통, 미흡의 4개 등급으로 분류하여 평가결과를 예산배분과 연계 함으로써 장애인단체 국고보조사업에 대한 예산집행의 효율성을 높이려 고 한다는 점에서 그러하다고 볼 수 있다. 3) 평가의 방법 및 절차 2010년 장애인단체 국고보조사업 평가는 평가지표개발위원회의 평가 지표 개발, 각 장애인단체의 자체평가, 평가위원의 확인평가 과정으로 진행되었다. 이는 2011년 및 2012년, 그리고 2013년을 거치면서 평가지

18 경기도 장애인단체 지원사업 평가지표 개발 연구 표개발위원회의 평가지표 수정 및 보완, 각 장애인단체의 자체평가, 평 가위원의 서면평가 및 회계평가, 평가결과보고서 작성, 평가 이후에 평 가결과검토회 등 일련의 과정으로 수정･진행되었다. 2010년 평가지표개발은 평가지표개발위원회를 구성하여 평가지표를 개발하였으며, 보건복지부 주관으로 실시한 2009년도 사회복지시설 평 가지표와 장애인단체 사업평가체계 구축방안에 관한 연구(보건복지부･ 숭실대학교, 2007)를 근간으로 장애인단체의 특성을 반영하여 장애인단 체 국고보조사업 평가지표를 개발하였다. 4회의 평가지표개발회의, 시범 평가(1개소), 평가설명회(공청회)를 통한 수정･보완 과정을 거쳐 평가지 표를 완성하였다. 장애인단체의 자체평가는 2010년 장애인단체 국고보조사업 평가지표 를 토대로 자체평가 틀을 제시하여 장애인단체가 자체적으로 사전평가 를 한 후 그 결과를 주어진 양식에 따라 작성하고 자체평가서와 평가근 거서류를 간사기관인 한국장애인개발원에 제출하는 방식으로 실시하였 다. 간사기관은 장애인단체에서 제출된 평가보고서를 검토하고 정리하 여 평가위원이 확인평가를 실시하도록 하였다. 전문가에 의한 확인평가 는 각 장애인단체에서 제출한 4개 평가영역의 자체평가서를 바탕으로 평가근거서류의 대조를 통해 확인평가를 수행하였다. 또한 평가팀은 단 체에 대한 전반적인 이미지, 단체의 평가 준비성, 자체평가의 정확성 등 을 토대로 평가팀 종합소견 영역을 별도로 평가하였다. 확인평가는 5인 의 평가위원들이 23개 장애인단체 90개 단위사업에 대해 확인･검토하는 방식으로 진행되었다. 2011년과 2012년 역시 장애인단체의 자체평가와 평가단의 현장평가로 이루어졌다. 2013년에는 각 장애인단체의 자체평가서를 바탕으로 평가 위원이 서면평가를 실시하였으며, 이와 함께 회계평가도 실시하였다. 회 계평가는 현장평가를 실시할 회계사와 사전회의를 거쳐 회계평가 기준 을 마련하였고 이를 토대로 단체별 평가를 실시하였다. 회계평가는 2인 회계사가 각각 13개 단체를 방문하여 현장에서 회계 및 재정관련 증빙 서류를 확인하는 방법으로 진행하였고, 평가이후 결과검토회를 거쳐 단

20 경기도 장애인단체 지원사업 평가지표 개발 연구 4) 평가 인력의 구성 및 운영 2010년은 장애인단체평가가 처음 시작된 해이기 때문에 평가를 위한 지표가 개발되고 이를 통해 첫 평가가 이루어졌다. 평가의 체계성･공정 성 확보 및 원활한 진행을 위해 해당 분야의 전문가들로 위원회를 구성 하여 운영하였다. 위원회는 지표개발위원회와 평가위원회를 구분하여 구성하였으며, 지표개발위원회는 평가지표의 개발을 전담하였고, 평가 위원회는 평가 방향과 방법 등 제반적인 사항에 대한 자문과 평가결과 에 대한 검토 등의 역할을 수행하였다. 평가지표개발위원회는 교수 2인, 장애인단체 대표 4인, 공무원 1인, 개발원 직원 1인의 총 8인으로 구성 운영하였다. 지표개발위원은 평가지표의 개발을 전담하고 장애인단체의 의견을 대폭 수렴 반영하고자 장애인단체의 추천을 받아 위촉하였다. 평 가위원회는 교수 4인, 공무원 1인의 총 5인으로 구성 운영하였다. 평가 위원은 전문적이고 공정한 평가 진행을 위해 확인평가를 위한 평가진행 매뉴얼을 중심으로 한 사전 교육 및 토론 과정을 이수하고 평가에 임하 였다. 2011년 지표개발위원회는 2010년 장애인단체 국고보조사업 평가지표 를 토대로 평가지표를 수정･보완하는 역할을 담당하였고, 평가위원회는 평가 방향과 방법 등 제반적인 사항에 대한 자문과 평가 결과의 확인 및 검토를 위한 현장평가를 수행하였다. 평가지표개발위원회는 교수 1인, 장애인단체 대표 4인, 공무원 1인, 개발원 직원 1인의 총 7인으로 구성 운영하였다. 지표개발위원은 현장에서의 적용가능성을 검토하고 장애인 단체의 의견을 대폭 수렴 반영하고자 장애인단체의 추천을 받아 위촉하 였으며, 2010년 장애인단체 국고보조사업 평가지표를 토대로 장애인단 체의 의견수렴을 통하여 평가지표의 수정･보완을 전담하였다. 2012년에도 역시 2011년과 마찬가지로 현장평가팀(현장평가위원 2인 1조)과 함께 한국장애인개발원 연구진이 평가에 참관하여 각 장애인단 체 실무자 혹은 단위사업 담당자와의 질의응답을 통해 자체평가서 및 평가근거자료를 확인하고 평가결과보고서를 작성하는 방식으로 확인평

Ⅱ. (중앙)국고지원 장애인단체 평가제도 21 가를 실시하였다. 평가지표 수정 및 보완은 학계, 장애인단체, 공무원 등 으로 구성된 평가지표개발위원회를 구성하여 2011년 장애인단체 국고보 조사업 평가지표를 기준으로 평가지표를 수정･보완하였다. 2011년 평가 지표에 대해 각 장애인단체 실무자들로부터 평가항목별 의견수렴 과정 을 거쳐 평가지표 수정･보완에 반영하였으며, 3회의 평가지표개발회의 와 평가지표설명회(공청회)를 통해 최종 평가지표를 확정하였다. 현장평 가위원의 확인평가는 외부 민간전문가인 학계 교수 8인으로 현장평가위 원을 구성하고 현장평가팀을 2인 1조로 편성하여 확인평가를 수행하였 다. 2인 1조로 구성된 현장평가팀은 각각 6~8개소의 장애인단체를 직접 방문하여 장애인단체에서 작성한 자체평가서 및 평가근거자료를 바탕으 로 장애인단체 실무자 및 단위사업 담당자와의 질의응답과 병행하여 자 체평가결과를 확인･검토하는 방식으로 수행하였다. 확인평가와 함께 각 장애인단체에 대해 평가지표 영역별로 평가결과보고서를 작성하도록 하 였다. 2013년에는 각 장애인단체의 자체평가서를 바탕으로 7명의 평가위원 이 서면평가를 실시하였다. 회계평가는 현장평가를 실시할 회계사와 사 전회의를 거쳐 회계평가 기준을 마련하였고 이를 토대로 단체별 평가를 실시하였다. 평가지표 수정 및 보완은 학계, 장애인단체 실무자, 평가전 문가 등으로 구성된 평가지표개발위원회를 구성하여 2012년 장애인단체 국고보조사업 평가지표를 기준으로 평가지표를 수정･보완하였다. 평가 위원의 서면평가는 외부 민간전문가인 학계 교수 7인으로 구성하고 평 가지표별 평가를 수행하였다. 회계평가는 2인 회계사가 각각 13개 단체 를 방문하여 현장에서 회계 및 재정관련 증빙서류를 확인하는 방법으로 진행하였고, 평가이후 결과검토회를 거쳐 단체별 회계결과보고서를 작 성하도록 하였다.

22 경기도 장애인단체 지원사업 평가지표 개발 연구 2 장애인단체 국고보조사업 평가지표 1) 평가지표의 개발 및 수정 (1) 2010년 지표 개발 2010년 장애인단체 국고보조사업 평가는 최초로 시행되는 장애인 단 체 평가임을 고려하여 철저한 사전 모니터링 강화 등을 통한 현장 적용 가능성을 제고하였다. 평가지표는 우선, 타 평가지표들을 조사･분석하여 장애인 단체평가를 위한 지표개발을 위한 기초자료로 활용하였다. 앞서 설명한 것처럼 학계와 현장, 공무원 등 다양한 분야의 전문가들로 평가 지표 개발위원회를 구성하여 장애인 단체 및 이들 사업의 특성을 반영 할 수 있는 지표로 개발하였으며, 평가위원은 평가의 경험이 풍부한 교 수들로 구성하여 장애인단체의 자체평가 이후 확인평가를 실시하는 방 식으로 이루어졌다. 평가는 2010년 12월부터 2011년 1월까지 이루어 졌 으며, 평가위원들의 확인평가 이후 평가 검토회의를 거쳐 평가결과를 수 정･보완하여 지표를 완성하였다. (2) 2011년 지표 수정 2011년의 평가지표는 2010년의 평가지표를 기준으로 하여 평가지표개 발위원회를 통해 수정･보완되었다. 2010년 평가지표에 관한 장애인 단 체의 의견수렴 및 이에 대한 3회의 평가지표개발회의, 등의 과정을 거쳐 평가지표를 최종확정하였다. 평가지표는 장애인단체 및 이들 사업의 특 성을 고려하여 단체 간 형평성, 지표의 변별력, 지표의 현실성 및 타당성 을 높이는 방향으로 보다 세밀화된 평가지표를 도출하는 방향으로 수정 되었다. 이는 2010년 평가대상인 장애인단체들의 지표수정에 관한 의견 수렴과정을 통해 평가 시 도출된 문제점들을 구체적으로 검토해봄으로 써 단체의 특성을 최대한 반영하고 현장적용 가능성을 높이고자 한 것 이다. 즉, 평가지표의 수정･보완 과정에서 현장실무자들이 체감하는 평

Ⅱ. (중앙)국고지원 장애인단체 평가제도 23 가지표의 문제점들을 도출하고, 실천현장의 의견을 최대한 반영함으로 서 지표의 현실성을 높였다고 볼 수 있다. 이러한 과정을 거쳐 평가지표 가 수정･보완된 이후, 평가대상인 장애인단체들에게 평가의 목적과 절 차, 평가지표의 특성 등을 설명하였으며, 평가위원을 대상으로 사전교육 등을 실시하였다. 평가 영역에서는 기존의 ‘회원만족도’가 ‘사업대상 만족도’로 수정되 었으며, 각 평가 영역별 배점은 조직관리 30점, 사업 65점, 사업대상 만 족도 5점, 추가가산점 5점으로 총점 105점으로 수정되었다. 사업영역에 서는 ‘사업비 자부담 비율’항목이 신설되어 기존의 60점에서 65점으로 확대되었으며, 사업대상 만족도의 경우 기존의 만족도조사 여부가 삭제 되고, ‘만족도조사 점수’로만 구성되어 5점으로 축소되었으며, 추가가산 점 역시 5점으로 축소되었다. 이를 각 영역별로 살펴보면 다음과 같다. 우선 조직관리 영역은 이사 회 운영, 이사회 장애인 비율, 재정관리의 투명성, 단체홍보 및 홈페이지 관리 등에서 세부항목이 수정되었다. 이사회 운영의 경우 지표의 차별성 을 높이기 위해 이사회 임원의 참석율, 단체 기여도 등 평가 내용을 세 분화하였고, 이사회 장애인 비율의 경우 장애인단체간 특성을 반영하여 그 내용을 수정하였으며, 단체홍보 및 홈페이지 관리의 경우 온라인 소 식지를 포함하여 평가내용을 구체화하였다. 이밖에 조직관리 영역과 관 련하여 중복 내용을 삭제하고, 모호한 용어 및 내용의 명확화, 단체의 특 성을 반영하여 평가항목별 대상 조정 등으로 내용이 보완되었다. 사업 영역에서는 사업비 자부담 비율 항목이 새로이 신설되었으며, 이 는 국고보조사업에 대한 단체의 자부담 노력을 평가하기 위한 것으로 본 항목이 신설됨에 따라 사업영역은 기존의 60점에서 65점으로 확대되 었다. 사업 기획의 전문성, 사업의 홍보, 사업평가 등에서 세부항목이 수 정되었으며, 사업 기획이 전문성을 평가내용 중 전년도 사업평가 결과와 관련하여 명확성과 현실성을 높이는 방향으로 수정되었으며, 사업의 홍 보는 구체적인 평가지침을 제시하도록 하였다. 사업평가의 경우 평가내 용이 타 평가항목과 중복되는 내용이 있으며, 사업평가실시에 중점을 두

24 경기도 장애인단체 지원사업 평가지표 개발 연구 고자 평가 실시 여부와 관련한 내용으로 구성하였으며, 본 항목에 사업 대상 만족도 실시 여부를 추가하였다. 정성평가 항목으로서 기존의 ‘사 업의 차별성 및 참신성’, ‘사업의 효과성 및 지속성’항목은 각 개념을 명 확히 하기 위해 별도의 지표로 분리하고 이에 대한 배점을 각각 세분화 하여 구성하였다. 사업대상 만족도 영역에서는 만족도조사 대상자를 명확히 하기 위해 회원이나 이용자 등을 포괄하는 사업대상자로 정의함으로써 기존의 ‘회 원만족도’에서 ‘사업대상 만족도’로 용어를 수정하였으며, 만족도조사가 실시되지 않는 사업의 특성을 고려하여 만족도조사 여부는 사업 영역의 사업평가 항목에 배치하고 본 영역에서는 만족도조사 점수만으로 구성 하였다. 따라서 사업대상만족도 영역은 5점으로 축소되었다. 추가가산점 영역에서 평가항목은 기존의 내용과 동일하게 구성되었으 나 가산점의 항목을 합리적으로 조정하여 5점으로 축소하였다. (3) 2012년 지표 수정 2012년의 평가지표는, 전년도와 마찬가지로 2011년 평가지표에 대해 장애인단체 실무자의 의견수렴 과정 및 3회의 평가지표개발위원회의를 거쳐, 26개 장애인단체가 참여한 평가지표설명회를 개최하여 최종 확정 되었다. 2012년 지표는 평가지표의 수정･보완 과정에서 장애인단체 실 무자들이 체감하는 평가지표의 문제점들을 도출하고, 현장의 의견을 최 대한 반영함으로써 평가지표의 적용가능성을 높이고자 하였다. 이러한 과정을 거쳐 평가지표가 수정･보완된 이후에 26개 장애인단체를 대상으 로 하는 평가지표설명회 및 현장평가위원을 대상으로 하는 사전교육 및 토론을 통해 평가기준을 확정하였다. 평가는 먼저 각 장애인단체에서 자 체평가를 실시한 다음 현장평가위원들이 자체평가서 및 평가근거자료를 바탕으로 평가결과를 확인･검토하기 위한 확인평가를 실시하여, 현장평 가위원, 보건복지부, 연구진이 모두 참여하는 평가결과검토회를 거쳐 평 가결과를 확정하였다. 평가영역은 조직관리, 사업, 사업대상 만족도, 평가팀 종합소견으로

Ⅱ. (중앙)국고지원 장애인단체 평가제도 25 크게 4개 영역으로 구성되었고, 각 평가영역별로 2011년 평가지표를 토 대로 2012년 평가지표의 구성에서 수정･보완되었다. 영역별로 살펴보면 첫째, 조직관리 영역은 전체적으로 평가지표의 세부 평가내용이 수정되 었다. ‘이사회 운영’은 각 장애인단체가 정관을 준수하여 이사회가 적절 하게 운영되는지 여부에 초점이 맞추어져 있으며, ‘이사회 임원의 단체 기여가 다양하게 이루어진다’는 평가내용은 범위가 넓고, 명확한 기준을 제시하기에 실질적으로 어려움이 있어 제외하였다. ‘이사회 장애인 비 율’은 2011년도 평가 시 장애인단체 간 특성 및 형평성을 반영하여 당사 자단체와 비당사자단체를 구분하여 상대평가로 산출하여 2012년도 평가 시에도 동일하게 적용하도록 하였다. ‘직원 채용의 공정성’은 2011년 평 가내용 중 ‘인사관리규정을 준수하고 있다’를 제외하고 2012년 평가내용 에 ‘채용을 위해 다양한 홍보방법을 사용하였다’를 포함하고 평가Tip으 로 직원 채용공고 시 신문, 방송, 인터넷, 통신 등 다양한 채널을 활용하 여 홍보한 자료를 살펴보는 것으로 제시하였다. ‘직원의 역량제고 노력’ 은 2011년 평가내용 중 ‘직무관련 연수에 참여하도록 한다’를 제외하고 2012년 평가내용에 ‘직원교육을 위한 운영계획이 있다’와 ‘직원의 과반 수(50% 이상)가 직원교육에 참여하였다’를 포함하여, 변별력을 높이기 위해 교육에 참여한 직원의 비율을 명확히 설정하여 제시한 기준의 준 수 여부를 평가하도록 수정하였다. ‘직원의 장애인 비율’은 2012년 1월 1일부터 2012년 12월 13일까지의 1년을 기준으로 6개월 이상 고용을 유 지한 사람으로 수정하였고, 중증장애인 및 여성장애인을 고려하기 위해 가산점을 부여하여 중증장애인 또는 여성장애인은 1.5명으로 계상하고 중증장애인이면서 여성장애인은 2명으로 계상하여 산출하도록 수정하 였다. ‘근무환경의 편의제공’은 실질적인 평가지표로서 한계가 있으므로 삭제하였고, ‘재정의 국고의존도’는 평가내용 중 분모를 ‘예산 총액’에서 ‘결산 총액’으로 수정하였다. ‘재정관리의 투명성’은 2011년에는 한 개의 평가내용인 ‘지출원인행위(사전품위), 회계결의서 작성, 기타 각종 회계 처리가 재무회계규정 등에 의거하여 적정하게 시행되고 있다’를 세 개 의 평가내용으로 분리하고 평가배점을 3점에서 5점으로 상향 조정하였

26 경기도 장애인단체 지원사업 평가지표 개발 연구 다. ‘직원의 복리후생제도’는 2011년 평가내용 중 ‘복리후생 규정집이 근 로기준법을 준수하고 있다’와 ‘임직원의 복리후생을 규정집에 따라 시행 하고 있다’를 2012년 평가내용에서는 ‘포상제도/휴가제도가 근로기준법 을 준수하고 있다’와 ‘포상제도/휴가제도 이외의 복리후생을 규정집에 따라 시행하고 있다’로 바꾸어 중복되는 부분을 제외하고 복리후생제도 를 포상제도/휴가제도로 구체화하여 수정하였다. ‘단체 홍보 및 홈페이 지 관리’는 2011년 평가내용 중 ‘지역사회 홍보 관련 자료가 지속적으로 충실하게 관리되어지고 있다’를 제외하였다. 둘째, 사업 영역도 전체적으로 평가지표의 세부 평가내용이 수정되었 다. ‘사업 예산의 적정성’, ‘사업비 자부담 비율’, ‘사업평가’는 2011년 평 가지표를 그대로 유지하였다. ‘목표대비 산출 실적’은 평가지표 산출 시 실적을 사업 건수 및 인원수로 분리하여 평가하도록 수정하였다. ‘사업 기획의 전문성’은 2011년 평가내용 중 ‘사업 참여자의 욕구를 적절히 반 영하고 있다’와 ‘이론적 배경이 적절히 기술되어져 있다’는 기준이 모호 한 평가내용을 제외하고, 2012년 평가내용에 ‘사업수행을 위한 사전 기 획 회의를 진행하였다’를 포함하여, 사업 기획 과정을 평가하도록 수정 하였다. ‘사업의 홍보’는 2011년에 홍보 건수만으로 평가하여 각 단위사 업의 특성을 반영하는데 어려움이 있었으므로 보다 객관적으로 평가하 기 위해 2012년에는 홍보계획 여부, 홍보계획 대비 실행 정도, 홍보매체 의 다양성, 안내자료의 충실성 및 정확성, 사업홍보의 결과 반영을 위한 모니터링 등 5개 평가내용으로 구성하여 정성평가로 전환하였다. ‘사업 수행과정’은 2011년 평가내용 중 ‘사업이 계획대로 수행되어지고 있다’ 와 ‘사업예산이 계획대로 집행되었다’를 합하여 ‘예산 집행을 포함하여 사업이 계획대로 수행되었다’로 수정하여 사업 계획에 의한 예산 집행 으로 평가내용을 구체화하였고, 2011년 평가내용 중 ‘사업수행과정에 프 로그램 진행자, 자원봉사자 등 전문인력이 적절히 활용되었다’와 ‘사업 수행과정에 필요한 자원동원이 잘 이루어졌다’를 합하여 ‘사업수행과정 에 필요한 자원활용 및 연계가 잘 이루어졌다’로 수정하여 중복되는 부 분을 최소화하였다. 또한 2011년 평가내용 중 ‘사업수행과정에 관한 기

Ⅱ. (중앙)국고지원 장애인단체 평가제도 27 록이 구체적이고 명확하며 사실적이다’를 ‘사업수행과정에 관한 기록이 구체적이고 명확하다’로 간결하게 수정하였고, 사업수행과정에 모니터 링의 중요성을 평가하기 위해 ‘사업수행과정 중에 모니터링을 실시하였 다’는 평가내용을 추가하였다. ‘사업의 욕구파악 및 적용’은 2011년 평가 지표의 ‘욕구’를 2012년에는 ‘욕구 또는 문제’로 수정하여 욕구 또는 문 제의 필요성까지 범위를 확대하였고, 2011년 평가내용 중 ‘욕구를 파악 하기 위해 노력한 근거가 있다’를 ‘욕구 또는 문제를 파악하기 위해 조 사 또는 회의를 실시하였다’로 수정하여 평가Tip으로 회의는 내부 직원 회의는 제외하고 세미나, 간담회, 장애인당사자 및 전문가 의견수렴 등 외부회의만 인정하는 것으로 제시하였다. 2011년 평가내용 중 ‘욕구를 파악하여 사업(프로그램), 행사 및 활동 등에 반영한 실적이 있다’와 ‘사 전 욕구 파악을 토대로 사업(프로그램), 행사 및 활동을 개발하고 있다’ 를 2012년 평가내용에서는 ‘욕구 또는 문제를 파악하여 사업(프로그램), 행사 및 활동 등의 계획에 반영한 실적이 있다’와 ‘욕구 또는 문제를 파 악하여 사업(프로그램), 행사 및 활동 등의 과정 중에 반영한 실적이 있 다’로 수정하였고, 2011년 평가내용 중 만족도조사를 욕구조사와 분리하 여 ‘욕구조사 혹은 필요도 조사 혹은 관련항목을 포함한 만족도조사를 실시하고 있다’를 제외하고, 2012년 평가내용에 ‘욕구 또는 문제를 파악 하기 위해 관련 문헌이나 데이터를 활용하였다’를 추가하였다. ‘사업의 차별성’과 ‘사업의 참신성’은 본 평가가 단위사업에 대한 평가이고 차별 성과 참신성의 구분이 큰 의미가 없으므로 2011년 평가지표 중 ‘사업의 참신성’을 삭제하고, ‘사업의 차별성’으로 재구성하였다. ‘사업의 효과 성’과 ‘사업의 지속성’은 실질적으로 평가 시 지속성을 평가하기는 한계 가 있으므로 평가의 객관성을 높이고자 2011년 평가지표 중 ‘사업의 지 속성’은 삭제하고, ‘사업의 효과성’으로 재구성하였다. 셋째, 사업대상 만족도 영역에서는 2011년 평가지표인 ‘만족도조사 점 수’를 2012년 평가지표에서는 ‘지표구성의 적절성’과 ‘만족도조사 점수’ 로 분리하여 변경하였다. ‘지표구성의 적절성’은 만족도조사 지표 구성 의 다양성으로 평가하며 배점은 2점으로 수정하였고, ‘만족도조사 점수’

28 경기도 장애인단체 지원사업 평가지표 개발 연구 는 배점을 3점으로 수정하였다. 넷째, 평가팀 종합소견 영역에서는 2011년 평가지표인 ‘추가 가산점’ 을 2012년 평가지표에서는 ‘평가팀 종합소견’으로 변경하였다. ‘평가팀 종합소견’은 기관의 평가에 대한 준비성, 협력성, 자체평가의 정확성, 전 문성 향상을 위한 노력, 단체에 대한 전반적 이미지 등을 고려하여 구체 적으로 제시함으로써 장애인단체에 대한 종합적인 소견을 평가점수에 반영하도록 보완하였다. (4) 2013년 지표 수정 2013년의 평가지표는, 평가방법을 좀 더 다양하게 하는 동시에 단체의 사업성과에 초점을 맞추어 평가를 실시함을 목적으로 수정･보완되었다. 성과중심 평가를 강화하기 위하여 기존의 평가지표에 ‘사업성과’ 항목을 추가하고, 사업결과보고서에 사업성과 및 목표치 산출근거 등을 사업수 행단체로 하여금 기재토록 하였으며, 평가방법의 다양화를 위해 지난 2 년 동안 현장평가를 실시 결과를 토대로 서면평가로 변경하여 평가를 실시하였다. 또한 전문회계사가 현장방문을 통해 재정관리 투명성을 확 인하기 위한 회계평가를 실시하였다는 점이 이전과 다른 점이라 할 수 있다. 2013년 평가지표는 2012년 평가지표를 토대로 조직 및 운영관리 영역의 평가지표 비중은 축소하고, 사업영역의 평가지표 비중은 높였다. 구체적으로 조직관리 영역은 2012년의 9개 지표(30점)에서 3개 지표(15 점)으로 줄이고, 사업영역은 2012년의 10개 지표(60점)에서 9개 지표(80 점)으로 대폭 확대하였다. 구체적으로 ‘조직관리’ 영역 중 ‘이사회 운영’, ‘직원 채용의 공정성’, ‘직원의 장애인 비율’, ‘직원의 복리후생제도’를 ‘조직 및 인력관리’의 지표로 취합하여 적용하였고, 평가위원의 주관적 인 판단으로 점수 차이를 보일 뿐 아니라 단체에서 제출한 증빙자료 등 이 미약하여 실제 평가하기가 어렵다고 판단된 ‘사업의 차별성’과 ‘사업 의 효과성’, ‘지표구성의 적절성’, ‘만족도조사 점수’ 지표는 삭제하였다. 반면 ‘사업성과’(5점) 지표는 새롭게 추가하여 사업결과로 얻어지는 구 체적인 효과 및 결과물을 측정하고자 하였으며, 사업목적과 명확한 연계

Ⅱ. (중앙)국고지원 장애인단체 평가제도 29 성을 가지고 성과를 달성했는가를 파악하고자 하였다. 구체적으로 ‘조직관리’ 영역 중 ‘이사회 운영’, ‘직원 채용의 공정성’ ‘직원의 장애인 비율’, ‘직원의 복리후생제도’에서 ‘조직 및 인력관리’ 의 지표로 취합하여 적용하였고, 평가위원의 주관적인 판단으로 점수 차이 를 보이며 단체에서 제출한 증빙자료 등이 미약하여 실제 평가하기가 어렵다고 판단된 ‘사업의 차별성’과 ‘사업의 효과성’, ‘지표구성의 적절 성’, ‘만족도조사 점수’(기존 만족도조사 점수) 지표는 삭제하였다. 특히 2013년 새로 추가된 ‘사업성과’ (5점) 평가지표는 사업결과로 얻어지는 구체적인 효과 및 결과물을 측정하기 위한 지표로 사업목적과 명확한 연계성을 가지고 성과를 달성했는가를 파악하고자 하였다. 2013년 장애인단체 국고보조사업 평가에서는 단위사업에 대한 평가지 표의 서면평가와 함께 개별 단체 재정운영의 투명성 제고를 위해 회계 사에 의한 재무회계 심사가 병행되었다. 이번 국고보조금 지원 26개 장 애인단체를 대상으로 회계사가 단체에 직접 방문하여 회계 및 행정실무 자 인터뷰, 관련 회계 장부와 증빙 자료를 중심으로 검토가 이루어졌으 며, 단체의 예･결산 회계 업무, 자금 입･출입, 급여 등의 업무영역별 내 부 통제제도 등을 확인하였다. 그러나 2013년에 수행된 회계평가는 명확 한 평가 기준을 가지고 진행된 것이 아니라 장애인단체에서 수행하고 있는 회계 및 재무현황 등을 파악하여 향후 회계평가의 기준 및 개선안 을 모색하는 것을 목적으로 실시되었다. 이에 단체에 송부된 회계심사결 과보고는 단체의 재정 및 회계 세무에 대한 전반적인 현황 분석 및 개선 안을 중심으로 작성되었다. 회계사가 방문하여 이루어진 회계평가는 평가지표 1-3 ‘재정관리의 투명성’에 의거 ‘회계 또는 감사가 외부 전문자격인을 통해 이루어진다’ 항목의 평가를 대신하는 것이다. 이에 모든 단체가 본 항목의 점수를 부 여 받는 것이다. 이번 회계평가는 다음과 같이 6개 기준으로 구분하였 다. 첫째, 재무회계관련 규정 유무 확인이다. 이는 제출된 결산서의 일관 성과 신뢰성을 평가하기 위해 결산서 작성기준이 되는 재무회계규정의 유무를 확인하는 것으로 이루어졌다. 둘째, 지출거래조사이다. 이는 지

30 경기도 장애인단체 지원사업 평가지표 개발 연구 출거래시 지출결의서, 품의서, 증빙서, 대금결제방법 등의 재무회계규정 과 보조금교부조건에 부합되는지 샘플조사를 통해 이루어졌다. 넷째, 보 조금교부조건 준수여부이다. 교부조건의 준수여부를 확인하기 위하여 보조사업 수입과 지출의 타사업과의 별도 계리 여부, 보조금 통장명의가 단체명인지 여부, 보조사업비가 사업계획상 승인내용 범위 내에서 지출 되는지 여부, 보조사업수행 관련 수익발생시 소관부서와 협의 및 정산보 고서에 포함되는지 여부, 당초 보조사업의 내용 또는 경비배분을 변경한 경우 소관부서의 승인을 받는지 여부, 다른 기관으로 연구용역을 의뢰하 는 경우 승인을 받는지 여부, 사업목적과 직접 관련이 없는 단체운영경 비(상근직원인건비, 사무실임대료, 공과금, 차량유지비, 집기구입 등)에 보조금 지출 여부, 보조금으로 퇴직적립금 지출 여부, 보조금계좌와 연 계된 체크카드 사용 또는 온라인송금 여부, 보조금 정산･반납 시 이자 포함반납 여부, 보조금으로 취득한 중요재산이 있는 경우 재산목록 제출 여부, 추정가격 5천만원이상 거래유무 및 계약절차를 준수 여부 등을 확 인하였다. 넷째, 회계처리 및 관리통제제도 확인이다. 단체내의 회계처 리 방법과 관리통제제도를 파악하기 위하여 단체에서 사용 중인 회계프 로그램 파악, 증빙서철과 결의서 기안서 이체증 등 근거서류 등의 내부 서류 구비 상태, 예산결산서 공개여부, 내부감사 실시 및 보고 여부, 외 부전문가 감사실시 여부, 장부기장 방식이 복식인지 단식인지 파악, 퇴 직금 적립방법 등을 확인하였다. 다섯째, 세무처리 상황 확인이다. 단체 내의 세무처리가 세법 등의 규정에 따라 적절하게 이행되고 있는지를 파악하기 위하여 근로소득, 기타소득, 사업소득 등의 원천징수 여부와 세액의 신고납부여부 확인, 수취한 매입세금계산서합계표 제출 여부 등 을 확인하였다. 여섯째, 후원금 관리 상황 확인이다. 단체내의 후원금 관 리가 적절하게 되고 있는 지를 파악하기 위해 후원금의 전체 세입결산 포함여부, 후원금의 수입 및 사용내역을 당사자에게 통보 여부, 후원금 의 내역을 홈페이지 등에 공개 여부 등을 확인하였다.

Ⅱ. (중앙)국고지원 장애인단체 평가제도 31 2) 평가 지표 (1) 2010년 2010년 장애인단체 국고보조사업 평가지표는 조직관리 및 사업, 회원 만족도, 그리고 평가팀이 줄 수 있는 추가 가산점 영역으로 구성되었다. 본 평가는 장애인단체가 수행하는 국고보조사업이 그 대상인 이유로 사 업에 대한 평가영역이 60%를 구성하고 있으며 사업시행에 직접적인 영 향을 줄 수 있는 조직과 인력, 그리고 재정 및 관리운영 부문을 평가하 는 조직관리 영역이 30%, 그리고 사업에 대한 이용자의 의견이 반영되 는 회원만족도 영역이 10%, 추가가산점 영역이 10%로 구성되어 있다. 조직관리 영역은 의결기구 구성비율 등을 평가하는 조직 및 인력 부 문, 재정 건전성 등을 평가하는 재정 부문, 직원의 복리후생 등을 평가하 는 관리운영 부문으로 구성되었다. 사업 영역은 사업의 운영에서 결과까 지 사업의 전 과정을 평가할 수 있도록 사업운영, 사업계획, 사업과정, 그리고 사업결과 부문으로 구성되었으며, 사업운영 부문은 사업예산과 산출실적 등으로 평가하고, 사업계획 부문은 사업의 전문성 등으로, 사 업과정 부문은 사업수행과정 등으로, 사업결과 부문은 사업의 참신성 및 차별성 등으로 평가하도록 되어 있다. 회원만족도 영역은 회원이나 이용 자의 만족도 조사결과를 통해 평가하도록 되어 있으며 추가가산점 영역 은 단체의 평가 준비성 등에 대한 평가팀의 추가점수를 줄 수 있도록 구 성되어 있다. 평가 문항은 조직관리 영역 10문항, 사업 영역 9문항, 회원만족도 영 역 2문항, 추가가산점 영역 3문항으로 모두 24문항으로 구성되어 있다. 조직관리 및 사업 영역을 세부적으로 살펴보면 조직관리 영역의 조직 및 인력 부문 6문항, 재정 부문 2문항, 관리운영 부문 2문항이며, 사업 영역의 사업운영 부문 2문항, 사업계획 부문 2문항, 사업과정 부문 2문 항, 사업결과 부문 3문항으로 구성되어 있다. 영역 및 부문별 배점은 조직 및 인력 부문을 구성하고 있는 의결기구 구성에 관한 2문항 6점, 직원개발 노력 정도에 관한 4문항 12점, 재정에

32 경기도 장애인단체 지원사업 평가지표 개발 연구 관한 2문항 6점, 관리운영에 관한 2문항 6점으로 조직관리 영역의 모든 문항의 합계는 30점이며, 사업운영 부문에 관한 2문항 12점, 사업계획 부문에 관한 2문항 12점, 사업과정에 관한 2문항 18점, 사업결과에 관한 3문항 18점으로 사업 영역의 모든 문항의 합계는 60점이다. 또한 회원만 족도 부문에 관한 2문항 10점으로 회원만족도 영역의 문항 합계는 10점 이며, 평가팀 종합소견을 나타내는 3문항 10점으로 추가가산점 문항의 합계 역시 10점으로 지표를 구성하는 모든 문항의 합계는 110점이다. 세부 문항을 살펴보면, 조직관리 영역의 조직 및 인력 부문 의결기구 구성을 평가하는 문항으로 이사회 운영 및 이사회 장애인당사자 비율을 채택하였고, 직원개발과 관련해서는 직원의 역량제고 노력 및 직원 장애 인당사자 비율, 그리고 근무환경의 편의제공을, 재정 부문을 평가하는 문항으로 재정건전성 및 재정관리의 투명성, 관리운영을 평가하는 문항 으로 직원의 복리수행제도 및 단체 홍보 및 홈페이지 관리를 세부문항 으로 구성하였다. 사업 영역의 사업운영 부문을 평가하기 위한 문항으로 는 사업 예산의 적정성 및 목표대비 산출 실적을, 사업계획을 평가하기 위한 문항으로는 사업기획의 전문성 및 사업의 홍보를, 사업과정을 평가 하기 위한 문항으로는 사업수행과정 및 사업의 욕구파악 및 적용을, 사 업결과를 평가하기 위한 문항으로는 사업평가 및 사업 차별성 및 참신 성, 그리고 사업 효과성 및 지속성을 채택하였다. 회원만족도 평가 문항 으로는 만족도 조사여부 및 만족도 조사 점수를, 추가가산점 문항으로는 단체에 대한 전반적 이미지 및 단체의 평가 준비성, 그리고 자체평가의 정확성을 채택하였다.

34 경기도 장애인단체 지원사업 평가지표 개발 연구 (2) 2011년 2011년 장애인단체 국고보조사업 평가지표는 2010년 평가지표를 기준 으로 하여 수정･보완되어 조직관리, 사업, 사업대상 만족도, 그리고 추가 가산점 영역으로 구성되었다. 조직관리 영역은 의결기구 구성, 직원개발 등을 평가하는 조직 및 인력 부문, 재정의 국고의존도 등을 평가하는 재 정 부문, 직원의 복리후생, 단체홍보 등을 평가하는 관리운영 부문으로 구성되었다. 사업 영역은 사업의 운영에서 결과까지 사업의 전 과정을 평가할 수 있도록 사업운영, 사업계획, 사업과정, 그리고 사업결과 부분 으로 구성되었으며, 사업운영 부문은 사업예산, 산출실적, 자부담율로 평가하고, 사업계획 부문은 사업기획의 전문성, 사업의 홍보, 사업과정 부문은 사업수행과정, 사업의 욕구파악, 사업결과부문은 사업의 참신성 및 차별성, 사업의 효과성 및 지속성 등으로 평가하도록 되어 있다. 사업 대상 만족도 영역은 회원이나 이용자 등 사업대상자의 만족도 조사결과 를 통해 평가하도록 되어 있으며, 추가가산점 영역은 단체의 평가준비성 등 장애인 단체에 대해 평가팀의 추가점수를 줄 수 있도록 구성되었다 . 평가문항은 조직관리 영역 10문항, 사업 영역 12문항, 사업대상 만족 도 영역 1문항, 추가가산점 영역 3문항으로 총 26문항으로 구성되어 있 다. 각 영역에 대한 평가지표 배율은 105%를 기준으로, 사업에 대한 평 가영역이 65%로 가장 많은 부분을 차지하고 있으며, 사업시행에 직접적 인 영향을 줄 수 있는 조직과 인력, 그리고 재정 및 관리운영 부문을 평 가하는 조직관리 영역이 30%, 그리고 사업에 대한 이용자의 의견이 반 영되는 사업대상만족도 영역이 5%, 추가가산점 영역이 5%로 구성되었 으며, 문항의 합계는 105점이다.

36 경기도 장애인단체 지원사업 평가지표 개발 연구 (3) 2012년 2012년 장애인단체 국고보조사업 평가지표의 영역은 조직관리, 사업, 사업대상 만족도, 평가팀 종합소견 등 크게 4개 영역으로 구성되었다. 평가영역별 배점비율을 살펴보면, 장애인단체가 수행하는 국고보조사업 이 평가의 대상이므로 사업에 대한 평가영역을 60%로 구성하고, 사업수 행에 직접적인 영향을 줄 수 있는 조직관리에 대한 평가영역을 30%, 사 업에 대한 이용자의 의견이 반영되는 사업대상 만족도에 대한 평가영역 을 5%, 평가팀 종합소견에 대한 평가영역을 5%로 구성되었으며 문항의 합계는 100점이다. 각 평가영역에 대한 세부 평가항목을 살펴보면, 첫째, 조직관리 영역은 9문항에 대해 배점 30점으로 구성되어 있다. 조직 및 인력은 의결기구 구 성(이사회 운영, 이사회 장애인 비율) 및 직원개발(직원 채용의 공정성, 직원의 역량제고 노력, 직원의 장애인 비율)로 구성되어 있고, 재정은 재 정의 국고의존도, 재정관리의 투명성으로 구성되어 있고, 관리운영은 직 원의 복리후생제도, 단체 홍보 및 홈페이지 관리로 구성되어 있다. 둘째, 사업의 운영에서 결과까지 사업의 전과정을 평가할 수 있는 사 업 영역은 10문항에 대해 배점 60점으로 구성되어 있다. 사업운영은 사업 예산의 적정성, 목표대비 산출 실적, 사업비 자부담 비율로 구성되어 있 고, 사업계획은 사업 기획의 전문성, 사업의 홍보로 구성되어 있고, 사업 과정은 사업수행과정, 사업의 욕구파악 및 적용으로 구성되어 있고, 사업 결과는 사업평가, 사업의 차별성, 사업의 효과성으로 구성되어 있다. 셋째, 사업대상 만족도는 2문항에 대해 배점 5점으로 구성되어 있다. 지표구성의 적절성은 단위사업에 대한 만족도조사 설문지(조사표)의 지 표가 얼마나 다양하게 구성되어 있는지를 살펴보는 평가지표이고, 만족 도조사 점수는 장애인단체 이용자 혹은 회원의 만족도조사를 통해 얻은 점수를 살펴보는 평가지표이다. 넷째, 평가팀 종합소견은 배점 5점으로 구성되어 있으며, 기관의 평가 에 대한 준비성, 협력성, 자체평가의 정확성, 전문성 향상을 위한 노력, 단체에 대한 전반적인 이미지 등을 고려하여 현장평가팀의 종합소견을

Ⅱ. (중앙)국고지원 장애인단체 평가제도 41 평가영역 세부영역 배점 3. 사업수행과정의 적정성 2-3-1. 수행절차의 적절성 16 2-3-2. 수행관리의 적절성 4. 사업성과와 환류의 적절성 2-4-1. 사업성과의 달성수준 35 2-4-2. 사업성과 환류의 적절성 소계 70점 계 100점 우선, 조직인력관리 영역인 리더십의 세부항목인 ‘사업에 대한 관심 정도’이다. 이는 단체장 또는 사무총(국)장이 국고보조사업에서 하고 있 는 업무에 대해서 잘 알고 있는지의 관심정도를 평가하는 것으로서, 국 고보조사업에 대한 단체장 또는 사무총(국)장의 대면 인터뷰를 통해 이 루어진다. 평가의 근거는 단체장 또는 사무총(국)장의 인식도라고 할 수 있다. 조직인력관리 영역의 인력관리 항목 중 첫 번째 세부항목인 ‘직원채 용의 합리성’이다. 이는 공정하고 합리적으로 직원채용이 이루어졌는지 를 평가하는 것으로서, 인사관리규정에 의한 채용이 이루어지고 있는지 그리고 직원 채용이 공정하고 합리적으로 이루어졌는지를 통해 이루어 진다. 평가의 근거는 인사관리규정 및 기타 서류라고 할 수 있다. 인력관 리 항목 중 두 번째 세부항목인 ‘직원채용의 합리성’이다. 이는 공정하고 합리적으로 직원채용이 이루어졌는지를 평가하는 것으로서, 인사관리규 정에 의한 채용이 이루어지고 있는지 그리고 직원 채용이 공정하고 합 리적으로 이루어졌는지를 통해 이루어진다. 평가의 근거는 인사관리규 정 등과 같은 서류와 직원들과의 인터뷰 등이라고 할 수 있다. 인력관리 항목 중 세 번째 세부항목은 ‘장애인비율’이다. 이는 직원 중 장애인 비 율이 적정한가를 평가하는 것으로서, 직원 중 장애인이 몇 명인가를 확 인하는 것으로서 이루어진다. 인력관리 항목 중 네 번째 세부항목은 ‘직 원교육’이다. 이는 단체에서 직원의 역량강화 및 전문성 향상을 위해 노 력하고 있는지를 평가하는 것으로서, 단체에서 직원의 역량 강화와 전문 성 향상을 위해 노력하고 있는지 확인함으로서 이루어진다. 평가의 근거

42 경기도 장애인단체 지원사업 평가지표 개발 연구 는 외부교육 및 내부교육, 해외연구, 세미나, 워크숍 등 직원들의 교육시 간을 증명하는 서류 등이라 할 수 있다. 인력관리 항목 중 다섯 번째 세 부항목은 ‘직원복지후생’이다. 이는 직원복리후생이 잘 이루어지고 있는 지를 평가하는 것으로서, 단체에서 직원 복리후생을 위해 노력하고 있는 지 확인함으로서 이루어진다. 평가의 근거는 근로기준법 상 휴가제도 등 임직원 복리후생을 명시한 규정집 등이라 할 수 있다. 조직인력관리 영역의 세 번째 항목인 재정관리의 첫 번째 세부항목은 ‘재정관리의 투명성’이다. 이는 재정관리가 투명하고 적법하게 이루어지 고 있는지를 평가하는 것으로서, 재무회계 규정이나 회계감사 실시여부, 회계 또는 감사를 전문자격인을 활용하는지의 여부, 예･결산서 공개 여 부, 정부 보조금교부준수 여부 등을 통해 확인함으로서 이루어진다. 재정 관리 항목 중 두 번째 세부항목은 ‘재정의 국고의존도’이다. 이는 재정의 국고의존도를 줄이기 위한 지속적 노력이 있는지를 평가하가 위함이며, 국고(보건복지부) 보조금 및 단체예산총액을 확인함으로서 이루어진다. 다음은, 사업영역인 사업목적의 적절성의 세부항목인 ‘목적의 적절성’ 이다. 이는 사업을 통해 달성하고자 하는 목적이 명확하고 구체적이며, 수행 당위성과 유사･중복사업에 대한 회피 노력이 계획서 상에 제시되 어 있는지를 평가하는 것으로서, 사업목적의 적절성을 확인하기 위해 아 래와 같이 사업계획서 등에 적절하게 기술되었는지를 알아봄으로서 이 루어진다. 구체적으로 첫째, 사업참여자의 욕구반영을 위한 조사, 선행 연구 분석 등이 사업계획서에 명시되었는지 여부와 문제 인식의 정확하 게 제시되어있는지 둘째, 사업을 통해 달성하고자 하는 구체적인 이유가 목적에 기술되어 있고, 기술된 목적은 문제해결에 기여하는 것인지 여부 를 구체적으로 기술하고 있는지 셋째, 사업의 목적과 사업참여 대상이 수행 단체의 정관에 명시된 고유 목적사업 또는 조직의 비전과 미션을 달성하는데 사업수행의 당위성 확보에 적절하게 기술되어있는지 넷째, 사업의 목적이나 사업참여 대상이 공공이나 민간의 다른 사업과 유사하 거나 중복되지는 않는지 여부를 확인하는 것으로 이루어진다. 사업추진계획의 적절성의 세부항목인 ‘목표의 적절성’은 사업이 달성

Ⅱ. (중앙)국고지원 장애인단체 평가제도 43 하고자 하는 목표는 적합한 지표로 구체적이고 확인 가능하도록 제시되 어 있는지를 평가하는 것이다. 이를 위해 첫째, 제시된 사업목표가 사업 의 목적 달성 여부를 확인하기에 적합한 하위 요소로 구성되어 있는지 여부를 확인하고 둘째, 제시된 사업목표는 사업성과(outcome)를 측정 가 능한 지표로 구체적으로 제시하고 있는지 여부를 확인하며 셋째, 사업목 표 값은 적절한 근거에 의해 합리적이고 도전적으로 설정되었는지의 여 부를 확인한다. 사업추진계획의 적절성 중 두 번째 세부항목인 ‘수행 계 획의 적절성’은 사업 수행 계획이 목표를 달성하기에 적합하며, 실행방 법이 체계적이고 구체적으로 제시되어 있는지를 평가하는 것이다. 이는 사업의 실행을 위해 작성된 계획서가 목표를 달성하기 위해 가장 효과 적이고 효율적인 방법을 채택하고 있으며, 사업 주체가 이행할 과제와 역할, 일정 등의 수행방법을 체계적이고 구체적으로 제시하고 있는지를 평가함으로서 이루어진다. 평가방법은 첫째, 계획된 사업 수행 방법이 사업의 목표를 달성하기에 적합한 방법으로 구성되었는지 여부 둘째, 제 시된 사업 수행 방법과 관련하여 예산의 절감, 최적화된 과업 수행 방식 의 채택 등 효율성을 극대화하기 위해 노력 여부 셋째, 사업의 성격에 따라 ‘추진방법, 인력운용, 홍보전략, 일정 및 시간, 장소 및 동선 등’계 획의 실행과 수행인력 간 공유에 필요한 내용이 체계적이며 구체적으로 명시되었는지 여부를 확인하는 것이다. 사업추진계획의 적절성의 세 번째 세부항목인 ‘예산의 적절성’은 사 업 수행에 필요한 예산의 집행 계획은 사업에 꼭 필요한 항목들로 적정 하고 합리적으로 산정되어 있는지를 평가하는 것이다. 이는 사업 예산의 편성은 사업 수행을 위해 꼭 필요한 항목들로 작성 되어 있고, 기관의 예산 확보와 효율적이고 합리적인 집행을 위한 절감 노력이 반영되어 있는지 평가함으로서 이루어진다. 구체적으로 첫째, 사업수행을 위해 편 성된 예산에는 불필요한 내역이나 필요 이상으로 과다하게 계상된 항목, 통상적인 편성 기준을 초과하는 내역이 없고, 예산의 효율적 사용을 염 두해 두었는지 여부를 확인함으로써 둘째, 단위 사업 총예산의 규모에 따라 자부담 비율을 산정한 후 예산 규모 구간별 최고값을 2점으로 산정

44 경기도 장애인단체 지원사업 평가지표 개발 연구 한 후 전년도 장애인단체 평가 결과를 토대로 산출된 분포를 4개 구간으 로 나눠 산출한 점수를 부여함으로써 이루어진다. 다음은, 사업영역인 사업수행과정의 적정성의 세부항목인 ‘수행절차 의 적절성’이다. 이는 사업의 수행이 당초 계획된 과정과 절차를 준수하 였으며, 홍보와 내외부의 자원을 적절히 활용하여 진행하였는지를 알아 봄으로서 이루어지며, 사업 수행의 과정에서 당초 계획된 절차가 원만하 게 이행되었고, 사업의 홍보와 내･외부 자원의 활용도 적절하게 이루어 졌는지를 평가하는 것이다. 평가방법은 첫째, 예산계획 상에 제시된 예 산이 집행 계획과 집행일정에 부합하게 100% 정상 집행 되었는지 여부. 둘째, 사업의 진행이 당초 사업계획서에 명시된 추진 일정과 수행방법대 로 차질 없이 진행되었는지 여부. 셋째, 사업의 대상자를 모집하거나 사 업 자체의 수행, 수행의 성과와 의미 등을 외부에 공유할 목적으로 이루 어지는 다양한 홍보 전략이 사업 계획에 반영되어 있고, 수립된 계획에 따른 적절한 노력을 기울였는지, 사업의 특성에 따라 필요한 다양한 매 체와 방법을 통해 홍보성과를 거두었는지의 여부. 넷째, 기관이 보유하 고 있는 내부자원을 적절하게 활용하였을 뿐만 아니라 기관 외부와 지 역사회 등의 추가적인 인적자원과 물적자원 등을 동원하여 원하는 사업 성과를 낼 수 있도록 활용하였는지 여부를 확인하는 것이다. 사업수행과정의 적정성 중 두 번째 세부항목인 ‘수행관리의 적절성’ 은 사업의 수행과정은 체계적으로 모니터링 되고, 그 결과가 수행 과정 의 수정과 보완에 적절히 반영되었으며, 과정의 기록이 체계적으로 보존 되어 있는지를 평가하는 것이다. 이는 사업 수행의 과정에서 적절한 중 간 점검과 모니터링이 이루어졌고, 모니터링을 통해 나타난 개선과 수정 보완사항이 반영되었으며, 이러한 내용을 포함하는 모든 사업의 진행과 정이 체계적으로 기록 및 보존되었는지를 알아봄으로서 평가된다. 구체 적으로 이는 첫째, 사업의 진척 정도와 진행 과정의 적절성을 점검하는 과정평가(중간평가 등)와 내･외부의 슈퍼비전이 제공되는 자문회의 등 이 이루어졌는지 여부. 둘째, 중간 과정 모니터링의 항목과 결과의 기록 이 구체적이고 실천 가능한 내용으로 상세하게 기술되어 있으며, 이러한

Ⅱ. (중앙)국고지원 장애인단체 평가제도 45 결과가 이후 사업의 진행과정에서 적절하게 반영되어 실천되었는지 여 부. 셋째, 사업의 진행과 모니터링, 모니터링에 따른 변동 사항과 실행 등의 전체 과정은 수행 중 담당인력이 추가되거나 향후 다른 인력이 해 당 업무를 수행하게 되더라도 기록을 참고하여 재현하는 것이 가능할 정도로 체계적이고 구체적으로 기록되어 관리되고 있는지 여부 등의 확 인을 통해 이루어진다. 마지막으로, 사업영역인 사업성과와 환류의 적절성의 세부항목인 ‘사 업성과의 달성수준’이다. 이는 사업의 결과가 당초 계획된 성과 목표를 적절하게 달성하였는지를 평가하는 것이다. 구체적으로 목표 대비 달성 실적 산출을 기준으로 최고 달성 단체를 25점으로 계산하고, 각 단체가 성취한 점수의 비율을 전년도 장애인단체 평가 결과를 토대로 산출된 분포를 4개 구간으로 나눠 점수를 부여함으로서, 측정된 달성 실적은 성 과지표 부합 여부를 확인함으로서 이루어진다. 사업성과와 환류의 적절 성 중 두 번째 세부항목인 ‘사업성과 환류의 적절성’은 사업 수행의 성 과가 공정하고 객관적인 방법에 의하여 평가되었고, 후속 사업이나 내･ 외부의 변화에 긍정적인 영향을 끼쳤으며, 사회적으로 공유되어 파급효 과를 가져왔는지를 평가하는 것이다. 방법은 사업성과 환류의 적절성을 확인하기 위해 적절하게 진행되었는지, 효과성 분석과 향상을 위한 노력 은 사업 목표를 원활히 달성할 수 있도록 적합한 방법을 사용하고 계획 수립과 실행 과정 분석･기록하였는지, 효율성 분석은 동일한 결과를 달 성하기 위해 사용된 과정과 방법이 비교할 수 있는 다른 방법에 비해 더 적은 자원(예산, 인력, 시간, 물품 등)을 필요로 한다는 것을 검토, 분석 하고 실행한 내용에 대한 기록이 있는지 등의 여부를 확인하는 것이다.

50 경기도 장애인단체 지원사업 평가지표 개발 연구 내 용 방 법 일 정 평가지표 의견조사 및 평가위원 추천 ∙ 평가지표(안)에 관한 의견조사 ∙ 학계전문가 평가위원 구성 4.25∼4.30 평가 사전교육 ∙ 사업담당자 집합교육 실시 1차: 5.7 2차: 6.17 자체평가 ∙ 각 단체별 자체평가 실시 후 평가표 제출 5.8∼5.22 현장점검 및 평가 ∙ 평가위원 및 연구진 기관별 현장방문 및 평가 6.17∼7.10 42개 단위사업을 대상으로 평가가 진행되었는데, 단체 당 2∼3개의 사업 으로 최소 1개부터 최대 7개 단위사업을 수행하는 단체들에 대해 평가 가 이루어졌다. 평가대상기간은 2012년 1월 1일부터 2012년 12월 31일까 지의 1년을 기준으로 한다. 2) 평가의 방법과 절차 2012년 경기도 장애인단체 지원사업 평가는 각 장애인단체의 자체평 가, 현장평가위원의 확인평가 및 평가결과보고서 작성, 평가 이후 평가 결과 검토회 등 일련의 과정으로 진행되었다. 장애인단체의 자체평가는 2012년 도내 장애인단체 의견수렴을 통해 확정된 장애인단체 지원사업 평가지표를 토대로 자체평가서 및 평가안내서를 배포하여 장애인단체에 서 자체적으로 사전평가를 실시하고, 그 결과를 자체평가서 양식에 따라 작성하는 방식으로 수행되었으며, 각 장애인단체별로 작성한 자체평가 서는 자체평가기간 내에 제출되었다. 평가결과 검토회에는 경기도 장애인복지과 담당자, 현장평가위원, 평 가 담당연구진이 참여하였으며, 평가과정 및 결과에 대한 의견조율을 통 해 평가위원 간 편차를 최대한 줄이고 공정하고 객관적인 평가결과를 도출하기 위해 노력하였으며, 2012년 경기도 장애인단체 지원사업 평가 의 일정은 <표 Ⅲ-1>과 같다. <표 Ⅲ-1> 2012년 장애인단체 평가 진행일정

Ⅲ. 경기도 장애인단체 지원사업 평가제도 51 내 용 방 법 일 정 평가결과 검토회 ∙ 경기도 장애인복지 담당, 평가위원, 연구진 평가결과 검토회 실시 7.22 평가결과 보고회 및 우수사례 발표회 ∙ 2012 장애인단체 지원사업 실무자 대상 평가결과 보고회 및 우수사례 발표회 7.26 자료: 2012년 경기도 장애인단체 지원사업 평가결과 보고서, 한국장애인개발원 현장평가는 외부전문가인 학계 교수 5인으로 구성된 평가위원이 2인 1팀으로 각 팀당 4~6개의 장애인단체를 직접 방문하여 실시하였고, 장애 인단체에서 작성한 자체평가서 및 평가근거자료를 바탕으로 평가위원들 이 장애인단체 실무자 및 단위사업 담당자와의 질의응답과 병행하여 이 를 확인･검토하는 방식으로 수행되었다. 현장평가 이후 자체평가에 대 한 확인 평가서 및 평가위원이 작성한 단위사업별 평가결과보고서를 취 합하여, 평가결과 검토회를 통해 평가결과를 도출하였다. 2012년 사업의 평가에 있어서 평가의 체계성과 공정성 확보 및 원활 한 진행을 위해 해당 분야의 전문가들로 구성된 평가위원회를 운영하였 다. 현장평가위원은 평가의 전반적인 사항들에 대한 자문과 평가결과의 확인･검토를 위해 직접 장애인단체를 방문하여 확인평가를 수행하였는 데, 평가위원회의 구성은 전문성을 확보하기 위해 학계 교수로 구성되었 다. 또한 전문적이고 공정한 평가를 위해 평가위원들을 대상으로 평가지 표에 대한 사전교육이 진행되었으며, 평가위원 사전교육에서는 평가지 표 내용 및 해설, 평가근거자료, 평가방향 및 기준, 평가위원의 역할, 평 가과정 등을 논의하였고, 현장평가는 평가일정에 따라 평가위원인 교수 2인과 한국장애인개발원 연구진(1인)이 직접 장애인단체를 방문하여 도 비 지원사업에 대한 현장평가를 실시하였다. 즉 교수 2명과 연구진 1명 이 1팀이 되어 현장평가에 투입됨으로써 현장전문가가 포함된 2013년 평가와는 다르게 구성되었다.

52 경기도 장애인단체 지원사업 평가지표 개발 연구 3) 평가지표 평가지표는 장애인단체 국고보조사업 평가지표(서해정 외, 2012)를 토 대로 수정･보완하여 사용되었으며, 2012년 경기도 장애인단체 지원사업 평가지표는 크게 계량지표와 비계량지표로 구성되어 있다. 우선 계량지 표는 중앙의 장애인단체 국고보조사업 평가지표를 토대로 경기도 장애 인단체 지원사업 평가에 적용하기 어려운 ‘조직관리 영역’은 삭제하였 고, 사업운영 영역에 대한 계량지표를 수정･보완하여 사용하였다. 평가 지표는 중복내용을 최소화하고 처음 실시하는 단체평가로서 장애인단체 간 형평성을 고려하여 평가의 변별력을 높이도록 정해졌다. 중앙 장애인 단체에 적용되었던 평가지표를 통해 수정된 2012년 경기도 장애인단체 지원사업 계량지표 구성체계는 평가점수 배점은 총 60점으로 ‘사업운 영’, ‘사업계획’, ‘사업추진 및 수행’, ‘사업평가 및 환류’, ‘사업성과’ 5개 영역으로 구성되었다. 먼저 ‘사업운영’ 영역은 사업예산의 적정성, 목표 대비 산출 실적, 사 업비 자부담 비율의 세부항목으로 구성되었다. 이어서 ‘사업계획’ 영역 에서는 사업 기획의 전문성과, 사업의 홍보를 세부항목으로 평가하였으 며, ‘사업평가 및 환류’를 통해 사업에 대한 중간･최종 평가여부와 이를 반영하여 사업을 진행하였는지를 평가하는 것으로 되어 있다. ‘사업성 과’의 부분을 평가하기 위해 사업 참여대상자에 대한 만족도 조사지표 의 적절성과 만족도 점수와, 사업의 영향력 및 기여도를 측정하였다. 또 한 사업예산사용에서의 회계처리가 재무회계규정 등에 적정하게 시행되 고 있는지를 ‘재정관리의 투명성’ 항목을 통해 평가하도록 되어 있다. 비계량지표의 평가점수 배점은 총 40점으로 세부평가 항목은 ‘목표설 정 적합성’, ‘사업수행 타당성’, ‘시행과정 적절성’, ‘성과목표 달성도’, ‘목표달성 노력도’ 5개로 구성되었다. 비계량지표에 의한 평가에서는 단 체 자체적으로 각 항목에 해당하는 근거자료 및 답변을 서술하여 S, A, B, C, D로 평가하도록 되어 있다. 비계량평가의 'B'는 평가기준 요구 수 준을 달성한 정도를 말하며, 5개 각각의 항목에 대해 전년 대비 향상도

Ⅲ. 경기도 장애인단체 지원사업 평가제도 53 또는 유사한 수준의 목표달성, 사업 수행과정에서 따른 성과목표 설정이 미흡하나 과정을 준수, 계획대비 일정 90% 이상 95% 미만, 계획된 성과 목표 정도만을 달성, 목표달성을 위해 기본적인 노력만을 하며, 초과 목 표달성을 기대하기는 어려운 상태를 의미한다. 이에 비해 'A'는 평가기준 대비 우수, 'S'는 평가기준 대비 매우 우수, 'C'는 평가기준 대비 성과 미흡, 'D'는 평가기준 대비 성과 매우 미흡으로 평가하였다(서해정 외, 2013). 4) 평가결과 2012년 경기도 장애인단체 지원사업 평가는 정형화된 예산기준과 규 정에 맞게 사업이 수행되었는지를 사업실적을 중심으로 파악하였는데, 최초로 실시되는 지원사업에 대한 평가이다 보니 자료의 제약과 평가에 대한 인식부족 등으로 각 사업의 실적, 효과성, 효율성 등을 정확히 측정 하는데 어려움이 있었다. 2012년 평가에서 사용된 평가지표는 중앙의 ‘장애인단체 국고보조사업 평가’를 간소화하여 사용하였기에 경기도 장 애인단체 지원사업의 특성을 반영하지 못한 한계도 있었다. 그럼에도 불구하고 평가결과를 종합적으로 살펴보면, 도내 장애인단 체는 도비 보조금사업을 통해 경기도 장애인단체의 특성을 고려한 사업 기획과 수행, 평가와 환류까지 일정수준 이상의 사업수행 및 실적을 나 타낸 것으로 평가하고 있다. 또한 사업의 내용에 있어서도 차별성 있고 창의적인 사업 아이템을 개발하고, 이를 통해 단체 종사자의 역량이 향 상되고 있다는 점을 평가하고 있다. 2012년 지원사업 평가를 통해 파악 된 문제점 등을 중심으로 경기도 장애인단체 지원사업의 개선방안으로 제시된 사항은 다음과 같다(서해정 외, 2013). 첫째, 사업은 매년 관례적으로 수행되고 있으며 사업내용의 다양성이 부족한 점, 즉 장애인단체에서 거의 대부분 사업들이 그동안 매년 정례 적으로 시행되는 사업들로 이루어져 있고, 사업의 대상자, 진행방식, 홍 보, 평가방식 등이 기존의 수행방법 등을 반복적으로 수행하는 경향이 있었다는 점이 지적되었다. 사업의 기획단계에서부터 장애인 당사자의

54 경기도 장애인단체 지원사업 평가지표 개발 연구 욕구변화 및 외부 환경변화에 민감하게 반응하여 보다 중･장기적 안목을 가지고 진취적인 사업을 구상할 필요가 있으며, 사업내용의 다각화(대상 자, 진행방식, 홍보, 평가방식 등)를 도모해야 할 점을 제안하고 있다. 둘째, 평가결과 평가지표 가운데서 기획의 전문성과 사업평가항목에 서 장애인단체 간 점수편차가 크게 나타났다. 위 지표들은 장애인단체의 특성 상 기본적인 인력과 조직운영에 소요되는 예산의 확보부족으로 전 문인력의 장기근속 등이 중요한 영향을 미치는 평가지표이다. 우선 사업 기획의 전문성에서는 사업 대상자를 대상으로 한 욕구조사, 유사사업에 대한 체계적인 조사와 분석, 전년도 사업 결과를 분석하여 금년도 사업 기획에 반영되는 부분이 미흡한 것으로 나타났다. 또한 사업평가 영역에 서는 사업종료 후 평가의 미실시, 표준화된 지표의 미비 등으로 효과성 을 검증하고자 하는 적극적 노력 등이 부족한 것으로 평가되었다. 이를 개선하기 위해 장애인단체 실무자를 대상으로 사업계획서 작성법, 욕구 조사 방법, 성과목표 설정, 회계교육 등의 내용으로 체계적인 교육이 실 시될 필요가 있으며, 평가를 어떻게 준비하고 필요한 서류작성법 등 평 가를 준비하기 위한 사전교육을 강화해야 하는 점을 제안하고 있다. 셋째, 단위사업별 투입예산 대비 사업성과 면에서 전반적으로 단체의 사업실적이 낮았고, 특히 측정 불가능한 목표를 설정했거나 설정된 목표 를 평가하지 않는 경우도 있었다는 점이 확인되었다. 또한 사업의 목표 달성을 위해서는 전문성 있는 사업담당자의 인력 배치가 무엇보다 중요 하나 사업별로 세분화되지 않은 업무분장 역시 목표달성을 어렵게 하는 요인으로 작용되었다고 보고하고 있다. 이에 따라 사업의 실질적 효과를 극대화 할 수 있는 투입, 과정, 산출, 성과에 입각한 논리모형에 입각하 여 사업을 기획하고 평가해야 할 것을 제안하고 있다. 넷째, 다양한 인적･물적자원 동원 및 연계가 미흡한 것으로 평가되었 다. 평가지표 상으로는 재정적으로 열악한 장애인단체에서 사업을 적절 히 수행하기 위해 가능한 지역사회 내 인적･물적 자원을 동원하고, 단체 회원 또는 사업참여자에게 필요한 서비스를 제공하기 위해 지역사회 유 관기관 및 시민들과 긴밀한 협력관계의 구축을 강조하고 있다. 그렇지만

Ⅲ. 경기도 장애인단체 지원사업 평가제도 55 일부 장애인단체에서는 아직까지 지역사회 유관기관들과의 긴밀한 네트 워크를 형성하지 못하고 있었으며, 인적･물적 자원동원력이 다소 부족 한 것으로 확인되었다. 이를 해결하기 위해 도 차원에서 주체가 되어 장 애인단체 뿐만 아니라 장애인복지기관, 시민단체 등 장애인에게 서비스 및 정보를 제공하는 기관들을 포함하여 지역사회 내 유관기관들과 공동 사업을 추진하는 것 방안 등을 제시하고 있다. 이러한 결과를 바탕으로 향후 실시될 평가체계 구축을 위한 방안들이 4가지로 제시되었다(서해정 외, 2013). 첫째, 평가지표에 대한 지속적인 수정･보완작업으로서 일부 지표는 변별력이 약하여 평가지표로서의 기능을 갖지 못하는 것으로 나타나 수 정이 필요한 것으로 지적되었다. 예를 들면, 지나치게 주관적인 평가항 목, 현재는 빠져있으나 장애인단체 지원사업의 특성을 반영하여 장애인 이용자나 회원 기관/시설의 참여도, 지역에 미치는 파급효과 등을 측정 할 수 있는 지표 등의 추가 필요성도 제시되었다. 또한 성과관리체계에 입각하여 단순한 산출실적 보다는 성과를 측정할 수 있는 지표의 개발, 사업비 중 자부담 예산에 대한 부담 완화, 단체의 미션 및 비전과 사업 수행 관련 필요성에 적합한 사업수행 여부를 평가하는 지표가 추가되어 야 한다는 점이 제시되었다. 특히 계량지표와 달리 비계량 지표에 대해 서는 자체평가 점수를 그대로 인정한 경우가 많아 보다 객관화 할 수 있 는 지표로의 전환이 제시되었다. 둘째, 본 평가가 장애인단체의 사업수행에 도움이 된다는 인식을 가질 수 있도록 평가체계의 구축이 필요하며, 이를 위해 정례적인 평가가 실 시되어야 하고, 단위사업별 사업계획서(신청서) 및 결과보고서 양식이 평가목적과 부합하고 있지 못하고 단순한 실적보고 및 사업비 정산결과 보고 등으로 간략하게 기술하도록 되어 있다는 점도 수정 필요성이 제 기되었다. 이와 함께 단체 간 서류준비와 편차를 줄이기 위한 사전설명 회와 교육의 개최와 현장평가에 있어 가장 문제점으로 제기되고 있는 평가위원 간 점수 차이를 해소하기 위해 이들 대상의 교육강화 필요성 을 제시하였다.

56 경기도 장애인단체 지원사업 평가지표 개발 연구 셋째, 평가결과의 활용 측면에서 장애인단체 지원사업에 대한 평가방 향과 목적을 명확하게 제시하면서 평가결과 우수사업에 대해서는 인센 티브 부여 또는 사업비를 증액하고, 평균 이하의 사업에 대해서는 단체 의 역량강화를 위해 지속적인 교육 및 관리의 필요성을 지적하였다. 구 체적으로 사업수행 및 평가결과가 낮은 사업의 경우 사업의 기획단계에 서부터 지속적인 컨설팅을 제공함으로써 사업수행 능력을 제고해야 한 다는 점을 제안하고 있다. 넷째로는 경기도만의 특성화가 가능한 사업모델로서 도시와 농촌의 복합적 특성, 중앙의 단체들에 비해 선도적인 사업모델을 적극적으로 개 발하고 보급할 필요성을 제시하고 있다. 5) 장애인단체의 장애인복지기금사업에 대한 컨설팅 2012년 경기도 장애인단체 지원사업에 대한 평가의 주요한 특징은 2013년 공모사업에 대한 컨설팅을 실시하였다는 점이다. 경기도는 2009 년부터 사회복지기금 운용계획에 의거 장애인복지기금 공모사업을 시행 하고 있는 바, 장애인복지지원을 목적으로 하는 도 내 법인 및 비영리민 간단체를 대상으로 1개 사업 당 최고 3천만원 이내에서 지원하고 있다. 이와 같은 공공자원의 투입에 따른 책무성과 이용자 중심의 서비스 욕 구 증가 등 외부환경의 변화에 대응하기 위해 서비스 품질에 대한 진단 과 개선방안의 하나로 컨설팅의 필요성이 제기되어 2013년 최초로 장애 인복지기금 공모사업에 대한 단체사업별 맞춤형 컨설팅을 실시되었다. 장애인복지기금 공모사업 수행기관에 대한 컨설팅은 사업수행의 중간점 검 차원에서 수행기관의 문제점 파악과 사업의 관리운영 및 조직의 역 량강화, 사업의 성과 달성 방안제시, 사업의 활성화 및 향후 발전방향 도 모를 목적으로 하고 있다. 장애인복지기금 공모사업은 ｢경기도 사회복지기금 설치 및 운용조례｣ 제16조에 근거하여 저소득 재가장애인 및 시설보호 장애인 보호사업, 장 애발생예방과 재활을 위한 사업, 장애인의 사회활동 참여 및 육성사업,

60 경기도 장애인단체 지원사업 평가지표 개발 연구 2013년 평가에서 평가위원 구성에서 달라진 점은 학계 전문가 외에 현장전문가가 배치되었다는 점으로 단체의 추천을 받아 선정된 6명의 현장전문가(사무국장, 부장 등)로 구성되었다는 점이다. 교수 2인과 함께 연구진이 참가하였던 전년도 평가와 달리 이번 평가에서는 현장전문가 가 참가하여 실질적인 도움이 될 수 있도록 하였다는 점이 특징적이다. 이와 함께 2013년 경기도 장애인단체 지원사업 평가는 전년도 평가와 달리 평가지표에 의한 평가뿐만 아니라 장애인단체가 수행하고 있는 지원 사업 전체에 대한 맞춤형 컨설팅을 실시되었다. 2012년에는 장애인복지기 금 공모사업에 대해 컨설팅이 진행되었으나 2013년에는 현장경험이 풍부 한 현장전문가와 장애인단체에 대한 이해도가 깊은 학계 전문가로 평가위 원을 구성하여 컨설팅이 사업에 반영하고자 한 점이 달라진 점이다. 평가결과는 현장에 활용될 수 있어야하기 때문에 합리적이고 설득력 이 있어야 한다는 점에서 2013년 경기도 장애인단체 지원사업의 평가는 단순히 평가지표에 의한 평가에 그치는 것이 아니라 지원사업 전체의 발전을 위한 사업으로 컨설팅으로 진행되었다. 특별히 컨설팅을 위해 SWOT 분석이 활용되었으며, 컨설팅은 평가위원의 일방적인 컨설팅이 아닌 각 사업의 전문가인 사업담당자와의 면담을 통해 이루어져 실질적 으로 장애인단체의 운영개선과 서비스 향상 등 사업의 발전에 기여할 수 있게 실시되었다. 3) 평가지표 2013년 평가지표는 2012년과 동일한데, 평가지표는 2013년 장애인단 체 국고보조사업 평가지표를 토대로 장애인단체 사전 의견수렴을 통해 큰 변동없이 사용되었으며, 평가지표는 크게 계량지표와 비계량지표로 구분하고 평가팀의 추가가산점 항목으로 구성되었다. 계량지표 구성은 평가점수 배점은 총 60점으로 ‘사업운영’, ‘사업계 획’, ‘사업추진 및 수행’, ‘사업평가 및 환류’, ‘사업성과’ 5개 영역으로 구 성되었으며, 비계량지표 평가점수 배점은 총 40점으로 ‘목표설정 적합

62 경기도 장애인단체 지원사업 평가지표 개발 연구 4) 평가결과 장애인단체별로 2개의 사업이 1개로 합쳐지거나 사업명칭이 달라지는 등 변경사항을 제외하고 전반적으로 큰 변화는 없었으나 사업에 대한 평가결과 점수는 전체적으로 상승된 것을 볼 수 있다. 이러한 평가결과 의 전반적인 상승을 두 가지로 해석할 수 있는데, 2013년에 이은 2014년 의 연속 평가로 평가지표에 대한 이해도가 높아진 점과 그에 따른 준비 가 이루어진 것으로 예측할 수 있고, 같은 맥락에서 또 한 가지는 지원 을 받는 장애인단체의 사업내용과 절차 등에 있어 그만큼 체계가 갖추 어졌다고 볼 수 있다. 평가결과는 2013년 평가에 비하여 사업운영 계량 및 비계량 영역 모 두에서 상당한 진전을 보인 것으로 나타났다. 사업예산의 적정성, 목표 대비 산출실적, 사업비 자부담 비율, 사업 기획의 전문성, 홍보, 사업수 행 과정, 사업평가 및 환류 등 대부분의 영역에서 평가 결과치가 상승된 것을 확인할 수 있다. <표 Ⅲ-5> 장애인단체 지원사업 연도별 평가영역 평균점수 (단위: 점) 구 분 사업 I 영역(계량) 사업 II 영역(비계량) 평가 팀 종합소견 총 점 2012 2013 2012 2013 2012 2013 2012 2013 평 균 43.08 47.86 28.38 36.50 - 3.94 71.64 84.11 표준편차 8.40 6.65 8.02 2.68 - 0.87 15.49 8.56 최소값 18.00 22.00 0.00 28.00 - 2.00 18.00 55.00 최대값 53.00 58.00 39.00 40.00 - 5.00 92.00 94.70 자료: 2013 경기도 장애인단체 지원사업 평가결과 보고서, 경기복지재단 특히, 사업 기획의 전문성과 사업의 홍보영역은 ‘우수’로 평가된 사업 들이 2배 이상 늘어난 것으로 나타나 단체들의 사업운영 역량이 향상된 점을 보여주고 있으며, 목표설정의 적합성, 사업수행 타당성, 수행과정

Ⅲ. 경기도 장애인단체 지원사업 평가제도 63 의 적절성, 성과목표 달성도, 목표달성 노력도 등 정성적 성격을 가진 평 가영역에서 역시 대부분이 지표에 대해 50% 이상 ‘탁월’ 또는 ‘우수’로 평가받은 것으로 나타난 바 있다. 영역별로 세부 내용을 살펴보면, 첫째, 사업운영 영역의 계량지표 중 목표대비 산출실적이 낮아진 점과 사업비 자부담 비율에서는 ‘미흡’으로 평가받았던 사업이 18개였지만 이번 평가에서는 ‘미흡’이 1개의 사업도 없었다는 점이다. 이는 자부담 비율이 늘었다는 점이며 도비에만 의존하 는 사업은 지속하기 어렵다는 점을 반영한 결과라 볼 수 있다. 이와 함 께 사업기획의 전문성에 있어 ‘우수’로 평가 받은 사업이 전년대비 2배 정도로 증가한 것은 단체에서 진행하는 사업의 내용과 질적 측면에서 점진적 발전이 이루어지고 있음을 보여주는 결과라 할 것이다. 둘째, 사업의 성과를 검토하는 중요한 지표인 만족도 조사에 있어 지 표구성의 적절성에 대해 78.3%가 적절하다고 평가되었고, 만족도조사의 점수는 71.7%의 사업이 적절한 절차에 의해 수행된 것으로 나타나 2012 년 지원사업에 비해 향상된 점을 볼 수 있다. 셋째, 사업의 영향력 및 기여도에 있어서는 ‘매우 높음’으로 평가받은 사업이 감소하였고 반면에 ‘매우 낮음’이 늘어나 오히려 점수가 하향되 었는데, 사업의 영향력 및 기여도에 있어서는 평가내용이나 기준의 타당 성을 검토할 필요가 있다는 점과 사업 시행 후의 영향(impact)에 대해 목 표설정이 적절하였는지를 검토해야 함을 보여주고 있다. 넷째, 비계량 영역 중에서는 전년대비 목표설정 향상도 또는 사업목표 에 대한 평가도 중요하지만 지표의 명칭처럼 목표설정에 따른 결과를 보아 타당성 있는 내용이 목표로 설정되었는지 검토가 필요한 경우도 있었다. 이상과 같은 결과에서 도출된 의미와 덧붙여 개선해 나가야 할 부분 은 다음과 같이 제시되고 있다(정희경 외, 2014). 첫째, 전반적으로 평점이 많이 향상되었고 이는 체계를 갖추어 가고 있음을 확인한 것이 평가의 의의라 할 것이며, 평가대상 단체에서는 2년 에 걸친 평가를 통해 사업의 계획단계에서부터 종결 후 평가까지 체계

64 경기도 장애인단체 지원사업 평가지표 개발 연구 적 발전이 있었다고 볼 수 있다. 그럼에도 불구하고 매우 몇 가지 지표 에서 오히려 점수가 하향 조정되는 경우도 있어 이에 대한 원인이나 사 유를 살펴볼 필요가 있다. 둘째, 이번 평가에서는 전년대비 그 격차가 많이 줄기는 했으나 여전 히 평가지표별 단체 간 편차가 있는 것으로 나타났다. 따라서 이에 대한 고려가 있어야 하는데, 사업의 수 또는 단체마다 특성이 다르기 때문에 사업의 유형을 몇 가지로 분류, 예컨대 행사성 사업, 장기적 사업 등으로 구분하여 평가할 필요가 있음을 보여주고 있다. 셋째, 지표의 재구성이 반드시 필요한 것으로 드러나고 있다. 평가영 역에서부터 내용, 기준구성까지 완전한 재검토가 이루어져야 할 것이며 현장과의 밀접한 연계 속에서 의견수렴이 반드시 이루어져야 함을 제안 하고 있다. 평가분야와 영역별로 정량지표의 측정 산식 및 적용을 분명 히 해야 하며, 정성지표 또한 내용을 구체화하고 객관성을 높이는 노력 이 필요하다 하겠다. 넷째, 단체별로 유사한 목적과 내용을 가진 사업들에 대해서는 논의를 통해 하나로 통합하고 보다 그 사업 내에서 다양한 세부 사업을 진행하 는 것이 바람직한 것으로 제시되고 있다. 예를 들면, 단체별로 진행하는 시설종사자 연찬회와 시설종사자 어울림 한마당은 유사한 성격을 갖는 사업이기에 이를 통합하여 보다 더 내용과 예산이 확대된 사업으로 진 행한다면 더 효과적이라 할 것이다. 다음으로 경기도 지원사업 전반에 대한 제언으로는 첫째, 단체에 대한 지원예산의 동결은 사업의 축소와 함께 인원감축의 결과를 초래하고 특 히 인력부족은 사업이 위축을 야기하고 사업의 질 저하와도 연결된 것 으로 볼 수 있다. 최근 장애유형 또는 개별 장애인의 특성에 맞는 맞춤 형 서비스, 재가장애인 대상의 찾아가는 서비스 등으로 인해 단체에 대 한 지원예산의 현실화가 필요하다. 현재와 같이 일괄적으로 배분하는 식 의 예산이 아닌 욕구가 크고 성과를 기대할 수 있는 사업에 대하여 예산 을 지원할 필요가 있다. 둘째, 경기도의 장애인단체 지원사업은 장애인단체에 따라 시･군의

Ⅲ. 경기도 장애인단체 지원사업 평가제도 65 지부와 연결하여 진행하고 있는 경우와 남부와 북부가 같은 사업이지만 별도의 사업비로 운영되고 있는 경우가 있다. 그렇지만 지역적으로 북부 지역의 제한된 사업비와 적은 인건비로 인해 인력이 자주 교체되는 현 상이 발생되어 사업의 실천능력과 사업의 질이 저하되는 결과를 초래하 고 있다고 파악되고 있다. 이러한 문제들을 해결하기 위해서는 지역적 특성을 고려한 현실성 있는 사업비의 지원이 필요하다고 하겠다. 셋째, 장애인단체들 간의 지원예산의 편차(단체별로 1개부터 최대 6개 사업)가 커서 예산의 차이가 사업 또는 단체의 규모차이 뿐만 아니라 사 업담당자의 사업 진행능력의 차이, 직원역량의 차이에 영향을 미치고 있 는 실정이다. 이에 따라 사업의 목적과 달성정도를 사업규모와 지원예산 과 연계하여 평가할 필요가 있다고 하겠다. 즉, 지원예산과 단체와 사업 규모에 따라 적절하게 그룹핑하여 평가할 필요가 있다는 점을 제안하고 있다. 넷째, 경기도 장애인단체 지원사업 중에는 모델이 될 만한 사업들이 있는데, 이들 사업을 적극 발굴하고 특성화시킬 필요가 있다. 특히 일부 시범적 사업들은 전국적인 관심과 자문 및 컨설팅 요청이 증가하고 있 는 경우가 있어 우수프로그램에 대한 지원과 더불어 각 단체에서 수행 하고 있는 우수 사업들을 선정하여 이를 홍보하고 서로 나눌 수 있는 기 회가 마련되는 것이 필요하다. 다섯째, 2013년 지원사업에서 도내 장애인단체들은 어려움을 겪고 있 었음을 컨설팅을 통해 알 수 있었는데 경기도 내의 전반적인 경기 불황 으로 물가상승 대비 사업비의 축소 또는 동결이 주된 요인으로 분석되 고 있다. 따라서 도 차원에서 지원사업 홍보에 대한 전체적인 계획을 수 립하는 방안이 필요한 것으로 지적되었다. 이와 함께 단체들이 자생적으 로 사업을 활성화시키기 위해서는 각 사업에 대한 홍보나 민간후원기관 의 결연을 행정적으로 지원해 주는 대책이 필요한 것으로 제시되었다.

66 경기도 장애인단체 지원사업 평가지표 개발 연구 5) 2013년 장애인단체 지원사업 SWOT 분석 및 컨설팅 2013년 지원사업 평가에서는 2012년과 달리 사업에 대한 진단 및 성 과평가와 더불어 사업에 대한 전문가와 연구진에 의한 컨설팅에 중점을 두고 진행되었는 점이다. 진단 및 사업 성과평가는 2012년과 동일한 평 가도구를 활용하였으며, 컨설팅은 SWOT 형식에 따라 분석을 시도한 후 실질적으로 활용할 수 있는 계획(Plan), 구체적인 단위행동(Activity)의 흐 름으로 이루어졌다. SWOT 분석은 장애인단체의 환경 분석을 통해 강점(Strength)과 약점 (Weakness), 기회(Opportunity)와 위협(Threat) 요인을 규정하고 이를 토대 로 전략을 수립하는 기법으로 다른 장애인단체와 경쟁우위로 차별화되 는 내적 역량(강점), 다른 장애인단체에 비해 경쟁 열위인 내적 특성(약 점), 사건, 시간 및 장소의 혼합이 단체에게 중요한 편익을 주는 환경 (기 회), 단체에게 중대한 손상을 주게 되는 환경의 사건(위협)으로 구성된 다. 이 SWOT 분석을 토대로 사업의 계획(Plan)과 계획달성을 위한 구체 적 행동(Action)을 중심으로 한 컨설팅이 이루어졌다. <표 Ⅲ-6> SWOT분석을 통한 장애인단체 지원사업의 발전 계획과 실행 행동 내부 요인 강점(Strength) 약점(Weakness) 사업을 진행하기 위한 장애인단체의 강점 사업을 진행하기 위한 장애인단체의 약점 외부 요인 기회(Opportunity) 위협(Threat) 사업이 발전할 수 있는 외부의 환경요인이 내부의 기회 사업의 발전을 저해하는 외부의 환경요인이 내부의 위협 컨설팅 계획(Plan) 행동(Activity) SWOT의 분석을 통한 사업의 계획 1. 2. 3. 4. 계획을 달성하기 위한 구체적인 행동 1), 2), 3), 4) 1), 2), 3), 4) 1), 2), 3), 4) 1), 2), 3), 4) 자료: 2013 경기도 장애인단체 지원사업 평가결과 보고서, 경기복지재단

Ⅲ. 경기도 장애인단체 지원사업 평가제도 67 사업을 진행하고 있는 각 단체별 SWOT 형식으로 분석한 결과를 살펴 보면, 첫째, 각 단체별 지부 연계와 회원들 간의 자원봉사나 경험공유를 통해 단체 내 소속감이나 연대감이 매우 높은 것으로 나타나고 있는 것 이 강점으로 나타나고 있다. 또한, 사업수행에 필요한 인력동원이 매우 용이한 것으로 나타나고 있어서 각 단체별 또는 장애유형별 특성을 잘 인지하고 있는 환경이 조성되어 있다는 것과 이에 소속된 회원(지부)들 의 결속력과 연대감은 매우 중요한 강점으로 파악되고 있다. 이는 사업 수행 시 참여할 인력충원이 매우 용이하다는 것과 동일한 목적을 가진 사업내용에 대한 만족도가 매우 높을 수 있는 여건으로 작용할 것으로 예상된다. 둘째, 각 단체별 특징 또는 장애유형별 특성을 잘 인지하고 있는 전문 인력과 활동이 잘 이루어지고 있으며, 청각이나 시각, 지체 등 각 장애유 형별 특성을 잘 인지하고 있는 인력이 배치되어 있다는 것이 장점으로 나타나고 있다. 특히, 각 단체 직원들의 경우 단체 특징과 장애유형별 특 성에 대하여 현장전문가와 동일한 능력을 보유하고 있어서 이들 인력을 적극적으로 활용할 수 방안 마련이 반드시 필요한 것으로 제시되고 있다. 셋째, 대부분의 단체들에게서 예산지원의 부족으로 인하여 능력을 갖 춘 신규인력을 채용하지 못하고, 적절한 처우가 이루어지지 않아 장기근 속에 어려움과 업무과중으로 인한 소진상태를 겪고 있는 것으로 드러나 고 있다. 전문성을 갖추고 역량 있는 인력은 불안정한 처우로 인해 장기 근속에 부담을 느끼고 있으며, 이는 또 다시 신규인력 채용과도 연결되 어 경험과 능력 있는 신규직원 채용이 어려워 신규직원의 소진 등을 야 기하는 악순환이 반복되는 상황을 볼 수 있다. 그리고 각 단체의 기회요인이 될 수 있는 사업의 홍보에 있어 어려움 을 겪고 있는 것으로 나타나고 있는데, 각 단체별로 홍보업무를 개별적 으로 수행하는 것은 예산의 제한으로 인해 효율적이지 못하여 단체별 활동이나 역할에 대한 폭넓은 지지나 사회적 합의를 이끌어 내는데 어 려움을 겪고 있는 것으로 나타나고 있다. 이와 같이 18개 장애인단체의 46개 사업에 대해 각 사업별 SWOT 분

72 경기도 장애인단체 지원사업 평가지표 개발 연구 2002). 논리모형은 프로그램이나 활동을 구성하고 있는 여러 가지 요소가 어 떻게 상호작용해 결과를 산출하는지에 대한 논리를 그림이나 텍스트로 나타내는 것이다. 논리모형은 주로 기획을 하고자 하는 프로그램의 실체 를 파악하는 기본적인 모형이다. 논리모형은 기본적으로 두 가지에 초점을 둔다. 그 첫 번째는 관계라 는 개념이다. 논리모형은 프로그램 활동 간의 관계 이외에 프로그램 구 성요소와 결과와의 관계를 보여 주게 된다. 다음으로 논리 모형은 프로 그램 활동의 계획된 목표에 초점을 두고서 구성요소 간의 관계와 개개 구성요소의 결과와의 관계를 보여 주게 된다. 논리모형은 다양한 이해관계자들로 하여금 연관된 주요 전략들을 이 해할 수 있도록 만들며. 그들이 원하는 변화에 기여하는 것을 분석하게 한다. 논리모형은 각 프로그램의 성과 도출에 필요한 여러 가지 자원에 대 한 추정을 도식화한 것으로 이러한 활동과 산출 결과는 프로그램에서 기대되는 성과물을 이해하기 위한 것이다. 이러한 추정 방식을 Program Theory라 부르기도 하는데, 이는 프로그램이 어떻게 작동하는지, 프로그 램이 도달해야 할 목적이 무엇인지에 대해 기술하고 있기 때문이다. 또 한 이해관계자들에게 프로그램에서 요구하는 결과와 프로그램 계획을 위해 필요한 요구들 사이의 관계에 대한 실행을 보여주고 인적, 재정적 투자가 의도한대로 목적을 성취하는데 공헌하는 바와 어떻게 프로그램 을 개선하였는지에 대해 시각화 하여 이해를 도울 수 있기 때문에 프로 그램 로드맵이라고 표현하기도 한다. 논리모형은 프로그램의 핵심 요소에 대해 정의하고 이러한 요소들의 상관관계를 설명해 줄 수 있기 때문에 일반적인 목표중심 평가보다는 프로그램의 효율성 검증의 측면에 있어서 적합하다고 할 수 있다(Chen & Rossi,1980). 일반적으로 하나의 프로그램을 위해 정확하게 정해진 모 델이 있는 것이 아니라 각 프로그램에 따라 다양하게 응용할 수 있으며, 하나의 프로그램이 어떻게 사용되는지에 대해 여러 이해 당사자들의 추

74 경기도 장애인단체 지원사업 평가지표 개발 연구 조직하고 체계화할 수 있는가를 정립하면 성과 달성이 용이하다는 것이 다. 계획의 도구로서 프로그램의 개념과 주요 이해관계자, 예산(자금)을 제공하는 자가 누구인지를 명확하게 설명할 수 있고, 그에 따른 전략을 수립할 수 있다. 따라서 최선의 결과를 가져올 수 있는 전략과 행위가 무엇인지 조사를 통해서 탐색하고 검증할 수 있다. 업무집행에 있어서도 프로그램 개선과 모니터링, 그리고 관련 필요자료를 정의하고 수집해서, 관리계획의 핵심적 역할을 할 수 있도록 한다. 따라서 프로그램의 우선 순위를 정하고 필요에 따라 적용할 수 있도록 하고, 선택과 집중을 통해 서 효율적인 투입을 할 수 있도록 한다. 둘째, 논리모형은 투입된 자원을 통해 여러 활동을 하고, 그 활동을 통 해서 산출물이 생산되고, 그것이 성과로써 나타나기까지 일련의 논리적 흐름을 나타내며, 이러한 흐름에 있어서 비논리적인 흐름이 발견되면 그 것들을 식별하여 프로그램의 조정 및 개선에 도움을 줄 수 있다. 셋째, 논리모형은 인과적으로 흐름을 구성하여 프로그램의 목표와 비 일치하는 것들을 식별할 수 있는데, 이를 통해 프로그램의 목표와 연계 된 평가 이슈들을 지적하여 성과평가의 타당성을 높일 수 있다. 넷째, 로직모델을 통해서 투입(또는 투자)을 강화시킬 수 있다는 것이 다. 체계적인 투입･투자가 가능할 뿐만 아니라, 투입･투자의 비전과 체 계적인 계획을 가지고 있다는 것을 제안할 수 있기 때문에 투자자들에 게 긍정적인 인상을 심어줄 수 있다. 다섯째, 프로그램이 작동원리를 분명히 하며, 책임소재를 파악하는데 도 도움을 줄 수 있다. 논리모형은 위와 같은 여러 가지 장점을 가지지만, 다음과 같은 단점 도 존재한다. 첫째, 논리모형의 구성요소가 매우 다양하여 이론을 만들고 모형을 만 드는데 많은 노력과 자원이 필요한 단점이 있다. 둘째, 논리모형을 통해 나타나는 인과관계는 필요충분조건처럼 1:1 대 응관계가 아니라 여러 가지 영향을 미치는 요인들 중에 하나일 수 있기 때문에, 프로그램의 결과에 영향을 미칠 수 있는 예상치 못한 다양한 요

76 경기도 장애인단체 지원사업 평가지표 개발 연구 (4) 성과(outcome) 성과는 프로그램이나 서비스의 행동에 참가한 이후에 또는 동안에 나 타는 개개인들이 집단들에 대한 혜택이나 변화를 의미한다. 성과는 산출 에 의해 영향을 받는다. 성과는 프로그램에 참석한 참가자들이 성취하려 는 또는 바꾸려는 행동, 지식, 기술, 태도, 조건, 지위 등과 연관이 있다. 표적 집단이 무엇을 알게 되고, 무엇을 생각하게 되고, 무엇을 할 수 있 게 되는지, 어떻게 행동하게 되는지, 상황이나 조건이 어떻게 변화되었 는지, 즉 프로그램을 통하여 달라진 것이 무엇인지를 파악하는 것이다. 성과는 단기성과, 중기성과, 장기성과로 구분이 가능하며 구체적인 내 용은 다음과 같다. ① 단기성과(Initial outcomes) 클라이언트가 프로그램에 참여함으로써 경험하는 첫 번째 이익들이나 변화들 그리고 프로그램 산출에 의해 가장 밀접하게 영향을 받거나 관 련되어 지는 것들이다. 주로 프로그램 참여를 통한 지식, 태도, 기술의 변화이다. 이것은 클라이언트 자신에게 있어서 최종적으로 나타난 결과들이 아니 라, 그 변화 경험의 시작이라고 할 수 있으며, 자신의 삶의 질을 향상 시킬 수 있는 가능성을 제시한다는 것이다. 따라서 프로그램의 종결 직후에 확 인 될 수 있는 직접적이고, 즉시적인 성과라고 할 수 있는 것이다. ② 중기적 성과(Intermediate outcome) 프로그램의 단기성과를 경험함으로써 얻게 되는 이익, 새로운 지식, 태도 그리고 기술로부터 나오는 행동의 변화이다. 즉, 자신들이 프로그 램을 통해 직･간접적으로 습득한 단기성과들을 기반으로 하여 더 나은 이익이나 변화를 시도하고자 하는 추가적인 노력으로 볼 수 있다. 대체 로 프로그램 종결 이후로부터 나타나는 변화라고 할 수 있다.

Ⅳ. 경기도 장애인단체 지원사업 평가지표 77 ③ 장기적 성과(Long-term outcomes) 프로그램이 클라이언트를 위해 달성하고자 하는 궁극적이고 (주로) 이상적인 목표의 것이라고 할 수 있다. 즉, 단기적 성과와 중기적 성과로 부터 얻어진 결과물들을 기반으로 해서 클라이언트가 가지고 있는 욕구 나 문제의 궁극적 해결이며, 안정성의 회복이라고 할 수 있다. 이를 위해 서는 클라이언트의 스스로의 참여와 변화를 위한 시도 즉, 중기적 성과 가 뒷받침되어야 가능한 것으로 볼 수 있는 것이다. 성과는 본질적으로 단기, 중기, 장기간으로 명확하게 구분되는 것은 아니다. 중기적 성과는 하나의 프로그램에서 다른 이에게 장기적 성과가 될 수 있다. 그러나 지정(지시, 명명)은 특별한 프로그램의 효과들의 연 속성 사이에 연결된 논리적 관계에 의하여 측정되어 진다. 이러한 관계 는 “만약 a라면 b가 될 것이다”는 영향과 이익의 연결고리로 생각되어 질 수 있다. 즉, 논리모델의 각 요소들 사이에는 ‘인과적이고 가설적인 연결 관계’ 가정되어 있다. 따라서 각 요소들은 서로 간에 ‘if-then(~이 충 족된다면 다음에는 ~)의 관계를 형성하고 있어야 한다. 예를 들면 다음 과 같다. 만약 금연집단이 건강이 유해하고 효과적인 금연기술(산출)을 훈련시 킨다면, 그렇다면 흡연자들은 지식을 습득하고, 그들의 태도를 변화시키 는 것과 흡연을 멈추는 기술을 얻는 것(단기성과)들을 배우게 될 것이다. 만약 흡연자들이 흡연은 유해하고, 금연하기를 원하고, 그리고 금단증상 을 최소화할 수 있는 기술을 갖게 된다는 것을 알게 된다면(단기성과), 그렇다면 그들은 프로그램 이후에도 금연을 할 것이거나 시도하게 될 것이다(중기성과). 만약 그들이 금연하게 된다면, 그들 중 더 적은 수만 이 흡연과 관련된 질병과 관련되어질 것이다(장기성과). 이처럼 프로그 램의 각 요소가 “if~then”의 관계가 되도록 정리한 후에 각각의 요소에서 적절한 성과 지표를 도출한다면, 프로그램 성과가 투입과 활동의 직접적 인 결과임을 설득력 있게 보여줄 수 있게 되는 것이다. 사회복지프로그램에 따른 논리모형의 구성요소를 다음 그림과 같다.

80 경기도 장애인단체 지원사업 평가지표 개발 연구 절할 수 있고 과정을 변경시킬 수 있다. 지속적인 점검, 검토와 교정은 보다 나은 프로그램 설계와 개발과 실 행을 통해서 프로그램 결과를 전략적으로 모니터하고, 관리하고 보고할 수 있는 시스템을 만들어 낼 수 있다. 효과적인 평가와 프로그램의 성공 은 어떻게 그리고 왜 특정한 프로그램이 특정한 문제를 해결하고, 새로 운 가능성을 창출하고, 귀중한 자산을 가장 선용할 수 있는지에 관한 명 백한 이해관계인의 가정과 기대치의 기초에 달려있다. 논리모형접근방법은 프로그램 목적과 여러 활동을 예상하는 결과로 연결시키는 방법론에 대한 이해의 공유를 만들어내고 초점을 맞출 수 있도록 도와준다. 많은 평가전문가들은 논리모형의 사용이 프로그램의 성공을 보장하는 효과적인 방법이라는 데에 동의한다. 프로그램과정을 통하여 논리모형을 사용하는 것은 프로그램 기획, 관리 그리고 평가기능 을 조직하고 체계화하는 것을 도와준다. 첫째, 프로그램의 설계와 기획 단계에서는 논리모형은 프로그램전략 을 개발하고 프로그램의 개념과 접근방법을 자금제공자를 포함한 핵심 적인 이해관계인에게 명확히 설명하고 예시할 수 있는 능력을 향상시켜 주는 기획도구(planning tool)의 역할을 한다. 논리 모형은 프로그램설계 를 위한 구조와 조직을 만들고 무엇이 발생할 것인가에 대한 공유된 이 해를 토대로 해서 자체평가를 심어놓을 수 있도록 도와준다. 기획단계 동안에 논리모형을 개발하는 것은 이해관계인으로 하여금 최적업무 연 구와 실무자 경험을 결과를 달성하기 위하여 선택된 전략과 활동의 측 면에서 시험하도록 요구한다. 둘째, 프로그램 실행 단계에서 논리모형은 초점이 맞추어진 관리계획 의 핵을 형성하게 되는데 이 관리계획은 프로그래밍을 모니터하고 개선 하기 위하여 필요한 자료를 파악하고 수집하는 것을 돕는다. 사업실행과 관리 동안에 논리모형을 사용하는 것은 모든 노력의 결과를 달성하고 문서화하는 데에 초점을 두도록 요구한다. 논리모형은 가장 핵심적인 프 로그램의 측면을 고려하여 우선 순위화하고, 필요한 대로 조절할 수 있 도록 도와준다.

Ⅳ. 경기도 장애인단체 지원사업 평가지표 81 셋째, 프로그램 평가와 전략적 보고를 위해서는 논리모형은 특정한 프 로그램 접근방법을 알려주고 옹호하고 프로그램이해관계인을 교육하는 방식으로 프로그램 정보와 목적을 향한 진전상태를 제시한다. 우리 모두 는 결과를 자금제공자와 공동체의 이해관계인에게 보고하는 것의 중요 성을 잘 알고 있다. 커뮤니케이션은 프로그램의 성공과 지속가능성의 핵 심적인 구성요소이다. 아래의 표는 성공적인 프로그램과 논리모형의 사 용으로부터 얻어지는 혜택 간의 관계를 설명한다. <표 Ⅳ-2> 논리모형의 혜택 프로그램 요소 프로그램 성공을 위한 준거 프로그램 논리모형의 혜택 기획과 설계 프로그램 목적과 목표 및 중요한 부작용이 미리 잘 정의된다. 프로그램의 이론 또는 논리에서“괴리(gap)”를 발견한다. 프로그램 목적과 목표가 모두 개연성과 가능성이 있다. 프로그램은 무엇에 관한 것인지와 어떻게 부분들은 함께 작동하게 되는지에 대한 공유된 이해를 구축한다. 프로그램 실행과 관리 연관이 깊고, 믿을만하고, 유용한 성과자료가 획득될 수 있다. 관리층의 관심을 실행과 결과의 가장 중요한 연결지점에 초점 맞추도록 한다. 평가, 커뮤니케이션 및 마케팅 평가결과의 의도된 사용자는 정보를 자신들이 어떻게 사용할 것인가에 동의한다. 평가의 설계, 절차 및 사용에 이해관계인을 간여시키고 개입할 수 있는 방법을 제공한다. 5) 논리모형의 유형 실제에 있어서 대부분의 논리모형은 더욱 복잡하고 세 가지 유형 중 의 하나로 귀결된 다. 즉, 이론접근모형(개념적), 결과접근모형 또는 활 동점근모형(응용), 이 세 가지는 몇 가지가 혼합된 형태가 되기도 한다. 프로그램이 세 가지 유형의 논리모형 모두를 각기 다른 목적으로 사용 하는 경우도 희귀한 것은 아니다. 어떤 한 가지의 모형이 모든 필요에 적합하지는 않다. 따라서 어떤 모형을 사용할 것인가를 결정하기 전에 정확하게 논리모형을 가지고 무엇을 달성하려고 하는지, 프로그램이 그

Ⅳ. 경기도 장애인단체 지원사업 평가지표 87 잡하거나 제대로 정의되어 있지 않은 경우, 혹은 충분한 커뮤니케이션과 합의가 부족한 경우에는 소규모의 하위집단 혹은 독립적인 촉진자 (independent facilitator)로 하여금 문서 검토와 개별 및 포커스 그룹 인터 뷰를 통해 최초의 분석과 통합을 실시하도록 하는 방법을 권유할 수 있 다. 그런 다음에 이러한 노력의 결과를 논리모형 개발의 촉매제(catalyst) 로 전체 작업집단에 제시할 수 있다. 프로그램을 새로 설계하는 것이든 기존의 프로그램을 기술하는 것이든 관련 정보를 복수의 출처(multiple sources)로부터 확보하는 것이 중요하다. 프로그램 관련 기록, 프로그램 내･외의 주요 이해관계자들과의 인터뷰 등이 정보로 활용된다. 논리모형 을 작성하기 전에 전략적 기획서, 연간 성과계획서, 이전의 프로그램 평 가기록, 관련 법령, 주요 관계자들과의 인터뷰 내용 등을 검토해야 한다. 논리모형의 작성은 지속적으로 정보를 수집하는 것을 요하는 반복적 (iterative) 과정이다. 유사한 문제를 해결하기 위해 다른 사람들이 취한 조치들에 관한 정보를 얻기 위해서, 그리고 프로그램을 설계하고 집행하 는데 고려해야 할 핵심적 환경변수들에 관한 통찰을 얻기 위해서 문헌 조사(literature review)를 실시할 필요가 있다. (2) 문제와 맥락의 정의 프로그램의 필요성을 명확히 정의하는 것은 논리모형 개발 과정 전반 의 기초가 된다. 프로그램은 프로그램의 필요성을 일으키는 문제에 대한 이해에 기반을 두어야 한다. 문제에 대한 이해, 관련자의 파악, 문제를 일으키는 요인들에 대한 이해가 필요하다. 논리모형을 개발하는 데 있어 가장 큰 어려움들 중의 하나는 어디에 서 해당 프로그램이 끝나고 다른 프로그램이 시작되는지를 기술하는 것 이다. 논리모형을 개발하는 과정과 관련하여, 프로그램 성과는 해결하고자 하는 문제로 종결된다. 물론 이때 문제 해결에 영향을 미칠 수 있는 외 부적 요인들을 인지해야 한다. 고객, 파트너, 혹은 다른 프로그램들의 행 동이 해당 프로그램의 행동만큼이나 중요해지는 지점에서는 결과에 대

88 경기도 장애인단체 지원사업 평가지표 개발 연구 한 공유된 책임이 존재한다. 따라서 이 지점에서는 결과에 대한 프로그 램의 책임이 줄어들어야 한다. (3) 논리모형 구성요소에 대한 정의 논리모형의 작성은 많은 경우 수집된 정보를 체계적으로 분류하는 정 리하는 것으로 시작한다. 수집된 정보를 검토하면서 자원, 활동, 산출물, 단기결과, 중기결과, 장기결과, 혹은 외부 요인 등의 ‘꼬리표(tag)'를 붙여 구분한다. 프로그램의 모든 세부 사항까지 파악하여 목록으로 기록할 필 요는 없다. 프로그램이 어떻게 작동하는지에 대하여 프로그램 담당자들 과 이해관계자들이 보다 잘 이해할 수 있는 데 도움이 되는 핵심적인 것 들만 포함하면 된다. 논리모형을 구성하는 요소들을 취합해 가면서 명심 해야 하는 것은 지속적으로 정보의 정확성과 완전성을 점검해야 한다는 것이다. 이를 위해 주요 이해관계자 집단들의 대표들을 참여시켜 확인하 는 것이 필요하다. 점검과정은 단순히 모든 주요 요소들을 발견하여 포 함하였는가의 수준을 넘어야 한다. 즉 좌에서 우로 (혹은 위에서 아래로) 읽어 나갈 때, 표의 행들(colums) 간에 (혹은 요소들 간에) 분명한 순서 (sequence) 혹은 연결고리(bridges)가 존재하는지를 확인해야 한다. 이는 ‘어떻게(how)'와 ’왜(why)'라는 질문을 던짐으로써 가능하다. 이 러한 질문들에 대답하기 어렵다고 판단될 경우에는, 어떠한 요소를 추가 하거나 부가적 설명을 제공한다. 그리고 누구를 위한 행동(action)인지, 누가 하는 것인지를 묻는 것도 도움이 된다. (4) 논리모형 작성 논리모형은 성과 이야기(performance story)에 존재하는 논리적인 흐름 (logical flows)과 연결고리(linkages)를 포착한다. 논리표에 포함되어 있는 프로그램 요소들을 활용하여, 논리모형은 정보를 정리하여 주며, 이는 사람들로 하여금 가설화된 연결고리들(hypothesized linkages)을 이해하고 평가할 수 있게 한다. 자원, 활동, 그리고 결과 별로 표와 모형이 연결되

Ⅳ. 경기도 장애인단체 지원사업 평가지표 89 어 있어 사람들은 어떤 활동이 어떤 중간결과를, 어떤 중간결과가 어떤 장기결과 혹은 영향을 가져오는지 알 수 있다. 논리모형을 제시할 수 있 는 방법은 다양하다. 보통은 간략한 텍스트를 포함하는 상자(box)들을 행(columns)과 열(rows)로 나열하되, 일 방향 화살표로 인과관계를 나타 낸다. 논리모형은 가로에서 세로로, 혹은 위에서 아래로 전개할 수 있다. 투입/자원은 맨 왼쪽에 있는 첫 번째 행에, 장기결과와 해결해야 할 문제 는 맨 오른쪽에 있는 행에 위치시키고 두 번째 행에 프로그램의 주요 활 동들 박스로 처리하여 위치시킨다. 이어지는 행에서는 각각의 활동을 통 해 의도하는 산출물과 결과들이 제시된다. 각각의 산출물과 결과에 대하 여 의도된 고객들을 제시한다. 논리모형은 또한 "Z형(Z pattern)"으로 제시될 수 있다. Z형에서는 한 세트의 활동들과 결과들이 또 다른 세트의 활동들을 가져오기 때문에 프로그램의 성과가 단계별로 이루어지는 경우에 유용하다. 또한 일련의 활동사슬의 마지막 부분에 외부 협력자들의 노력/활동을 기술하여 제시 할 수 있는 장점이 있다. Z형의 가로줄(혹은 열)들은 활동(activities) 혹은 활동 그룹(activity group)에 따라 만들어진다. 많은 경우 활동들 간에 대 략의 순서가 있는데, 이러한 순서는 가로줄의 배열에 반영되며, Z형 다 이어그램의 위(top)가 시작을 나타내고 아래(bottom)로 그 순서가 진행된 다. 하나의 활동으로부터 나온 결과가 또 다른 활동사슬(activity chain)이 될 때, 그 결과를 다음 활동 사슬로 연결시키는 화살표(→)를 사용한다. 이러한 화살표는 프로그램 구성요소들 간의 관계, 즉 조건 관계(if-then relationship)를 나타낸다. (5) 논리모형 검증 논리모형의 검증 과정에는 적절한 이해관계자들이 참여해야 한다. 논 리모형을 검토하는 하나의 좋은 방법은 프로그램의 논리를 가설 (hypothesis)로, 즉 다음과 같은 일련의 조건문(if-then statements)로 기술하 는 것이다. 중요한 환경 요인들을 고려할 때, 자원을 투입하면 프로그램 활동이, 그리고 프로그램 활동을 수행하면 산출물이 대상 고객들

90 경기도 장애인단체 지원사업 평가지표 개발 연구 (targeted customers)에게 도달하게 된다. 만약 산출물이 행동을 변화시키 면, 먼저 단기 그리고 중기 결과가 일어난다. 중기 결과가 나타나면, 장 기 결과가 일어나 문제가 해결된다. 작성된 논리모형은 주요 정보 제공 자 및 관련 분야의 전문가와 토의를 거쳐 검토하고 준거집단과 협의하 여 모형을 확정하게 된다. 7) 논리모형을 통한 프로그램 평가 일단 논리모형이 작성되면 논리모형을 이용한 프로그램 평가는 개념 적으로는 아주 간단한 작업이다. 평가는 논리모형에서 상정한 대로 프로 그램이 진행되었는가를 검증하는 것이다. 그런 면에서 보면 프로그램의 기획은 애초부터 프로그램, 평가를 위한 기반 작업이라 볼 수 있다. 논리 모형이 없는, 즉 잘 기획되지 않은 프로그램은 평가할 수 없는 프로그램 이다. 논리모형이 프로그램이 어떻게 작동하고 어떤 결과를 도출할지를 가정하는 것이라면 프로그램의 평가는 그러한 가정이 과연 실현되었는 가를 검증하는 것이다. 효과적인 프로그램 평가는 단순히 데이터를 수집하고 분석하여 제시 하는 것만을 의미하지는 않는다. 효과적인 프로그램 평가는 프로그램에 관한 정보를 수집하고 이용하여 어떻게 프로그램을 향상시킬 수 있는가 를 지속적으로 학습할 수 있도록 하여야 한다. 논리모형을 이용한 프로 그램의 평가는 바로 그러한 프로그램 향상을 위한 학습의 훌륭한 도구 로 이용될 수 있다. 즉, 논리모형을 이용한 프로그램 평가를 통하여 프로 그램이 과연 계획한 대로 진행되고 있는지를 점검할 수 있으며, 또한 프 로그램의 결과를 검증할 수 있어 프로그램의 작동과 작동원리에 대한 지 식을 축적할 수 있다. 그런 의미에서 보면 논리모형은 효과적인 프로그램 기획, 수행, 그리고 평가를 촉진하는 유용한 프로그램 평가도구이다. 논리모형을 이용한 프로그램의 평가는 크게 형성평가와 결과평가의 두 가지 형태로 나누어 살펴볼 수 있다. 형성평가는 논리모형에 따른 개 입이 계획한 대로 이루어졌는가를 점검하는 평가이다. 즉, 프로그램에

92 경기도 장애인단체 지원사업 평가지표 개발 연구 <표 Ⅳ-3> 형성평가와 결과평가와의 차이점 형성평가(Formative Evaluation) 결과평가(Summative Evaluation) ∙ 목적: 프로그램의 향상을 돕기 위하여 ∙ 목적: 프로그램 효과성을 입증하기 위해 ∙ 프로그램을 보다 향상시키기 위한 정보를 제공한다. 주로 정기적인 보고서의 작성 을 통하여 필요한 정보를 제공한다. 작성 된 정보는 적시에 제공되어 프로그램의 운영상에 수정과 보완이 가능하도록 한다. ∙ 프로그램에 재정을 제공한 사람들이나 지 역사회에 프로그램의 성과를 제시한다. ∙ 프로그램 활동, 산출 모니터링에 초점을 둔다. 이러한 모니터링을 통해 환류정보 (feedback information)를 제공한다. ∙ 프로그램의 단기적 성과와 장기적 성과를 밝혀내는데 초점을 둔다. 이러한 프로그 램의 성과를 통하여 프로그램이 과연 그 만한 가치가 있는 것인가를 검증하고 입 증한다. ∙ 기관 내에서 프로그램과 관련된 사람들에 게 어떻게 프로그램이 더욱 향상될 수 있 는가에 대한 정보를 제공한다. ∙ 프로그램 참여자와 지역사회에 미친 프로 그램의 영향을 점검함으로써 프로그램의 질과 효과성을 제시한다. 2 경기도 장애인단체 지원사업 평가지표 1) 평가의 방향 경기도 장애인단체 지원사업 평가지표 구성에 있어 많은 사람들은 “도구 상자(tool kit)"와 같이 잘 조합된 완성품을 찾으려고 하나, 조직이 나 단체의 평가의 문제를 간단하게 해결하는 만능의 기술이나 지름길과 같은 것은 없다. 평가 틀을 만드는 것은 수많은 의사결정을 필요로 하기 때문이다. 경기도장애인단체 평가의 틀은 앞서 검토한 논리모형에 기반 으로 하여 다음 세 가지 질문에 관해 잘 짜여진 답을 의미한다. 첫째, 추진하는 사업의 계획과 투입이 적절한가? 둘째, 추진하는 사업은 “어떤 활동을 통하여” 그러한 목적을 달성할 수 있는가? 셋째, 사업이 목적달성을 위해 잘 진행되고 있는지 여부를 어떻게 알

94 경기도 장애인단체 지원사업 평가지표 개발 연구 구성되어 있다. 사업 목적의 적절성은 사업의 기획 단계에서 수립된 목 적이 수행 이유에 부합하도록 적절하게 수립되었는지를 평가하는 지표 이다. 목표의 적절성은 사업 기획 단계에서 설정된 목표가 사업 목적의 달성 여부를 확인하기에 적합하고 구체적인 지표로 제시되었는지를 평 가하는 지표이다. 사업계획의 적절성은 사업의 실행을 위해 작성된 계획 서가 목표를 달성하기 위해 가장 효과적이고 효율적인 방법을 채택하고 있으며, 사업 주체가 이행할 과제와 역할, 일정 등의 수행방법을 체계적 이고 구체적으로 제시하고 있는지 평가하는 지표이다. 예산의 적절성은 사업 수행을 위해 꼭 필요한 항목들로 작성되어 있고, 기관의 예산확보 와 효율적이고 합리적인 집행을 위한 절감노력이 반영되어 있는지를 평 가하는 지표이다. 업무분장의 적절성, 직원교육은 논리모형에서 인적투 입과 관련된 내용으로 업무분장이 적절한지, 단체에서 직원의 역량 강화 와 전문성 향상을 위해 노력하고 있는지를 평가하는 항목이다. 둘째, 활동은 사업수행 절차의 적절성, 사업수행 관리의 적절성, 재정 관리의 투명성 3개의 지표로 구성되어 있다. 사업 수행의 과정에서 당초 계획된 절차가 원만하게 이행되었고, 사업의 홍보와 내･외부 자원의 활 용을 적절하게 이루어졌는지를 평가하는 지표이다. 사업 수행관리의 적 절성은 사업 수행의 과정에서 적절한 중간점검과 모니터링이 이루어졌 고, 모니터링을 통해 나타난 개선과 수정보완 사항이 반영되었으며, 이 러한 내용을 포함하는 모든 사업의 진행과정이 체계적으로 기록 및 보 존되었는지를 평가하는 지표이다. 재정관리의 투명성은 단체의 재정 관 리에 대한 평가로 재무회계 규정의 유무, 회계감사 실시 여부, 회계 또는 감사를 전문자격인 활용 여부, 예･결산서 공개여부, 경기도 보조금 교부 준수 여부 등을 평가하는 지표이다. 셋째, 산출은 사업성과의 달성수준을 평가하는 영역으로 사업성과의 달성수준은 사업수행 후 달성된 성과는 계획에서 설정한 목표에 적절한 수준에 도달하였음을 객관적으로 입증하고 있는지를 평가하는 지표이다. 넷째, 성과는 사업성과 환류의 적절성을 평가하는 영역으로 사업 수행 의 성과를 평가하는 방식과 과정은 공정하고 객관적이었고, 사업의 결과

96 경기도 장애인단체 지원사업 평가지표 개발 연구 성은 사업이 달성하고자 하는 목표는 적합한 지표로 구체적이고 확인 가능하도록 제시되어 있는가를 확인한다. 평가기준 내용은 “사업의 목표 가 적합한가?”, “사업의 목표가 측정할 수 있도록 구체적으로 제시되어 있는가?”, “설정된 목표는 사업이 달성해야 할 수준을 적정하게 반영하 고 있는가?”를 “예” 혹은 “아니오”로 확인하여 총 4점으로 설정하였다. ③ 수행 계획의 적절성은 사업 수행 계획은 목표를 달성하기에 적합하 며, 실행방법이 체계적이고 구체적으로 제시되어 있는가를 확인한다. 평 가기준 내용은 “사업 수행 계획(수행방법)은 목표를 달성하기에 적합하 게 제시되어 있는가?”, “사업 수행 계획(수행방법)은 수행의 효율성을 담 보하기 위한 내용을 적절하게 포함하고 있는가?”, “사업 수행 계획(수행 방법)은 ‘추진방법, 인력운용, 홍보전략, 일정 및 시간, 장소 및 동선’등 사업 수행을 위해 필요한 내용들이 체계적이며 구체적으로 제시되어 있 는가?”를 “예” 혹은 “아니오”로 확인하여 총 5점으로 설정하였다. ④ 예 산의 적절성은 사업 수행에 필요한 예산의 집행 계획은 사업에 꼭 필요 한 항목들로 적정하고 합리적으로 산정되어 있는가를 확인한다. 평가기 준 내용은 “사업예산의 산출근거와 항목이 적합하게 수립되어 있는가?” 를 “예” 혹은 “아니오”로 확인하여 1점으로 설정하였고, “사업 수행 주체 의 예산 확보 노력은 적절하게 포함되어 있는가?”는 사업 수행 주체의 예산 확보 노력이 적절하게 포함되었으면 2점 범위 내에서 상대평가하 는 것으로 설정하였다. ⑤ 업무분장의 적절성은 단체의 업무분장이 적절 하게 이루어지고 있는가를 확인한다. 평가기준 내용은 “업무분장표가 마 련되어 있다”, “업무분장에 따라 실질적으로 업무가 이루어진다”, “업무 일지 등이 잘 정리되어 있다”, “직원평가를 년1회 이상 객관적인 기준에 의해 시행하고 있다”를 “예” 혹은 “아니오”로 하여 총 4점으로 설정하였 다. ⑥ 직원교육은 단체에서 직원의 역량강화 및 전문성 향상을 위해 노 력하고 있는가를 확인한다. 평가기준 내용은 직원교육시간에 따라서 0~2점으로 설정하였고, 직원교육 기회제공의 경우는 “예” 혹은 “아니오” 로 2점이며 총 4점으로 설정하였다.

Ⅳ. 경기도 장애인단체 지원사업 평가지표 97 <표 Ⅳ-4> 투입에 관련된 지표 평가영역 평 가 기 준 내 용 확인 목적의 적절성 ① 사업을 통해 해결하고자 하는 특정 상황 또는 문제, 욕구 등 기획 배경의 근거가 객관적이고 명확하게 제 시되어 있는가? 예□ 아니오□ ② 사업을 수행하고자 하는 이유가 목적상에 구체적으로 기술되어 있는가? 예□ 아니오□ ③ 사업을 수행해야 하는 당위성 확보가 적절히 기술되 어 있는가? 예□ 아니오□ ④ 유사･중복사업에 대한 차별화 노력이 적절했는가? 예□ 아니오□ 목표의 적절성 ① 사업의 목표가 적합한가? 예□ 아니오□ ② 사업의 목표가 측정할 수 있도록 구체적으로 제시되 어 있는가? 예□ 아니오□ ③ 설정된 목표는 사업이 달성해야 할 수준을 적정하게 반영하고 있는가? 예□ 아니오□ 수행계획의 적절성 ① 사업 수행 계획(수행방법)은 목표를 달성하기에 적합 하게 제시되어 있는가? 예□ 아니오□ ② 사업 수행 계획(수행방법)은 수행의 효율성을 담보하 기 위한 내용을 적절하게 포함하고 있는가? 예□ 아니오□ ③ 사업 수행 계획(수행방법)은 ‘추진방법, 인력운용, 홍 보전략, 일정 및 시간, 장소 및 동선’등 사업 수행을 위해 필요한 내용들이 체계적이며 구체적으로 제시 되어 있는가? 2점 □ 1점 □ 0점 □ 예산의 적절성 ① 사업예산의 산출근거와 항목이 적합하게 수립되어 있 는가? 예□ 아니오□ ② 사업 수행 주체의 예산 확보 노력은 적절하게 포함되 어 있는가? ( )점 업무분장의 적절성 ① 업무분장표가 마련되어 있다 예□ 아니오□ ② 업무분장에 따라 실질적으로 업무가 이루어진다. 예□ 아니오□ ③ 업무일지 등이 잘 정리되어 있다. 예□ 아니오□ ④ 직원평가를 년1회 이상 객관적인 기준에 의해 시행하 고 있다. 예□ 아니오□ 직원교육시간 ① 5시간 미만 0점 □ ② 5시간 이상 - 10시간 미만 1점 □ ③ 10시간 이상 2점 □ 직원교육 기회제공 ④ 직원의 전문성 향상을 위하여 다양한 연수기회를 제 공한다. 예□ 아니오□

98 경기도 장애인단체 지원사업 평가지표 개발 연구 둘째, 과정은 수행절차의 적절성, 수행관리의 적절성, 재정관리의 투 명성으로 구분할 수 있다. ① 수행절차의 적절성은 사업의 수행은 당초 계획된 과정과 절차를 준수하였으며, 홍보와 내외부의 자원을 적절히 활 용하여 진행했는가를 확인하다. 평가지표 내용은 “예산은 합리적･효율 적으로 집행되었는가?”, “사업 수행과정은 사업계획서상의 추진일정과 수행방법대로 차질 없이 추진되었는가?”, “단위 사업은 성격에 따라 적 합하게 수립된 홍보 계획(사업참여자 모집, 사업성과의 공유 및 확산 등) 에 따른 홍보를 적절하게 수행하였는가?”, “내･외부 자원에 대한 정보를 파악하여 구축하고 적절히 활용하였는가?”를 각 0~2점으로 하여 총 8점 으로 설정하였다. ② 수행관리의 적절성은 사업의 수행과정은 체계적으 로 모니터링 되고, 그 결과가 수행 과정의 수정과 보완에 적절히 반영되 었으며, 과정의 기록이 체계적으로 보존되어있는가를 확인한다. 평가지 표 내용은 “사업의 진척 정도와 진행 과정의 적절성을 점검하는 중간 과 정 모니터링이 적절하게 이루어졌는가?”, “위 모니터링, 자문 체계에서 제기된 개선 사항이 반영되고 있는가?”, “사업의 수행 과정은 다른 인력 에 의해 재현 가능할 정도로 구체적으로 기록되어 관리되고 있는가?”를 각 지표에 따라서 0~3점으로 하여 총 8점으로 설정하였다. ③ 재정관리 의 투명성은 재정관리가 투명하고 적법하게 이루어지고 있는가를 확인 한다. 평가지표 내용은 “재무회계 규정에 의해 적정하게 시행되고 있 다”, “정기적으로 회계감사 실시되고 있다”, “회계 또는 감사가 전문자격 인을 통해 이루어지고 있다”, “예결산서를 자체 의사결정기구에 배포 또 는 홈페이지, 정기간행물 등을 통해 공개하고 있다”, “경기도보조금교부 조건을 잘 준수하여 예산을 집행하고 있다”를 “예” 혹은 “아니오”로 확 인하여 총 5점으로 설정하였다.

Ⅳ. 경기도 장애인단체 지원사업 평가지표 99 <표 Ⅳ-5> 과정에 관련된 지표 평가영역 평 가 기 준 내 용 확인 수행절차의 적절성 ① 예산은 합리적･효율적으로 집행되었는가? 2점 □ 1점 □ 0점 □ ② 사업 수행과정은 사업계획서상의 추진일정과 수행방 법대로 차질 없이 추진되었는가? 2점 □ 1점 □ 0점 □ ③ 단위 사업은 성격에 따라 적합하게 수립된 홍보 계획 (사업참여자 모집, 사업성과의 공유 및 확산 등)에 따 른 홍보를 적절하게 수행하였는가? 2점 □ 1점 □ 0점 □ ④ 내･외부 자원에 대한 정보를 파악하여 구축하고 적절 히 활용하였는가? 2점 □ 1점 □ 0점 □ 수행관리의 적절성 ① 사업의 진척 정도와 진행 과정의 적절성을 점검하는 중간 과정 모니터링이 적절하게 이루어졌는가? 2점 □ 1점 □ 0점 □ ② 위 모니터링, 자문 체계에서 제기된 개선 사항이 반 영되고 있는가? 3점 □ 2점 □ 1점 □ 0점 □ ③ 사업의 수행 과정은 다른 인력에 의해 재현 가능할 정도로 구체적으로 기록되어 관리되고 있는가? 3점 □ 2점 □ 1점 □ 0점 □ 운영규정 ① 재무회계 규정에 의해 적정하게 시행되고 있다. 예□ 아니오□ ② 정기적으로 회계감사 실시되고 있다. 예□ 아니오□ ③ 회계 또는 감사가 전문자격인을 통해 이루어지고 있다. 예□ 아니오□ ④ 예결산서를 자체 의사결정기구에 배포 또는 홈페이 지, 정기간행물 등을 통해 공개하고 있다. 예□ 아니오□ ⑤ 경기도보조금교부조건을 잘 준수하여 예산을 집행하 고 있다. 예□ 아니오□ 셋째, 산출 및 성과는 사업성과의 달성수준, 사업성과 환류의 적절성 으로 구분할 수 있다. ① 사업성과 달성수준은 사업결과가 계획된 성과 목표를 적절하게 달성하였는가를 확인하다. 평가기준 내용은 목표 대비 달성 실적을 기준으로 최고 달성 단체를 15점으로 계산하고, 각 단체가 성취한 점수의 비율을 전년도 점수분포에 따라 5개 구간으로 나누어 점

100 경기도 장애인단체 지원사업 평가지표 개발 연구 수(소수점 2째 자리에서 반올림, 15.0점~0.0점)를 산출한다. 또한 산술적 목표뿐만 아니라 사업의 궁극적 목적을 달성하기 위해 능동적인 자세와 노력으로 기대이상의 성과를 창출하였는지를 2~10점으로 산출하여 총 25점으로 설정하였다. ② 사업성과 환류의 적절성은 사업 수행의 성과는 공정하고 객관적인 방법에 의하여 평가하였고, 후속 사업이나 내외부의 변화에 긍정적인 영향을 끼쳤으며, 사회적으로 공유되어 파급효과를 가 져왔는지를 확인한다. 평가지표 내용은 “자체 결과보고서에 기록된 사업 성과의 측정과 평가는 내･외부의 전문가에 의해 공정하고 객관적으로 이루어졌는가?”, “사업수행의 성과 또는 사업평가의 결과가 차기 사업 또는 다른 사업이나 정책 등에 반영된 실적이 있는가?”, “사업의 성과가 다양한 매체, 교육, 강연 등의 수단을 통해 조직 외부에 확산되었는가?”, “위 사업 성과 공유와 확산의 범위는 시･군 규모의 수준인가?”를 0~3점 으로 하여 총 10점으로 설정하였다. <표 Ⅳ-6> 산출 및 성과에 관련된 지표 평가영역 평 가 기 준 내 용 확인 사업성과 달성수준 ① 목표 대비 달성 실적을 기준으로 최고 달성 단체를 15점으로 계산하고, 각 단체가 성취한 점수의 비율을 전년도 점수분포에 따라 5개 구간으로 나누어 점수로 계산 (소수점 2째자리에서 반올림, 15.0 점 ~ 0.0 점) (　　　　) 점 ② 산술적 목표뿐만 아니라 사업의 궁극적 목적을 달성하기 위해 능동적인 자세와 노력으로 기대이상의 성과를 창출함. 10점 □ 8점 □ 6점 □ 4점 □ 2점 □ 사업성과 환류의 적절성 ① 자체 결과보고서에 기록된 사업성과의 측정과 평가는 내･외부의 전문가에 의해 공정하고 객관적으로 이루어졌는가? 2점 □ 1점 □ 0점 □ ② 사업수행의 성과 또는 사업평가의 결과가 차기 사업 또는 다른 사업이나 정책 등에 반영된 실적이 있는가? 3점 □ 2점 □ 0점 □ ③ 사업의 성과가 다양한 매체, 교육, 강연 등의 수단을 통해 조직 외부에 확산되었는가? 2점 □ 1점 □ 0점 □ ④ 위 사업 성과 공유와 확산의 범위는 시･군 규모의 수준인가? 3점 □ 2점 □ 0점 □

102 경기도 장애인단체 지원사업 평가지표 개발 연구 <표 Ⅳ-7> 현장평가위원 평가지표 평가영역 평 가 기 준 내 용 확인 현장평가 ① ｢평가의 준비성｣ 평가지표에 따라 근거자료를 적절하게 준비 했는가? 1점 □ 0점 □ ② ｢자체평가의 신뢰성｣ 제출한 자체평가서와 현장평가가 일치 하는가? 2점 □ 1점 □ 0점 □ ③ ｢현장평가의 협조성｣ 현장평가시 요청한 자료를 제시하는가? 1점 □ 0점 □ ④ ｢전반적인 단체의 분위기｣ 지원사업을 수행있어 단체의 분위 기는 긍정적인가? 2점 □ 1점 □ 0점 □ ➄ 가감점 평가과정에서 단체의 잠재적 역량과 합리적 운영을 평가함 1점 □ 0.5점 □ 0점 □ -0.5점 □ -1점 □ 기존지표와 신지표를 비교하면 다음과 같다. 첫째, 투입의 경우, 기존 지표의 ‘목표설정 적합성’과 ‘사업수행 타당성’ → ‘사업 목적의 적절성’ 과 ‘사업목표의 적절성’으로, ‘사업기획의 전문성’ → ‘사업 수행계획의 적절성’으로, ‘사업예산의 적절성’과 ‘사업비 자부담 비율’ → ‘사업 예산 의 적절성’으로, ‘업무 분장 적절성과 직원교육’ 지표는 새로 추가하였 다. 둘째, 과정의 경우, ‘사업홍보’, ‘사업수행과정’, ‘시행과정 적절성’, ‘사업 수행관리의 적절성’ → ‘사업 수행절차의 적절성’과 ‘사업 수행관 리의 적절성’으로, ‘재정관리의 투명성’은 기존대로 설정하였다. 셋째, 산출 및 성과의 경우, ‘목표대비 산출 실적’, ‘사업평가’, ‘만족도’, ‘성과 목표 달성도’ → ‘사업성과의 달성도’로, ‘환류’와 ‘영향력 및 기여도’ → ‘사업성과 환류의 적절성’으로 설정하였다. 넷째, 현장평가의 경우, ‘단 체 평가에 대한 준비성’, ‘단체 평가에 대한 협력성’, ‘자체평가의 정확 성’, ‘전문성 향상을 위한 노력’, ‘단체에 대한 전반적 이미지’ → ‘평가준 비성’, ‘자체평가의 신뢰성’, ‘현장평가의 협조성’, ‘전반적인 단체의 분 위기’, ‘가산점’으로 설정하였다.

108 경기도 장애인단체 지원사업 평가지표 개발 연구 평가의 방법을 다양하게 활용할 수 있어야 할 것이다. 둘째, 중앙정부의 평가에서 드러났던 문제들을 거울삼아 예상되는 문 제를 조기에 해결하는 것이 중요할 것이다. 예를 들자면, 평가지표에 사 용되는 용어 및 개념을 명확히 정리하여 객관적인 성과지표를 개발하려 노력해야 할 것이며, 상대평가와 절대평가의 원칙을 분명히 세워, 이에 대한 단체별 점수 차이에서 발생할 수 있는 형평성 문제 등이 발생하지 않도록 하는 것이 중요할 것이다. 특히 평가지표의 용어 등은 평가를 위 한 매뉴얼 등을 통해 상세한 기술을 하거나 적절한 예를 들어 평가과정 에서 생겨날 수 있는 오해를 없애는 것이 중요하며, 사업의 성과 등을 평가하기 위한 지표는 측정가능하고 객관적인 선별이 가능한 지표여야 한다는 점이 중요하다. 셋째, 평가 이후 평가의 활용이나 평가결과에 따른 계획 등이 처음부 터 분명히 제시되어야 한다는 것이다. 평가자체의 목적이 상대평가를 통 한 우열을 가려 차별적인 지원을 하려는 것인지, 평가를 통한 기관 및 단체의 발전을 꽤하기 위한 것인지, 지원을 줄이거나 감하여 관계기관의 경쟁 등을 확보하여 지원과 퇴출의 선을 명확히 하기 위함인지 등을 분 명히 제시하여 평가를 받는 기관이나 단체가 평가의 목적에 부합하는 적절한 준비와 조치를 취할 수 있게 하여 평가의 의의를 최대화할 수 있 도록 해야 할 것이다. 넷째, 평가방법을 유연화하여 평가의 기본적인 형평성을 유지할 수 있 도록 하는 것이 매우 중요하다는 것이다. 이는 평가의 취지가 아무리 훌 륭하다 하더라도 현실성을 감안하지 못한 평가는 언제나 정의롭지 못한 결과를 낳게 되는 경우가 많다는 점에서 더욱 그러하다. 예를 들어, 경제 상황이 열악한 소규모 단체와 그렇지 않은 기관의 평가를 동등한 조건 으로 수행한다면, 평가의 취지와 상관없이 평가자체가 매우 중요할 수 있는 사업이나 프로그램이 발전할 수 있는 기회를 조기에 차단하게 되 는 실수를 범하게 된다. 따라서 지역의 사정을 신중히 고려하여, 단기적･ 장기적 평가방안을 마련하여 비교적 운영이 어려운 단체나 기관의 평가 를 유예하는 등 합리적인 수행이 가능하도록 해야 할 것이다.

Ⅴ. 결론 및 제언 109 2) 경기도 장애인단체 지원사업 평가제도 경기도에서 2013년 처음 시행되었던 2012년 장애인단체 지원사업 평 가가 2014년에도 동일한 기준에 의해 실시되었다. 2차 년도의 평가에서 는 평가지표의 개선 필요성이 일부 제기되기도 하였지만 평가위원회의 협의를 거쳐 평가지표에 변화를 주기보다 동일한 지표를 통해 보다 안 정적인 기반에서 평가가 수행되었다고 볼 수 있다. 즉, 평가기준의 변화 보다는 평가의 연속성을 살림으로써 평가에 부담을 가질 수밖에 없는 피평가자인 단체의 입장이 고려되었다고 할 것이다. 경기도 지원사업에 대한 평가는 동일한 기준에 의한 시행되었지만 2 개년도 사업 평가에서의 차이점이라 함은 평가위원 구성이라 할 수 있 다. 즉, 금년 평가에서 평가를 받는 장애인단체가 1개 늘어났다는 점과 함께 평가위원 구성에서 학계 전문가 외에 현장전문가를 배치하였다는 점으로 단체의 추천을 받아 선정된 현장전문가가 평가팀에 포함되어 교 수 2인으로 구성되었던 전년도와 달리 보다 현장 중심적인 평가가 가능 해졌다는 점이다. 이와 함께 금년도 경기도 장애인단체 지원사업 평가는 2012년 지원사업 평가와 달리 평가지표에 의한 평가뿐만 아니라 장애인 단체가 수행하고 있는 지원사업 전체에 대한 맞춤형 컨설팅을 실시하였 다는 점이다. 즉, 전년도 평가에서는 장애인복지기금 공모사업에 대해 컨설팅을 수행하였으나 2014년에는 연구진과 현장전문가 중심으로 SWOT 분석에 의한 컨설팅이 실시되어 컨설팅을 보다 체계화시켰다는 점이 특징적이다. 2개년의 평가결과를 비교해 보면 사업에 대한 평가결과 점수는 극히 일부 항목을 제외하고 전체적으로 상승된 것으로 나타났는데, 이는 평가 지표에 대한 이해도가 높아진 점과 함께 평가를 통해 사업수행이 보다 체계화되었음을 보여주는 것이며, 평가영역별로 차이가 있지만 사업기 획 등의 영역에서 우수 단체가 크게 증가한 것은 사업의 질적 측면에서 발전이 있었음을 보여주고 있다. 이와 함께 단체별로 전년 대비 평가점 수 격차가 감소하기는 했으나 여전히 단체 간 편차가 큰 지표들이 있었

110 경기도 장애인단체 지원사업 평가지표 개발 연구 는데, 이는 단체의 규모와 사업의 성격에 따라 평가 세분화가 필요함을 시사하는 것이라 할 수 있다. 이와 같이 평가기준과 관련하여 평가점수의 전반적인 상승과 단체간 차별성의 감소, 사업 성격과 내용에 따른 획일적 기준의 적용 등에서 나 타나는 문제점을 개선하기 위해서는 지표의 재구성이 반드시 필요하다 는 점을 보여주고 있다. 2013년과 2014년의 평가결과에서 보듯이 기존의 평가지표로는 단체의 역량을 평가하는데 한계가 있으며, 특히 단체평가 가 지향하고자 하는 방향성을 명확히 제시하고 있지 못하다. 이상의 결과를 바탕으로 장애인단체 지원사업 평가에서 몇 가지 사항 을 정리하면 다음과 같다. 첫째, 장애인단체에 따라서는 지원사업에 대한 평가의 필요성에 대해 부정적으로 생각하는 경우도 있는 바, 정기적인 사업평가를 통한 차기년 도 계획에의 반영이 적절히 이루어짐으로써 평가를 통한 환류와 발전방 안 모색에 대한 긍정적 인식이 확대되도록 할 필요가 있다. 이를 위해서 는 평가와 관련하여 단체들과 지속적인 소통이 가능한 체계를 갖추는 것이 필요하다. 둘째, 평가지표와 관련하여 지원사업의 수행과 관련하여 사업의 목적 과 목표가 명확하지 않은 경우가 있는데 이로 인해 목표달성 수준을 확 인하기 어려우므로 목적과 목표설정에 관한 사항을 평가에서 강조할 필 요가 있다. 이와 함께 단순한 실적 위주가 아니라 지원사업의 성과를 중 심으로 이를 확산하기 위한 노력이 평가에서 강조될 필요가 있다고 본 다. 이를 위해서는 경기도에서 사용하는 사업계획서(신청서) 양식도 사 업평가에 적합하도록 투입, 과정, 산출, 성과의 틀을 중심으로 개선할 필 요가 있다. 셋째, 지원사업의 성격과 지원규모에 따라 평가지표를 세분화하는 방 안도 검토할 필요가 있다. 즉 운영지원과 직접사업, 소규모사업과 중규 모 이상사업 등으로 차등화하여 지표를 구성할 필요도 있다고 본다. 또 한 단체에 대한 지원사업이므로 장애인 이용자나 회원기관의 참여도나 지역에 미치는 파급효과 등을 측정할 수 있는 세부지표를 개발할 필요

Ⅴ. 결론 및 제언 111 도 있다. 넷째, 평가의 객관성 및 공정성을 제고하기 위해서는 평가지침과 기 준, 특히 일부 항목에 대한 설명이 구체화되어야 할 것이며, 평가지표에 대한 이해를 높이고 정성지표에 대한 자체평가의 객관성을 제고하기 위 한 방안을 마련할 필요가 있다. 이와 같은 세부지침의 작성을 통해 평가 팀 간 편차를 줄일 수 있는 효과도 기대할 수 있을 것이다. 또한 다른 평 가들과 마찬가지로 평가위원 구성에 현장전문가가 포함된 형태로 진행 될 필요가 있으며, 학계와 현장 모두 평가인력을 확충할 필요도 있다고 본다. 이상의 논의에 따라 본 연구에서 지표의 수정･보완 작업은 전년까지 적용되었던 지표의 ‘사업운영(계량지표)’, ‘사업운영(비계량지표)’, ‘추가 가산점’으로 구성된 단순한 구조를 ‘투입→과정→산출 및 성과’의 구조 를 기본으로 하는 논리적 모형에 따라 체계적인 성과관리 시스템으로 구성하였다. 성과관리 체계는 현재 기획재정부를 중심으로 중앙부처 및 각 공공기 관, 지방자치단체 등 공적 예산이 투입되는 조직에 확산되고 있다. 성과 관리 체계를 통해 투입된 자원이 당초 달성하고자 하는 목적을 얼마나 적절하게 달성하고 있는지 입증할 것을 요구하고, 이러한 요구에 대응하 지 못하는 사업은 당위를 검증하기 어려운 것으로 판단하여 공공 예산 의 지속적 투입을 재검토하는 구조로, 향후 지방자치단체가 예산을 투입 하는 각 사업까지 확산될 것으로 예상되고 있다. 이러한 사회적 환경 속에 경기도의 공공 예산을 지원 받는 장애인단 체의 사업을 성과관리 체계에 입각하여 평가할 수 있도록 지표를 제안 한 것은 단체의 사업 수행 과정과 운영을 보다 성과 중심의 사고로 전환 할 수 있도록 유도하여 사업의 효과와 효율을 높이는데 기여할 수 있는 조치로 기대된다.

참고문헌 113 고영선･윤희숙･이주호(2004). 공공부문의 성과관리. 서울: KDI. 공동성･박중훈･이정욱(2011). 정부업무 성과관리제도 발전방안 연구. 국무총리실. 교육과학기술부(2012). 인문사회분야 학술지원사업 성과 활용 및 확산 방안. 교육과 학기술부. 김기형(2009). 정책체제의 복잡성과 자기조직화. 한국정책학회보, 18(4). 김동립･이삼열(2011). 프로그램 논리모형의 개념과 유형화에 관한 소고. 한국 정책학 회보, 20(1). 김복규･윤진효(2008). 프로그램 논리모형 설계 및 평가: 농촌활력화사업을 대상으로. 한국사회와 행정연구, 19(2). 김순기･정순여(2002). 정부조직의 성과관리: 균형성과표와 성과주의 예산제도의 연계. 서강경영논총, 13(2). 김신(2000). 미국연방정부 성과관리체계: GPRA 시행 7년의 성과와 교훈. 한국행정학회. 2000년 하계학술대회 발표논문. 박선경(2005). 한국 NGO의 성과모형 개발에 관한 연구: 법･정치･행정 NGO를 중심으로. 지방행정연구, 8(4). 박중훈(1998). 결과중심의 성과측정 및 성과관리체제에 관한 연구. 한국행정연구원. 박진필(2010). 사회복지조직의 수행력 관리수준에 영향을 미치는 조직내부요소: 모니 터링의 조절효과를 중심으로. 계명대학교 대학원 석사학위청구논문. 박홍윤(2012). 정책평가론 : 실제와 사례. 대영문화사. 서해정･이진숙･박지혜(2012). 2012년 장애인단체 국고보조사업 평가, 한국장애인개 발원. 서해정･이선화･이율희(2013), 2012년 경기도 장애인단체 지원사업 평가결과 보고서, 경기도･한국장애인개발원. 원종학･윤영진･이영범･이재원(2011). 주요국의 성과관리제도. 한국조세연구원 성과 관리센터. 윤상오(2004). 성과관리와 평가의 역할: 공공정보화 사례를 중심으로. 한국행정학회. 2004년 추계학술대회 발표논문. 이봉주･김기덕(2007). 사회복지 프로그램 기획의 이해와 적용. 신정출판사. 이석민(2011). 프로그램 논리모형(Logic Models)의 적용과 사용에 관한 연구 : “간접흡연 제로! 서울 평가지표 개발연구” 사례를 중심으로. 한국거버넌스학회보, 18(1). 참고문헌

114 경기도 장애인단체 지원사업 평가지표 개발 연구 이세구(2004). 성과관리제도의 도입사례: 서울시 성과주의 예산제도. 서울시정개발 연구원. 이윤식(2007). 우리나라에 있어서 성과관리를 위한 평가의 개선방안에 관한 연구 : 중앙부처사례를 중심으로. 정책분석평가학회보, 17(3) 이인섭･금재덕(2007). 성과관리 시행계획(성과계획) 수립 및 평가 방법. 국회 예산 정책처. 이창길(2008). 통합성과관리체계 구축을 위한 지방자치단체 평가의 개선방안. 한국 지방자치연구, 10(3). 정주택･김종래･김종호･문영세･이대희･이성우･조연숙･최영훈(2007). 정책평가론. 서울: 법문사. 정희경･양희택･유정원･곽유나(2014), 2013 경기도 장애인단체 지원사업 진단 및 성과 평가결과 보고서, 경기도･경기복지재단. 최상미･최재성(2006). 사회복지조직의 서비스지향성이 조직성과에 미치는 영향: 서울시 사회복지관을 중심으로. 연세사회과학연구, 37:99-125. 최영출(2011). 논리모형(Logic Model)의 성과관리 적용 가능성: 사회적 기업 정책을 중심으로. 정책분석평가학회보, 21(3). 한국연구재단(2012). 인문사회분야 학술지원사업 연구비 평가 가이드 한국조세연원. 2012 재정사업 성과지표개발 매뉴얼. 허만형･라휘문･차용진(2009). 정부업무평가제도 개선방안 연구. 한국정책학회 연구 과제 보고서. Bickman. L. (1987). The Functions of Program Theory. New Directions for Evaluation. 33. Chen, H. & Rossi, P. (1993). Evaluation with Sense: The Theory-driven Approach. Evaluation Review. 7:283~302. Greene, J. C. (1993). The Role of Theory in Qualitative Program Evaluation. In D.J. Finders & G. E. Mills, Theory and Concepts in Qualitative Research. New York: Teachers College Press. Renger, R. & Titcomb, A. (2002). A Three-step Approach to Teaching Logic Modes. American Jourmal of Evaluation. 23(4): 493~503. Savaya, R. & Waysman, M. (2005). The logic model: A tool for incorporating theory in development and evaluation of program. Administration in Social Work 29(2): 85-103. W. K. Kellogg Foundation. (2004). Logic Model Development Guide. Weiss, Carol H. (1998). Evaluation: Methods for Studying Programs and Policies. 2nd ed. Upper Saddle River, N.J.: Prentice-Hall.

150 경기도 장애인단체 지원사업 평가지표 개발 연구 1-4. 사업 기획의 전문성 평가지표 (배점) 사업 기획의 전문성(9점) 해당점수 평가내용 ( ) ① 사업 계획 시 지역사회 및 대상자의 욕구가 반영되었다. ( ) ② 사업의 목적이 명확하고 구체적이다. ( ) ③ 구체적인 목표가 측정 가능하도록 설정되어져 있다. ( ) ④ 사업목표 설정 시 전년도 사업평가결과 또는 유사사업 분석결과 등이 반영되어 있다. ( ) ⑤ 사업수행을 위한 사전 기획 회의를 진행하였다. ( ) ⑥ 인력활용계획이 적절하게 수립되어 있다. 평가기준 ￭ 우수(9) : 위 항목 중 6개 항목이 해당된다. ￭ 양호(6) : 위 항목 중 5개 항목이 해당된다. ￭ 보통(3) : 위 항목 중 4개 항목이 해당된다. ￭ 미흡(0) : 위 항목 중 3개 이하의 항목이 해당된다. 평가자료 - 단위사업계획서 - 단위사업실행계획서 - 기타 평가항목을 증명할 수 있는 서류 □ 평가 Tip - 사업의 기획은 단위사업을 수행할 수 있는 체계화된 계획 과정으로, 계획을 세워가는 활동과정에 초점을 두며, 문제해결을 위하여 사업 수행을 구체화된 형태로 계획(Planning)하는 과정을 말함. ① 사업 계획을 수립할 때는 사업 대상자에 대한 욕구파악이 중요하 다. 욕구(need)란 개인적인 필요나 원함(wants)이 아닌 장애인 당 사자 또는 지역사회 등의 욕구를 말하며, 욕구의 해결을 위한 구 체적인 수단이나 방법에 대해 바라는 수준을 정하는 객관적인 개 념이라고 할 수 있다. ②③ 사업계획서에 서술되어 있는 단위사업과 세부사업의 목표들이 얼마나 합리적으로 설정되어 있고 달성 가능한 목표의 형태(어느 수준까지 분명히 제시된 목표)로 구비되어 있는가를 의미한다. ⑤ 사전 기회 회의는 사업이 시행하기 전 사업 기획 과정을 점검하 기 위해 실시 된 것으로 내부 직원 회의 결과보고서도 인정한다.

Ⅵ. 부 록 159 1-10. 재정관리의 투명성 평가지표 (배점) 재정관리의 투명성(8점) 해당점수 평가내용 ( ) ① 재무회계 규정이 있다. ( ) ② 지출원인행위(사전품의)가 재무회계규정 등에 의거하여 적정하게 시행되고 있다. ( ) ③ 회계결의서 작성이 재무회계규정 등에 의거하여 적정하게 시행되고 있다. ( ) ④ 기타 각종 회계처리가 재무회계규정 등에 의거하여 적정하게 시행되고 있다. ( ) ⑤ 정기적으로 내부 회계감사를 실시하고 있다. ( ) ⑥ 회계 또는 감사가 외부 전문자격인을 통해 이루어진다. ( ) ⑦ 예･결산서를 자체 의사결정기구에 배포 또는 홈페이지, 정기간행물 등을 통해 공개하고 있다. 평가기준 ￭ 우수(8) : 위 항목 중 6개 이상의 항목이 해당된다. ￭ 양호(6) : 위 항목 중 5개 항목이 해당된다. ￭ 보통(4) : 위 항목 중 4개 항목이 해당된다. ￭ 미흡(2) : 위 항목 중 3개 이하의 항목이 해당된다. 평가자료 - 재무회계 규정집(관련 문서) - 법인감사 또는 외부감사에 의한 결산보고 실적(관련 내부 결재 문서 등) - 예･결산 내역 공개 실적(관련 인쇄물, 내부결재 문서 또는 공문, 홈페이 지 게첨 내역, 정기간행물 게재 실적 등) □ 평가 Tip ① 재무회계 규정집은 문서로 되어 있는 것을 말한다. ②③④ 무작위로 지출결의서 5건을 추출하여 이와 관련된 원인행위(예산 집행품의 등), 증빙서류, 현금출납부 작성 내역을 확인한 다음 5 건 모두가 잘 정리되어 있으면 인정한다. ⑤ 자체 법인감사를 통한 회계감사 실시여부를 의미한다. ⑥ 외부 전문자격인이란 장애인단체의 결산서에 대하여 적정성을 검토하는 외부 세무사 혹은 공인회계사를 의미한다. ⑦ 사회복지법인 재무회계규칙 제10조 제3항, 제19조 제2항에 근거 하여 예･결산서를 공개한 근거를 확인한다.

160 경기도 장애인단체 지원사업 평가지표 개발 연구 Ⅱ.비계량지표 : 단위사업별 평가지표 (40점) □ 비계량지표 평가점수 평가등급 S A B C D 평가점수 환산 100점 90점 80점 70점 60점 □ 비계량지표 평가기준 비계량지표 목표유형 평가척도(등급판단 기준) S(탁월) A(우수) B(만족) C(미흡) D(매우미흡) (100점) (90점) (80점) (70점) (60점) 평가기준 요건 평가기준 대비 매우 우수 평가기준 대비 우수 평가기준 요구수준 달성 평가기준 대비 성과 미흡 평가기준 대비 성과 매우 미흡 2-1. 목표설정 적합성 전년대비 향상도 또는 사업목표를 매우 도전적으로 높게 설정 전년대비 향상도 또는 사업목표를 다소 높게 설정 전년대비 향상도 또는 유사한 수준의 목표설정 전년대비 열위의 목표설정 전년대비 매우 낮은 수준의 목표설정 2-2. 사업수행 타당성 사업수행 과정에 따라 성과목표가 매우 적절하게 설정 되었고 과정을 준수함 사업수행 과정에 따른 성과목표가 적절하게 설정 되었고 과정을 준수함 사업수행 과정에 따른 성과목표가 설정이 미흡하나 과정을 준수함 사업수행 과정에 따라 성과목표가 설정 되었으나 과정 준수가 미흡함 사업수행 과정에 따른 성과목표 설정과 과정 준수가 이루어지지 않음 2-3. 시행과정 적절성 계획대비 일정의 100% 준수 계획대비 일정 95% 이상 ~100% 미만 계획대비 일정 90% 이상 ~95% 미만 계획대비 일정 80% 이상 ~90% 미만 계획대비 일정 80% 미만 추진 2-4. 성과목표 달성도 계획된 목표를 초과달성 하였고, 기대 이상의 성과를 창출함 계획된 목표를 다소 초과달성 했고, 기대수준 을 충족함 계획된 성과목표 정도만을 달성하였음 목표달성이 기대수준 보다 미흡함 목표달성에 대한 구체적 성과가 전혀 없음 2-5. 목표달성 노력도 기대이상 목표달성 추구, 능동적인 자세로 탁월한 노력을 보임 목표달성을 위해 필요한 기본적인 노력뿐만 아니라 장애요인 등의 해결노력이 보임 목표달성을 위해 기본적인 노력만을 하며, 초과 목표달성을 기대하기 어려움 목표달성에 필요한 기본적인 노력이 미흡하여 목표달성을 못함 목표달성에 대한 노력도가 없어 지도관리가 요구되는 수준임