1. Juli 2019
Am 28. und 29. Mai 2019 lud das Europäische Masterstudium Sozialwirtschaft und Soziale Arbeit zur internationalen Frühjahrstagung des Arbeitskreises Soziale Dienstleistungen der DeGEval, Gesellschaft für Evaluation, an die FH Campus Wien.
Florentina Astleithner und Peter Stepanek, Lehrende im Masterstudium Sozialwirtschaft und Soziale Arbeit, setzen sich seit langem mit Fragen der Wirkungsorientierung in sozialwirtschaftlichen Organisationen auseinander: Aufgrund der zunehmenden Digitalisierung und einer wachsenden Fokussierung von Fördergeber*innen auf Wirkungsorientierung müssen sich auch soziale Einrichtungen verstärkt mit den eigenen Daten beschäftigen.
Ein genauer Blick auf diese Daten kann neue Perspektiven eröffnen, wenn man zum Beispiel deren Potential für die Evaluierung wahrnimmt. Denn nicht immer müssen Daten anlassbezogen erhoben werden. Soziale Einrichtungen sitzen auf einem wahren „Schatz“ von prozessproduzierten Daten z.B.: Schriftstücke, Zahlen und Statistiken. Diese entstehen in der Arbeit mit Klient*innen, in internen Organisationsprozessen sowie in der Kommunikation mit externen Stakeholdern wie Fördergeber*innen und Spender*innen.
Trotz der Vorteile ist die Arbeit mit diesen Daten auch aus einer kritischen Perspektive zu betrachten. So müssen neben dem Datenschutz auch ethische Überlegungen miteinbezogen werden, wenn personenbezogene und sensible Daten ausgewertet werden. Als Herausforderung kann sich beispielsweise auch der unterschiedliche Dokumentationsstil verschiedener Mitarbeiter*innen oder Professionen entpuppen. Deutlich wird, wie wichtig die Berücksichtigung bereits vorhandener Daten und deren Erhebung für eine kontinuierliche und produktive Implementierung von Wirkungsdarstellungen ist und dass man die Evaluierung bereits bei der Konzeption der Dokumentation neuer Angebote mitdenken kann.
Diana Zierold vom Deutschen Jugendinstitut ging in ihrer Keynote der Frage nach, inwieweit die Standards der DeGEval ein gutes Instrumentarium für die Durchführung von Evaluationen in sozialen Einrichtungen darstellen. Helfen sie dabei die Qualität in der Pflege und Betreuung zu verbessern? Sie stellte verschiedene Instrumente zur Dokumentation vor (H.M.B.-W.-Verfahren Bogen, Demenzscreening, Verhaltensbogen) und beleuchtete, wie die Daten aus diesen Tools in die Konzeption neuer Angebote einfließen. Dabei gibt es viele Herausforderungen zu überwinden: Es braucht Zeit, entsprechende fachliche Expertise, Know-how in der Anwendung und das Commitment des Personals der Einrichtung.
Frank Bauer und Jan Gellermann vom Institut für Arbeitsmarkt- und Berufsforschung der Bundesagentur für Arbeit (IAB) ließen die Teilnehmer*innen an ihren Erfahrungen bei der kombinierten Nutzung von Prozessdaten, Befragungen und Hilfedokumentationen teilhaben. Im Zentrum standen verschiedene (Modell)Projekte mit Beschäftigungswirkung. Mit großen Datenmengen, die verknüpft werden, können Aussagen zur Wirkung verschiedener Maßnahmen getroffen werden. Dabei kommen auch Kontrollgruppen zum Einsatz.
Um zu verstehen, was in den Maßnahmen tatsächlich passiert und wie die unterschiedlichen Unterstützungsformen wirken, werden mixed-methods Designs entwickelt, Auch diese statistischen Modelle sind ergänzungsbedürftig, wenn man Genaueres über die Inhalte der Maßnahmen und deren Einfluss erfahren will. Hierzu bedarf es Wissen über die Erfahrungen und Einschätzungen der Maßnahmeteilnehmer*innen (individuelle Probleme, Verhältnis zu Ausbilder*innen, Alltagsorganisation, Lernanforderungen, etc…) und der Fachkräfte (Implementation, Programmfehler, Art und Inhalt der Sozialarbeit). Diese Informationen gewinnt man durch Befragungen und Auswertung von Hilfedokumentationen.
Markus Schwab und Elisabeth Stefanek erläuterten die Nutzung von prozessproduzierten Daten. Ihre interne Forschungsabteilung hat dafür ein umfassendes Datenmanagementsystem entwickelt. Darin abgebildet sind alle Daten, die im Laufe des Betreuungsprozesses - vom Erstkontakt bis hin zum Fallabschluss - gesammelt werden. Diese können für diverse Fragestellungen im Rahmen der kontinuierlichen Evaluation und die Qualitätssicherung ausgewertet werden. So steht ein wahrer Datenschatz für Fördergerber*innen, den internen Gebrauch im Sinne der Ver-besserung und für die interne und externe Evaluierung zur Verfügung. Trotz Einschränkungen sehen sie einen Nutzen für:
Katrin Schöber und Bernhard Rubik von Wiener Wohnen Kundenservice GmbH beleuchteten das Thema aus Sicht einer Datenanalystin und eines Case Managers. Sie betonten den Stellenwert einer internen Datenanalystin, die Hand in Hand mit dem Team der Sozialarbeit die Dokumentation und die Datenanalyse weiterentwickelt. Zusätzlich gab es zahlreiche Praxis-Tipps wie:
Am Schluss des ersten Tages zogen Stefanie Reiter und Frank Buchheit vom AK Soziale Dienstleistungen der DeGEval ein sehr positives Resümee des Tages: Es wurde eine Vielfalt von Perspektiven aus Forschung und Praxis beleuchtet. Der Fokus und der Nutzen der Evaluierung anhand der prozessproduzierten Daten muss der Einrichtung klar sein. In vielen Fällen müssen diese Daten aber zunächst aufbereitet werden, um sie für verschiedene User*innen-Gruppen nutzbar zu machen. Gerade die Variation an Datenquellen und Auswertungsmethoden kann als Chance gesehen werden. Das verlangt nach einer Evaluationskultur und nach evaluativem Denken im Team. Generell kann Evaluierung helfen zu zeigen, was man tut, noch bevor es verlangt wird.
Am zweiten Tag standen drei Workshops für die Teilnehmer*innen zur Auswahl:
Es hat sich einmal mehr gezeigt, wie sinnvoll es ist, die Themen Wirkung, Evaluation und Dokumentation gemeinsam zu denken. Es gibt ein großes Potenzial, Ressourcen zu sparen, aber vor allem neue Erkenntnisse zu gewinnen. Die voranschreitende Digitalisierung der Dokumentation der Sozialen Arbeit wird mehr Potential zur Nutzung bieten, aber auch nach speziellem Know-how verlangen. Das Thema Datenmanagement als Grundlage für eine wirkungsorientierte Evaluation bleibt somit im Fokus der Sozialwirtschaft.
