Ewaluacja wewnętrzna w szkole / placówce - Diagnostyka edukacyjna, analiza wyników sprawdzianu i egzaminów -

Narodziny ewaluacji były wynikiem wzrostu popularności nauk społecznych oraz nowoczesnych teorii zarządzania w handlu i przemyśle. Ojczyzną ewaluacji są Stany Zjednoczone. Pierwsze badania ewaluacyjne przeprowadzono w USA w latach 20. XX wieku. Wkład w rozwój ewaluacji miał również polski socjolog Florian Znaniecki, który w latach 30. był dyrektorem programu badawczego w dziedzinie edukacji na Uniwersytecie Columbia.
W Polsce pojęcie ewaluacji pojawiło się w latach 90. ubiegłego wieku, w związku z reformą polskiego systemu edukacji.

Od 2009 roku ewaluacja jest jedną z form nadzoru pedagogicznego. Wszystkie szkoły / placówki oświatowe mają obowiązek przeprowadzania ewaluacji wewnętrznej w odniesieniu do zagadnień uznanych w szkole / placówce za istotne w jej działalności. Dlatego też niedopuszczalny jest obecnie brak wiedzy nauczycieli – a zwłaszcza osoby pełniącej funkcję dyrektora – na ten temat. Niestety są szkoły, w których słowo „ewaluacja” w dalszym ciągu wywołuje lęk, a czasem nawet panikę.

Co budzi największy niepokój?

• Trudności ze zrozumieniem istoty ewaluacji.
• Brak zaufania – utożsamiamy ewaluację z oceną nastawioną wyłącznie na "wyłapywanie" niedociągnięć naszej pracy.
• Brak odwagi – boimy się oceny własnej osoby i nie potrafimy oddzielić oceny siebie, od oceny naszego działania i jego efektów.
• Nie rozumiemy zasad dokonywania ewaluacji.
• Nie zawsze wiemy, w jaki sposób wykorzystać wyniki ewaluacji do doskonalenia jakości pracy szkoły lub placówki.

Spróbujmy usystematyzować naszą wiedzę na ten temat i raz jeszcze odpowiedzieć na kilka zasadniczych pytań: Czym jest ewaluacja? Jakie argumenty przemawiają za podejmowaniem ewaluacji w szkole/placówce? Jak zaplanować i przeprowadzić ewaluację wewnętrzną? Jaką strukturę powinien mieć raport ewaluacyjny?

Czym jest ewaluacja?

W literaturze fachowej możemy spotkać różne definicje tego pojęcia.

Oto kilka z nich:

Ewaluacja to systematyczne badanie wartości lub zalet jakiegoś obiektu. /J. Committee, 1981/

Ewaluacja to systematyczne badanie zdarzeń, które mają miejsce w ramach aktualnie realizowanego programu, jak i innych, stwierdzające te same cele ogólne. /Cronbach i współaut., 1980/

Ewaluacja to proces zbierania danych i ich interpretacja w celu podejmowania decyzji. /H. Komorowska, 1995/

Ewaluacja (ang. to evaluate) to starannie rozważać, jak dalece użyteczna lub wartościowa jest pewna działalność, jej plan lub pomysł, zwłaszcza, by zdecydować, czy ją podjąć, czy nie, albo czy ją kontynuować. /Language Activator. The Word’ s First Production Dictionary, Burt Mill 1994, Longmans/

Ewaluacja w edukacji – proces zmierzający do stwierdzenia, w jakim stopniu założone cele edukacyjne są rzeczywiście realizowane. /Tyler, 1950/

Ewaluacja w edukacji – zaplanowane i systematyczne działanie, uwidaczniające, w jakim stopniu zostały osiągnięte cele kształcenia; proces diagnostyczno-oceniający, zawierający w sobie elementy pomiaru, osądu i decyzji. /J.J. Guilbert, 1983/

Ewaluacja w dydaktyce nastawiona być powinna na systematyczne zbieranie informacji o warunkach, przebiegu i wynikach dydaktycznych w celu ulepszenia tych działań lub podjęcia decyzji o ich prowadzeniu. /B. Niemierko/

Według nowego rozporządzenia MEN z dnia 7 października 2009 roku w sprawie nadzoru pedagogicznego ewaluacja to praktyczne badanie oceniające, przeprowadzane w szkole lub placówce.

Każda z tych definicji jest inna, ale mają cechy wspólne. Wszystkie opisują pewien proces, na który składają się:

• zbieranie danych;
• analiza zebranych informacji;
• wyciąganie wniosków;
• formułowanie rekomendacji co do decyzji, jakie powinny być podjęte.

Na podstawie powyższego możemy stwierdzić, że ewaluacja nie jest działaniem okazjonalnym, lecz procesem badawczym i ma służyć poprawie konkretnych efektów pracy szkoły lub placówki.

Jakie argumenty przemawiają za podejmowaniem ewaluacji w szkole?

• Doskonalenie jakości pracy szkoły/placówki.
• Wspomaganie harmonijnego rozwoju ucznia.
• Wspomaganie rozwoju zawodowego nauczyciela.
• Poprawa profesjonalizmu nauczyciela – nauczyciel uzyskuje wiarygodną informację o tym, jak odbierane są jego działania, jakie są ich efekty, te oczekiwane, ale i niepożądane. Dzięki temu możliwe jest przystąpienie do eliminacji tych czynników, które nie sprzyjają efektywnej pracy zawodowej oraz rozwijanie tych aspektów, które należy rozwinąć.
• Poprawa komunikacji i współpracy z uczniami, ich rodzicami oraz innymi nauczycielami – nauczyciele, uwzględniając w swej pracy opinie i poglądy uczniów, wykazują swoją otwartość, co sprzyja wzajemnemu zaufaniu i wzbudzaniu postaw życzliwości. Uczniowie dostrzegają, że są ważnym podmiotem, a nie tylko przedmiotem oddziaływań edukacyjnych.
• Dzięki ewaluacji istnieje możliwość wymiany doświadczeń, wzajemnego wspierania się i współpracy z innymi nauczycielami. Nauczyciel uzyskuje informacje o trafności doboru treści i metod kształcenia do potrzeb i oczekiwań uczniów. Ewaluacja pozwala rzetelnie określić efekty procesu nauczania i uczenia się, określić, jaką wiedzę i umiejętności posiadają uczniowie, jakie doświadczenia im towarzyszą. Nauczyciel może promować swoją pracę, a szczególnie te elementy, które stanowią jej mocne strony.
• Dzięki ewaluacji nauczyciel może planować strategię swego rozwoju zawodowego.

W wyniku ewaluacji można dokonać oceny:

• potrzeb, oczekiwań, wymagań;
• stanu zadowolenia (tych, którym działanie ma służyć);
• znaczenia działań;
• efektywności działań;
• spójności celów, treści, metod;
• oddziaływania, wpływu na otoczenie.

Dobrze przeprowadzona ewaluacja daje nam odpowiedź na pytania: Co należy zmienić? W jaki sposób? Czy już wprowadzone zmiany przynoszą efekty?

Wprowadzany obecnie nowy system sprawowania nadzoru pedagogicznego nadaje ewaluacji szczególną rangę.

Rozporządzenie wskazuje ewaluację jako jedną z form sprawowania nadzoru pedagogicznego. Zgodnie z zapisami tego rozporządzenia dyrektor szkoły lub placówki publicznej we współpracy z innymi nauczycielami zajmującymi stanowiska kierownicze, w ramach sprawowanego nadzoru pedagogicznego, przeprowadza ewaluację wewnętrzną i wykorzystuje jej wyniki do doskonalenia jakości pracy szkoły lub placówki.

Nie oznacza to, że dyrektor samodzielnie wykonuje wszystkie czynności związane z realizacją ewaluacji wewnętrznej w szkole lub placówce. Ewaluacja wewnętrzna powinna być prowadzona z udziałem zespołów nauczycieli.

Dobór osób do zespołu to bardzo ważne zadanie dla dyrektora szkoły, ponieważ od umiejętności współpracy każdego z członków zespołu zależy powodzenie całego przedsięwzięcia. W skład zespołu ewaluacyjnego należy powoływać nauczycieli, którzy posiadają:

• doświadczenie w zakresie pomiaru dydaktycznego, diagnozy, ewaluacji, EWD;
• umiejętność planowania, pisania projektu;
• dobrą znajomość i doświadczenie w posługiwaniu się technologią informacyjną;
• znajomość metod, technik i narzędzi badawczych;
• umiejętność przeprowadzania wywiadów, obserwacji, konstruowania kwestionariuszy i posługiwania się nimi;
• umiejętność analizy danych, trafnego wyciągania wniosków, pisania raportów, formułowania rekomendacji;
• umiejętność współpracy w zespole, otwartość na zmiany, samodyscyplina.

Jeżeli w szkole/placówce są nauczyciele, którzy nie posiadają wyżej wymienionych umiejętności, należy ich przeszkolić w tym zakresie.

Ważną sprawą jest również ustalenie funkcji pełnionych przez poszczególne osoby w zespole, zakresu ich kompetencji oraz określenie podstawowych obowiązków całego zespołu.

Ilość osób w zespole zależy od wielkości placówki, ilości obszarów poddawanych ewaluacji oraz zakresu i rozmiarów ewaluacji.

Dyrektor nie powinien wchodzić w skład zespołu ewaluacyjnego. Jego zadaniem jest nadzorowanie i monitorowanie prowadzonych działań.

Ewaluacja powinna być dokładnie zaplanowana i zrealizowana. Zanim rozpoczniemy planowanie ewaluacji, należy podjąć decyzję co do jej rodzaju. Jest to ważne ze względu na to, że każdy rodzaj ewaluacji służy innemu celowi.

Jakie są rodzaje ewaluacji?

W zależności od tego, kto prowadzi ewaluację, wyróżniamy:

• ewaluację zewnętrzną – jest ona prowadzona przez osoby spoza danej placówki lub niezaangażowane bezpośrednio w realizację danego programu;
• ewaluację wewnętrzną – prowadzona przez osoby zatrudnione w placówce lub przy realizacji programu;
• autoewaluację – prowadzona przez osoby zaangażowane w działanie placówki lub programu, ale nastawiona na refleksję nad własnymi działaniami i pogłębienie samoświadomości.

W zależności od tego, w którym momencie prowadzimy ewaluację, wyróżniamy:

• ewaluację „na wejściu” – na początku przedsięwzięcia, zwaną również diagnozującą;
• ewaluację formatywną (kształtującą, bieżącą, cząstkową) – realizowana jest w trakcie trwania ewaluowanego programu i wspomagać ma jego realizację poprzez bieżącą analizę danych w celu ewentualnej korekty obserwowanych działań;
• ewaluację konkluzywną (sumującą/sumatywną) – jest to ewaluacja końcowa, koncentruje się na analizie rezultatów lub skutków programu zarówno założonych przed realizacją, jak i niepożądanych. Wnioski z analizy tych rezultatów są często rekomendacjami, które wykorzystuje się przy realizacji przyszłych programów;
• ewaluację odroczoną – ewaluacja przeprowadzona po pewnym czasie od zakończenia danego programu, daje najbardziej wiarygodną analizę rezultatów i skutków danego programu.

Przebieg ewaluacji

Ewaluacja niezależnie od jej rodzaju, niezależnie od tego, jakim obiektem się zajmuje, ma charakterystyczne etapy i przebieg.

Składa się z trzech etapów:

I. PRZYGOTOWANIE

– zaplanowanie działań (plan ewaluacji)

– projekt ewaluacji

II. REALIZACJA

– zbieranie danych

III. PODSUMOWANIE

– analiza danych

– wyciąganie wniosków, rekomendacje

– sporządzenie raportu

– upowszechnienie wyników

Jednym z najważniejszych elementów procesu każdej ewaluacji, warunkującym jej powodzenie, jest zaplanowanie działań. Podczas planowania działań odpowiadamy na pytania o cel ewaluacji: Dlaczego to robimy?, o jej odbiorców: Dla kogo jest ta ewaluacja (główny odbiorca, pozostali odbiorcy)? Szukamy również odpowiedzi na pytania: Kto będzie zaangażowany w przeprowadzenie ewaluacji? Jakie będą zadania i funkcje poszczególnych osób? Jakie będą czasowe i finansowe koszty przedsięwzięcia? oraz: Na kiedy potrzebne nam są wyniki?

Kolejnym krokiem jest opracowanie projektu ewaluacji. Są to założenia merytoryczne i metodologiczne badania ewaluacyjnego.

Projekt ewaluacji składa się z następujących elementów:

• obiekt ewaluacji (obszar, przedmiot ewaluacji);
• pytania kluczowe (Co chcemy wiedzieć o badanym obiekcie?);
• kryteria ewaluacji (Co będzie stanowić o sukcesie?);
• metody zbierania danych;
• określenie populacji i dobór próby (Skąd będziemy czerpać informacje?);
• organizowanie zbierania danych (W jaki sposób będziemy gromadzić dane i jak je dokumentować?);
• monitoring ewaluacji – stałe kontrolowanie (Co już zrobiliśmy? Co mamy do zrobienia i ile mamy jeszcze na to czasu?);
• raport (Jaki ślad pozostanie po badaniu? Sposób prezentacji danych).

Omówmy krótko poszczególne elementy projektu ewaluacji.

Pierwszym elementem w projektowaniu ewaluacji powinno być określenie jej przedmiotu. Przedmiot ewaluacji jest uzależniony od celów oraz rodzaju ewaluacji. Należy zatem precyzyjnie określić, co będzie poddawane ewaluacji.

Kluczowe pytania ewaluacyjne. Są to pytania, na które szukamy odpowiedzi podczas całego procesu badawczego, sformułowane w sposób ogólny (problemowy). Nie może ich być zbyt wiele.

Kryteria ewaluacji. Zawierają one to, co uważamy za jakość w danym obszarze.

Wyznaczają wymagania, oczekiwania, potrzeby, jakie wiążemy z tym obszarem (jawność, sprawiedliwość, zrozumiałość, zgodność z przepisami prawa, efektywność, skuteczność, wydajność, zadowolenie klienta, zaspokojenie potrzeb itp.).

Przy wyborze kryteriów bierzemy pod uwagę cel ewaluacji oraz oczekiwania i wartości, wspólnie wynegocjowane przez grupy społeczności szkolnej. Do kryteriów ewaluacji będziemy się odwoływać w fazie analizy danych zgromadzonych w trakcie badania oraz podczas formułowania wniosków ewaluacyjnych.

Metody zbierania danych. Dobór metod jest niezwykle ważny, ponieważ nie każda metoda nadaje się do zbierania danych od określonych podmiotów.

Metody badawcze i techniki stosowane w konkretnym badaniu ewaluacyjnym dobierane powinny być w zależności od celu ewaluacji, obszaru badania, postawionych pytań ewaluacyjnych, dostępności informacji, respondentów oraz czasu przewidzianego na badanie.

Najczęściej stosowanymi w ewaluacji metodami badawczymi są:

– ankieta – kwestionariusz ankiety;

– obserwacja – arkusz obserwacji;

– wywiad, rozmowa – lista pytań;

– analiza dokumentów – arkusz informacyjny, dyspozycje do analizy dokumentów;

– pomiar dydaktyczny – sprawdzian, test.

Informacje pozyskane z zastosowaniem tych metod mogą być opisywane i analizowane za pomocą analiz ilościowych i jakościowych.

Kolejnym elementem jest dobór próby badawczej. Należy:

– zastanowić się, kto będzie mógł udzielić nam najpełniejszej informacji na dany temat;

– wziąć pod uwagę wszystkie grupy klientów szkoły;

– określić, ile osób i z jakich grup obejmie dana metoda badawcza oraz, jakiego typu narzędzia będą nam potrzebne dla danej grupy.

Wszystkie kwestie należy rozpatrywać w kontekście zasobów, którymi dysponujemy (ludzie, czas, finanse).

Projekt ewaluacji wewnętrznej powinien kończyć się określeniem założeń formy prezentacji wyników ewaluacji. Zazwyczaj prezentowane są one w postaci raportu.

Raport ewaluacyjny może mieć różną strukturę i formę.

Istotna jest jego treść, która powinna odwoływać się do przygotowanego przez zespół i zatwierdzonego przez dyrektora projektu ewaluacji. Najważniejszą częścią raportu są wnioski i rekomendacje, które powinny być wykorzystane do doskonalenia jakości pracy szkoły/placówki.

W raporcie nie powinno zabraknąć następujących części:

• Strona tytułowa – data sporządzenia raportu, tytuł, nazwiska autorów.
• Opis przedmiotu ewaluacji – czyli, co było poddane badaniu, np. cały obszar lub wybrane wymagania.
• Opis ewaluacji – pytania kluczowe z projektu i wykorzystane metody, techniki, narzędzia.
• Opis danych i procesu ich zbierania – dane, które uzyskaliśmy, od kogo i kiedy je zbieraliśmy.
• Analiza danych.
• Końcowe wyniki – próba odpowiedzi na pytania kluczowe; ocena wyników np. poprzez określenie mocnych i słabych stron; wnioski do dalszej pracy; rekomendacje, czyli zalecenia, oczekiwania dla dzieci, nauczycieli, rodziców, dyrektora.
• Załączniki – narzędzia, za pomocą których zbieraliśmy dane, np. czyste wzory ankiet, arkuszy diagnostycznych  i inne dodatkowe materiały (np. notatki prasowe, prezentacje).

Reasumując, zauważmy, że ewaluacja w swej istocie to problem bardzo złożony. Proces, który w zasadzie nigdy się nie kończy. Jednakże, co potwierdza wieloletnia praktyka, wdrażanie ewaluacji jest niezbędne do prawidłowego funkcjonowania szkoły/placówki, jak również jej ustawicznego rozwoju i szeroko rozumianego postępu. Zarówno sama wiedza o ewaluacji, jak też znajomość metod i technik jej prowadzenia, powinny stać się jednym z priorytetów dzisiejszych postępowych „szefów” – dyrektorów, menedżerów, kierowników – placówek oświatowych.

Zgromadzone w tym artykule informacje nie wyczerpują tematu ewaluacji, ale pozostawiają otwartym na nowe ujęcia, spostrzeżenia i konkluzje ewaluatorów, aby przy wspólnym wysiłku mogły powstawać jak najbardziej kompetentne pomoce, które będą służyć do osiągania jak najlepszych efektów.

Literatura:

1. Korporowicz L., Społeczne funkcje ewaluacji, w: Strategie reform oświatowych w Polsce na tle porównawczym, red. Wojnar I., Bogaj A., Kubin J., Komitet Prognoz Polska 2000 plus, Warszawa 1999.
2. Korporowicz L., Ewaluacja w reformie systemu edukacji, Polityka Społeczna 9/98.
3. Korporowicz L., Ewaluacja w edukacji, red. Oficyna Naukowa, Warszawa 1997.
4. Korporowicz L., Ewaluacja zaproszenie do rozwoju, Edukacja i dialog 2000, 119.
5. Tołowińska-Królikowska E. red., Autoewaluacja w szkole, CDN, Warszawa 2002.
6. Mizerek H., Po co szkole ewaluacja? Problemy wczesnej edukacji, 2009 nr 1.
7. Mizerek H., Ewaluacja w szkole – szansa z (kilkoma) pułapkami w tle?, w: M. Nowicka red., Nauczyciel i uczeń w przestrzeniach szkoły, Olsztyn 2002, wyd. UWM.
8. Rozporządzenie MEN z dnia 7 października 2009 roku w sprawie nadzoru pedagogicznego.

Alina Wojtyna – konsultant ds. organizowania i doskonalenia zawodowego dyrektorów szkół i placówek w zakresie zarządzania oświatą i ewaluacji wewnętrznej w LSCDN O/Zamość