Про критерії оцінювання педагогічних досліджень

Проблема якості науково-педагогічних досліджень — одна з кар­динальних методологічних проблем педагогічної науки. В су­часних умовах вона набуває першорядного значення. Це по­яснюється тим, що на сьогодні у вітчизняній педагогічній науці склалася парадоксальна ситуація. З одного боку, формальні по­казники (кількість захищених кандидатських і докторських дисер­тацій, масове видання нових монографій, видання практично в кожному місті свого регіонального підручника педагогіки, виник­нення нових наукових і навчальних підрозділів у вищих навчаль­них закладах, створення експериментальних навчальних і науко­вих закладів, майданчиків тощо) свідчать про поступальний роз­виток наукового знання, а з іншого — діє зовсім інша тенденція. Із загальним підвищенням середнього рівня освіченості явно зни­жується, падає культура наукового мислення й рівень роботи дослід­ників.

Сучасна соціокультурна ситуація в Україні характеризується безліччю змін у сфері освіти: виникають освітні заклади нового типу, змінюються пріоритети змісту навчання й виховання, інши­ми стають педагогічні технології, стиль управління навчальними закладами, критерії оцінювання їх діяльності, проводяться чис­ленні експерименти. Однак спостереження за інноваційною діяль­ністю в середній і вищій школі дають підстави для висновку: педа­гогічні колективи, керівники навчальних закладів, відчуваючи го­стру потребу в змінах, відчувають таку саму гостру нестачу кон­цептуальних ідей, знань культурно-історичного досвіду розвитку освіти, наукових основ організації педагогічних досліджень, відчу­вають великі труднощі у виборі їх мети, засобів, способів оціню­вання результатів. Наші власні дослідження стану справ в іннова­ційних навчальних закладах підтверджують, що для сучасної освіт­ньої ситуації характерна суперечність між гостро вираженою по­требою педагогічних колективів працювати по-новому і недостатністю необхідної для цього педагогічної чи методологічної культури.

Ситуація, що склалася, зумовлена економічними, соціальними й психологічними причинами. Не останню роль відіграє зміна ста­тусу вченого, його невизначене становище в сучасному українсь­кому суспільстві. Та, відкинувши хоч і дуже важливі, але побічні фактори, доводиться констатувати найважливішу іманентну при­чину того, що відбувається. Це кардинальні зміни в самій науці, істотні зрушення в її структурі й змісті, які дуже часто не знахо­дять свого відображення на теоретичному рівні. Одне з найважли­віших завдань педагогічної науки сьогодні — розвиток власної те­орії, систематизація наявних знань розв’язується явно незадовіль­но. Результати педагогічних досліджень надзвичайно повільно і значною мірою стихійно вводяться в теорію. Більше того, останнім часом деякі освітянські й наукові чиновники взагалі виступають за “практично орієнтовану педагогіку”, не розуміючи того, що завж­ди найбільш практичною була хороша теорія, і забувши сумний досвід “пов’язування науки з життям” ЗО—50-х років. У результаті цього вчені-педагоги опиняються в ситуації методологічного виклику, не відповівши на який, не усвідомивши глибинних змін наукового поля, вони виявля­ються на узбіччі сучасної куль­тури наукових досліджень.

Крім того, розбудова націо­нальної системи освіти, модер­нізація діяльності середньої і ви­щої школи повинні мати мето­дологічні засади, фундамент, ос­кільки в противному разі вини­кає широкомасштабний фено­мен “педагогічного шаманства і авантюризму”.

Написано тисячі дисертацій­них праць, опубліковано сотні монографій і десятки статей з різних питань навчання й вихо­вання. У розвиток педагогічної науки вкладено значні матеріа­льні засоби. Однак відомо, що віддача від цих досліджень у ба­гатьох випадках дуже низька. Мабуть, не все гаразд у “коро­лівстві педагогічному”. Очевид­но, потрібні нові підходи до ор­ганізації наукових досліджень, що давали б можливість ефек­тивніше планувати й координу­вати дослідження, визначати ак­туальні й перспективні напря­ми розвитку педагогічної науки, давати перспективну оцінку провідним тенденціям у тій чи іншій галузі педагогічної науки, оцінювати якість виконаних до­сліджень.

Необхідність аналізу й оці­нювання тенденцій розвитку науки, якості виконання дослід­жень зумовлюється і самою складністю розвитку науки, його суперечливістю, і наявністю чис­ленних точок зору, різних нау­кових шкіл і підходів.

У зарубіжних наукових цент­рах іноді до 20 % коштів, виділе­них на науку, витрачається саме на експертизу досліджень, що проводяться, і це цілком виправ­дано. Адже мета такої експерти­зи — не лише встановити істину, підтвердити ту чи іншу ідею, а й одержати додаткові аргументи “за” чи “проти”, визначити сфе­ру застосувань нових наукових ідей і технологій. Проблеми об’­єктивності і якості виникають завжди, вони неминучі, оскільки вченому, як і будь-якій людині взагалі, властиві і суб’єктивізм, і помилки, і прорахунки, а не­рідко й перебільшене уявлення про значення того, що він зро­бив.

Особливо важливою є пра­вильна оцінка результатів дисер­таційних досліджень. Адже не секрет, що часто помилки здо-бувача у формулюванні суті й значення результатів свого до­слідження відтворюються у від­гуках опонентів і висновках спе­ціалізованих рад. Змістовна ха­рактеристика результатів дослід­ження підміняється описовим переліком праць, виконаних в його ході; оцінка ступеня новиз­ни і вірогідності висновків здо-бувача дається без аргументації (у кращому випадку — на основі порівняння з наявним рівнем наукових досягнень).

Проблема ефективності і якості діяльності науковців у всіх галузях наукового знання, в тому числі й у педагогіці, не перестає хвилювати розум учених. Одним з найважливіших аспектів цієї проблеми є опрацювання кри­теріїв оцінки результатів і само­го процесу наукових досліджень. Питання це далеко не нове. На сторінках преси обговорювали­ся різні точки зору. Особливо активізувалось це обговорення після виходу в світ відомої мо­нографії українського вченого Геннадія Доброва “Наука про науку”, яка спочатку наробила багато галасу в науковому світі, а згодом ініціювала розгортан­ня наукознавчих досліджень, у тому числі й у педагогіці. Сьо­годні можна лише висловити жаль, що наукознавство вийш­ло з моди.

Для уникнення надалі непо­розумінь пояснимо, що ми ро­зуміємо під критерієм оцінки, оскільки в практиці цей термін часто вживається неправомірно. Так, у формалізованих бальних системах оцінювання результатів наукових досліджень під кри­терієм розуміють параметр, який хочуть виміряти (наприклад, “творча активність”, “кількість публікацій” тощо). Однак це лише вимірювання, а не кри­терій. Критерієм є правило, згід­но з яким виносять оцінку, вибір після вимірювання. В цьому правилі коротко сказано, що таке добре і що таке погано.

У побутовій мові ми іноді го­воримо “критерій”, розуміючи головний параметр. Але це тому, що в побутовій мові взагалі ви­пускається велика частина умов і обмежень, оскільки вони вва­жаються відомими обом спів­розмовникам. У методиках оці­нювання результатів наукових досліджень це не допускається, бо для більшості запропонова­них параметрів навряд чи може бути критерієм оцінки їхня мак-симізація.

Проблема оцінювання ефек­тивності і якості виконаних до­сліджень грунтовно обговорюва­лася в 70—80-х роках на всесо­юзних методологічних семінарах з педагогіки. Пропонувалося визначати цінність наукового дослідження за його результата­ми, маючи на увазі впроваджен­ня відповідної розробки в на­вчально-виховний процес. Од­нак ця пропозиція є спірною, оскільки результати не всіх до­сліджень негайно дістають путів­ку в життя, а в ряді випадків і не мають на меті безпосередньо практичний вихід. Не один раз уносилися пропозиції врахову­вати кількість посилань на кон­кретні результати наукових до­сліджень.

Безперечно, що чим більше спеціалісти цієї галузі знань посилаються в своїх пра­цях на якийсь конкретний ре­зультат дослідження, тим він, мабуть, заслуговує вищої оцін­ки. Однак і цей підхід до оці­нювання наукових результатів має ряд недоліків. По-перше, потрібен більш чи менш трива­лий час для появи посилань. По-друге, ці посилання можуть роз­кривати ставлення до цитовано­го дослідження чи його автора, що вимагає спеціального аналі­зу посилань. Є й інші запере­чення. Зокрема, чи завжди пра­вомірно негативно оцінювати результат дослідження, якщо певний час на нього не посила­лися.

Сьогодні одним з головних критеріїв якості виконаного до­слідження й ефективності робо­ти науковців є кількість публі­кацій. Саме цей критерій фігу­рує в звітах, враховується при проведенні атестації, конкурсів, на загальних зборах АПН Украї­ни. Однак за своєю науковою цінністю (за якістю!) публікації далеко не однакові, їх кількість не відображає внеску науковця в науку і практику. Вони є лише показниками активності дослід­ника, підтверджують його при­четність до наукового співтова­риства. Судити про якість вико­наного дослідження і про ефек­тивність роботи дослідника за кількістю статей і їх обсягом — процедура елементарна, яка не вимагає роздумів. Однак це не вихід із становища, бо кількість публікацій і їх обсяг не відобра­жають “цінності” результатів до­слідження.

Сучасне наукознавство об­ґрунтовує кілька видів експер­тиз наукових досліджень, які можна застосовувати і в педа­гогіці. Мова йде про методоло­гічну, технологічну, праксеоло-гічну та комплексну експерти­зи. Кожна з них здійснюється на певному етапі дослідження і роз­в’язує свої завдання.

Методологічну експертизу доцільно проводити на початку дослідження, коли обґрунтовує­ться актуальність проблеми до­слідження, його тема, об’єкт і предмет, тобто на етапі “визна­чення місця” дослідження в про­блемному полі відповідної галузі педагогічної науки. Така експер­тиза дає можливість визначити об’єкти дослідницької роботи, головні напрями пошуку, вихід­ні позиції дослідника, обумов­лені сучасним станом науки, вимогами наукознавства й нау­ковими концепціями, що скла­лися на цьому етапі.

Технологічна експертиза по­в’язана з безпосереднім аналізом програми наукового пошуку, культури експерименту, умов його проведення, теоретичного, діагностичного і фінансового забезпечення.

Предметом праксеологічної експертизи є аналіз сфери за­стосувань результатів досліджен­ня, умов і правил використання теорії на практиці.

Щодо комплексної експерти­зи результатів наукового дослід­ження, то її проводять компе­тентні організації та спеціалісти із залученням авторів, виконав­ців дослідження. Прикладами такої комплексної експертизи можуть бути експертизи, які про­водяться спільними зусиллями педагогів і психологів, педагогів і фізіологів, педагогів і спеці­алістів з інформатики тощо.

Дослідження в педагогіці проводяться в різних її галузях: дидактиці, теорії виховання, ме­тодології, історії освіти й педа­гогіки, в методиках вивчення окремих предметів, спеціальній педагогіці тощо. Зрозуміло, що різний матеріал не можна оці­нювати однією міркою. Треба класифікувати роботи для дифе­ренційованої оцінки їх якості.

Питання класифікації дослід­жень частково розглядались у педагогічній літературі. Однак вони не були повністю розв’я­зані. Принципи поділу дослід­жень, основні підходи при по­будові тих чи інших класифі­кацій, галузі й межі їх викорис­тання визначені нечітко, трап­ляються типології, побудовані на різних основах. Головний не­долік існуючих класифікацій — відсутність конструктивних оз­нак, на основі яких можна відне­сти дослідження до певного типу. Ось чому практичні спро­би поділу праць стикаються зі значними труднощами. Особли­во часто це спостерігається при визначенні спеціальності, за якою має захищатися та чи інша дисертація.

Можна виділити два основ­них підходи до класифікації пе­дагогічних досліджень: бібліо­графічний і наукознавчий. Біб­ліографічний підхід ґрунтується на необхідності здобувати ін­формацію про наявні публікації, добирати праці за певними на­прямами, темами, проблемами, виявляти коло питань, які ви­вчали або обговорювали автори. Наукознавчий підхід дає мож­ливість враховувати взаємовід­носини між наукою, технікою, виробничою діяльністю, мету, завдання й результати дослід­ження. Обидва підходи пра­вомірні. Вони відображають об’­єктивні потреби різних осіб у тій чи іншій інформації. Залежно від підходу будується відповідна класифікація. Ми притримує­мось наукознавчого підходу і класифікації педагогічних до­сліджень на фундаментальні, прикладні й практичні (або роз­робки).

Поділ педагогічних дослід­жень на фундаментальні, при­кладні й практичні є найпоши­ренішим у директивних доку­ментах, у природничих і соціаль­них науках, а також у педа­гогічній літературі різних країн.

Фундаментальні дослідження відкривають закономірності пе­дагогічного процесу, загальноте­оретичні концепції педагогічної науки, опрацьовують методоло­гію та історію науки. Вони спря­мовані на розширення й поглиб­лення наукових знань, указують типи наукового пошуку, створю­ють базу для прикладних і прак­тичних досліджень. Основним критерієм якості фундаменталь­ного дослідження є теоретичне значення здобутих результатів, їх вплив на розвиток теорії, пере­творення і зміни наших уявлень з найважливіших питань навчан­ня, виховання, історії і методо­логії педагогіки. На жаль, у ба­гатьох дослідженнях, особливо в дисертаційних, теоретичні поло­ження формулюються умогляд­но чи навіть просто беруться “із стелі”. Тому їм бракує вірогід­ності, обґрунтованості, хибує і логічний бік викладу. Місце на­укового дослідження займає за­гальна розмова на досить загаль­ну тему.

Теоретичне значення результатів педагогічних досліджень тісно пов’язане з їх новизною. Які нові концепції, гіпотези, за­кономірності, тенденції, напря­ми в галузі навчання, вихован­ня, теорії та історії педагогіки висунуто в роботі, наскільки вони конкретизовані, доповнені чи перетворені. Дуже часто ав­тори досліджень, а за ними опо­ненти й спеціалізовані ради не вміють чітко, в узагальненому вигляді сформулювати результа­ти дослідження, подати те нове знання, якого набув дослідник. Практично для всіх здобувачів наукових ступенів розв’язання цього завдання пов’язане з труд­нощами, в яких є своя об’єктив­на причина. При відповіді на за­питання, яке стосується новиз­ни результатів дослідження, до­слідник має подивитися на свою працю ніби з боку: помістивши її в ширший науковий контекст, він повинен виділити своє до­слідження з ряду інших близь­ких за тематикою, що вимагає одночасно і певної делікатності, і глибокої впевненості, оскіль­ки потрібно об’єктивно оціни­ти свій внесок, не применшую­чи й не перебільшуючи його значення.

Найтиповішими при описі новизни результатів досліджен­ня є такі недоліки: нерідко ди­сертант (а слідом за ним опо­ненти і спеціалізована рада) пе­релічує досліджені об’єкти чи проблеми, не говорячи при цьо­му жодного слова про результа­ти: які нові наукові положення та ідеї висунуто, які нові факти відкрито тощо. Ще один типо­вий недолік — завищення робо­ти на фоні явно беззмістовних тверджень. Наприклад, “дисер­тація є першою спеціальною працею з такої-то тематики” (погодьтеся, “першість” аж ніяк не може бути доказом наукової спроможності), “в дисертації за­стосований системний (діяльніс-ний, діалектичний, синергетич­ний тощо) підхід до проблеми” (і ні слова про те, в чому ця си­стемність чи діалектичність по­лягає).

У формулюванні наукової новизни обов’язково має бути поданий опис об’єкта цього формулювання (конкретна ме­тодика, модель, спосіб чи вста­новлене автором теоретичне положення, обґрунтування, кон­цепція, закономірність тощо).

Для фундаментальних до­сліджень одним з найважливі­ших критеріїв має бути віро­гідність чи достовірність. Від­криті факти, явища, процеси, взаємозв’язки між явищами і процесами, сформульовані зако­номірності повинні правильно відображати дійсність і характе­ризувати її такою, якою вона є насправді. Але під вірогідністю як критерієм фундаментальних досліджень ми не маємо на увазі той шаблон, малозмістовне клі­ше, що подорожує з дисертації в дисертацію незалежно від її ха­рактеру й по суті нічого не го­ворить про вірогідність чи до­стовірність зроблених висновків.

Для критерію вірогідності важливим є такий показник, як репрезентативність дослідження. Наприклад, треба визначити, яку кількість спостережень уро­ків (занять) слід провести, щоб виявити ті чи інші тенденції, якими характеризується передо­вий досвід педагогів середньої і вищої школи, якого має бути вибірка педагогів за типами шкіл тощо. У ході дослідження, при­міром, проблеми активізації пі­знавальної діяльності учнів було встановлено, що для виявлення тенденцій, які характеризують передовий досвід учителів і ма­сову шкільну практику, необхід­но провести спостереження не менш як 80 уроків учителів кож­ної категорії (високої кваліфі­кації, середнього рівня й тих, що не досягли належного рівня пе­дагогічної майстерності). За та­кого підходу до вибірки повинні входити вчителі, які працюють у школах різного типу (середні, дев’ятирічні, міські, сільські) і різних регіонів, щоб нівелюва­лися особливості методичної сис­теми, найпоширенішої в шко­лах певної території. У процесі дослідження розподілу предмет­ного спрямування пізнавальних інтересів сучасних школярів ви­біркою мають бути охоплені не менш як 200 учнів кожної пара­лелі за тих самих умов (школи різного типу й різних регіонів). При дослідженні ефективності вивчення розділу чи теми яко­гось курсу вибіркою повинно бути охоплено не менш ніж 384 учнів. Педагогічний процес має свою специфіку, оскільки пов’я­заний з формуванням особис­тості, і це слід враховувати при визначенні вірогідності резуль­татів педагогічних досліджень.

Звичайно, критеріями оціню­вання фундаментальних дослід­жень мають бути актуальність і обґрунтованість. Однак хочемо наголосити на доцільності за­стосування такого критерію, як евристичність. Фундаментальне дослідження має відкривати нові можливості для подальших до­сліджень. Власне дослідження тільки тоді можна назвати фун­даментальним, коли його ре­зультати відкривають шляхи для нового пошуку. Таким чином, основними критеріями фунда­ментальних досліджень можуть бути: теоретичне значення, но­визна, вірогідність, евристичність і обґрунтованість.

Прикладні дослідження на відміну від фундаментальних, на яких вони повинні базуватися, характеризуються не лише вуж­чою проблематикою, обранням для дослідження окремих част­кових проблем навчання, вихо­вання й розвитку особистості учнів чи студентів, їхніх пізна­вальних інтересів, управління навчально-виховним процесом, а й тим, що до їх завдання не входить виявлення закономірно­стей. Ще раз підкреслимо, що базою, основою чи засадами прикладних досліджень мають бути фундаментальні досліджен­ня. Без цього, як переконує ни­нішня практика, науковий рівень результатів прикладних досліджень не витримує крити­ки. Вони перетворюються на засіб вироблення емпіричних рецептів організації педагогічної діяльності, їх результати мають характер наукових заклинань.

Прикладні й фундаментальні дослідження співвідносяться між собою, як корені й гілки дере­ва. Корені — це фундаментальні знання, і якщо їх обрізати, то дерево поступово загине. Не менш важливу роль відіграє фундаментальне знання в на­вчанні підростаючого поколін­ня. Воно виховує таке ставлен­ня до проблеми навчання, що є дуже корисним і продуктивним незалежно від того, в якій галузі доведеться далі працювати.

На жаль, у педагогічних ко­лах України відсутнє розуміння важливості фундаментальних досліджень. Вони зведені прак­тично до нуля, і важливі пробле­ми модернізації освіти розв’я­зуються волюнтаристськи, прак­тично навпомацки. До речі, про це гостро й правильно говорив Президент України Л. Д. Кучма на урочистому засіданні, присвя­ченому 12-річчю незалежності нашої держави. Нагадаємо його слова: “Заклинання про культ знань ми повторюємо часто. Але далі слів справа не йде. Більше того, в наших наукових і освітніх колах навіть почалося згортан­ня фундаментальних дослід­жень. Це згубна, неприпустима тенденція”. Якщо ми втратимо позиції у фундаментальній на­уці, “то перетворимося, якщо не в сировинний, то в мозковий придаток економічно сильніших країн”. Однак повернемося до критеріїв оцінювання приклад­них досліджень.

Уже на самому початку при­кладного дослідження треба відповісти на запитання, чи ак­туальною є його тема, наскільки результати такого дослідження можуть допомогти в удоскона­ленні навчально-виховного про­цесу. А це означає, що акту­альність має бути одним з ос­новних критеріїв прикладних досліджень. Як відомо, акту­альність визначається трьома показниками: відповідністю соці­альному замовленню, де виражена тенденція розвитку школи і її потреб; нерозробленістю цієї проблеми в педагогічній науці; потребами практики, трудноща­ми, що виникають у навчально-виховній практиці через відсут­ність відповіді на досліджуване питання.

Другим важливим парамет­ром прикладних досліджень, тісно пов’язаним з актуальністю, є практична цінність результатів наукової роботи.

Методологія прикладних до­сліджень пов’язана з опорою на результати фундаментальних до­сліджень і часто на різноманіт­ний педагогічний досвід. Тому критерій обґрунтованості для прикладних досліджень має бути обов’язковим. Отже, основними критеріями оцінювання при­кладних досліджень можуть бу­ти: актуальність, практична цін­ність, вірогідність, обґрунтова­ність і новизна.

Нарешті, кілька слів про кри­терії оцінювання практичних досліджень, які ґрунтуються на прикладних і мають своїм зав­данням довести результати цих досліджень до практики. До практичних досліджень належить обґрунтування концепцій створення й функціонування нових типів навчальних закладів, створення програм, підручників, методичних рекомендацій для вчителів, різноманітних дидак­тичних матеріалів та інших за­собів, без яких не можна здій­снювати навчально-виховний процес. Практичні дослідження повинні не лише дати актуальні, науково обґрунтовані результа­ти, а й запропонувати їх прак­тиці в доступному для реалізації вигляді.

Тому одним з основних кри­теріїв оцінювання практичних досліджень є їх доступність для практичної реалізації.

Оскільки практичні дослід­ження ґрунтуються на результа­тах фундаментальних і приклад­них досліджень, то необхідни­ми і достатніми критеріями оці­нювання результатів цього виду досліджень мають бути: акту­альність, практична цінність, обґрунтованість, вірогідність і доступність. Критерій новизни в практичних дослідженнях, без­перечно, теж важливий, але тут він не є обов’язковим. Якщо необхідність цього практичного дослідження належно обґрунто­вана, якщо воно визнане акту­альним і виконане доступно, то питання про його новизну має вже другорядний характер.

Ще кілька слів про критерій вірогідності. Його важливо вра­ховувати при оцінюванні всіх типів дослідження. Для фунда­ментальних і прикладних він обов’язковий тому, що виявле­ну закономірність чи педагогіч­ний факт лише тоді можна ви­знати, коли доведено їх віро­гідність. Для практичних дослід­жень цей критерій також над­звичайно важливий: у цьому випадку він пов’язаний з вияв­ленням умов успішного впро­вадження конкретної практич­ної розробки (підручника, мето­дичного посібника тощо).

Розглянутий підхід до оцін­ки результатів науково-дослідної роботи, природно, не є єдино можливим. Однак він може бути предметом зацікавленого про­дуктивного обговорення, пев­ною відправною точкою в дис­кусії спеціалістів з питань підви­щення якості експертизи орга­нізації і результатів педагогічних досліджень.

Автор : Семен ГОНЧАРЕНКО