Делегація Тернопільського державного медичного
університету імені І.Я.Горбачевського в складі першого проректора
проф.В.П.Марценюка та проректора з навчальної роботи проф.І.Р.Мисули перебувала
у Віденському медичному університеті в період з 28.05.07 по 03.05.07 з метою
вивчення методики та організаційних питань проведення семестрового тестового
іспиту. Під час роботи в університеті делегація знайомилася з технічним
оснащенням центру тестування, документацією, відвідала тестовий іспит,
ознайомилася з процесами створення тестових питань, формування буклетів, розшифрування та оцінювання відповідей
студентів. Спочатку відбулася зустріч з проректором з навчальної роботи
проф.Малінгером, на якій було висвітлено основні етапи підготовки та проведення
тестового іспиту.
Фото 1. Під час візиту. Зліва-направо:
професор М.Шмітц, професор І.І.Гук, професор І.Р.Мисула, професор Р.Маллінгер, професор
В.П.Марценюк
За допомогою багаточисельних контактів та дискусій
із персоналом центру тестування вдалося з’ясувати деталі реалізації кроків
проведення іспиту.
Студенти університету навчаються 6 років. Кожного року вони вивчають 6 блоків. Тестовий
іспит – комплексний і він включає питання з кожного блоку (Малюнок 1).
Малюнок 1. Навчальний план Віденського медичного
університету. SIP – іспити, які проводяться вкінці кожного
навчального року.
Мінімальна кількість тестових запитань на іспиті –
150. На кожен блок припадає від 20 до 60 завдань. Їх кількість визначається
координатором блоку залежно від кількості академічних годин.
Малюнок 2. Ознайомчий буклет із зразками тестових
завдань.
Заздалегідь для кожного тестового іспиту складають
план підготовки тестових завдань з предметів по блоках (Малюнок 3).
Малюнок 3. План підготовки тестових завдань для
6-го блоку.
Такий план включає: назви тем; прізвища
викладачів, які викладають дані теми та місце їх роботи; кількості академічних
годин (по темах); їх відсоток від загальної кількості академічних годин у
блоці; кількість тестових завдань, що включається по даній темі в тестовий
іспит (це число корелює з кількістю академічних годин); кількість питан, які
потрібно підготувати, в розрахунку 2 питання
на 1 академічну годину (це – мета); облік вже підготовлених питань по
викладачах; кількість питань, підготовлених викладачами, які використовувалися
раніше; кількість питань, підготовлених
раніше викладачами, які були відхилені;
кількість питань, підготовлених раніше викладачами, які були одобрені,
але ще не використовувалися; кількість тестових питань, які потрібні для 4-х
перездач; кількість нових питань, які слід мати, щоб нових питань було
70%; скільки реально ще потрібно підготувати
нових завдань.
Складають тести, як правило, молоді викладачі і
подають їх електронною поштою у вигляді документів Word спеціального формату. Складання тестів входить у функціональні обов’язки
викладача.
Відбір тестових завдань до іспиту здійснює
комісія, яка включає координаторів блоків, представників центру тестування –
всього в складі 8-10 осіб.
Банк тестових завдань у Відні сьогодні нараховує 9
тис. запитань, який планують збільшити до 30 тисяч. На іспитах реально
використовується 5 тисяч завдань. До проведення іспиту тестові завдання є
закритими. Після проведення іспиту їх публікують в Інтернеті на сайті. Для
порівняння у базі тестових запитань ТДМУ станом на 08.05.2007 є близько 57
тисяч тестових запитань лише для студентів, які навчаються за кредитно-модульною
системою.
На іспитах, як правило, використовують два
варіанти, які відрізняються між собою лише порядком слідування завдань. Такий
досвід є позитивним, оскільки вимагає менше підготовчої роботи по формуванню
варіантів (їх в ТДМУ готується значно більше). Але його використання вимагає
значно вищої відповідальності і принциповості викладачів, що готують іспити.
Буклети тестових завдань друкуються за межами
університету в Прінт-шопі.
Проф. Шмітц стверджував, що при створенні тестових
завдань рекомендуть створювати тести, що орієнтовані не на відтворення
інформації з підручника (фактів, означень, класифікацій), а на виявлення його
мислення (тобто застосування цих відомих положень до ситуаційних задач).
Листки-бланки із відповідями студентів не шифруються.
На листку-бланку для кожного студента вказуються – номер студента на іспиті
(він же співпадає з номером в аудиторії
та номером буклету, цей номер доводять працівники центру тестування до студента
за 3 тижні до іспиту, посилаючи його на персональну сторінку студента),
ІД-номер студента, його прізвище та ім’я. Ці дані вдруковуються принтером
заздалегідь. Студент ставить свій підпис і заповнює листок олівцем.
Студенти розміщаються в аудиторії через одного
відповідно до визначених для них номерів. Студентам попередньо розкладають
буклети і листки-бланки. На кожне запитання наводиться 5 відповідей, з яких
студентові потрібно вибрати одну правильну.
Малюнок 4. Так виглядають листки-бланки відповідей
студента.
Клітинку правильної відповіді студент замальовує
власним олівцем марки М2. Олівець використовується для того, щоб студент зміг
змінити при потребі відповідь за
допомогою витирання гумкою. Спосіб заповнення листків-бланків олівцем і гумкою
грунтується на вкрай високій довірі, відповідальності та свідомості як
студентів, так і працівників центру тестування, що в Україні на даний час
досягти дуже складно. Тому в ТДМУ і використовуються ручки для заповнення
бланків.
Малюнок 5. Під час 4-го перескладання іспиту SIP1.
Під час іспиту в аудиторії були присутні 7
працівників-викладачів, що контролюють порядок (недопущення контакту
студентів). Відповідальний за аудиторію перед початком проводить інструктаж та
записує на дошці час початку та закінчення іспиту. Також вказується час, коли
слід почати заповнення листків-бланків.
На одне
тестове питання виділяються
60 секунд. Хоча, за
словами проф. Малінгера для клінічних
(тобто складніших) питань можуть відводити до 90 секунд. Хоча при проведенні
іспиту 30.04.2007 відповідальний за аудиторію на іспит, що включав 230 запитань
(SIP1), автоматично виділив 230 хвилин. Перерви
не передбачаються. При потребі студент може вийти під контролем представника
центру тестування.
Перед початком оцінювання робіт студентів через
сканер пропускають один бланк з усіма правильними відповідями (при цьому число
правильних відповідей – максимальне), один бланк з усіма неправильними
відповідями (при цьому оцінка – 0).
Малюнок 6. Сканування та оцінювання робіт.
Кількість правильних відповідей для зарахування
тестового іспиту повинна становити не менше 60%. При цьому значення такого
відсотку визначається експертами.
Під час проведення сканування робіт спеціалістами
центру тестування формується протокол „неточних відповідей”, які доводилося звіряти
в ручному режимі.
Кожне тестове запитання оцінюється в один бал (1 –
правильна відповідь, 0 – неправильна відповідь, відсутність відповіді, 2 і
більше відповідей).
Результати іспиту зберігаються у комп’ютерній базі
даних.
Результати іспитів доводяться до студентів через
3-4 тижні. Зауважимо, що в Тернопільському державному медичному університеті
таку інформацію студенти отримують у день іспиту або на наступний день на свої
електронні адреси. У Відні результати пересилаються студентам на їх персональні сторінки (на них можна потрапити
за своїми логінами) у вигляді pdf-файлів, в яких
перераховані усі питання, і вказуються вибрані студентом відповіді. Ставиться
помітка, чи така відповідь вірна (Малюнок 7).
Малюнок 7. Результати іспиту студента
У цьому ж
файлі наведена таблиця, де показано по блоках – кількість питань у блоці, середнє число питань, на які студенти
відповідають, та відсоток таких студентів;
власний результат студента та відсоток студентів з таким же результатом.
Допускається одне складання іспиту та чотири рази
перескладати його. Термін між перездачами 2-3 місяці (квітень, червень, серпень
і т.д.). Під час періодів перездач студентові дозволяється бути присутнім на
лекціях (бо не проводиться облік), але забороняється відвідувати практичні
заняття.
Поновлення студентів може здійснюватися протягом
кількох років (наприклад, через 2, але не через 10).
Після проведення іспиту здійснюють статистичний аналіз
тестових завдань, які були туди включені. Для цього усіх студентів ранжують
відповідно до загального результату іспиту. На основі отриманого ранжування
усіх студентів поділяють на 3 та 5 груп (3 – для побудови таблиць, 5 – для
побудови гістограми (Малюнок 8)).
Малюнок 8. Статистичний аналіз валідності
тестів
У таблиці, що будується для кожного питання,
вказуються такі дані – загальний відсоток студентів, які відповіли на дане
тестове завдання, загальний відсоток студентів, які не відповіли на дане
завдання; різниця між відсотком, які відповіли і які не відповіли; відсоток
студентів, які не вказали жодного
варанту відповіді; відсоток студентів
першої третини, які відповіли на дане тестове завдання, відсоток студентів
першої третини, які не відповіли на дане завдання; різниця між відсотками
першої третини, які відповіли і які не відповіли; відсоток студентів першої
третини, які не вказали жодної відповіді. І такі ж дані для третини слабших
студентів. Гістограма успішності відповідей на запитання будується на основі
результатів студентів, проранжованих у 5 груп. Форми гістограми вказує на
валідність завдання. Для валідних тестових завдань спостерігається монотонне
спадання гістограми від групи найуспішніших студентів до найслабших. Для
невалідних тестових завдань гістограма коливається біля деякої горизональної
лінії.
Крім статистичного аналізу валідності тестів
збирається інформація від студентів під час іспиту щодо коректності самих
тестів (змістовність малюнків і т.д.). Таку інформацію збирає відповідальний за аудиторію від
студентів і записує у спеціальний протокол.
Щорічно тестові завдання включають 70% нових і 30%
старих.
До проведення тестового іспиту тестові завдання – невідомі для студентів.
Після проведення іспиту тестові завдання публікуються в Інтернет. Публікувати
тестові завдання – вимога законодавства.
За словами проф.Малінгера тестові питання через
рік проведення іспиту так чи інакше стають відомі студентам (наприклад, їх
запом’ятовують студенти-попередники). І деякі студенти починають вивчати
тестові питання напам’ять.
Організовує роботу щодо складання тестів центр
тестування, створений 2004 року. В його складі 7 осіб – 1 лікар, 1 ветеринар, 4
психологи і 1 філософ. При потребі використовують 3 програмістів з центру
інформаційних технологій (він налічує 50-60 осіб) та фахівців з приватних
фірм. Центр тестування підпорядкований
безпосередньо проректору з навчальної роботи проф.Малінгеру. В обов’язки
працівників центру входить:
- моніторинг бази (виконання технічних вимог до
тестових завдань – 5 варіантів відповідей, 1 рівна відповідь і ін.);
- рекрутинг (розподіл обов’язків між викладачами
по формуванню завдань, своєчасність подачі завдань і ін.);
- проведення підготовчих робіт до іспиту
(формування списків кандидатів на іспит, друкування буклетів, формування
пакетів документів, які включають буклети, листки-бланки, інструкцію для
відповідального за аудиторію і ін.);
- загальне керівництво проведенням іспиту (загалом
задіюється 20-30 осіб);
- оцінювання робіт шляхом сканування, статистична
обробка і доведення результатів до студентів.
Для проведення тестування (формування бази питань,
друкування буклетів, сканування та оцінювання робіт) використовується
комп’ютерна програма, розроблена спеціально для університету Британською фірмою
Speedwall. Для сканування листків-бланків
використовується сканер AXIOME, що є спеціалізований суто для сканування
різноманітних бланків (до того він використовувався в лікарні AKH).
Малюнок 9. Сканер AXIOME
Сканер AXIOME потребує ремонту (може захопити кілька
сторінок одночасно, „зазбоїти”), але до нього немає комплектуючих, оскільки він
вже застарілий. Крім того, при виявленні
на листку-бланку сканером нечіткої позначки сканування призупиняється і інструктор
вносить в комп’ютерну програму поправку вручну, про що робить відповідний запис
в протоколі. Зараз випробовується нова комп’ютерна програма, що сумісна для
роботи із стандартним комп’ютерним сканером Canon, і яка не призупиняє своєї роботи у
випадку нечітких позначок. Крім того, листок-бланк разом з потрібними даними
роздруковується для студента на принтері.
Малюнок 8. Листок-бланк відповідей
студента в новій системі.
Малюнок 9. Сканер, що використовується в
новій системі.
Малюнок 10. Комп’ютерна аудиторія Віденського
медичного університету
Досвід Віденського медичного університету щодо
проведення тестових випробувань корисно використати в умовах ТДМУ наступним
чином.
Для забезпечення своєчасної підготовки необхідної
кількості тестів слід запровадити плани підготовки тестових завдань по модулях.
З метою виявлення якості тестових завдань потрібно
запровадити статистичний аналіз тестів на основі гістограм валідності.
Для орієнтації студента у власному рейтингу на
курсі потрібно надсилати студентам інформацію про результат іспиту у вигляді –
кількість вірних відповідей по модулю, відсоток студентів з таким же показником
та середній результат студентів по курсу.
Відповідальним за аудиторії необхідно збирати під
час іспитів інформацію від студентів щодо зауважень до тестових запитань.
Для перевірки правильності налаштування
комп’ютерної системи перед початком сканування бланків відповідей студентів слід
просканувати та оцінити еталонні бланки з усіма правильними та усіма
неправильними відповідями.
З метою забезпечення валідності тестових завдань
та якісного аналізу результатів потрібно залучати психолога до роботи в центрі
тестування.
При підготовці тестових завдань необхідно звертати
увагу на те, що тестові питання повинні бути орієнтовані не на відтворення
інформації (фактів, положень, класифікацій), а на вміння застосовувати її для
логічних висновків та прийняття рішень.