инициативная группа студентов «За гуманное образование»

Оценка альтернатив в образовании

Джонатан Болком
Комитет врачей за ответственную медицину, США

Использование лабораторных животных для обучения в науках о жизни приводит к нескольким типам издержек. К ним относятся: затраты на покупку и/или содержание животных; время, требуемое для подготовки и проведения лабораторных работ с использованием животных; жертвы со стороны животных, а также социальные и этические последствия для студентов, большинство которых хотели бы не причинять вреда. Эти издержки послужили сильным стимулом для развития альтернативных обучающих средств в области наук о жизни, и темпы этого развития значительно возросли за последние три десятилетия наряду с прогрессом в области  компьютерной технологии и моральной обеспокоенности по поводу животных.  

По мере того, как увеличивалось число так называемых «альтернатив» традиционным лабораторным работам с животными, также увеличилось и число исследований, разработанных с целью оценки функционирования этих альтернатив в качестве обучающих инструментальных средств. На сегодняшний день опубликовано свыше тридцати исследований и студенческих дипломных работ, в которых оценивалась работа и действенность этих более новых обучающих методов. В этой главе резюмируются данные этих исследований. Так как качество «дизайна» того или иного исследования влияет на его точность, я также обсуждаю эти вопросы и привожу примеры хорошо разработанных исследований для оценки альтернатив в образовании, чтобы помочь тем, кто планирует проводить свои собственные исследования. И,  наконец, я обращаюсь к ценности коротких правдивых историй в оценке альтернатив.  

Оценка альтернатив в образовании в сравнении с оценкой достоверности альтернатив тестированию на животных

Эта глава касается  различий между оценкой самих обучающих методов и оценкой успеваемости отдельных студентов. Несмотря на различия, эти два уровня оценки тесно связаны между собой, потому что успешная работа студентов является типичным критерием, с помощью которого оценивается тот или иной обучающий метод. Более важно различать оценки альтернативных методов в образовании от оценки достоверности альтернативных методов, заменяющих тестирование с использованием животных. Тестирование на животных используется для оценки потенциального риска для человеческого здоровья  в результате воздействия лекарственных препаратов, промышленных химикатов и других продуктов. Хотя здесь существуют параллели, эти два вида оценок принципиально различны. Во всех случаях оценки достоверности альтернатив тестированию на животных, традиционный метод, основанный на использовании животных, является стандартом, относительно которого измеряется действенность альтернативы. Однако, при тестировании на животных этот de facto «золотой стандарт» является искусственным, поддельным из-за ненадежности экстраполяции данных от животных, отличных от человека, на человека. Этот недостаток усугубляется тем фактом, что сами тесты на животных, как было показано, являются очень ненадежными: разные лаборатории показали в своих отчетах несопоставимые результаты после выполнения одних и тех же тестовых протоколов на животных.

В случае образования  истинный «золотой» стандарт существует, а именно: как хорошо учатся студенты, использующие различные методы. Можно сравнивать традиционный метод, использующий животных, и альтернативу непосредственно, используя людей в качестве истинных судей. Это возможно потому, что данные, с которыми сравнивается альтернатива, получаются в результате  тестирования знаний студентов, а не самих тестов на животных. Больше не нужна неточная экстраполяция данных от животных на человека. Таким образом, в то время как измерения в тестах на животных являются одним шагом удаления от человека, данные, сравнивающие эффективность обучающих методов, в которых используются лабораторные животные и альтернативные обучающие методы, могут сравниваться прямо, на одних и тех же субъектах. В результате, может быть обнаружено, что альтернативы в образовании превосходят своих традиционных «соперников», в то время как альтернативы тестам на животных ущемляются тем предположением,  что они должны быть также же хороши, как и тесты на животных.

Исследования, проведенные до настоящего времени

До настоящего времени  было опубликовано более тридцати исследований, оценивающих альтернативные методы, разработанные для замены или уменьшения числа обучающих методов, при которых причиняется вред животным. К таким, причиняющим вред животным методам, например, относятся: анатомирование животных, лабораторные работы по физиологии с вредным вмешательством в организм животных и лабораторные работы, предусматривающие умерщвление собак в медицинских и ветеринарных учебных заведениях. Представленная здесь группа исследований ни в коей мере не является исчерпывающей, она представляет лишь малую выборку из тысяч ныне существующих  альтернативных методов обучения. Однако, этих исследований вполне достаточно для проведения некоторых сравнений и выведения некоторых общих заключений об эффективности таких методов. В этом подразделе я кратко суммирую результаты, полученные в этих исследованиях. Эти результаты организованы по дисциплинам в области наук о жизни. В следующем подразделе я рассматриваю методы, используемые в этих исследованиях. Более детальное описание этих результатов можно найти в моей книге.

Общая биология

Фактические результаты нескольких исследований учащихся до университетского и университетского уровней образования показывают, что анатомирование животных не только не превосходит, а иногда уступает другим методам обучения, направленным на приобретение основных знаний о структуре и функции животного организма.  Лабораторные работы, выполняемые на компьютере, дали эквивалентные или значительно лучшие тестовые баллы. Было обнаружено, что видеофильмы и трехмерные модели также дают равную или лучшую учебную успеваемость в сравнении с анатомированием животных. Лиеб и Макколлам в своих исследованиях обнаружили, что одни только лекции давали такие  баллы в последующем тестировании, которые были, соответственно, эквивалентными и лучшими, чем баллы студентов, которые анатомировали дождевых червей и лягушек.

Все вместе  эти восемь исследований, проведенные в Соединенных Штатах и Великобритании и цитируемые выше, сообщают  об успеваемости 4149 студентов, изучающих многообразные организмы позвоночных и беспозвоночных  (e.g. крыс, лягушек, рыб, дождевых червей, речных раков). Только в одном исследовании 20-ти американских студентов колледжей было обнаружено, что тестовые баллы в пользу анатомирования были значительно выше баллов другого обучающего метода (компьютерной программы), но сами методы, используемые в этом исследовании, были подвергнуты критике (см. ниже).

Физиология и фармакология

Физиология и фармакология являются областями, в которых традиционно использовалось преобладающее количество лабораторных упражнений на живых животных  с вредным вмешательством в их организмы. Здесь также был опубликован ряд исследований,  и снова их результаты не подтверждают общераспространенных заявлений, что лабораторные обучающие упражнения на животных превосходят другие методы обучения, безвредные для животных. Последние работали с равным успехом или лучше в курсах физиологии или фармакологии, изучаемых студентами медицинских факультетов, студентами ветеринарных учебных заведений, учащимися медицинских училищ, студентами-фармакологами и студентами физиологических факультетов университетов. За исключением исследования Хенмана и Лича (см. 15), которые сравнивали использование биовидеографа с лабораторными работами на органах животных, в каждом из этих исследований сравнивались обучающие модули компьютерных программ с традиционными лабораторными работами на живых животных. Во все эти исследования было вовлечено, по меньшей мере, 300 студентов университетов в Соединенных Штатах и Великобритании.

Медицина и смежные профессии

Пять дополнительных исследований студентов, изучающих медицину и смежные научные области, подтверждают  результаты исследований, указанных выше. В Соединенных Штатах Гай и Фризби сообщили об эквивалентной успеваемости 473 учащихся медицинских школ, использующих интерактивные видеодиски или обучаемых с помощью демонстрации трупов на лабораторных занятиях. Прентис и др., сообщая об учебной успеваемости 16 студентов, обучающихся на ассистента врача, пришли к выводу, что использование последовательных слайдов анатомических вскрытий с объяснениями, является жизнеспособной альтернативой анатомированию человеческого трупа. Сто студентов-первокурсников медицинских факультетов, используя фильмы, компьютерное обучение и вскрытые человеческие трупы, достигли равной учебной успеваемости с теми, кто обучался путем традиционных лекций и самостоятельного анатомирования трупов. Лильенфилд и Броеринг сообщили, что 252 студента-выпускника  медицинских факультетов, которые использовали компьютерное моделирование,  получили оценки значительно выше, чем их одноклассники на выпускном экзамене по сердечно-сосудистым болезням. В Великобритании Литард и Дьюхерст оценивали успеваемость 105 студентов накануне медицинской клинической практики и не обнаружили значительной разницы между студентами, которые использовали традиционные лабораторные работы на животных (для которых умерщвлялись крысы и изолировались сегменты их кишечника),  и теми, кто использовал компьютерное моделирование подвижности кишечника.

Несколько дополнительных исследований, в которых не оценивалась непосредственно успешность работы студентов, тем не менее, описали предпочтения студентами альтернатив, а также экономию времени и средств при использовании альтернатив по сравнению с традиционными лабораторными работами на животных. Дьюхерст и Дженкинсон проанализировали ответы на 40-вопросную анкету из 50 институтов со всего мира, которые использовали минимум 3 из набора 16 существующих компьютерных программ. Ответы показали, что эти программы экономили деньги и время обучающего персонала, являлись эффективным и приятным способом обучения студентов и значительно снижали использование животных (см. там же). В исследовании, привлекшим 110 студентов медицинских факультетов в США, которые использовали и компьютерные  демонстрации, и  демонстрации на животном (собаке), студенты оценили первые выше, чем последние при изучении физиологии сердечно-сосудистой системы.

Относительно новым применением компьютерной технологии в медицине является приобретение и поддержание навыков хирургических процедур. Обучающие модули виртуальной реальности были разработаны для обучения внутривенным, эндоскопическим, внутрисосудистым и другим процедурам. Традиционные методы обучения для некоторых из этих процедур (эндоскопической и внутрисосудистой) использовали практику на людях-пациентах в клинических условиях, а также использовали живых свиней, собак и овец в качестве замены людей-пациентов. Недавние исследования показали, что такие компьютерные модели не только значительно улучшают выполнение процедур практикантом, но и то, что они превосходят традиционные методы обучения в приобретении навыков, необходимых  для этих процедур. Другие исследования подтвердили, что эти модели измеряют то, для чего они предназначены и могут различать пользователей на основе их опытности в проведении этих процедур.

Ветеринарная медицина

Устройства для обучения хирургическим навыкам без использования животных широко используются в ветеринарных учебных заведениях, чтобы помочь  «оттачивать»  навыки  до их применения на тканях живого животного. Например, оказалось, что анатомические модели являются эффективными при обучении ветеринарным навыкам и техникам. Было обнаружено, что мягкие пластиковые модели органов брюшной полости собаки, разработанные в Иллинойском университете, при работе с ними имеют свойства, сравнимые с настоящими. Они  оказались полезными при обучении ряду общих хирургических процедур. DASIE (заменитель брюшной полости собаки для обучающих упражнений), разработанный в ветеринарном колледже в г. Онтарио, также был успешно использован для уменьшения числа животных, используемых при обучении внутрибрюшным хирургическим операциям, в нескольких институтах. Более жесткие пластиковые материалы используются для создания моделей костей, и эти модели эффективно используются для демонстрации и обучения многим аспектам хирургических процедур на костях На основании ответов  27 участников опроса, проводимого в 31 ветеринарной школе в США и Канаде, Бауер сообщил, что  пластиковые кости использовались в 8 школах (30 процентов) для преподавания исправления переломов.

Несколько других опубликованных исследований в области ветеринарии поддерживают использование дружественных к животным обучающих методов вместо традиционных, губительных для животных, методов. При изучении 82 студентов ветеринарных учебных заведений в США Эриксон и Клегг обнаружили, что из четырнадцати методов обучения, разработанных для преподавания кардиологии и интерпретации кардиограмм, студенты поставили наивысшие оценки активному методу обучения с помощью компьютера. Карпентер и др. сообщили об отсутствии заметной разницы между хирургической подготовкой двух групп студентов-третьекурсников – одной, обучавшейся с использованием живых животных, а другой, использовавшей трупы животных. (К сожалению, авторы не сообщают, откуда были получены эти трупы, но этичные источники получения трупов всегда существуют, например, от животных-компаньонов, подвергнутых эвтаназии по медицинским показаниям.) Уайт и др. сообщили о семи студентах четвертого курса ветеринарного факультета, обучавшихся с использованием альтернатив (безвредных для животных). Эти студенты демонстрировали некоторую нерешительность при их первой хирургической операции на живой ткани, но в последствии выполняли все работы наравне со студентами, имевшими стандартный лабораторный опыт.

В своем исследовании Павлетик и др. в 1990 году сравнивали хирургические способности 12 студентов-выпускников ветеринарного факультета Тафтского университета, которые участвовали в альтернативном курсе по медицинским и хирургическим процедурам на мелких животных, с 36-ю их сокурсниками. Предметы, по которым они оценивались, подбирались для оценки их хирургической компетентности работодателями во время найма их на работу и повторно двенадцать месяцев спустя. Во всех случаях не было обнаружено значительной разницы по всем измерениям. Эти измерения включали: способности выполнять общие хирургические, медицинские и диагностические процедуры; отношение к выполнению ортопедических хирургических операций и операций на мягких тканях; уверенность при выполнении этих процедур; а также способность выполнять эти процедуры без помощи ассистента. Это исследование особенно заслуживает внимание, потому что в нем оценивался опыт обучения там, где результат этого обучения наиболее важен – выполнение реальной работы.

Вышеуказанные исследования привлекли 290 студентов ветеринарных факультетов на всех стадиях их обучения, включая способность выполнять работу через год после окончания обучения. Все вместе они дают убедительные доводы в пользу замены традиционных лабораторных работ, при которых умерщвляются здоровые животные. Первоначальная нерешительность студентов с «альтернативным прошлым» при обучении, когда они впервые сталкивались с хирургическими операциями на живых животных, как упоминалось в исследовании Уйта и др., является кратковременной. Эта неуверенность не оказывает  продолжительного влияния на выполнение хирургических операций, что было проиллюстрировано этим исследованием и исследованием Павлетика и др⁴⁰. Продемонстрированная научная обоснованность программ обучения с использованием альтернатив в ветеринарном обучении, в сочетании с растущим недовольством студентов традиционными методами, стимулирует прогрессивные изменения в Североамериканских ветеринарных школах. Более чем половина из 31 школы сейчас имеют альтернативные курсы. А новейший Западный университет наук о здоровье, в котором намечено открытие ветеринарной программы в 2003 году, имеет целью использовать программу обучения ветеринарии совершенно без насильственного использования животных  (Лара Расмуссен, д-р ветеринарной медицины, личный комментарий 28 ноября 1999).

Иногда незамеченной среди альтернатив является использование трупов, полученных из этичных источников, а также клиническая/терапевтическая работа на животных в рамках программы обучения. Эти подходы являются особенно важными при обучении ветеринарии, где прямой контакт с живыми животными обязателен. Существует большое количество литературы, поддерживающей обучение хирургическим навыкам на трупах животных, а не на живых животных.

Например, Байер и др.,  обнаружили, что те студенты, которые имели доступ к трупам животных, демонстрировали большую уверенность в себе при выполнении хирургических операций, а также развивали и сохраняли более позитивное отношение к своей работе. Согласно недавнему опросу, 16 из 31 Североамериканских ветеринарных школ сейчас предлагают хирургию на трупах как часть своих альтернативных программ. Из них 12 имеют так называемые Программы пожертвования тел клиентами, чтобы гарантировать этичный источник получения трупов животных. Кумар и др. обсуждают ряд преимуществ в использовании таких Программ для ветеринарного обучения на основе своего опыта в Тафтском университете.

В то время как большинство ветеринарных школ в настоящее время участвуют в программах по стерилизации животных в местных приютах, служащих  средством обучения хирургическим навыкам, существует дефицит исследований, рассматривающих результаты такой альтернативы использованию специально разводимых для этих целей животных. Харт и др. сообщили об успешном использовании животных из приютов для проведения операций по кастрации и стерилизации под наблюдением опытного врача и о последовавшем за этим увеличением  количества «усыновляемых» животных. Тот факт, что студенты помогают спасать жизни животных в процессе обучения,  является сильным мотивирующим фактором учиться и, по-видимому, создает более  благоприятную обстановку для становления будущего ветеринара, чем та, при которой здоровые животные умерщвляются.

 «Дизайн»  исследования

За несколькими исключениями, исследовательские документы, цитируемые выше, брали за основу одну и ту же  схему исследования. Студенты делятся на две группы: одна, которая обучается по традиционным методам, с использованием животных, и другая, которая обучается с использованием более нового или альтернативного метода. После периода обучения каждая группа оценивается при помощи стандартизированного теста, который позволяет делать сравнение между двумя группами. Фоулер и Бросиус были первыми, кто использовал этот подход в оценке обучающих методов, которые могли бы заменить анатомирование животных в программах курсов по биологии. Они использовали серию стандартизированных тестов для оценки 156 учащихся училищ и старших классов школ до и после изучения этими учащимися четырех биологических видов животных (дождевого червя, речного рака, лягушки и окуня) с использованием фильмов или выполняя анатомирование представителей этих видов. Эти два метода не показали разницы в способностях учащихся решать проблемы, развивать понимание методов и целей науки, улучшать отношение  к науке или улучшать физические навыки. Было обнаружено, что этот экспериментальный фильм оказался более эффективным, чем анатомирование в эксперименте при изучении фактической информации относительно каждого представителя того или иного биологического вида (там же).

В рамках этого основного «дизайна» исследования возможны многие улучшения. Предварительное тестирование может использоваться для подтверждения того, что две экспериментальные группы сравнимы с самого начала. Большие размеры выборки приведут к увеличению степени  единообразия между экспериментальными группами, снижая такие потенциально мешающие возможности, как то, что одна группа может быть умнее, опытнее или увереннее в себе. Набор тестов после окончания обучения обеспечит более строгую оценку двух обучающих методов,  чем использование только одного теста. Тесты, проводимые через какое-то время, с временной отсрочкой,  позволят дальше оценить возможности этих обучающих методов влиять на долгосрочность сохранения в памяти информации.

Два примера  надежных «дизайнов» исследований приводятся в работах Кинзи и др., а также Гринфилда и др.. Кинзи и др. рассматривали успешность выполнения, достижения и эффекты отношения к интерактивному, записанному на видеодиск, моделированию, используемому и в качестве заменяющего, и в качестве подготовительного инструментария для анатомирования лягушки.  Субъектами в их исследовании были 61 учащийся биологических классов школ, которые участвовали в исследовании в течение 4-х дней. Все эти учащиеся обучались одним и тем же преподавателем и в одной и той же школе, таким образом,  сводя к минимуму влияния, которые могли  быть результатом  различий в  обстановках  обучения. В этом исследовании студенты были случайным образом разбиты на 4 группы: 1) 16 студентов, которые использовали IVD (интерактивный видеодиск) в качестве подготовки к анатомированию лягушки, 2) 15 студентов, которые смотрели последовательную видеозапись, содержащую те же видеоматериалы, используемые в моделировании с помощью IVD (т.е. без интерактивности); 3) 15 студентов, которые проводили анатомирование без предварительной подготовки и 4) 15 студентов, которые использовали моделирование с помощью IVD, но не проводили анатомирования. Предварительный анализ оценок студентов по данному курсу на тот момент семестра показал, что между группами не было значительной разницы.

Студенты знали, что они принимали участие в исследовании, но им не были объяснены цели этого исследования. Им также сказали, что выполнение ими теста после окончания курса будет учитываться  при выставлении окончательных оценок, и что им нужно усердно стараться, чтобы преуспеть. В дополнение к изучению оценок студентов по данному курсу, им был предложен предварительный тест, который не выявил значительной разницы между четырьмя группами в успехах, отношении и уверенности в себе. Каждая группа провела сравнительно одинаковое  количество времени с заданными учебными материалами. Все анатомирования (сделанные 1, 2 и 3 группами) проводились в один и тот же день с четырьмя исследователями, наблюдавшими и оценивавшими выполнение анатомирования каждой из команд (оценки сравнивались и давались общие согласованные оценки всех наблюдателей). И, наконец, все студенты заполняли тест после курса обучения, который измерял успехи и отношение к обучению, а также уверенность в себе. Для оценки успехов в обучении этот тест содержал различные элементы: три диаграммы, которые нужно было отнести к определенной категории, четыре вскрытых тела лягушек с булавками, которые нужно было обозначить определенным образом, и девять вопросов со множеством вариантов ответов. Тест для оценки отношения к учебе был предварительно рецензирован, критически оценен и модифицирован  двенадцатью преподавателями старших классов школ и специалистами по технологии образования. Этот тест содержал 20 пунктов, половина из которых была сформулирована в позитивных, а другая половина в негативных фразах. Тест для оценки собственной эффективности содержал 25 утверждений, выявлявших степень уверенности студентов в себе как при выполнении анатомирования, так и в знании анатомии. Студенты должны были показать степень согласия с каждым из этих 25 утверждений. Связность и логичность ответов на разные пункты оценивалась для каждого из трех тестов, использованных после окончания курса. Наконец, студентам предлагалось ответить на четыре вопроса об их предпочтениях  относительно  различных видов активности при обучении, использованных в этом исследовании. Студенты, использовавшие видео моделирование в качестве подготовки получили более высокие баллы, чем студенты, которые не получали подготовки: они выполняли последующее анатомирование более эффективно, и они узнали больше об анатомии лягушки и процедурах  анатомирования. Авторы сделали сдержанное заключение, что интерактивный видеодиск был, по крайней мере, настолько же эффективным, как и реальное анатомирование при изучении студентами анатомии лягушки и процедур анатомирования.

Гринфилд и др. сравнивали овладение хирургическими навыками у 36 студентов третьего курса ветеринарного факультета, случайным образом распределенных в две экспериментальные группы: одну, обучавшуюся с использованием пластиковых моделей мягких тканей, и другую, использовавшую собак под анестезией, которые в конце каждого занятия подвергались эвтаназии. Каждая группа имела по два занятия с использованием выбранных методов обучения хирургии, во  время которых проводилась мнимая запись на видеопленку выполнения хирургической операции для того, чтобы студенты привыкли к выполнению работы во время записи их на видеопленку. Затем хирургическая компетентность студентов оценивалась во время дополнительных двух занятий, на которых каждая группа выполняла операции по стерилизации на собаке или кошке из местного приюта. Позднее эти животные возвращались в приют для возможного «усыновления». Члены профессорско-преподавательского состава наблюдали эти занятия и определяли, являются ли когнитивные и моторные навыки студентов приемлемыми или нет. Эти преподаватели не знали,  какой из обучающих методов использовали студенты. Эти операции по стерилизации также записывались на видеопленку, редактировались для ясности и располагались в случайном порядке, а затем оценивались 8 хирургами в 4 ветеринарных учебных заведениях. Этим экспертам было сказано, было ли выполнение студентами операции оценено как приемлемое или нет, но им не было сказано, как эти студенты обучались. Им также были даны инструкции не занижать оценки на основе личных предпочтений в хирургических подходах.

Студенты снова оценивались годом позднее, во время их чередований при выполнении хирургических операций на мелких животных, чтобы определить, были ли какие-либо различия в выполнении операций этими двумя экспериментальными группами. Чтобы гарантировать, что экспериментальные группы были сравнимы с самого начала, общая академическая успеваемость оценивалась   вначале исследования путем сравнения среднестатистических баллов всех студентов в этом исследовании и сравнением среднестатистических баллов между двумя группами. Каждое из этих сравнений не показало существенной разницы.

Смик и др. использовали подобную схему исследования, чтобы оценить сорок студентов ветеринарных факультетов в их способности выполнять зашивание полого органа (желудка), и  они включили новый тест,  в котором эти органы помещались под воду и наполнялись воздухом под нарастающим давлением с тем, чтобы утечка воздуха использовалась для измерения эффективности хирургического зашивания. (К сожалению, свойства смоделированного органа оказались не подходящими для этого теста). Более качественный подход, использованный Самселом, привлекал к изучению только одну экспериментальную группу. Студенты получали демонстрации материала на компьютере и на животных, и их просили оценить образовательные достоинства этих методов. Демонстрации на компьютере были оценены выше.

Подход Дьюхерста и Дженкинсона, которые высылали по почте анкеты пользователям альтернатив, дает менее строгую оценку какого-либо одного обучающего метода, чем подход непосредственного сравнения различных методов, использованный Кинзи и Гринфилдом. Однако преимуществом их подхода была широта и разнообразие выборки (50 институтов в 14 странах мира). Нужно заметить, что Дьюхерст и его сотрудники применяли ряд методов для оценки их обучающих компьютерных программ, и эта работа внесла существенный вклад в развитие и законное утверждение альтернатив лабораторным работам на животных.

Единственным исследованием, опубликованным на сегодняшний день, которое обнаружило значительно лучшую успеваемость студентов, использовавших традиционный, основанный на использовании животных, метод по сравнению с теми, кто использовал альтернативный метод, была работа Маттьюз. В контрольную группу вошли 8 студентов университетов, которые провели двенадцать часов (четыре 3-х часовых занятия), анатомируя эмбриональных поросят. Данный предмет изучения рассматривался довольно глубоко, с ожиданием, что студенты изучат расположение и функции 140 анатомических структур. Экспериментальная группа студентов изучала анатомию эмбриональной свиньи, используя MacPig, компьютерную программу, разработанную Intellimation⁴⁹ (компанией, прекратившей работу в 1996 году). После периода изучения, студентам обеих групп были предложены тесты, один вопросник из 2 вопросов, включенный в эту компьютерную программу, и другой, содержащий 25 устных практических вопросов, в которых от студентов требовалось указать на структуру и описать ее функцию. Обе группы студентов с одинаковым успехом ответили на компьютерный тест, но студенты, которые анатомировали, значительно лучше справились с устным тестом по описанию вскрытых эмбриональных поросят.

Несколько проблем, связанных с «дизайном» данного исследования, заставили усомниться в достоверности полученных результатов. Эти проблемы появляются из-за меньшей детальности охвата данного предмета конкретной компьютерной программой. Еще в 1994 году автор программы MacPig в своем критическом обзоре считал, что эта программа больше всего подходила для учащихся  средних школ (7-9 классов). MacPig описывает примерно от 50 до 75 структур эмбриональной свиньи, едва ли половину от 140, охваченных студентами из группы Маттьюз, анатомировавших животных.

Принимая это во внимание, было бы благоразумным ожидать, что студенты контрольной группы изучили все структуры по тесту программы MacPig, но студенты экспериментальной группы не охватили все структуры, знание которых было необходимо для устного экзамена. Более того, это просто невозможно, чтобы содержание компьютерной программы было бы достаточным для занятия студента в течение двенадцати часов обучения. И, наконец, Маттьюз принимала устный экзамен сама. Ее схема исследования была бы лучше, если бы устный практический тест проводился «слепым», нейтральным исследователем, не знавшим, каким методом студенты изучали этот материал.  Исследование было бы идеальным, если бы оно привлекало ряд альтернативных методов, сравниваемых с традиционными методами, использующими животных в различных институтах. Включение нескольких институтов в одно исследование дало бы ценную информацию на уровне межинститутской вариации результатов, которая могла бы иметь место. Большие размеры выборки могли бы минимизировать влияние первоначальных различий в группах студентов  (e.g. в способностях, в предшествующих знаниях и опыте работы с различными обучающими методами), но для этого должны были быть проведены предварительные тесты. Несколько преподавателей могли бы свести к нулю предвзятость отдельного преподавателя  (например, студенты могли заметить у преподавателя и реагировать на его предпочтение – даже небольшое – в пользу данного метода).  «Слепые» схемы исследований, в которых студенты не знают о настоящей цели исследования, а преподаватели не знают,  какими методами  обучались студенты, еще более минимизируют влияние предвзятости оценок. Оценивание тестами результатов обучения должно проводиться через короткий период  и после более длительного периода по окончании обучения с тем, чтобы можно было оценить долгосрочность  запоминания целей уроков.