Перевод статьи: Paul A. Kirschner, John Sweller, Richard E. Clark (2006). “Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching”. Educational Psychologist, 41(2), 75–86.

Аннотация

Авторы объясняют, почему обучение с явным руководством обычно эффективнее: они опираются на данные о когнитивной архитектуре человека, различиях между новичками и экспертами и на теорию когнитивной нагрузки. Хотя неуправляемые или минимально направляемые подходы очень популярны и кажутся интуитивно правильными, авторы показывают, что такие подходы игнорируют и устройство человеческого познания, и результаты эмпирических исследований за последние полвека. Эти исследования последовательно указывают: обучение с минимальным руководством обычно менее эффективно и требует больше времени и усилий, чем подходы, где учитель активно направляет процесс усвоения. Преимущество внешнего руководства начинает снижаться лишь тогда, когда у учащихся достаточно предварительных знаний, чтобы они могли эффективно «вести себя сами» (получать внутреннюю опору за счёт уже сформированных схем). Также кратко описаны современные направления исследований и модели проектирования обучения, поддерживающие идею руководства во время преподавания.

Споры о том, сколько «руководства» нужно в обучении

Споры о влиянии степени руководства со стороны учителя длятся по меньшей мере последние полвека. С одной стороны — сторонники гипотезы, что люди лучше учатся в среде без руководства или с минимальным руководством. Обычно такую среду определяют как ситуацию, где учащимся не дают ключевую информацию в готовом виде: они должны открыть или сконструировать её сами. С другой стороны — те, кто утверждает, что новичкам нужно прямое, явное руководство: им следует прямо объяснять понятия и процедуры, требуемые в конкретной дисциплине, а не оставлять их «открывать» эти процедуры самостоятельно.

Под «прямым руководством» авторы понимают предоставление информации, полностью объясняющей необходимые понятия и процедуры, а также поддержку учебных стратегий, согласованную с человеческой когнитивной архитектурой. Обучение, в свою очередь, определяется как изменение долговременной памяти.

Минимально направляемый подход известен под разными названиями: «обучение через открытие», проблемно-ориентированное обучение (PBL), исследовательское обучение (inquiry learning), «обучение через опыт», «конструктивистское обучение» и т. п. Примеры включают, например, естественнонаучные курсы, где учащихся помещают в исследовательский контекст и просят «открыть» фундаментальные и хорошо известные принципы науки, моделируя деятельность профессиональных исследователей; или медицинские программы PBL, где студентов заставляют «открывать» решения типичных клинических проблем, применяя техники решения задач.

Похоже, у программ с минимальным руководством есть две основные предпосылки.

Во-первых, ученикам предлагают решать «аутентичные» задачи или осваивать сложное знание в богатой информацией среде, исходя из предположения, что самостоятельное построение решения даёт наиболее эффективный опыт обучения.

Во-вторых, предполагается, что знание лучше всего приобретается через опыт, основанный на процедурах дисциплины — то есть педагогическое содержание опыта обучения трактуется как тождественное методам и процессам (эпистемологии) изучаемой дисциплины. Минимальное руководство в таких подходах обычно выглядит как «процессно- или задачно-релевантная» информация, которой можно воспользоваться по желанию. Сторонники подразумевают, что руководство, встраивающее стратегии учения в преподавание, мешает «естественным процессам» конструирования знания на основе уникального опыта и «стилей обучения» каждого ученика.

В качестве иллюстрации приводится распространённый аргумент: «большое количество подсказок может улучшить выполнение во время практики, но избыточные подсказки могут ухудшить более позднее выполнение; например, “натаскивание” по математике на правильные ответы может затем ухудшить способность извлекать эти ответы из памяти самостоятельно». Этот конструктивистский аргумент собрал значительное число сторонников.

Цель статьи — показать, что исходя из современного понимания когнитивной архитектуры человека, минимально направляемое обучение с высокой вероятностью окажется неэффективным. За последние полвека эмпирические исследования дали, по мнению авторов, «подавляющие и недвусмысленные» свидетельства: минимальное руководство существенно проигрывает руководству, специально спроектированному для поддержки когнитивной обработки, необходимой для обучения.

Когнитивная архитектура человека и обучение с минимальным руководством

Если методика не учитывает, как устроено человеческое мышление, она почти наверняка будет работать хуже. Во многих минимально направляемых подходах создаётся впечатление, что почти не учитываются ограничения рабочей памяти, роль долговременной памяти и то, как они взаимодействуют. В результате появляются рекомендации, которые большинству педагогов сложно реализовать — и многие опытные учителя не хотят реализовывать — потому что они требуют от учащихся когнитивной работы, которая с малой вероятностью приведёт к эффективному обучению. Поэтому самые сильные учителя часто либо игнорируют такие рекомендации, либо, в лучшем случае, формально «отдают им дань». В этом разделе авторы обсуждают ключевые свойства когнитивной архитектуры и следствия для обучения.

Когнитивная архитектура: рабочая память и долговременная память

Под «когнитивной архитектурой» понимают то, как организованы наши когнитивные структуры. Большинство современных описаний опираются на модель Аткинсона—Шиффрина: сенсорная память — рабочая память — долговременная память. Сенсорная память для обсуждения здесь не важна; критически важны отношения между рабочей и долговременной памятью и когнитивные процессы, поддерживающие обучение.

За последние десятилетия взгляды на роль долговременной памяти резко изменились. Её больше не считают пассивным «складом» разрозненных фрагментов, позволяющим лишь повторять выученное. Её также не считают лишь периферийным компонентом, почти не влияющим на сложные процессы вроде мышления и решения задач. Напротив, долговременная память рассматривается как центральная, доминирующая структура человеческого познания: всё, что мы видим, слышим и о чём думаем, критически зависит от того, что хранится в долговременной памяти, и определяется этим.

Работы де Гроота о шахматной экспертизе и последующие исследования Чейза и Саймона оказали большое влияние на это переосмысление. Результат многократно воспроизводился в разных областях: экспертные шахматисты гораздо лучше новичков воспроизводят конфигурации доски из реальных партий после краткого предъявления, но не превосходят новичков на случайных конфигурациях. Это указывает, что мастерство эксперта объясняется тем, что он опирается на обширный опыт, хранящийся в долговременной памяти, и поэтому быстро выбирает и применяет подходящие процедуры решения. Мы «умелы» в области, потому что в нашей долговременной памяти накоплены огромные объёмы организованной информации о ней. Именно эта информация позволяет быстро узнавать тип ситуации и (часто неосознанно) понимать, что делать и когда. Без такого запаса мы были бы неспособны ко многим действиям — от простого перехода улицы до сложных занятий вроде шахмат или решения математических задач.

Отсюда следует базовое оправдание необходимости обучения: цель любого обучения — изменить долговременную память. Если в долговременной памяти ничего не изменилось, значит, ничего не выучено. Любая рекомендация, которая не может (или не пытается) указать, что именно меняется в долговременной памяти, или не повышает эффективность сохранения и извлечения релевантной информации, вероятно, будет неэффективной.

Рабочая память: ограничения и их связь с обучением

Рабочая память — это структура, где происходит сознательная обработка информации. Мы осознаём лишь то, что прямо сейчас обрабатывается в рабочей памяти, и в целом «не замечаем» огромный объём информации, хранящийся в долговременной памяти.

У рабочей памяти есть два хорошо известных свойства. При обработке нового материала она жёстко ограничена по времени и по объёму. Мы знаем, что информация, не повторяемая/не поддерживаемая активным удержанием, исчезает из рабочей памяти примерно за 30 секунд; и мы знаем, что ёмкость рабочей памяти невелика — речь идёт о нескольких элементах. При обработке (а не просто удержании) число элементов может быть ещё меньше и зависеть от характера требуемой обработки.

Ещё важнее взаимодействие рабочей памяти с долговременной. Ограничения рабочей памяти относятся прежде всего к новой, ещё не усвоенной информации, которая не хранится в долговременной памяти. Напротив, при работе с уже знакомой информацией из долговременной памяти эти ограничения во многом исчезают: нет известных жёстких ограничений на объём информации, который можно актуализировать из долговременной памяти в рабочую, и временные ограничения становятся менее релевантны. Именно из-за различий в обработке знакомого и незнакомого материала Эрикссон и Кинтш предложили понятие «долговременной рабочей памяти» для описания работы с хорошо автоматизированной информацией.

Любая теория обучения, которая игнорирует пределы рабочей памяти при работе с новым материалом или игнорирует ослабление этих пределов при работе со знакомым материалом, вряд ли будет эффективной. Рекомендации в пользу минимального руководства выглядят так, будто рабочей памяти «нет» или будто её ограничения несущественны именно при работе с новым материалом — хотя именно новый материал и является центральным для конструктивистских процедур преподавания. При этом решение задач (центральный элемент многих минимально направляемых процедур, в частности inquiry-based instruction) накладывает огромную нагрузку на рабочую память. Авторы считают, что сторонники inquiry-подхода должны объяснить, как их процедура обходит хорошо известные пределы рабочей памяти при работе с новым материалом.

Что это означает для конструктивистских (минимально направляемых) процедур

Эти структуры памяти и их взаимодействие имеют прямые последствия для проектирования обучения. Исследовательское обучение требует от ученика поиска в пространстве задачи релевантной информации. Любой такой поиск тяжело нагружает рабочую память. Более того, эта нагрузка обычно не способствует накоплению знания в долговременной памяти: пока рабочая память занята поиском решения, она недоступна для обучения. Возможны длительные периоды поиска с минимальными изменениями долговременной памяти.

Цель обучения редко состоит просто в том, чтобы искать или «открывать» информацию. Цель — дать учащимся конкретное руководство, как когнитивно обрабатывать информацию в соответствии с учебной целью и сохранить результат в долговременной памяти.

Авторы считают, что последствия требования «пусть новичок ищет решение», опираясь на ограниченную рабочую память, а также механизмы, через которые неуправляемая или минимально управляемая инструкция вообще могла бы приводить к изменениям в долговременной памяти, часто игнорируются. В итоге появляется набор по-разному названных, но сходных подходов, которые «оторваны» от того, что мы знаем о человеческом познании.

Рекомендовать минимальное руководство было понятно в 1961 году, когда Брунер предлагал обучение через открытие как инструмент: тогда когнитивная архитектура ещё не была описана. Сегодня ситуация иная: мы знаем гораздо больше о структуре, функциях и свойствах рабочей и долговременной памяти, их взаимодействии и следствиях для обучения и решения задач. Это понимание стало основой систематических исследований и развития теорий обучения, отражающих современное знание о когнитивной архитектуре; именно они должны быть в центре проектирования эффективного руководимого обучения.

Конечно, теоретические аргументы мало стоят без эмпирических данных. Поэтому дальше авторы сначала рассматривают современные оправдания минимального руководства, а затем — исследования, сравнивающие руководимое и неруководимое обучение.

Истоки конструктивизма и современный взгляд на минимальное руководство

Учитывая несовместимость минимально направляемого обучения с современными знаниями о когнитивной архитектуре, возникает вопрос: чем эти подходы оправдываются?

Самая недавняя версия минимального руководства связана с конструктивизмом. Она, по-видимому, выросла из наблюдений, что знание конструируется учащимися — а значит, (а) им нужно «дать возможность конструировать», предоставив цели и минимум информации, и (б) обучение индивидуально-специфично, поэтому «универсальный формат» и общие стратегии малоэффективны.

Авторы соглашаются, что конструктивистское описание обучения в целом верно (учащийся действительно строит ментальные представления), но из этого не следует предписывающая теория проектирования обучения и конкретные педагогические техники.

Большинство учащихся любого возраста способны конструировать знание, когда им дают достаточную информацию; нет данных, что предъявление неполной информации помогает конструировать представление лучше, чем предъявление полной. Чаще наблюдается обратное. Ученик в любом случае должен построить ментальную репрезентацию/схему — независимо от того, дали ему полную или частичную информацию. Полная информация обычно ведёт к более точному представлению, которое при этом легче усваивается. Поэтому конструктивизм, будучи верным как описание, не превращается автоматически в эффективную «инструкционную» теорию. Тем не менее многие педагоги, исследователи и разработчики учебных материалов приняли минимально направляемое обучение и пытались внедрить его.

Ещё одно следствие попыток реализовать конструктивистскую теорию — смещение акцента от преподавания дисциплины как тела знаний к почти исключительному акценту на «изучении дисциплины через переживание её процессов и процедур». Это сопровождалось убеждением, что знание «лучше всего» или даже «только» можно усвоить через опыт, основанный прежде всего на процедурах дисциплины. Отсюда — ставка на практические/проектные работы и отказ от обучения фактам, законам, принципам и теориям, составляющим содержание дисциплины, а также активное внедрение discovery и inquiry методов.

Авторы признают, что усиление практического применения навыков исследования и решения задач выглядит позитивно. Однако они считают возможной фундаментальную ошибку: предположение, что педагогическое содержание опыта обучения тождественно методам и процессам (эпистемологии) изучаемой дисциплины, и что обучение должно почти полностью сосредоточиться на методах/процессе.

Шульман помог прояснить, почему менее руководимые подходы проваливаются, разделив предметное знание учителя, педагогическое предметное знание и куррикулумное знание (набор инструментов преподавания, которые «предъявляют» содержание). Киршнер также утверждал, что то, как эксперт работает в домене (эпистемология практики), не равно тому, как человек учится в этом домене (педагогика обучения). ДеХони указывал: ментальные модели и стратегии экспертов формируются медленным накоплением опыта; они не «даны» новичку.

Несмотря на эту разницу между учиться дисциплине и практиковать дисциплину, разработчики программ и педагоги часто путают «обучение дисциплине как inquiry» (куррикулумный акцент на исследовательских процессах внутри науки) с «обучением дисциплине через inquiry» (использование исследовательского процесса как педагогики, как способа учения). Основание путаницы может быть в том, что Хёрд называл «рациональностью учёного»: идея, что курс должен быть «зеркальным отражением» дисциплины и её паттернов исследования; класс должен действовать в гармонии с исследовательскими процессами науки и поддерживать концептуальную и теоретическую структуру знания.

Эта рациональность подразумевает, что формирование установок, интереса к науке, лабораторных навыков, научного знания и понимания природы науки должно происходить «через методологию науки» (часто в индуктивном ключе). Главная ошибка такого подхода, по мнению авторов, в том, что он не различает поведение и методы профессионального исследователя-эксперта и действия учащихся-новичков. Кайл подчёркивал: научное исследование — это систематическая исследовательская способность, предполагающая «свободное мышление» после того, как человек уже получил широкое и критическое знание предмета через формальное обучение. Его нельзя приравнивать к «открытым» или самонаправляемым методам преподавания. Педагоги, которые путают одно с другим, неправомерно используют inquiry как парадигму для стратегии обучения. Новак даже утверждал, что главной преградой «революционного улучшения» естественнонаучного образования была устаревшая эпистемология, стоявшая за акцентом на «inquiry-ориентированной» науке.

Исследования, сравнивающие руководимое и неруководимое обучение

Все предыдущие рассуждения были бы несущественны, если бы существовал убедительный корпус контролируемых исследований, показывающий, что неуправляемое или минимально управляемое обучение эффективнее руководимого. Но, как раз наоборот, данные контролируемых экспериментов почти единообразно показывают: при работе с новым материалом учащимся нужно явно показывать, что делать и как делать.

Обзоры эмпирических исследований сформировали сильный аргумент против минимального руководства. Майер рассмотрел исследования с 1950-х до конца 1980-х, сравнивавшие «чистое» обучение через открытие (как неруководимое проблемное обучение) с руководимыми формами обучения. Он заметил повторяющийся цикл: в каждом десятилетии появлялись данные, что популярный неруководимый подход не работает; затем тот же подход возвращался под новым названием, и цикл начинался заново. «Открытие» сменялось «опытом», затем — проблемным/исследовательским обучением, затем — конструктивистскими техниками. Майер заключил, что спор много раз переигрывался, но каждый раз доказательства оказывались в пользу руководимого подхода.

Современные исследования в поддержку прямого руководства

Поскольку при чисто конструктивистском подходе ученики усваивают мало, многие учителя, пытаясь внедрять конструктивистские активности, в итоге всё равно дают существенное руководство. Это видно, например, в качественных кейс-исследованиях Аулса, наблюдавшего учителей, реализующих конструктивистские занятия. Он описывал «подмости» (scaffolding), которые самые эффективные учителя вводили, когда ученики не продвигались в условиях «открытия». В частности, учитель, чьи ученики достигли всех учебных целей, много времени проводил во взаимодействиях, где одновременно обучал содержанию и «подмостям процедур»: моделировал способы выделения важной информации и самопроверки; показывал, как сводить информацию к перефразированию; организовывал использование заметок для сотрудничества и рутины; поддерживал продуктивный совместный диалог при решении задач.

Контролируемые эксперименты тоже поддерживают прямое руководство. Исследователи отмечали, что при чистом «открытии» в естественных науках, при минимальной обратной связи, ученики часто теряются и фрустрируются, а их путаница ведёт к заблуждениям. Из-за многочисленных ложных стартов неруководимое открытие часто оказывается крайне неэффективным. Обзорные работы заключают, что ученики учатся глубже при сильном руководстве, чем при «открытии». В важном исследовании Клара и Нигама проверяли не только количество усвоения в прямом обучении и «открытии», но и качество: способность переносить на новые контексты. Результат был недвусмысленным: прямое обучение с существенным руководством, включая примеры, давало намного больше усвоения, чем «открытие», а те немногие, кто чему-то научился через открытие, не демонстрировали лучшего качества усвоения.

Теория когнитивной нагрузки

Свеллер и коллеги отмечали: даже если неруководимые среды якобы помогают «самостоятельно извлекать смысл», теория когнитивной нагрузки предсказывает обратное для новичков. Свободное исследование очень сложной среды может создать высокую нагрузку рабочей памяти, вредную для обучения. Это особенно важно для новичков, у которых нет подходящих схем, чтобы интегрировать новую информацию с прежними знаниями. Туовинен и Свеллер показали, что «практика исследования» (как техника открытия) создаёт намного большую когнитивную нагрузку и ведёт к худшему обучению, чем практика на разобранных примерах (worked examples). Более знающие ученики не испытывали негативного эффекта и получали сопоставимую пользу от обоих вариантов. Майер описывал серию мультимедийных экспериментов, спроектированных в том числе на основе теории когнитивной нагрузки: во всех многочисленных исследованиях руководимое обучение давало не только лучшее немедленное воспроизведение фактов, но и более дальний перенос и навыки решения задач.

Эффект разобранных примеров (worked-example effect)

Разобранный пример — это «квинтэссенция» обучения с сильным руководством, тогда как попытка открыть решение в богатой информацией среде — «квинтэссенция» минимально направляемого обучения через открытие.

Эффект разобранных примеров, основанный на теории когнитивной нагрузки, состоит в том, что учащиеся, которых заставляли решать задачи, затем справляются с тестовыми задачами хуже, чем учащиеся, которые изучали эквивалентные разобранные решения. Этот эффект многократно воспроизводился в различных областях и для разных материалов; для новичков изучение разобранных примеров почти неизменно лучше, чем самостоятельное открытие/конструирование решения.

Почему возникает этот эффект? Решение задачи требует поиска, а поиск выполняется через ограниченную рабочую память. Но поиск решения — плохой способ изменить долговременную память, потому что его функция — найти решение, а не перестроить долговременную память. Поиск может работать «идеально» даже без обучения. Поэтому он перегружает рабочую память и тратит её ресурсы на деятельность, не связанную с учением. Учащиеся могут долго решать задачи и почти ничего не выучить.

Напротив, изучение разобранного примера снижает нагрузку рабочей памяти, потому что поиск уменьшается или исчезает; и направляет внимание (ресурсы рабочей памяти) на освоение существенных отношений между ходами решения. Ученики учатся распознавать, какие шаги нужны для задач данного типа — это и есть основа формирования схем решения. В сравнении с группой, которая решала задачи вместо изучения примеров, и появляется worked-example effect.

Эффект, однако, не универсален. Во-первых, его может не быть, если сами примеры устроены так, что создают высокую когнитивную нагрузку (например, из-за плохой структуры и расщепления внимания): можно сделать worked example таким же «тяжёлым», как открытие решения. Во-вторых, по мере роста экспертизы эффект сначала исчезает, а затем может «переворачиваться» (expertise reversal effect): решение задач становится относительно более эффективным, когда ученик достаточно опытен, а изучение примеров превращается для него в избыточную активность, повышающую нагрузку по сравнению с генерацией уже известного решения. Это подчёркивает: новичкам нужно обширное внешнее руководство, потому что у них пока нет достаточных знаний в долговременной памяти, чтобы избегать непродуктивного поиска. Ослаблять руководство можно лишь с ростом экспертизы, когда знания в долговременной памяти начинают заменять внешнюю поддержку.

Процессные листы (process worksheets)

Ещё один способ руководства — процессные листы: они описывают фазы решения, а также эвристики и подсказки, помогающие выполнить каждую фазу. Студенты могут обращаться к такому листу во время работы и фиксировать промежуточные результаты.

Например, Надольски, Киршнер и ван Мерриенбоер исследовали процессные листы у студентов-юристов и обнаружили позитивные эффекты: итоговые решения были более связными и точными по содержанию. Учащиеся, получавшие руководство через процессные листы, превосходили тех, кто должен был сам «открыть» процедуры.

Модели образования, благоволящие минимальному руководству, и данные по ним

После обсуждения когнитивной архитектуры и исследований, поддерживающих прямое руководство, авторы рассматривают ряд образовательных моделей, где минимальное руководство выступает как предпочтительный подход.

«Обучение через опыт» в рабочих/практических контекстах

Колб и коллеги описывали процесс обучения как цикл: человек совершает действие, наблюдает эффект, понимает эффекты в частном случае, затем выводит общий принцип, под который подпадает частное. Они также предложили «стили обучения», которые якобы определяют, как студенты используют опытные ситуации.

Однако попытки валидировать обучение через опыт и «стили обучения» были не вполне успешными. В частности, мета-анализ большого массива исследований по Kolb Learning Style Inventory обнаруживал низкие корреляции и слабые/средние эффекты, недостаточные для стандартов предсказательной валидности. Другие обзоры также указывали на низкую надёжность, слабые связи между факторами, которые «должны» коррелировать, и отсутствие общего согласия о полезности инструмента, особенно для исследовательских задач.

Роблайер и Перкинс анализировали доказательства в пользу минимального руководства в исследованиях instructional design и instructional technology и пришли к выводу, что доступные данные не поддерживают минимальное руководство; для эффективного обучения и переноса требуется более сильная поддержка.

Индивидуальные различия: исследования ATI

Конструктивистские подходы частично опираются на идею, что индивидуальные различия сильно модифицируют эффект обучения. Эта идея близка парадигме aptitude–treatment interaction (ATI): изучается, зависят ли эффекты методов обучения от способностей и свойств учащихся. В этой линии работ есть очевидный предшественник эффекта «разворота экспертизы»: методы, полезные новичкам, становятся менее полезными по мере роста экспертизы.

Обзор Кронбаха и Сноу описывал множество воспроизводимых взаимодействий между методами обучения и способностями. Один из самых частых результатов: «сильные» (то есть более структурированные) методы больше помогают менее способным/подготовленным учащимся, тогда как «слабые» (менее структурированные) больше помогают более способным. Это предвосхищает современное понимание scaffolding.

Под «сильными» методами там подразумевались высоко структурированные презентации с явной организацией информации и поддержкой обучения; «слабые» были относительно неструктурированы и давали меньше поддержки. Способности измерялись по-разному, но часто включали предметные знания и показатели кристаллизованного/флюидного интеллекта. Сноу и Ломан призывали к исследованиям, которые описывают, какие когнитивные процессы требуют конкретные учебные цели, как эти процессы связаны с «способностями», и как особенности обучения могут компенсировать дефицит релевантной способности, предоставляя нужные когнитивные процессы для достижения обучения и переноса.

«Знать меньше после обучения, чем до»

В рамках ATI Кларк описывал ещё один тревожный результат: примерно в 70 ATI-исследованиях находились ситуации, когда учащиеся с более низкими способностями, выбирающие или получающие неруководимое, «слабое» обучение, показывали на посттестах значимо более низкие результаты, чем на предтестах. Кларк утверждал, что отсутствие сильной поддержки для менее опытных или менее способных учащихся может приводить к измеримой потере знания.

Ещё более тревожно, что когда учащимся предлагают выбрать между более и менее неруководимой версией одного курса, менее способные учащиеся часто предпочитают менее руководимую версию, хотя и учатся по ней хуже. Более способные, выбравшие высоко структурированный вариант, могли его любить, но достигать более низких результатов, чем в менее структурированных версиях; однако они, по крайней мере, не «теряли» знание относительно предтеста. Кларк предположил, что наиболее эффективные компоненты «сильных» курсов помогают менее опытным учащимся за счёт встраивания специфических для задачи стратегий учения в презентацию материала. Эти стратегии требуют явного усилия внимания, поэтому часто не нравятся, хотя и помогают учиться. Более способные учащиеся, вероятно, уже приобрели собственные неявные стратегии учения, которые эффективнее для них, чем встроенные в сильно структурированный курс. Есть и намёк на то, что более способные выбирают «более руководимые» версии, потому что рассчитывают достичь требуемого результата с минимальными усилиями. Исследования Вольца дают современный пример ATI, где показывается: один и тот же ученик может выигрывать от более сильного или более слабого руководства в зависимости от типа желаемого результата обучения и переноса.

Данные по естественнонаучному обучению при неруководимых подходах

Работа Клара и Нигама уже показала преимущества прямого обучения в науке. Авторы отмечают, что таких данных много. Серия обзоров Национальной академии наук США описывала результаты экспериментов, демонстрирующих негативные последствия неруководимого обучения в естественных науках на разных возрастах и в разных темах науки и математики. В ряде отчётов фиксируется нехватка доказательств в пользу неруководимых подходов и преимущества более сильного руководства. В них часто также предлагаются принципы обучения, основанные на исследованиях. Указывается, что учителя наблюдают успех discovery learning главным образом тогда, когда у учеников есть предварительные знания и некоторый опыт структурированных занятий.

PBL в медицинском образовании

Недостаточное различение обучения дисциплине и исследования внутри дисциплины, а также приоритет «непредвзятого наблюдения» в индуктивистской и эмпиристской традиции привели многих педагогов к мысли, что проблемный метод — лучший способ учить дисциплине. В медицине примерно 60 школ в Северной Америке за два десятилетия внедрили PBL, чтобы уйти от лекций и экзаменов на запоминание. В варианте PBL, возникшем в McMaster University School of Medicine (1969), студенты работают в группах, диагностируют и предлагают лечение типичных симптомов. Группы ведёт клиницист-преподаватель, которому предписано не решать задачи за студентов, а предлагать альтернативы и источники информации.

Самый известный обзор сравнения PBL и традиционного обучения — мета-анализ Албанезе и Митчелла. Они нашли ряд негативных результатов: более низкие оценки по базовым наукам, отсутствие различий по отбору в резидентуру, больше часов самостоятельной подготовки. Сообщалось, что PBL-студенты показывали лучшие клинические оценки, но также назначали значительно больше ненужных тестов — с более высокой стоимостью на пациента и меньшей пользой. Увеличение клинических оценок могло объясняться тем, что PBL-студенты просто больше времени проводят в клинической среде.

Берксон пришла к близким выводам; Колливер, анализируя исследования, заключил, что PBL в медицине не показывает статистически значимого эффекта на стандартизированных тестах или тестах преподавателей в первые два года. Важным для медицинских педагогов остаётся устойчивый результат: PBL обычно не эффективнее, но дороже традиционного обучения. Некоторые сторонники PBL признают ограничения: например, Хмело-Силвер отмечала, что элементы модели нужно подстраивать под уровень учащихся, иногда полезно прямое обучение «точно вовремя», а также могут помогать более структурированные техники (процедурная фасилитация, сценарированное сотрудничество, структурированные журналы).

Два важных компонента PBL — явное обучение стратегиям решения задач (например, гипотетико-дедуктивному рассуждению) и обучение базовому содержанию в контексте конкретного случая. Сторонники считают, что проблемно-центрированное обучение превосходит традиционное: студенты учатся более осмысленно и с самого начала много практикуют анализ проблем и поиск объяснений, улучшая понимание клинических задач. Однако исследования указывали, что эффективность таких методов клинической подготовки сомнительна; гипотетико-дедуктивный метод может быть не самым эффективным способом решать клинические задачи.

Патель, Грён и Норман показали: обучение базовой науке в клиническом контексте может иметь недостаток — когда знание контекстуализировано, его трудно отделить от конкретных клинических задач, куда оно было встроено. Студенты PBL плохо отделяли базовую биомедицинскую информацию от специфического клинического знания о конкретных пациентах. Хотя они давали более развернутые объяснения, эти объяснения были менее связными и с большим числом ошибок. Если студентам трудно отделить выученное биомедицинское знание от конкретных кейсов, неудивительно, что в новой задаче они могут применять нерелевантные куски знания.

Эффект может сохраняться и после обучения. В исследовании влияния бакалаврской подготовки по PBL (в сравнении с традиционной программой) на организацию клинического и биомедицинского знания и на стратегии рассуждения у резидентов обнаруживали, что PBL-выпускники сохраняют «обратное» рассуждение, но хуже формируют «прямое» рассуждение, которое является признаком экспертизы. Это означает, что в PBL может быть что-то, что тормозит развитие прямого рассуждения.

Эксперты используют распознавание паттернов на основе схем, чтобы определить причину болезни. Организация знания и формирование схем важнее для развития экспертизы, чем конкретный метод решения задач. Когнитивные исследования показывают: чтобы достичь экспертизы, учащийся должен приобрести схемы, позволяющие осмысленно и эффективно интерпретировать информацию и распознавать структуру проблемы. Схемы направляют выбор релевантной информации и отсеивание нерелевантной.

Патель и коллеги заключали, что негативные результаты можно объяснить расщеплением внимания и высокой нагрузкой рабочей памяти на формирование схем во время решения задач. При решении клинической задачи нужно удерживать текущую диагностическую гипотезу, данные кейса и промежуточные гипотезы (например, патофизиологический процесс, лежащий под симптомами). Если гипотез несколько, ресурсы внимания и памяти на удержание этого в рабочей памяти таковы, что на формирование схем остаётся мало. Даже если задачу удаётся решить гипотетико-дедуктивным методом, дефицит ресурсов внимания и памяти может приводить к тому, что студент плохо учится схемам. Можно предположить, что одна из причин неспособности PBL-выпускников перейти к «прямому» рассуждению — использование стратегий решения задач (вроде гипотетико-дедуктивного метода) как стратегии обучения.

Это полностью согласуется с основной мыслью авторов: эпистемологию дисциплины нельзя путать с педагогикой её преподавания или изучения. Практика профессии — не то же самое, что обучение практике профессии.

Выводы

После полувека популяризации обучения с минимальным руководством авторы делают вывод: нет корпуса исследований, который поддерживал бы эту технику. Насколько существуют данные контролируемых исследований, они почти единообразно поддерживают прямое, сильное руководство (а не конструктивистское минимальное руководство) при обучении учащихся от новичкового до среднего уровня. Даже для учеников с заметной предварительной базой сильное руководство во время обучения чаще всего оказывается столь же эффективным, как неруководимые подходы. Более того, неруководимое обучение обычно не только менее эффективно; есть данные, что оно может давать негативные результаты, формируя заблуждения или неполное/дезорганизованное знание.

Причины устойчивой популярности неудачного подхода не вполне ясны. Авторы предполагают, что истоки поддержки минимального руководства в естественнонаучном и медицинском образовании можно искать в послеспутниковых реформах куррикулума в США (например, Biological Sciences Curriculum Study, Chemical Education Material Study, Physical Science Study Committee). Тогда педагоги сместились от преподавания дисциплины как тела знания к предположению, что знание лучше всего или только можно изучить через опыт, основанный на процедурах дисциплины. Это привело к неруководимым практическим/проектным работам и к отказу от обучения фактам, законам, принципам и теориям, составляющим содержание дисциплины.

Акцент на практическом применении изучаемого сам по себе выглядит позитивно. Однако ошибочно предполагать, что педагогическое содержание опыта обучения тождественно методам и процессам (эпистемологии) дисциплины, и что обучение должно исключительно фокусироваться на применении. Авторы считают, что современные конструктивистские взгляды стали идеологичными и часто эпистемологически враждебными к предъявлению и объяснению знания. Поэтому легко понять недоумение вопроса: почему выдающиеся учёные, требующие строгих доказательств для научных утверждений, продолжают использовать и защищать — лишь «по интуиции» — методы преподавания, которые не являются наиболее эффективными? И легко согласиться с рекомендацией Майера: перенести реформы образования из «размытого и непродуктивного мира идеологии» (иногда скрывающейся под знаменами конструктивизма) в «чёткий и продуктивный мир теоретически и эмпирически обоснованных исследований того, как люди учатся».

Литература (как в оригинале)

(Список ниже приведён из статьи; библиографические записи оставлены на языке оригинала.)

Albanese, M., & Mitchell, S. (1993). Problem-based learning: A review of the literature on its outcomes and implementation issues. Academic Medicine, 68, 52–81.
Allen, J. B., Barker, L. N., & Ramsden, J. H. (1986). Guided inquiry laboratory. Journal of Chemical Education, 63, 533–534.
Anderson, J. R. (1996). ACT: A simple theory of complex cognition. American Psychologist, 51, 355–365.
Anthony, W. S. (1973). Learning to discover rules by discovery. Journal of Educational Psychology, 64, 325–328.
Atkinson, R., & Shiffrin, R. (1968). Human memory: A proposed system and its control processes. In K. Spence & J. Spence (Eds.), The psychology of learning and motivation (Vol. 2, pp. 89–195). New York: Academic.
Aulls, M. W. (2002). The contributions of co-occurring forms of classroom discourse and academic activities to curriculum events and instruction. Journal of Educational Psychology, 94, 520–538.
Barrows, H. S., & Tamblyn, R. M. (1980). Problem-based learning: An approach to medical education. New York: Springer.
Berkson, L. (1993). Problem-based learning: Have the expectations been met? Academic Medicine, 68(Suppl.), S79–S88.
Bernstein, D. A., Penner, L. A., Clarke-Stewart, A., Roy, E. J., & Wickens, C. D. (2003). Psychology (6th ed.). Boston: Houghton-Mifflin.
Boud, D., Keogh, R., & Walker, D. (Eds.). (1985). Reflection: Turning experience into learning. London: Kogan Page.
Brown, A., & Campione, J. (1994). Guided discovery in a community of learners. In K. McGilly (Ed.), Classroom lessons: Integrating cognitive theory and classroom practice (pp. 229–270). Cambridge, MA: MIT Press.
Bruner, J. S. (1961). The art of discovery. Harvard Educational Review, 31, 21–32.
Carlson, R. A., Lundy, D. H., & Schneider, W. (1992). Strategy guidance and memory aiding in learning a problem-solving skill. Human Factors, 34, 129–145.
Carroll, W. (1994). Using worked examples as an instructional support in the algebra classroom. Journal of Educational Psychology, 86, 360–367.
Cawthron, E. R., & Rowell, J. A. (1978). Epistemology and science education. Studies in Science Education, 5, 51–59.
Chall, J. S. (2000). The academic achievement challenge. New York: Guilford.
Chase, W. G., & Simon, H. A. (1973). Perception in chess. Cognitive Psychology, 4, 55–81.
Chi, M., Glaser, R., & Rees, E. (1982). Expertise in problem solving. In R. Sternberg (Ed.), Advances in the psychology of human intelligence (pp. 7–75). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Clark, R. E. (1982). Antagonism between achievement and enjoyment in ATI studies. Educational Psychologist, 17, 92–101.
Clark, R. E. (1989). When teaching kills learning: Research on mathemathantics. In H. N. Mandl, N. Bennett, E. de Corte, & H. F. Freidrich (Eds.), Learning and instruction: European research in an international context (Vol. II). London: Pergamon.
Clark, R. E., & Estes, F. (1998). Technology or craft: What are we doing? Educational Technology, 38(5), 5–11.
Clark, R. E., & Estes, F. (1999). The development of authentic educational technologies. Educational Technology, 37(2), 5–16.
Colliver, J. A. (2000). Effectiveness of problem-based learning curricula: Research and theory. Academic Medicine, 75, 259–266.
Cooper, G., & Sweller, J. (1987). The effects of schema acquisition and rule automation on mathematical problem-solving transfer. Journal of Educational Psychology, 79, 347–362.
Cowan, N. (2001). The magical number 4 in short-term memory: A reconsideration of mental storage capacity. Behavioral and Brain Sciences, 24, 87–114.
Craig, R. (1956). Directed versus independent discovery of established relations. Journal of Educational Psychology, 47, 223–235.
Cronbach, L. J., & Snow, R. E. (1977). Aptitudes and instructional methods: A handbook for research on interactions. New York: Irvington.
De Groot, A. D. (1965). Thought and choice in chess. The Hague, Netherlands: Mouton. (Original work published 1946)
Dehoney, J. (1995). Cognitive task analysis: Implications for the theory and practice of instructional design. Proceedings of the Annual National Convention of the Association for Educational Communications and Technology (AECT), 113–123. (ERIC Document Reproduction Service No. ED 383 294)
Dewey, J. (1938). Experience and education. New York: Simon & Schuster.
Egan, D. E., & Schwartz, B. J. (1979). Chunking in recall of symbolic drawings. Memory and Cognition, 7, 149–158.
Ericsson, K. A., & Kintsch, W. (1995). Long-term working memory. Psychological Review, 102, 211–245.
Estes, F., & Clark, R. E. (1999). Authentic educational technologies: The lynchpin between theory and practice. Educational Technology, 37(6), 5–13.
Glaser, R. (1987). Further notes toward a psychology of instruction. In R. Glaser (Ed.), Advances in instructional psychology (Vol. III). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Gollub, J. P., Berthanthal, M., Labov, J., & Curtis, C. (Eds.). (2003). Learning and understanding: Improving advanced study of mathematics and science in U.S. high schools. Washington, DC: National Academies Press.
Handelsman, J., Egert-May, D., Beichner, R., Bruns, P., Change, A., DeHaan, R., et al. (2004). Scientific teaching. Science, 304, 521–522.
Hardiman, P., Pollatsek, A., & Weil, A. (1986). Learning to understand the balance beam. Cognition and Instruction, 3, 1–30.
Hodson, D. (1988). Experiments in science and science teaching. Educational Philosophy and Theory, 20, 53–66.
Iliff, C. H. (1994). Kolb’s learning style inventory: A meta-analysis. Unpublished doctoral dissertation, Boston University, Boston.
Jeffries, R., Turner, A., Polson, P., & Atwood, M. (1981). Processes involved in designing software. In J. R. Anderson (Ed.), Cognitive skills and their acquisition (pp. 255–283). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Jonassen, D. (1991). Objectivism vs. constructivism. Educational Technology Research and Development, 39(3), 5–14.
Kalyuga, S., Ayres, P., Chandler, P., & Sweller, J. (2003). Expertise reversal effect. Educational Psychologist, 38, 23–31.
Kalyuga, S., Chandler, P., Tuovinen, J., & Sweller, J. (2001). When problem solving is superior to studying worked examples. Journal of Educational Psychology, 93, 579–588.
Kilpatrick, J., Swafford, J., & Findell, B. (Eds.). (2001). Adding it up: Helping children learn mathematics. Washington, DC: National Academies Press.
Kirschner, P. A. (1991). Practicals in higher science education. Utrecht, Netherlands: Lemma.
Kirschner, P. A. (1992). Epistemology, practical work and academic skills in science education. Science and Education, 1, 273–299.
Kirschner, P. A., Strijbos, J.-W., & Martens, R. L. (2004). CSCL in higher education: A framework for designing multiple collaborative environments. In J.-W. Strijbos, P. A. Kirschner, & R. L. Martens (Eds.), What we know about CSCL in higher education. Dordrecht, Netherlands: Kluwer.
Klahr, D., & Nigam, M. (2004). The equivalence of learning paths in early science instruction: Effects of direct instruction and discovery learning. Psychological Science, 15, 661–667.
Kolb, D. A. (1971). Individual learning styles and the learning process (Working Paper No. 535–71). Cambridge, MA: Sloan School of Management, Massachusetts Institute of Technology.
Kolb, D. A. (1984). Experiential learning: Experience as the source of learning and development. Englewood Cliffs, NJ: Prentice-Hall.
Kolb, D. A. (1999). Learning Style Inventory, version 3. Boston: TRG Hay/McBer, Training Resources Group.
Kolb, D. A., Boyatzis, R. E., & Mainemelis, C. (1999). Experiential learning theory: Previous research and new directions. Cleveland, OH: Case Western Reserve University.
Kolb, D. A., & Fry, R. (1975). Toward an applied theory of experiential learning. In C. Cooper (Ed.), Studies of group process (pp. 33–57). New York: Wiley.
Kyle, W. C., Jr. (1980). The distinction between inquiry and scientific inquiry and why high school students should be cognizant of the distinction. Journal of Research on Science Teaching, 17, 123–130.
Kyllonen, P. C., & Lajoie, S. P. (2003). Reassessing aptitude: Introduction to a special issue in honor of Richard E. Snow. Educational Psychologist, 38, 79–83.
Mayer, R. (2001). Multi-media learning. Cambridge, UK: Cambridge University Press.
Mayer, R. (2004). Should there be a three-strikes rule against pure discovery learning? The case for guided methods of instruction. American Psychologist, 59, 14–19.
McCray, R., DeHaan, R. L., & Schuck, J. A. (Eds.). (2003). Improving undergraduate instruction in science, technology, engineering, and mathematics: Report of a workshop. Washington, DC: National Academies Press.
McKeough, A., Lupart, J., & Marini, A. (Eds.). (1995). Teaching for transfer: Fostering generalization in learning. Mahwah, NJ: Lawrence Erlbaum Associates, Inc.
Miller, C., Lehman, J., & Koedinger, K. (1999). Goals and learning in microworlds. Cognitive Science, 23, 305–336.
Miller, G. A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review, 63, 81–97.
Moreno, R. (2004). Decreasing cognitive load in novice students: Effects of explanatory versus corrective feedback in discovery-based multimedia. Instructional Science, 32, 99–113.
Nadolski, R. J., Kirschner, P. A., & van Merriënboer, J. J. G. (in press). Optimising the number of steps in learning tasks for complex skills. British Journal of Educational Psychology.
Novak, J. D. (1988). Learning science and the science of learning. Studies in Science Education, 15, 77–101.
Obioma, G. O. (1986). Expository and guided discovery methods of presenting secondary school physics. European Journal of Science Education, 8, 51–56.
Paas, F. (1992). Training strategies for attaining transfer of problem-solving skill in statistics: A cognitive-load approach. Journal of Educational Psychology, 84, 429–434.
Paas, F., Renkl, A., & Sweller, J. (2003). Cognitive load theory and instructional design: Recent developments. Educational Psychologist, 38, 1–4.
Paas, F., Renkl, A., & Sweller, J. (2004). Cognitive load theory: Instructional implications of the interaction between information structures and cognitive architecture. Instructional Science, 32, 1–8.
Paas, F., & van Merriënboer, J. (1994). Variability of worked examples and transfer of geometrical problem solving skills: A cognitive-load approach. Journal of Educational Psychology, 86, 122–133.
Papa, F. J., & Harasym, P. H. (1999). Medical curriculum reform in North America, 1765 to the present: A cognitive science perspective. Academic Medicine, 74, 154–164.
Papert, S. (1980). Mindstorms: Children, computers, and powerful ideas. New York: Basic Books.
Perkins, D. N. (1991). Technology meets constructivism: Do they make a marriage? Educational Technology, 13, 18–23.
Peterson, L., & Peterson, M. (1959). Short-term retention of individual verbal items. Journal of Experimental Psychology, 58, 193–198.
Pillay, H. (1994). Cognitive load and mental rotation: Structuring orthographic projection for learning and problem solving. Instructional Science, 22, 91–113.
Quilici, J. L., & Mayer, R. E. (1996). Role of examples in how students learn to categorize statistics word problems. Journal of Educational Psychology, 88, 144–161.
Roblyer, M. D. (1996). The constructivist/objectivist debate: Implications for instructional technology research. Learning and Leading With Technology, 24, 12–16.
Roblyer, M. D., Edwards, J., & Havriluk, M. A. (1997). Integrating educational technology into teaching (2nd ed.). Upper Saddle River, NJ: Prentice-Hall.
Ruble, T. L., & Stout, D. E. (1993, March). Learning styles and end-user training: An unwarranted leap of faith. MIS Quarterly, 17, 115–117.
Salomon, G. (1979). Interaction of media, cognition and learning. San Francisco, CA: Jossey-Bass.
Schauble, L. (1990). Belief revision in children: The role of prior knowledge and strategies for generating evidence. Journal of Experimental Child Psychology, 49, 31–57.
Schmidt, H. G. (1983). Problem-based learning: Rationale and description. Medical Education, 17, 11–16.
Schmidt, H. G. (1998). Problem-based learning: Does it prepare medical students to become better doctors? The Medical Journal of Australia, 168, 429–430.
Schmidt, H. G. (2000). Assumptions underlying self-directed learning may be false. Medical Education, 34, 243–245.
Schraagen, J. M., Chipman, S., & Shalin, V. (2000). Cognitive task analysis. Mahwah, NJ: Lawrence Erlbaum Associates, Inc.
Shulman, L. S. (1986). Those who understand: Knowledge growth in teaching. Educational Researcher, 15, 4–14.
Shulman, L. S., & Hutchings, P. (1999, September–October). The scholarship of teaching: New elaborations, new developments. Change, 11–15.
Shulman, L., & Keisler, E. (Eds.). (1966). Learning by discovery: A critical appraisal. Chicago: Rand McNally.
Singley, M. K., & Anderson, J. R. (1989). The transfer of cognitive skill. Cambridge, MA: Harvard University Press.
Snow, R. E., Corno, L., & Jackson, D. N., III. (1994). Individual differences in conation: Selected constructs and measures. In H. F. O’Neil & M. Drillings (Eds.), Motivation: Theory and research (pp. 71–99). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Snow, R. E., & Lohman, D. F. (1984). Toward a theory of cognitive aptitude for learning from instruction. Journal of Educational Psychology, 76, 347–376.
Steffe, L., & Gale, J. (Eds.). (1995). Constructivism in education. Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12, 257–285.
Sweller, J. (1999). Instructional design in technical areas. Camberwell, Australia: ACER Press.
Sweller, J. (2003). Evolution of human cognitive architecture. In B. Ross (Ed.), The psychology of learning and motivation (Vol. 43, pp. 215–266). San Diego, CA: Academic.
Sweller, J. (2004). Instructional design consequences of an analogy between evolution by natural selection and human cognitive architecture. Instructional Science, 32, 9–31.
Sweller, J., & Cooper, G. A. (1985). The use of worked examples as a substitute for problem solving in learning algebra. Cognition and Instruction, 2, 59–89.
Sweller, J., Mawer, R., & Howe, W. (1982). The consequences of history-cued and means-ends strategies in problems solving. American Journal of Psychology, 95, 455–484.
Sweller, J., van Merriënboer, J. J. G., & Paas, F. (1998). Cognitive architecture and instructional design. Educational Psychology Review, 10, 251–296.
Tarmizi, R., & Sweller, J. (1988). Guidance during mathematical problem solving. Journal of Educational Psychology, 80, 424–436.
Trafton, J. G., & Reiser, R. J. (1993). The contribution of studying examples and solving problems to skill acquisition. In Proceedings of the 15th Annual Conference of the Cognitive Science Society (pp. 1017–1022). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Tuovinen, J. E., & Sweller, J. (1999). A comparison of cognitive load associated with discovery learning and worked examples. Journal of Educational Psychology, 91, 334–341.
Van Joolingen, W. R., de Jong, T., Lazonder, A. W., Savelsbergh, E. R., & Manlove, S. (in press). Co-Lab: Research and development of an online learning environment for collaborative scientific discovery learning. Computers in Human Behavior.
Van Merriënboer, J. J. G. (1997). Training complex cognitive skills. Englewood Cliffs, NJ: Educational Technology Publications.
Van Merriënboer, J. J. G., Clark, R. E., & de Croock, M. B. M. (2002). Blueprints for complex learning: The 4C/ID model. Educational Technology Research and Development, 50(2), 39–64.
Ward, M., & Sweller, J. (1990). Structuring effective worked examples. Cognition and Instruction, 7, 1–39.
Wickens, C. D. (1989). Attention and skilled performance. In D. H. Holding (Ed.), Human skills (pp. 70–105). New York: Wiley.
Winn, W. (2003). Research methods and types of evidence for research in educational psychology. Educational Psychology Review, 15, 367–373.
Woloschuk, W., Harasym, P., Mandin, H., & Jones, A. (2000). Use of scheme-based problem solving: An evaluation of the implementation and utilization of schemes in a clinical presentation curriculum. Medical Education, 34, 437–442.
Woltz, D. J. (2003). Implicit cognitive processes as aptitudes for learning. Educational Psychologist, 38, 95–104.