Елена Локтева

Оценка компетенций в виртуальном классе

7 августа 2013 г.

В ходе мастер-класса «Дело о компетентностном подходе 2», который я проводила на Летней школе e-learning 2013, участники продумывали различные способы оценки компетенции «Убедительная коммуникация». Обсуждение проводилось по методике «World Cafe». Мне довелось модерировать столик, за которым участники собирали идеи по оценке убедительной коммуникации в виртуальном классе. Эта статья обобщение результатов их работы.

Что такое компетенция?

Во избежание терминологических споров, в качестве отправной точки мы использовали подход к оценке компетенций компании De-Tech. Согласно этому подходу:

Компетенция это наблюдаемое поведение, которое характеризует успешность сотрудника на рабочем месте

Каждая компетенция описывается через набор позитивных и негативных поведенческих индикаторов. Таким образом, наблюдая за тем, насколько часто проявляются те или иные индикаторы, мы можем делать вывод о том, насколько развита та или иная компетенция, а также применять различные способы ее развития.


«World Cafe»: сегодня в нашем меню…

Мастер-класс проводился в формате «World Cafe». Путем жеребьевки участники были разделены на 4 рабочие группы. Далее эти группы «ходили в гости» на 4 тематических столика:

  • столик «Виртуальный класс» модератором выступила я;
  • столик «cMOOC» модератор Владимир Кухаренко;
  • столик «M-learning» модератор Константин Бугайчук;
  • столик «Е-курс» модератор Владимир Наумов.

Обсуждение за каждым столиком длилось 25 минут. Затем группы переходили за другой столик.Таким образом, все участники (кроме модераторов) прошли по всем столикам и сгенерировали множество замечательных идей для всех четырех заданных технологий.

Компетенция «Убедительная коммуникация» была предложена участникам не случайно. Во-первых, описывающие ее индикаторы позволяют оценить как устную, так и письменную коммуникацию. Во-вторых, проблемы с коммуникацией это именно то, на что чаще всего сетуют, говоря о дистанционном обучении. Хотелось убедиться самой и показать другим, что эту компетенцию можно оценивать и развивать даже в тех случаях, когда участники обучения находятся на расстоянии.

Тяжелее всего досталось Владимиру Наумову: ведь за его столиком нужно было придумать способы оценки коммуникации в электронном курсе 1.0! Иными словами, коммуникации человека с курсом!

О том, что происходило за соседними столиками, в ближайшее время поделятся их модераторы на страницах нашего портала. Ниже я расскажу о тех приемах оценки компетенций, которые предложили участники ведущим вебинаров.
 

Матрица  типов групп

Уже во время посещения второй группы «гостей» вырисовалась опорная матрица типов групп, с которыми чаще всего приходится сталкиваться ведущим на вебинарах.

Мы так и не смогли окончательно договориться, какую группу для вебинара считать маленькой, но в рамках мастер-класс приняли, что это группа до 30 человек.

Степень однородности группы определяли по тому, насколько близки ее участники по опыту, багажа знаний и навыков. Например, группа однокурсников в университете однородная, а группа специалистов разных отраслей, компаний, должностей, которая собралась на вебинаре по интересной для них всех теме  разнородная.

Типы групп по размеру и однородности

Забегая вперед, отмечу:

  • ни одна из четырех групп участников не предложила способа, который был бы применим только к большим группам;
  • больше всего приемов попали в квадрат «Любые», т.е. оказались универсальными, вне зависимости от численности и однородности группы.


Ключевые роли

Разумеется, ключевые роли участников вебинара тоже были выделены на мастер-классе, и это, пожалуй, было самым простым:

  • ведущий;
  • модератор;
  • участник.

Любые попытки участников мастер-класса менять ролями участников вебинара неизбежно приводили к появлению интересного приема для вебинара.


Рецепты полезных вебинаров

Я не буду раскладывать рецепты, предложенные участниками, в эту матрицу. Возможно, у читателей этой статьи возникнет свой взгляд на то, какой из этих приемов в каких группах более применим. Я перечислю 10 наиболее запомнившихся приемов и позволю себе небольшие комментарии к ним.
 

Рецепт 1. Ограничения. Задавая вопрос группе, ввести ограничения на:

  • количество символов (и/или слов)  в ответе;
  • время ответа.

У этого приема сразу несколько полезных функций:

  • оценка насколько участник вебинара может ясно и структурировано изложить свою точку зрения (а это один из индикаторов убедительной коммуникации);
  • развитие мы создаем ситуацию, в которой участник вынужден приводить собственные аргументы (возможно, даже заранее подготовленные!), и делать это быстро, ясно, четко, т.е. способствуем развитию компетенции;
  • вовлечение т.к. время на ответ ограничено, уменьшается риск списываний ответов.

Рецепт 2.  Полезный тролль. Один из участников вебинара выполняет функцию подсадного тролля. Важно: тролль троллит не участников, а обсуждаемую идею или тему. Такой прием провоцирует активное обсуждение проблемы, которое дает много материала для наблюдений за коммуникацией.

Рецепт 3. Адвокат дьявола. Ведущий в ходе дискуссии становится на позицию меньшинства, отстаивает не лучшую точку зрения. Это позволит оценить, продолжат ли отстаивать участники правильную позицию, будут ли искать дополнительные аргументы, постараются ли привлечь сторонников своей позиции к обсуждению и т.п.  

Рецепт 4. Под микроскопом. На каждом вебинаре тренер наблюдает и оценивает не всю группу, а несколько конкретных человек. На самом деле, даже в малой группе провести оценку убедительной коммуникации всех участников задача совершенно нетривиальная. Но если отслеживать коммуникации конкретных участников (с ведущим, с другими участниками), то задача сильно упрощается.

Например, если заранее нескольким участникам предложить выступить на вебинаре с коротким сообщением, а затем ответить на вопросы «из зала», то можно оценить, какие аргументы приводят, как излагают свою позицию, учитывают ли особенности аудитории, в которой выступают, умеют ли найти сторонников в поддержку своей позиции и т.п. А это все и есть индикаторы убедительной коммуникации.

Рецепт 5.  Приватные чаты. Предложить участникам отвечать на вопросы ведущего в приватном чате. Те сообщения, которые, по мнению ведущего, наиболее полно, четко и структурировано выражают позицию участника, публиковать в общем чате и пояснять, чем они хороши.

Такой прием хоть и не лишен некоторой субъективности ведущего, но может выполнять несколько важных функций:

  • мотивируем участников на развитие и проявление убедительной коммуникации, чтобы донести свою позицию до остальных, попасть в общий чат;
  • избегаем уклонений от ответов и списывания.

Рецепт 6. Делегируй оценку. В группе выделяется несколько активных участников в качестве модераторов, остальные разбиваются на подгруппы. Каждая подгруппа закрепляется за одним модератором и расходится по «комнатам» (такая функция уже есть и в виртуальных классах, и в виртуальных мирах). Модератор не только обеспечивает обсуждение темы вебинара, но и с помощью заранее проработанного чек-листа оценивает компетенции участников подгруппы. В свою очередь, ведущий может оценивать убедительную коммуникацию модераторов, перемещаясь по комнатам или просматривая записи обсуждений.

Польза от этого приема:

  • упрощается процесс оценки ведущим;
  • помогает развивать убедительную коммуникацию модераторов.

Репецт 7. Делегируй вопросы. Вопросы, поступающие от участников вебинара, делегировать группе. С помощью этого приема можно не только проверить, как выражают свою позицию участники, но и заодно оценить некоторые индикаторы компетенции «Сбор информации» (например, проследить, уточняют ли правильность своего понимания участники, умеют ли правильно сформулировать уточняющий вопрос и т.п.)

Рецепт 8. Самооценка. В ходе вебинара  участникам предлагается самим оценивать свою убедительную коммуникацию, либо отдельные ее индикаторы. Причем, это может быть сделано в любой момент вебинара, и даже несколько раз. Например:

  • ведущий задает вопрос «Умеете ли вы находить сторонников для продвижения своей идеи?» и предлагает несколько вариантов ответа;
  • затем дает задание, в котором необходимо продемонстрировать это умение;
  • затем задает вопрос: «Как бы вы оценили себя теперь, после того, как выполнили это задание?»

Этот рецепт, аналогично предыдущему, помогает упростить процесс оценки ведущему, способствует тренировке и развитию компетенции у участников, а также помогает мотивировать участников на саморазвитие.


Рецепт 9. Общая доска. Участники разбиваются на несколько групп. Общая доска разбивается на столько же участков. Задача каждой группы обосновать какую-либо идею на своей части доски (текстами, рисунками). Ограниченное пространство доски подстегнет к ясным, четким формулировкам и структурированной подаче идеи. В то же время, по обсуждению внутри групп можно будет оценить, какие аргументы они приводят, как отстаивают свою позицию, быстро ли уступают и т.п.


Рецепт 10. То чат, то голос. Участники высказывают свою позицию то в чате, то голосом.  Это позволяет оценить как устную, так и письменную коммуникацию, а также не дает возможности отсидеться, отмолчаться.

Вместо эпилога

Рецептов, безусловно, было больше. Но дело не в количестве приемов уверена, что наши участники, дай им волю, могли бы генерировать их бесконечно. Гораздо важнее основной посыл, который прозвучал в самом начале обсуждения за нашим столиком, и все последующие «гости столика», как будто услышав его, четко ему следовали.

Для того, чтобы оценивать убедительную коммуникацию, необходимо, чтобы виртуальный класс был средой, предназначенной для коммуникации.

Речь не о функциональности виртуального класса понятно, что платформы постоянно совершенствуются. Главное как использовать эту функциональность. Ни один из предложенных участниками приемов не подразумевал формата Великой и Могучей Говорящей Головы такого популярного и процветающего. Каждый прием был направлен на активное участие всех участников вебинара. После каждого останется замечательный материал для аналитики.  

Используйте эти приемы, модифицируйте, придумывайте новые и результаты вас непременно удивят.

 


Источник: bugaychuk.blogspot.com



Комментарии (4)
 
 

Рейтинг 901
От Владимир Наумов, 10 августа 2013 г. в 09:43
Лена,
сначала поспорю с твоим тезисом про «ни одна из четырех групп участников не предложила способа, который был бы применим только к большим группам»
1. в рамках eL 1.0. размер группы безразличен;
2. как раз наша группа, рассматривавшая способы оценки компетенции «Убедительная коммуникация», предложила ряд таких решений. Одно из самых интересных (Сергей предложил) заложить в систему оценки алгоритмы автоматического измерения и диагностики порядка и особенностей коммуникации учащихся с электронным средством обучения. Разумеется, создатели такого средства должны сначала смоделировать модель нужной коммуникации и отслеживать отклонения от нее.

Прошу у коллег прощения, что пока не выступил с рефлексией работы группы: цейтнот + не так то просто обобщить и оформить то, что было всеми наработано. Постепенно сделаю это.

И, наконец, мой радикальный тезис:
Если специалист e-learning не может или, тем более, не способен обеспечить оценку эффективной коммуникации (и иных подобных «тонких» компетенций) в eL 1.0, то ни в сетевом (даже в cMOOC), ни в вебинарном обучении он на деле вряд ли умеет это сделать, даже если ему кажется, что это не так.
Неспособность и/или неумение специалиста формализовать оценку «тонких компетенций» в еL 1.0 является симптомом того, что он вряд ли умеет это делать осознанно, рационально, операционально и в «более коммуникативных» форматах осуществления e-learning.

ссылка на это сообщение
 
 
 

Рейтинг 567
От Елена Локтева, 10 августа 2013 г. в 10:59
Лена,
сначала поспорю с твоим тезисом про «ни одна из четырех групп участников не
предложила способа, который был бы применим только к большим группам»
1. в рамках eL 1.0. размер группы безразличен;
2. как раз наша группа, рассматривавшая способы оценки компетенции
«Убедительная коммуникация», предложила ряд таких решений.
Володя, речь шла именно о группах на вебинарах: не предложили участники метода, который только на больших группах в в-классе работает. Т.е. все предложенные методы были либо универсальными (для любых групп), либо для малых групп. Т.к. вебинары это не eL 1.0, то размер группы все-таки имеет значение.

Неспособность и/или неумение специалиста формализовать оценку «тонких
компетенций» в еL 1.0 является симптомом того, что он вряд ли умеет это делать
- осознанно, рационально, операционально и в «более коммуникативных» форматах
осуществления e-learning.
Думаю, это слишком радикально:) Особенно если интерпретировать компетенцию как наблюдаемое поведение: наблюдать и замерять поведение человека проще в коммуникации с ним. Я бы скорее подписалась под тем, что если специалисту удается наблюдать, оценивать и развивать компетенцию в eL 1.0, то это уже высший пилотаж.
Мы сейчас разрабатываем такой продукт, по совершенно понятной, наглядной, прозрачной методике. И несмотря на всю ее понятность, реализовать ее не так просто, причем, я сейчас не про инструменты говорю (с ними как раз проблем нет).
ссылка на это сообщение  уже поддержал 1 участник
 
 
 

Рейтинг 901
От Владимир Наумов, 11 августа 2013 г. в 12:00
Елена Локтева сказала:
Лена,
сначала поспорю с твоим тезисом про «ни одна из четырех групп участников не
предложила способа, который был бы применим только к большим группам»
1. в рамках eL 1.0. размер группы безразличен;
2. как раз наша группа, рассматривавшая способы оценки компетенции
«Убедительная коммуникация», предложила ряд таких решений.
Володя, речь шла именно о группах на вебинарах: не предложили участники метода,
который только на больших группах в в-классе работает. Т.е. все предложенные
методы были либо универсальными (для любых групп), либо для малых групп. Т.к.
вебинары это не eL 1.0, то размер группы все-таки имеет значение.
Если про вебинары согласен. Более того, на больших группах (более 12-15 чел.) нормально можно лекции проводить, ну, разве что с элементами беседы и посттестированием.
Касательно же работы со столь тонкими компетенциями, как коммуникативные, группа, ИМХО, должна быть 6-8, хуже 10-12 чел., включая ведущего и его ассистента.
Неспособность и/или неумение специалиста формализовать оценку «тонких
компетенций» в еL 1.0 является симптомом того, что он вряд ли умеет это делать
- осознанно, рационально, операционально и в «более коммуникативных» форматах
осуществления e-learning.
Думаю, это слишком радикально:) Особенно если интерпретировать компетенцию
как наблюдаемое поведение: наблюдать и замерять поведение человека проще в
коммуникации с ним. Я бы скорее подписалась под тем, что если специалисту
удается наблюдать, оценивать и развивать компетенцию в eL 1.0, то это уже
высший пилотаж.
Лена, сам понимаю, что «очень радикально». Понятно, что можно и вовсе без еЛ нужную компетенцию оценивать/измерять. еЛ же 1.0 здесь для меня как раз суть критериальное основание (выходить оно в еЛ 1.0 значит факт налицо) и высший пилотаж, в частности, в его рамках как раз и можно формировать у илёнинцев компетенцию формировать и оценивать тонкие компетенции. Уж если умеешь ее мерить в еЛ 1.0, то и в остальных форматах сумеешь. Именно еЛ 1.0 позволяет работать с такими компетенциями в явном виде, в то время как очка, вебинары, cMOOC'и и т.п. на практике часто измеряют ее интуитивно, по наитию, с опасностью чрезмерного субъективизма.
ссылка на это сообщение  уже поддержал 1 участник
 
 
 

Рейтинг 567
От Елена Локтева, 12 августа 2013 г. в 20:01
компетенцию формировать и оценивать тонкие компетенции. Уж если умеешь ее
мерить в еЛ 1.0, то и в остальных форматах сумеешь. Именно еЛ 1.0 позволяет
работать с такими компетенциями в явном виде, в то время как очка, вебинары,
cMOOC'и и т.п. на практике часто измеряют ее интуитивно, по наитию, с
опасностью чрезмерного субъективизма.

Имею два сомнения по этому поводу.

Сомнение 1. Не уверена, что умение мерить в еЛ 1.0 автоматом гарантирует умение мерить в 2.0. Одно дело вооружиться четким алгоритмом, задать идеальное поведение и сравнивая замеряемое с идеальным. Другое дело уметь наблюдать и делать выводы в живой коммуникации (неважно, онлайн или оффлайн).

Сомнение 2. Опасность субъективизма при живом наблюдении, конечно, существует. Но, анализируя «вручную», можно заметить то, чего не заметишь в автоматизированном.
ссылка на это сообщение
 
 

Цитатник

Всего 2 цитаты из статьи и её обсуждения;
2 цитаты отмечены метками:
Елена Локтева
Для того, чтобы оценивать убедительную коммуникацию, необходимо, чтобы виртуальный класс был средой, предназначенной для коммуникации. 
перейти к статье
Елена Локтева
Полезный тролль. Один из участников вебинара выполняет функцию подсадного тролл 
перейти к статье
 

©  www.e-learning.by
: el-info (at) e-learning by Пишите письма!: el-info (at) e-learning by