Поиск: 
Ресурсы Обсуждения События Сервисы Опросы Сообщество
RSS-лента мобильная
версия
 
Главная страница :: Вебинары :: Вебинар «Трудности в оценке электронных курсов»

Вебинар «Трудности в оценке электронных курсов»

Ведущий: Владимир Наумов
Время: с 31 мая 2011 12:00 по 13:00 (время московское)
Место: v-class.ru
Тип: вебинар
Организатор: WebSoft

Рассматриваемые вопросы

  1. Какими критериями пользоваться при оценке е-курсов?
  2. Курсы разные, а критерии их оценки...?
  3. В поисках универсальных критериев, или Поищем критерии на все случаи курсов.
  4. Если экспертов много, а курс — один-единственный?

Регистрация по ссылке: http://www.v-class.ru/db/vc/cid/5608760554775983502/conference.html



Комментарии (29)
 
 

Рейтинг 790
От Олег Лавров, 31 мая 2011 г. в 09:29
Владимир!
Меня интересуют критерии

(а) слушателя, студента, случайного визитера
(б) разработчика контента
(в) учителя, трайнера, тьютора, ментора
(г) заказчика, инвестора, плтельщика

Видимо, они не совпадают?
Существуют ли «универсальные» критерии?

В надежде и в обучении с вами!
О.Лавров
ссылка на это сообщение
 
 
 

Рейтинг 207
От НЭО Группа, 31 мая 2011 г. в 13:38
Олег, спасибо за поддержку. Давайте продолжим обсуждение, если есть желание.

А для начала выкладываю:
Ссылка для просмотра записи:
Ссылка для скачивания записи



прикреплён Trudnosti-v-ocenke.ppt (1323 кБ)
ссылка на это сообщение
 
 
 

Рейтинг 790
От Олег Лавров, 31 мая 2011 г. в 19:01
В!

Спс. Почитал. Усвоил. Есть вопросы. Завтра. Изложу. Субъективно. В виде таблицы. Надюсь.

Олег.
ссылка на это сообщение
 
 
 

Рейтинг 901
От Владимир Наумов, 31 мая 2011 г. в 19:59
Олег,
если заметили, я сам ставил вопросы и сам пытался ответить на них в эфире. И мой ответ — это лишь версия, гипотезо-версия, если угодно. На полную правильность своих слов не претендую. Знаю, что моя позиция еще сыра-пресыра.

Сам хочу разобраться:
верно ли, что грамотно обеспеченный контентом учебный процесс + его правильная его организация по определению не противоречит интересам заказчиков этого учебного процесса. Вебинар показал, что сильна позиция — главное интересы заказчика обучения, а если между требованиями заказчика и педагогическими требованиями к курсу возникают противоречия, то решать их нужно в пользу заказчика.


ссылка на это сообщение
 
 
 

Рейтинг 790
От Олег Лавров, 1 июня 2011 г. в 11:07
Мысли в табличной форме приложены
kriterii.pdf
ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 1 июня 2011 г. в 19:07
Вот-вот, Олег, градиенты ортогональны, как процессный и инновационный подходы в одной организации. К сожалению, у нас сейчас запарка, даже на почту приходится отвечать «через силу». А так хочется с Вами «пободаться».
ссылка на это сообщение
 
 
 

Рейтинг 901
От Владимир Наумов, 2 июня 2011 г. в 08:28
Коллеги, что-то мне подсказывает, что речь идет о 2-х разных ортогональностях:
1. ортогональность «бюджет — объем» очень убедительна для восприятия, таки ласкает изможденную малобюджетностью душу еЛ персонала.
А не факт, Олег, что в это «правильная реальность». не стоил ли направить бюджет на оптимизацию объема, а не наращивание бессмысленного «развития» объема?
2. А про "вашу ортогональность, Вячеслав, действительно, нужно поразмымлить особо. Высвобождайтесь поскорее, очень хочется с Вами эту тему обсудить.
ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 2 июня 2011 г. в 09:21
Владимир, а как мне хочется!
ссылка на это сообщение
 
 
 

Рейтинг 790
От Олег Лавров, 2 июня 2011 г. в 09:39
Коллеги!
А про критерии? Закончим? Взгрустнул я от лаконичности.
Фокус внимания темы «О критериях» ускользает. Взгрустнул вторично.
В надежде держу субъектив.
ссылка на это сообщение
 
 
 

Рейтинг 901
От Владимир Наумов, 2 июня 2011 г. в 10:34
Спасибо, что держите тему.

Итак, спрошу. Какое отношение (прямое или косвенное) имеет бюджет (функция?) к критериям оценки курса. Больше денег — результативнее курс? Не вижу здесь надежной зависимости
ссылка на это сообщение
 
 
 

Рейтинг 790
От Олег Лавров, 2 июня 2011 г. в 14:36
Больше денег — результативнее курс?
Краткий ответ — «да» при «правильном» менеджменте" разработки «правильными» разработчиками.
Мы все время думаем о том, что «хорошая разработка не всегда дорогая», т.е хорошее — даром.
Так не бывает. Точнее бывает, когда сам себе не платишь (только временем) и делаешь для себя. То бишь сам себе заказчик, .... думая о последующем тираже «за деньги». Это исключения. мы их не рассмартиваем.

Итак, все с точностью до наоборот. Сценарий жесткий таков:
Цели-->ТЗ (тех-творческое задание)--->Бюджет--->... Далее АДДИЕ
Иначе говоря Бюджет соотв ТЗ, который соответствует Целям.
------
Критерий хорошести таков — Курс соответствует целям? Да! На 100%? «Да»
-----
Все остальное — антропофорфично. Красивый, интересный, мультимедийный, мотивирующий....
Прилагательные не в счет! Это элементы субъективизма и восприятия, и «любви к собственному восприятию»
----
Итак: курс ДОЛЖЕН соответствовать ЦЕЛЯМ, а БЮДЖЕТ должен соотвествовать ТЗ.
-----
Вроде все.
Ругайте.




ссылка на это сообщение
 
 
 

Рейтинг 901
От Владимир Наумов, 2 июня 2011 г. в 18:16
Олег,
«поругаюсь» чуть позже. Сейчас просто не могу, ибо не понятно, куда девалась ортогональность, которую вы живописали во вложении? Цели и бюджет, согласно схеме — это F1. А ТЗ к какой функции относите?
ссылка на это сообщение
 
 
 

Рейтинг 790
От Олег Лавров, 3 июня 2011 г. в 09:15
Тех-ТворчЗадание лежит между Целями и Бюджетом.
Бюджет это завешающий аккорд ТЗ.
. . . .
ТЗ зависит от правльности постановки цели(ей). Цель оранжируется начальными и граничными условиями. Правильно поставленная цель может быть такой:
- За период от... до, или за 1...к занятий (учебных актов) изучить (освоить, внедрить...) А, Б, ..., Я
- целевая группа — ххххххх, 1...n участников
. . .
Разработчик вариативно предлагает формат, метод, хард, софт, способ оценки знаний/умений) естественно с разными показателями бюджета и соотвественно...
. . .
Заказчик Устремляет бюджет к минимуму (!)
Исполнитель устремляет бюджет к максимуму, аппелируя к эмоциам — красиво, мультимедино и проч.
ВОТ это и есть «ортогональность»
. . .
Если Исполнитель «ограничит» свой «идеал» и будет проектировать «просто, понятно и без мултипретензий на красовту», т.е. «делать, делать и еще раз делать», то ортогональность может быть «понижена или снята» вовсе.
. . .
Подозреваю, что мы думаем о «Критерии» качества курса без ограничений на бюджет, или с бесконечным бюджетом. В жизни так не бывает.
Но!
Это интересно — найти такой критерий качества, видимо многопараметрический.
Затем, рассматривая «части» критерия, понизить из «бюджетную стоимость».
Достойная задача всем нам.
. . .
Критерий! Ау! Каков ты"

Мой взгляд каков? См. предыдущий постинг!
С вами,
Олег

ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 3 июня 2011 г. в 22:59
Олег, начинаю «ругаться».
Логика научного подхода: сначала констатация (формулировка) проблемы, затем анализ (разбиение, формулировка отдельных задач), затем выбор метолов (инструментов) решения задач, затем собственно решение задач, затем синтез решения проболемы, затем сравнения решения с постановкой проблемы и оценка «качества» решения. Во-первых получен ли ожидаемый результат (результативность); во-вторых, качество результата (эффективность). Вот тут то и появляется «человеческий» фактор — кто и как производит оценку.
А вот это новая проблема, которую люди пока решить не могут.
Что же происходит на практике на этом этапе (апогей конфликта между заказчиком и исполнителем). Примеры.
1. Исполнитель — Правительство, заказчик — Народ. время — конец 30-х годов прошлого века.
Проблема — фашизм.
Правительство: «Разобьём малой кровью и на чужой территории!»
Народ: «Урррааа!»
Результат. Результативность признана всеми. Эффективность: погибшие — 27 миллионов (в Беларуссии половина населения, немцев Поволжья тоже около половины численности), разруха экономики.
Правительство высоко оценило качество исполнения заказа. Народ — безмолствует.
2. Заказчик — Правительство, исполнители — Яйцеголовые (учёные). Проблема — нейтрализация ракет с ядерными боеголовками.
Яйцеголовые предлагают: «Создадим мощные газодинамические лазеры и отправим их дежурить на орбиту или спряем на зеиле.»
Правительство: «Ура, но что Вам для этого нужно?».
Яйцеголовые: " Тройку новых НИИ с мощной экспериментальной базой"
Результат база построена. Сейчас благополучно разворовывается.
Результат — база посторена, качество — решения проблемы не видно.
3. Пример из «родной организации». Три попытки создать собственную систему электронного обучения («малой кровью и на чужой территории») закнчивались только закачкой средств в бездонную бочку.
Мораль 1 — принима ть участив проектах, где либо заказчик, либо исполнитель непрофессионалы — аморально (либо исполнитель" водит заказчика за нос", либо заказчик самодурствует.
Мораль 2 — если в ТЗ нет чётких критериев приёмки работы, приёмку должна осуществлять третья сторона.
Мораль 3 — универсальных критериев не существует (закон природы).

ссылка на это сообщение
 
 
 

Рейтинг 901
От Владимир Наумов, 8 июня 2011 г. в 09:31
Не выходит поругаться, Олег,
поскольку согласен. Особенно в части ортогональности: ее понижения и снятия вовсе.

Касательно понижения бюджетной стоимости из моего субъективного опыта:
1) несколько раз передо мной ставилась задача — понизить себестоимость продукта без потери качества (понятно, что не сам бюджет сокращался:) дабы увеличить прибыль вендора/провайдера. Это как инвариант снятия ортогональности:)
2) касательно вилки бюджета: ведя ценовые переговоры, предлагаю варианты что то типа:
при результативности е-курса XX% стоимость работ равна N, при при результативности е-курса (XX+ 20)% стоимость работ равна 1.5N, при результативности е-курса (XX+30)% стоимость работ равна 2N. Заказчик сам понижает/повышает бюджет
ссылка на это сообщение
 
 
 

Рейтинг 790
От Олег Лавров, 11 июня 2011 г. в 08:17
О пункте 2)
Результативность курса в %,
что это?
как это?
Чуть подробнее, если возможно.
. . .
Предполагаю, что имеются «контрольные вопросы, задания, ситуации»,
слушатели справляются в той или иной мере, тогда что есть %?
- % заданий для всех 100% слушателей или
- % слушателей справившися на 100% с заданиями или
- % слушателей исполнивших правильно не менее хх% заданий или...
. . .
Задания (вопросы, ситуации, мини-проекты) согласовываются ли с заказчиком
до начала курса? Входят ли в ТЗ на курс? Оговаривается ли с заказчиком формат,
процедура исполнения заданий (ответов, проектов, кейсов)? Принимает ли участие
заказчик в процедурах проведения и способах оценивания работ (проектов, ...)?

Коротенько так...
и по-субъективному.

Самообучаюсь с Вами и благордаря Вам.
Ваш О.Лавров


ссылка на это сообщение
 
 
 

Рейтинг 201
От Максим Скрябин, 6 июня 2011 г. в 12:06
Владимир, на вебинаре прозвучала мысль: «Чтобы удовлетворить интересы заказчика, надо делать курс согласно ТЗ». В принципе, с юридической точки зрения это так: опираемся на договор + ТЗ, на основании них разрабатываем сценарий, а по сценарию верстаем курс. Правда в жизни эта цепочка может нарушаться, но это не очень хорошо...

А также было сказано, что «хорошесть» курса определяется на этапе проектирования курса (это то же самое, что создание сценария или нет?). И что криво спроектированный курс потом исправить будет непросто (иногда даже дешевле и проще оказывается создавать курс с нуля, чем изменять криво спроектированный курс).

НО...
С помощью чего можно определить на этапе проектирования(!), удовлетворяет ли курс интересы аудитории? Я всегда не очень понимал, как это сделать без апробации курса. Если для оценки соответствия интересам заказчика мы просто берем ТЗ и проверяем по нему, то какой документ надо взять (не ТЗ!), чтобы оценить соответствие интересам аудитории? Вроде это часто делается (пусть и «специально обученным человеком») достаточно интуитивно.

P.S. Да, к теме оценки курсов я питаю особый интерес:) Пусть даже с неудавшимся инструментом оценки)))
ссылка на это сообщение
 
 
 

Рейтинг 901
От Владимир Наумов, 8 июня 2011 г. в 08:37
Максим,
как раз в процессе проектирования имеется этап, направленный на изучение интересов (и потребностей, разумеется) и аудитории, и заказчика обучения, а также непротиворечивого совмещения этих интересов. Более того, учебными средствами эти интересы/потребности нельзя удовлетворить, если очевидно, что «запрос» на обучение не может быть реализован, то его нужно либо пересмотреть и сформулировать иначе, либо отказаться от разработки бессмысленного курса.
Об этом, пусть и не так резко, хорошо говорил О.Лавров в своей серии вебинаров про АДДИЕ, очень много внимания этой теме уделяла Е.Тихомирова и ее коллеги на вебинарах и в публикациях, да и мне приходилось и приходится об этом постоянно говорить и писать.

К ТЗ же можно приступать лишь после того, как запросы/потребности/интересы уже изучены, а не подгонять живые интересы под высосанное из головы ТЗ.

Утром потребности/интересы, вечером ТЗ:)

ссылка на это сообщение
 
 
 

Рейтинг 201
От Максим Скрябин, 8 июня 2011 г. в 09:00
Владимир, про интересы и потребности аудитории — это все хорошо. :) И все это мне знакомо и понятно)))
Но какой документ строится на их основании, какова структура такого документа, есть ли у кого пример такого документа?
ссылка на это сообщение
 
 
 

Рейтинг 901
От Владимир Наумов, 8 июня 2011 г. в 09:14
Максим,
такое документы строятся. См. Вебинары 1 и 2 О.Лаврова.

В моем случае — это матрицы изучения запросов и потребностей, которые строятся на основе выполнения ряда алгоритмов или анализа опросников. Некоторые матрицы и опросники могут, ИМХО, быть даже математически проанализированы/проинтерпретированы. Да сам я в этом не силен. Подключайся
ссылка на это сообщение
 
 
 

Рейтинг 201
От Максим Скрябин, 8 июня 2011 г. в 22:47
Ну... математически, скорее, можно произвести сегментацию целевой аудитории.
Остальное же... Не знаю, где там можно применить математику:(
ссылка на это сообщение
 
 
 

Рейтинг 207
От НЭО Группа, 9 июня 2011 г. в 14:58
Максим, давайте эту тему обсудим не публично. Здесь все-таки есть кое-какие решения.
ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 3 июня 2011 г. в 08:07
Коллеги, пока небольшая ремарка. В образовании практикуются следующие системы оценки знаний:
- двоичная (зачёт-незачёт), её точность я бы оценил в 33%;
- четверичная (2,3,4,5)- точность 20%;
- 10 балльная — точность 10%;
- 100 балльная — точность (с кучей оговорок) 5%.
Чем выше точность, тем больше требований к компетенциям оценивающего дороже разработка процедуры и проведение оценки. Рассматриваемые выше нюансы можно учитывать тлько начиная с 10-балльной. К тому же при появлении «ортогональности» повышение оценки по одной «координате» снижает оценку по "другой ".
А кому это нужно? Приэтом при множестве заинтересованных сторон каждой стороне результат нужно «переводить» на понятный ей язык....


ссылка на это сообщение
 
 
 

Рейтинг 569
От Елена Локтева, 9 июня 2011 г. в 10:20
Вячеслав Александрович, +100 за системы оценки:)))
А как Вы оцените точность самооценки?
ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 9 июня 2011 г. в 14:04
Самооценка — личное дело каждого.
ссылка на это сообщение
 
 
 

Рейтинг 569
От Елена Локтева, 9 июня 2011 г. в 14:39
И тем не менее? Хотя бы диапазон точности оценки, при условии, что слушатели оценивают себя сами?
ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 9 июня 2011 г. в 17:29
Лично мне нравится правило Паретто — 80%. Если модуль (курс) очень «не в кайф», то можно и меньше, а если из разряда любимых, то желательно побольше.
ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 9 июня 2011 г. в 17:39
При ортогональности (апример), знание теории и умение её применять на практик, я разбиваю оценку (например, 100-бплльную на на две части: 50 за теорию и 50 за пратику). Итоговая оценка равна сумме баллов.
ссылка на это сообщение
 
 
 

Рейтинг 468
От Вячеслав Лебсак, 9 июня 2011 г. в 17:41
Облом! Сплошные опечатки.
ссылка на это сообщение
 
Новости

 
12 апреля 2013 г.

Конкурс для Мастеров e-learning!

Считаете себя специалистов в e-learning? Имеете уникальный опыт в интересных проектах? Уверены, что вам есть чем удивить коллег по цеху? Тогда вам непременно нужно принять участие в этом конкурсе!
Подробнее...
 
6 февраля 2013 г.

Зимняя школа e-learning 2013 состоялась!

6-я по счету Школа e-learning, по мнению «школьников-ветеранов», была самой интересной и насыщенной. Читайте небольшой отчет!
Подробнее...
 
РЕКЛАМА
789club

©  www.e-learning.by
: el-info (at) e-learning by Пишите письма!: el-info (at) e-learning by