Поиск: 
Ресурсы Обсуждения События Сервисы Опросы Сообщество
RSS-лента RSS-лентамобильная
версия
 
мобильная версия
Главная страница :: Вебинары :: Вебинар «Трудности в оценке электронных курсов»

Вебинар «Трудности в оценке электронных курсов»

вебинар
Ведущий: Владимир Наумов
Время: с 31 мая 2011 12:00 по 13:00 (время московское)
Место: v-class.ru
Тип: вебинар
Организатор: WebSoft

Рассматриваемые вопросы

  1. Какими критериями пользоваться при оценке е-курсов?
  2. Курсы разные, а критерии их оценки...?
  3. В поисках универсальных критериев, или Поищем критерии на все случаи курсов.
  4. Если экспертов много, а курс один-единственный?

Регистрация по ссылке: http://www.v-class.ru/db/vc/cid/5608760554775983502/conference.html



Комментарии (29)
 
 
Олег Лавров
Рейтинг 788
От Олег Лавров, 31 мая 2011 г. в 09:29
Владимир!
Меня интересуют критерии

(а) слушателя, студента, случайного визитера
(б) разработчика контента
(в) учителя, трайнера, тьютора, ментора
(г) заказчика, инвестора, плтельщика

Видимо, они не совпадают?
Существуют ли «универсальные» критерии?

В надежде и в обучении с вами!
О.Лавров
ссылка на это сообщение
 
 
 
НЭО Группа
Рейтинг 206
От НЭО Группа, 31 мая 2011 г. в 13:38
Олег, спасибо за поддержку. Давайте продолжим обсуждение, если есть желание.

А для начала выкладываю:
Ссылка для просмотра записи:
Ссылка для скачивания записи



прикреплён Trudnosti-v-ocenke.ppt (1323 кБ)
ссылка на это сообщение
 
 
 
Олег Лавров
Рейтинг 788
От Олег Лавров, 31 мая 2011 г. в 19:01
В!

Спс. Почитал. Усвоил. Есть вопросы. Завтра. Изложу. Субъективно. В виде таблицы. Надюсь.

Олег.
ссылка на это сообщение
 
 
 
Владимир Наумов
Рейтинг 900
От Владимир Наумов, 31 мая 2011 г. в 19:59
Олег,
если заметили, я сам ставил вопросы и сам пытался ответить на них в эфире. И мой ответ это лишь версия, гипотезо-версия, если угодно. На полную правильность своих слов не претендую. Знаю, что моя позиция еще сыра-пресыра.

Сам хочу разобраться:
верно ли, что грамотно обеспеченный контентом учебный процесс + его правильная его организация по определению не противоречит интересам заказчиков этого учебного процесса. Вебинар показал, что сильна позиция главное интересы заказчика обучения, а если между требованиями заказчика и педагогическими требованиями к курсу возникают противоречия, то решать их нужно в пользу заказчика.


ссылка на это сообщение
 
 
 
Олег Лавров
Рейтинг 788
От Олег Лавров, 1 июня 2011 г. в 11:07
Мысли в табличной форме приложены
kriterii.pdf
ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 1 июня 2011 г. в 19:07
Вот-вот, Олег, градиенты ортогональны, как процессный и инновационный подходы в одной организации. К сожалению, у нас сейчас запарка, даже на почту приходится отвечать «через силу». А так хочется с Вами «пободаться».
ссылка на это сообщение
 
 
 
Владимир Наумов
Рейтинг 900
От Владимир Наумов, 2 июня 2011 г. в 08:28
Коллеги, что-то мне подсказывает, что речь идет о 2-х разных ортогональностях:
1. ортогональность «бюджет объем» очень убедительна для восприятия, таки ласкает изможденную малобюджетностью душу еЛ персонала.
А не факт, Олег, что в это «правильная реальность». не стоил ли направить бюджет на оптимизацию объема, а не наращивание бессмысленного «развития» объема?
2. А про "вашу ортогональность, Вячеслав, действительно, нужно поразмымлить особо. Высвобождайтесь поскорее, очень хочется с Вами эту тему обсудить.
ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 2 июня 2011 г. в 09:21
Владимир, а как мне хочется!
ссылка на это сообщение
 
 
 
Олег Лавров
Рейтинг 788
От Олег Лавров, 2 июня 2011 г. в 09:39
Коллеги!
А про критерии? Закончим? Взгрустнул я от лаконичности.
Фокус внимания темы «О критериях» ускользает. Взгрустнул вторично.
В надежде держу субъектив.
ссылка на это сообщение
 
 
 
Владимир Наумов
Рейтинг 900
От Владимир Наумов, 2 июня 2011 г. в 10:34
Спасибо, что держите тему.

Итак, спрошу. Какое отношение (прямое или косвенное) имеет бюджет (функция?) к критериям оценки курса. Больше денег результативнее курс? Не вижу здесь надежной зависимости
ссылка на это сообщение
 
 
 
Олег Лавров
Рейтинг 788
От Олег Лавров, 2 июня 2011 г. в 14:36
Больше денег — результативнее курс?
Краткий ответ «да» при «правильном» менеджменте" разработки «правильными» разработчиками.
Мы все время думаем о том, что «хорошая разработка не всегда дорогая», т.е хорошее даром.
Так не бывает. Точнее бывает, когда сам себе не платишь (только временем) и делаешь для себя. То бишь сам себе заказчик, .... думая о последующем тираже «за деньги». Это исключения. мы их не рассмартиваем.

Итак, все с точностью до наоборот. Сценарий жесткий таков:
Цели-->ТЗ (тех-творческое задание)--->Бюджет--->... Далее АДДИЕ
Иначе говоря Бюджет соотв ТЗ, который соответствует Целям.
------
Критерий хорошести таков Курс соответствует целям? Да! На 100%? «Да»
-----
Все остальное антропофорфично. Красивый, интересный, мультимедийный, мотивирующий....
Прилагательные не в счет! Это элементы субъективизма и восприятия, и «любви к собственному восприятию»
----
Итак: курс ДОЛЖЕН соответствовать ЦЕЛЯМ, а БЮДЖЕТ должен соотвествовать ТЗ.
-----
Вроде все.
Ругайте.




ссылка на это сообщение
 
 
 
Владимир Наумов
Рейтинг 900
От Владимир Наумов, 2 июня 2011 г. в 18:16
Олег,
«поругаюсь» чуть позже. Сейчас просто не могу, ибо не понятно, куда девалась ортогональность, которую вы живописали во вложении? Цели и бюджет, согласно схеме это F1. А ТЗ к какой функции относите?
ссылка на это сообщение
 
 
 
Олег Лавров
Рейтинг 788
От Олег Лавров, 3 июня 2011 г. в 09:15
Тех-ТворчЗадание лежит между Целями и Бюджетом.
Бюджет это завешающий аккорд ТЗ.
. . . .
ТЗ зависит от правльности постановки цели(ей). Цель оранжируется начальными и граничными условиями. Правильно поставленная цель может быть такой:
- За период от... до, или за 1...к занятий (учебных актов) изучить (освоить, внедрить...) А, Б, ..., Я
- целевая группа ххххххх, 1...n участников
. . .
Разработчик вариативно предлагает формат, метод, хард, софт, способ оценки знаний/умений) естественно с разными показателями бюджета и соотвественно...
. . .
Заказчик Устремляет бюджет к минимуму (!)
Исполнитель устремляет бюджет к максимуму, аппелируя к эмоциам красиво, мультимедино и проч.
ВОТ это и есть «ортогональность»
. . .
Если Исполнитель «ограничит» свой «идеал» и будет проектировать «просто, понятно и без мултипретензий на красовту», т.е. «делать, делать и еще раз делать», то ортогональность может быть «понижена или снята» вовсе.
. . .
Подозреваю, что мы думаем о «Критерии» качества курса без ограничений на бюджет, или с бесконечным бюджетом. В жизни так не бывает.
Но!
Это интересно найти такой критерий качества, видимо многопараметрический.
Затем, рассматривая «части» критерия, понизить из «бюджетную стоимость».
Достойная задача всем нам.
. . .
Критерий! Ау! Каков ты"

Мой взгляд каков? См. предыдущий постинг!
С вами,
Олег

ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 3 июня 2011 г. в 22:59
Олег, начинаю «ругаться».
Логика научного подхода: сначала констатация (формулировка) проблемы, затем анализ (разбиение, формулировка отдельных задач), затем выбор метолов (инструментов) решения задач, затем собственно решение задач, затем синтез решения проболемы, затем сравнения решения с постановкой проблемы и оценка «качества» решения. Во-первых получен ли ожидаемый результат (результативность); во-вторых, качество результата (эффективность). Вот тут то и появляется «человеческий» фактор кто и как производит оценку.
А вот это новая проблема, которую люди пока решить не могут.
Что же происходит на практике на этом этапе (апогей конфликта между заказчиком и исполнителем). Примеры.
1. Исполнитель Правительство, заказчик Народ. время конец 30-х годов прошлого века.
Проблема фашизм.
Правительство: «Разобьём малой кровью и на чужой территории!»
Народ: «Урррааа!»
Результат. Результативность признана всеми. Эффективность: погибшие 27 миллионов (в Беларуссии половина населения, немцев Поволжья тоже около половины численности), разруха экономики.
Правительство высоко оценило качество исполнения заказа. Народ безмолствует.
2. Заказчик Правительство, исполнители Яйцеголовые (учёные). Проблема нейтрализация ракет с ядерными боеголовками.
Яйцеголовые предлагают: «Создадим мощные газодинамические лазеры и отправим их дежурить на орбиту или спряем на зеиле.»
Правительство: «Ура, но что Вам для этого нужно?».
Яйцеголовые: " Тройку новых НИИ с мощной экспериментальной базой"
Результат база построена. Сейчас благополучно разворовывается.
Результат база посторена, качество решения проблемы не видно.
3. Пример из «родной организации». Три попытки создать собственную систему электронного обучения («малой кровью и на чужой территории») закнчивались только закачкой средств в бездонную бочку.
Мораль 1 принима ть участив проектах, где либо заказчик, либо исполнитель непрофессионалы аморально (либо исполнитель" водит заказчика за нос", либо заказчик самодурствует.
Мораль 2 если в ТЗ нет чётких критериев приёмки работы, приёмку должна осуществлять третья сторона.
Мораль 3 универсальных критериев не существует (закон природы).

ссылка на это сообщение
 
 
 
Владимир Наумов
Рейтинг 900
От Владимир Наумов, 8 июня 2011 г. в 09:31
Не выходит поругаться, Олег,
поскольку согласен. Особенно в части ортогональности: ее понижения и снятия вовсе.

Касательно понижения бюджетной стоимости из моего субъективного опыта:
1) несколько раз передо мной ставилась задача понизить себестоимость продукта без потери качества (понятно, что не сам бюджет сокращался:) дабы увеличить прибыль вендора/провайдера. Это как инвариант снятия ортогональности:)
2) касательно вилки бюджета: ведя ценовые переговоры, предлагаю варианты что то типа:
при результативности е-курса XX% стоимость работ равна N, при при результативности е-курса (XX+ 20)% стоимость работ равна 1.5N, при результативности е-курса (XX+30)% стоимость работ равна 2N. Заказчик сам понижает/повышает бюджет
ссылка на это сообщение
 
 
 
Олег Лавров
Рейтинг 788
От Олег Лавров, 11 июня 2011 г. в 08:17
О пункте 2)
Результативность курса в %,
что это?
как это?
Чуть подробнее, если возможно.
. . .
Предполагаю, что имеются «контрольные вопросы, задания, ситуации»,
слушатели справляются в той или иной мере, тогда что есть %?
- % заданий для всех 100% слушателей или
- % слушателей справившися на 100% с заданиями или
- % слушателей исполнивших правильно не менее хх% заданий или...
. . .
Задания (вопросы, ситуации, мини-проекты) согласовываются ли с заказчиком
до начала курса? Входят ли в ТЗ на курс? Оговаривается ли с заказчиком формат,
процедура исполнения заданий (ответов, проектов, кейсов)? Принимает ли участие
заказчик в процедурах проведения и способах оценивания работ (проектов, ...)?

Коротенько так...
и по-субъективному.

Самообучаюсь с Вами и благордаря Вам.
Ваш О.Лавров


ссылка на это сообщение
 
 
 
Максим Скрябин
Рейтинг 200
От Максим Скрябин, 6 июня 2011 г. в 12:06
Владимир, на вебинаре прозвучала мысль: «Чтобы удовлетворить интересы заказчика, надо делать курс согласно ТЗ». В принципе, с юридической точки зрения это так: опираемся на договор + ТЗ, на основании них разрабатываем сценарий, а по сценарию верстаем курс. Правда в жизни эта цепочка может нарушаться, но это не очень хорошо...

А также было сказано, что «хорошесть» курса определяется на этапе проектирования курса (это то же самое, что создание сценария или нет?). И что криво спроектированный курс потом исправить будет непросто (иногда даже дешевле и проще оказывается создавать курс с нуля, чем изменять криво спроектированный курс).

НО...
С помощью чего можно определить на этапе проектирования(!), удовлетворяет ли курс интересы аудитории? Я всегда не очень понимал, как это сделать без апробации курса. Если для оценки соответствия интересам заказчика мы просто берем ТЗ и проверяем по нему, то какой документ надо взять (не ТЗ!), чтобы оценить соответствие интересам аудитории? Вроде это часто делается (пусть и «специально обученным человеком») достаточно интуитивно.

P.S. Да, к теме оценки курсов я питаю особый интерес:) Пусть даже с неудавшимся инструментом оценки)))
ссылка на это сообщение
 
 
 
Владимир Наумов
Рейтинг 900
От Владимир Наумов, 8 июня 2011 г. в 08:37
Максим,
как раз в процессе проектирования имеется этап, направленный на изучение интересов (и потребностей, разумеется) и аудитории, и заказчика обучения, а также непротиворечивого совмещения этих интересов. Более того, учебными средствами эти интересы/потребности нельзя удовлетворить, если очевидно, что «запрос» на обучение не может быть реализован, то его нужно либо пересмотреть и сформулировать иначе, либо отказаться от разработки бессмысленного курса.
Об этом, пусть и не так резко, хорошо говорил О.Лавров в своей серии вебинаров про АДДИЕ, очень много внимания этой теме уделяла Е.Тихомирова и ее коллеги на вебинарах и в публикациях, да и мне приходилось и приходится об этом постоянно говорить и писать.

К ТЗ же можно приступать лишь после того, как запросы/потребности/интересы уже изучены, а не подгонять живые интересы под высосанное из головы ТЗ.

Утром потребности/интересы, вечером ТЗ:)

ссылка на это сообщение
 
 
 
Максим Скрябин
Рейтинг 200
От Максим Скрябин, 8 июня 2011 г. в 09:00
Владимир, про интересы и потребности аудитории это все хорошо. :) И все это мне знакомо и понятно)))
Но какой документ строится на их основании, какова структура такого документа, есть ли у кого пример такого документа?
ссылка на это сообщение
 
 
 
Владимир Наумов
Рейтинг 900
От Владимир Наумов, 8 июня 2011 г. в 09:14
Максим,
такое документы строятся. См. Вебинары 1 и 2 О.Лаврова.

В моем случае это матрицы изучения запросов и потребностей, которые строятся на основе выполнения ряда алгоритмов или анализа опросников. Некоторые матрицы и опросники могут, ИМХО, быть даже математически проанализированы/проинтерпретированы. Да сам я в этом не силен. Подключайся
ссылка на это сообщение
 
 
 
Максим Скрябин
Рейтинг 200
От Максим Скрябин, 8 июня 2011 г. в 22:47
Ну... математически, скорее, можно произвести сегментацию целевой аудитории.
Остальное же... Не знаю, где там можно применить математику:(
ссылка на это сообщение
 
 
 
НЭО Группа
Рейтинг 206
От НЭО Группа, 9 июня 2011 г. в 14:58
Максим, давайте эту тему обсудим не публично. Здесь все-таки есть кое-какие решения.
ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 3 июня 2011 г. в 08:07
Коллеги, пока небольшая ремарка. В образовании практикуются следующие системы оценки знаний:
- двоичная (зачёт-незачёт), её точность я бы оценил в 33%;
- четверичная (2,3,4,5)- точность 20%;
- 10 балльная точность 10%;
- 100 балльная точность (с кучей оговорок) 5%.
Чем выше точность, тем больше требований к компетенциям оценивающего дороже разработка процедуры и проведение оценки. Рассматриваемые выше нюансы можно учитывать тлько начиная с 10-балльной. К тому же при появлении «ортогональности» повышение оценки по одной «координате» снижает оценку по "другой ".
А кому это нужно? Приэтом при множестве заинтересованных сторон каждой стороне результат нужно «переводить» на понятный ей язык....


ссылка на это сообщение
 
 
 
Елена Локтева
Рейтинг 567
От Елена Локтева, 9 июня 2011 г. в 10:20
Вячеслав Александрович, +100 за системы оценки:)))
А как Вы оцените точность самооценки?
ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 9 июня 2011 г. в 14:04
Самооценка личное дело каждого.
ссылка на это сообщение
 
 
 
Елена Локтева
Рейтинг 567
От Елена Локтева, 9 июня 2011 г. в 14:39
И тем не менее? Хотя бы диапазон точности оценки, при условии, что слушатели оценивают себя сами?
ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 9 июня 2011 г. в 17:29
Лично мне нравится правило Паретто 80%. Если модуль (курс) очень «не в кайф», то можно и меньше, а если из разряда любимых, то желательно побольше.
ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 9 июня 2011 г. в 17:39
При ортогональности (апример), знание теории и умение её применять на практик, я разбиваю оценку (например, 100-бплльную на на две части: 50 за теорию и 50 за пратику). Итоговая оценка равна сумме баллов.
ссылка на это сообщение
 
 
 
Вячеслав Лебсак
Рейтинг 466
От Вячеслав Лебсак, 9 июня 2011 г. в 17:41
Облом! Сплошные опечатки.
ссылка на это сообщение
 
Новости

 
12 апреля 2013 г.

Конкурс для Мастеров e-learning!

Считаете себя специалистов в e-learning? Имеете уникальный опыт в интересных проектах? Уверены, что вам есть чем удивить коллег по цеху? Тогда вам непременно нужно принять участие в этом конкурсе!
Подробнее...
 
Зимняя школа e-learning 2013 состоялась!
6 февраля 2013 г.

Зимняя школа e-learning 2013 состоялась!

6-я по счету Школа e-learning, по мнению «школьников-ветеранов», была самой интересной и насыщенной. Читайте небольшой отчет!
Подробнее...

©  www.e-learning.by
Пишите письма!: el-info (at) e-learning by Пишите письма!: el-info (at) e-learning by