1. Большой объем тестов вызывает у меня большие сомнения. Думаю, рано или поздно, ответы на них будут собраны, и придется их перерабатывать и актуализировать. Следовательно, чем больше объем, тем больше сложностей с его актуализацией.
2. Автогенерация тестов — хорошая фишка, но, как Вы правильно заметили, не всегда прокатит. Я, например, всегда старалась делать тесты не на знания, а на понимание. Пытаюсь осознать, как можно было бы генерировать подобные моим тесты автоматически — не сильно пока получается, хотя не исключаю, что алгоритм придумать можно, если постараться.
3. А разве дистанционнщики не выполняют заданий и не задают вопросов по ходу курса? У меня, к примеру, на курсе CorelDRAW было 17 контрольных точек: не только тесты (по пройденной теме), но и некие тестовые задания, которые надо было проверять, комментировать и т.п.. У каждой контрольной точки — свой вес. Итоговая взвешенная оценка, как правило, получалась адекватной уровню обучаемого. Если и были приграничные состояния, то у 1-2 человек, и я просто предлагала им исправить оценки по каким-либо промежуточным заданиям. Кто-то исправлял, получал бОльшую оценку. Кто-то говорил, что ему достаточно и меньшей. Экзамен принимался быстро и без стрессов.
Я вообще, если честно, не считаю справедливым подход, когда слушатель весь курс (несколько недель или даже несколько месяцев) работал, проявлялся и все такое, но в конце я полагаюсь на одно-единственное задание, которое по ряду объективных причин может перечеркнуть все, чего он достиг за это время. Я сама будучи студенткой, несколько раз проходила через такие обломы, и помню, как это всегда было обидно, ведь я полгода так хорошо все делала, и вот пожалуйста. Как-то раз в ответ на это мне сказали, что экзамен — это проверка того, как человек умеет собраться и применить полученные ЗУН в стрессовой ситуации. Но меня этот аргумент не убеждает.
И я совершенно согласна, что главное — стимул к тестированию. Человек должен понимать, для чего он проходит этот тест. Когда я для тестов на своих курсах снизила вес, и объяснила слушателям, что от оценки за тест итоговая оценка зависит всего на 20%, и что он больше для того, чтобы они еще раз осознали, что у них отложилось, а в чем еще остались вопросы, сразу обстановка с тестами разрядилась. Более того, когда я предложила убрать эти контрольные точки, меня попросили их оставить!