Федеральное Агентство по Образованию ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Факультет информатики Кафедра теоретических основ информатики

УДК 681.03

ДОПУСТИТЬ К ЗАЩИТЕ В ГАК

Зав. кафедрой, проф., д.т.н. _________________Ю.Л. Костюк «___»____________2006 г.

Литовченко Игорь Александрович

Разработка оболочки для создания тестов с переменной структурой в среде Macromedia Authorware

Дипломная работа

Научный руководитель: проф. каф. прикладной информатики Гладких Б.А. Исполнитель: Студент группы №1411 Литовченко И.А. Электронная версия дипломной работы помещена в электронную библиотеку. Файл ______________ Администратор______________________________

Томск – 2006

2

Реферат

Дипломная работа 50 с., 21 рис., 10 источников, 5 приложений.

ТЕСТ, ТЕСТИРУЮЩАЯ СИСТЕМА, ВАЛИДНОСТЬ, ЭФФЕКТИВНЫЙ ТЕСТ, MACRO-MEDIA AUTORWARE.

Объект исследования – тестирующие системы, технология построения тестов.

Цель работы – исследование технологии построения тестирующих систем в среде разработки Macromedia Authorware.

Методы исследования – экспериментальный на ЭВМ.

Полученные результаты – рассмотрены проблемы, возникающие при создании тести-рующих систем с переменной структурой теста и доступом через Web в среде Macromedia Authorware, предложены пути их решения. В качестве содержательного примера создан тест для студентов факультета информатики по курсу “Введение в специальность”[7].

3

Содержание Содержание ........................................................................................................................................ 3 Введение ............................................................................................................................................. 4 1. Тесты, их особенности ................................................................................................................. 6

1.1.Что такое тест? .........................................................................................................................6 1.2 Понятие эффективности теста ................................................................................................7 1.3 Критерии отбора материала для тестовых заданий..............................................................8 1.4 Виды тестов ..............................................................................................................................9 1.5 Обзор тестирующих систем ..................................................................................................11

2. Платформа Macromedia Authorware........................................................................................... 13 2.1 Введение в Authorware ..........................................................................................................13 2.2 Возможности продукта Macromedia Authorware ................................................................13 2.3 Работа с Macromedia Authorware.........................................................................................14

2.3.1 Разработка курса .............................................................................................................14 2.3.2 Добавление контента ......................................................................................................16 2.3.3 Публикация проекта .......................................................................................................16 2.3.4 Вопросы совместимости ................................................................................................17

2.4. Выводы: основные мнения о продукте Macromedia Authorware ...................................17 3. Реализация тестирующей системы в Macromedia Authorware .............................................. 18

3.1. Общий подход к реализации тестирующей системы ........................................................18 3.2. Назначение системы .............................................................................................................18 3.3. Описание пользователей ......................................................................................................18 3.4. Возможности системы..........................................................................................................18

3.4.1. Аутентификация и менеджмент пользователей .........................................................19 3.4.2. Тестирование пользователей ........................................................................................19 3.4.3. Сбор статистик и хранение истории ............................................................................20 3.4.4. Просмотр содержания ТС и выдача результата пройденного теста .........................20

3.5. Архитектура системы ...........................................................................................................20 3.6. Вид с точки зрения проектирования ...................................................................................21 3.7. Вид с точки зрения реализации ...........................................................................................22 3.8. Вид с точки зрения развертывания .....................................................................................23 3.9. Запись информации в базу данных .....................................................................................23 3.10 Базовый уровень архитектуры............................................................................................24 3.11.Тестирование ........................................................................................................................29 3.12 Проблемы реализации тестирующей системы и пути их решения ................................29

Заключение ....................................................................................................................................... 33 Список использованной литературы ............................................................................................. 34 Приложение А. Руководство для студента.................................................................................... 35 Приложение Б. Руководство программиста .................................................................................. 40 Приложение B. Руководство для преподавателя по разработке тестов ..................................... 43 Приложение Г. Руководство по установке .................................................................................... 49 Приложение Д. Схема базы данных для хранения результата тестирования............................ 50

4

Введение Каждый год студенты изучают множество дисциплин, для оценки знаний по которым традиционно используются различные способы проверки: письменный, устный и в форме компьютерного теста. Оценивание знаний в письменной и устной форме отнимает много времени, как у студентов, так и у преподавателей. В связи с этим возникает вопрос о создании тестирующей системы (далее ТС), авто-матизирующей процесс сдачи зачетов, подведение итогов, и предоставляющей преподавате-лю необходимую информацию о результатах сдачи зачета студентами.

Система должна обеспечивать эффективное взаимодействие пользователей с целью упрощения сдачи предмета, а также уменьшить нагрузку преподавателя по оцениванию зна-ний студентов.

В настоящее время на рынке существуют две разновидности коммерческих про-граммных продуктов для разработки тестирующих систем и электронного обучения:

- многофункциональные, предназначенные для решения широкого спектра задач; - узкоспециализированные, предназначенные для решения более специфических за-

дач. Каждый подобный программный продукт имеет свои достоинства, но у каждого из

них есть существенный недостаток: они используют единственную форму представления информации – текстовую. Да и способ оценивания знаний тестируемого однотипен: как пра-вило, предполагается выбрать один ответ из нескольких вариантов, при этом набор предла-гаемых вопросов и вариантов ответов является постоянным для всех прохождений теста. Та-кой способ проверки знаний имеет существенный недостаток, так как позволяет тестируе-мому легко выучить все правильные варианты ответов.

В связи с этим представляет интерес разработка тестирующих систем с переменной структурой теста. В частности, на факультете информатики ТГУ в течение многих лет ис-пользуется тестирующая система, первую версию которой спроектировал и реализовал про-фессор Ю.Л Костюк. Вторая версия этой системы была разработана в процессе выполнения дипломной работы выпускниками 1996 года В.В. Галаховым и А. С. Парамоновым. Обладая многими достоинствами – гибкостью настройки, случайным выбором вопросов и альтерна-тив ответа, данная система, однако, не удовлетворяет современным требованиям, так как она реализована в среде MS DOS и не имеет графического интерфейса. Кроме того, при органи-зации тестирования необходима установка соответствующего программного комплекса на локальном компьютере либо в локальной сети. Возможностью доступа через Web данная система, естественно, не обладала.

Перед нами стал вопрос о разработке тестирующей системы, которая бы унаследовала все достоинства и функциональность предшественницы и, плюс к этому, приобрела бы но-вые свойства и качества.

Среди всего множества современных программных средств для разработки тести-рующих систем выделяется пакет Macromedia. Authorware. Он вобрал в себя все достоинства ранее существовавших программ для создания систем электронного обучения и тестирую-щих систем, подняв процесс разработки проектов на принципиально новый уровень, сделав возможными различные формы мультимедиа-сопровождения, что позволяет более наглядно демонстрировать содержание тестов. Хорошо проработанная система публикации разрабо-танных тестов позволяет быстро и без серьезных затрат начать использовать созданные про-екты.

Существует много примеров использования среды Macromedia Authorware как про-дукта для создания средств электронного обучения, однако в доступных нам сведений об использовании данного продукта для создания полноценных тестирующих систем не было обнаружено. В частности, в дипломной работе выпускницы факультета информатики 2005 года И. В. Серафимович [9] , был реализован электронный учебный курс, в котором исполь-зовалась подсистема контроля знаний, для оценивания уровня знаний студентов. Однако

5

созданный Серафимович И.В. электронный учебный курс в части тестирования обладает недостаточной функциональностью:

• Использование последовательной структуры теста; • Отсутствие псевдослучайного выбора альтернатив ответов на вопрос; • Отсутствие защиты баз данных от несанкционированного доступа; • Узкая специализированность реализованного теста.

Целью данной работы было исследование возможности построения тестирующей системы с переменной структурой теста и доступом через Web в среде разработке Macrome-dia Authorware. В качестве содержательного примера была построена тестирующая система для студентов факультета информатики по курсу “Введение в специальность”[7] .

Дипломная работа состоит из 3 глав: В первой главе рассматриваются основные понятия теории тестов, способы конструи-рования и отбора вопросов для оптимальных тестов. Во второй главе рассматривается программный продукт Macromedia Authorware v 6.0, разработка проектов в данной среде, способы публикации и распространения проектов. В третьей главе описаны проблемы реализации тестирующей системы в среде Macromedia Authorware v 6.0 и возможные пути их решения. Описываются возможности, ар-хитектура, реализация и установка тестирующей системы. С помощью диаграмм, построен-ных в Rational Rose, иллюстрируется базовый уровень архитектуры.

В приложении «Руководство для студента» описывается инструкция для запуска и прохождения теста.

В приложении «Руководство программиста» приведен код основных подсистем: 1. навигации; 2. регистрации пользователей; 3 псевдослучайного выбора вопросов; 4. оценивания и сохранения результатов. В приложении «Руководство для преподавателя по разработке тестов» описываются

основные шаги для администрирования тестирующей системы. В приложении «Руководство по установке» описаны основные шаги по установке и

развертыванию тестирующей системы. В приложении «Схема базы данных для хранения результата тестирования» представ-лена схема внешней базы данных.

6

1. Тесты, их особенности

1.1.Что такое тест? Тест представляет собой стандартизованный метод диагностики уровня и структуры

подготовленности. В таком тесте все испытуемые отвечают на одни и те же задания, в оди-наковое время, в одинаковых условиях и с одинаковыми правилами оценивания ответов. Главная цель применения традиционных тестов – установить отношение порядка устанавли-ваемых между испытуемыми по уровню проявляемых при тестировании знаний. А уже на этой основе определить место (или рейтинг) каждого на заданном множестве тестируемых испытуемых. Тест определяется как система заданий возрастающей трудности, позволяющая эффективно измерить уровень и качественно оценить структуру подготовленности учащих-ся.[3]

Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста означает взаимосвязь заданий, их принадлежность общему измеряемому фактору. Каждое задание теста выполняет отведенную ему роль и по-тому ни одно из них не может быть изъято из теста без потери качества измерения. Структу-ру теста образует способ связи заданий между собой. В основном, это так называемая фак-торная структура, в которой каждое задание связано с другими через общее содержание и общую вариацию тестовых результатов.[3] Традиционный тест представляет собой единство, по меньшей мере, трех систем:

• содержательной системы знаний, описываемой языком проверяемой учебной дисциплины;

• формальной системы заданий возрастающей трудности;

• статистических характеристик заданий и результатов испытуемых.

Проявлению системного качества теста способствует и единая дисциплинарная общ-ность заданий, реализующая идею измерения подготовленности испытуемых по одной ка-кой-либо определенной учебной дисциплине. Совокупность таких заданий, отобранных в соответствии с требованиями теста, образует гомогенный тест, измеряющий одно какое-либо качество (свойство).

Время нередко называется в качестве другого системообразующего фактора. Действи-тельно, одно из соображений, положенных в основу создания тестов - иметь инструмент бы-строго и относительно точного оценивания больших контингентов испытуемых.

Требование экономии времени становится естественным в массовых процессах, како-вым и стало образование. Одно из актуальных направлений современной организации тесто-вого контроля - это индивидуализация контроля, приводящая к значительной экономии вре-мени тестирования. Контроль ведется с помощью заранее откалиброванных, по трудности, заданий.

Другая сторона вопроса заключается в том, что от времени тестирования существенно зависит качество результатов. Каждый тест имеет оптимальное время тестирования, умень-шение или превышение которого снижает качественные показатели теста. Оптимальное время тестирования определяется эмпирически, по показателю дисперсии тестовых данных. Если по оси абсцисс отложить время тестирования, а по оси ординат - значение дисперсии тестовых результатов, получаемое после каждого пробного контроля, то, соединив точки, получим представление об изменении дисперсии; максимум значения последней укажет на оптимум времени, необходимого для тестового контроля.

Определенное содержание означает использование в тесте только такого контрольно-го материала, который соответствует содержанию учебного курса; остальное содержание в тест не включается ни под каким предлогом. Содержание теста существует, сохраняется и

7

передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни не его содержание существуют. Внеучебное содержание в тест не включается.

Содержание теста проходит экспертизу у опытных педагогов, которые призваны дать ответ на главный вопрос - можно ли с помощью предложенных заданий корректно оценить содержание, уровень и структуру знаний у данного контингента испытуемых? При оценке содержания теста всегда возникают вопросы о цели теста, его содержания и качества.

Анализ содержания заданий, а, следовательно, и теста в целом, позволяет определить знания, умения, навыки и представления, требуемые для правильного выполнения задания. При применении заданий в тестовой форме для аттестации выпускников образовательных учреждений важно иметь такие задания, которые позволяют делать вывод о минимально до-пустимой компетентности выпускников.

Качество теста традиционно сводится к определению меры его надежности и вопро-сов валидности полученных результатов. Как и объективным, качественным можно назвать только тот метод измерения, который обоснован научно и способен дать требуемые резуль-таты.

В западной литературе традиционно рассматривается два основных критерия качест-ва: валидность и надежность.

Валидность означает пригодность тестовых результатов для той цели, ради чего про-водилось тестирование. Валидность зависит от качества заданий, их числа, от степени пол-ноты и глубины охвата содержания учебной дисциплины (по темам) в заданиях теста. Кроме того, валидность зависит также от баланса и распределения заданий по трудности, от метода отбора заданий в тест из общего банка заданий, от интерпретации тестовых результатов, от организации сбора данных, от подбора выборочной совокупности испытуемых.

Надежностью теста называется степень совпадения результатов при повторном тес-тировании одних и тех же людей в одинаковых условиях.[8]

1.2 Понятие эффективности теста Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет зна-

ния испытуемых интересующего уровня подготовленности, с меньшим числом заданий, ка-чественнее, быстрее, дешевле, и все это - по возможности, в комплексе. С понятием "эффек-тивность" сопряжено и близкое к нему по содержанию понятие "оптимальность". Последнее трактуется как наилучшее из возможных вариантов, с точки зрения удовлетворения несколь-ким критериям, взятым поочередно или вместе.

Эффективный тест не может состоять из неэффективных заданий. В таком случае ес-тественно поставить вопрос о признаках, которые отличают эффективное задание от неэф-фективного. С точки зрения содержания, эффективное задание проверяет важный элемент содержания учебной дисциплины, который нередко называют ключевым для требуемой структуры знаний испытуемых. В тест соответственно включаются только такие задания, которые эксперты признают в качестве ключевых элементов изучаемой учебной дисципли-ны.

В определении эффективности теста обращается внимание на два ключевых элемента - это число заданий теста и уровень подготовленности испытуемых. Если из какого-либо теста с большим числом заданий сделать оптимальный выбор меньшего числа, то может об-разоваться система, не уступающая заметно по своим свойствам тесту со сравнительно большим числом заданий. Тест с меньшим числом заданий в таком случае можно называть сравнительно более эффективным.

Помимо этого, эффективность теста можно оценить с точки зрения соответствия уровня его трудности уровню подготовленности тестируемых в данный момент испытуемых. Эту оценку в литературе нередко относят к валидности, имея в виду идею валидности теста, так сказать, по уровню.

Легко понять практическую бесполезность того, чтобы давать слабым испытуемым трудные задания; большинство испытуемых, вероятнее всего, не сумеют правильно на них

8

ответить. Так же обстоит дело и с легким тестом: его бесполезно (неэффективно) давать знающим испытуемым, потому что и здесь высока вероятность, но теперь уже правильных ответов, и потому практически все испытуемые получат по тесту одинаково высокий балл. И в том, и в другом случае испытуемые не будут различаться между собой. Измерение, таким образом, не состоится по причине несоответствия уровня трудности теста уровню подготов-ленности. Из этих соображений легко вывести, что самый эффективный тест- это тест, точно соответствующий по трудности заданий уровню подготовленности испытуемых.

Эффективность тестов может зависеть и от формы. Нарушение тестовой формы все-гда приводит к худшему выражению содержания и к худшему пониманию смысла задания испытуемыми.

Эффективность теста зависит также и от принципа подбора заданий. Если подбирать задания для измерения на всем диапазоне изменения трудности, то снижается точность из-мерения на отдельном участке. И наоборот, если стремится точно измерить знания испытуе-мых, например, среднего уровня подготовленности, то это потребует иметь больше заданий именно данного уровня трудности. Поэтому тест не может быть эффективным вообще, на всем диапазоне подготовленности испытуемых. Он может быть более эффективен на одном уровне знаний и менее - на другом. Именно этот смысл вкладывается в понятие дифферен-циальной эффективности теста.

Соответствие уровня трудности теста уровню подготовленности испытуемых можно попытаться оценить показателем количества информации, получаемой в процессе измере-ния.[10]

1.3 Критерии отбора материала для тестовых заданий Сформулируем критерии отбора содержания тестового материала:

Значимость. Этот принцип указывает на необходимость включить в тест только те элемен-ты знания, которые можно отнести к наиболее важным, ключевым, без которых знания ста-новятся неполными, с многочисленными пробелами. Такие элементы знания, ввиду их важ-ности, можно назвать структурными. В тест, следовательно, нужно включать только те мате-риалы, которые играют роль структурных элементов в индивидуальном знании.

Научная достоверность. В тест включается только то содержание учебной дисцип-лины, которое является объективно истинным и поддается некоторой рациональной аргу-ментации. Соответственно, все спорные точки зрения, вполне нормальные в науке, не реко-мендуется включать в тестовые задания. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.

Соответствие содержания теста уровню современного состояния науки. Этот принцип вытекает из естественной необходимости готовить специалистов и проверять их знания на современном материале.

Репрезентативность. В тест не только включаются значимые элементы содержания, но обращается внимание также на полноту и их достаточность для контроля. В самом деле, можно взять пять-шесть элементов и проверить по ним знания испытуемых. Но где уверен-ность, что испытуемый знает и другие важные элементы содержания учебной дисциплины? Путь к появлению такой уверенности лежит в наиболее полном отображении необходимого знания в заданиях теста.

Репрезентативность не означает обязательного включения в тест всех значимых эле-ментов содержания. Ведь многие из них явно связаны между собой в общей структуре зна-ний, включены один в другой полностью или частично. Кроме того, многие элементы в структуре знаний иерархически соподчинены. Этому принципу соответствуют основные за-дания, которые лучше называть структурными.

Возрастающая трудность учебного материала. Этот принцип означает, что каждый учебный элемент в процессе контроля обладает некоторой усредненной, для испытуемых, мерой трудности, на которую и ориентируются преподаватели.

9

Практически все учебники и пособия построены по принципу возрастающей трудно-сти. В таких учебных дисциплинах, как логика, математика, иностранные языки, статистика, философия и др., знание последующих элементов курса жестко зависит от знания предыду-щих учебных элементов. Поэтому изучать такие дисциплины можно только с самого начала, и без пробелов.

Трудному содержанию обычно соответствуют и трудные задания. Испытуемый, пра-вильно отвечающий на трудные задания, с большой вероятностью отвечает правильно и на легкие задания.

Вариативность содержания. Содержание теста не может оставаться неизменным и независимым от развития науки, научно-технического прогресса, от нового содержания учебной дисциплины и от новых учебников. По мере изменения содержания учебной дисци-плины должно варьироваться и содержание теста. При этом принимается во внимание кон-тингент испытуемых. Если тестируется слабая по подготовленности группа испытуемых, то оказывается, что трудные задания теста просто не работают - ни один испытуемый правиль-но ответить на них не может и потому из дальнейшей обработки и интерпретации тестовых данных эти задания изымаются. Содержание теста для слабых испытуемых заметно отлича-ется от содержания теста для сильных испытуемых.

Системность содержания. Это означает подбор такого содержания тестовых зада-ний, который отвечал бы требованиям системности знаний. Помимо подбора заданий с сис-темным содержанием важно иметь задания, связанные между собой общей структурой зна-ний. Это возможно только в тех случаях, когда задания теста связаны с общей факторной структурой знаний. Такая связь определяется методами факторного анализа.

Комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является самой ключевой в учебной дисциплине. Необходимо искать задания, ком-плексно отображающие основные, если не все, темы учебного курса. В то же время сущест-вует стремление сбалансировано отобразить в тесте основной теоретический материал - по-нятия, законы и закономерности, гипотезы, факты, структурные компоненты теории - вместе с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задания. Такие задания сравнительно легко могут трансформироваться в форму тестовых заданий на установление соответствия или правильной последовательности, превращаясь, таким образом, в дидактическую модель, используемую одинаково успешно и для контроля, и для обучения.

Соответствие цели. Содержание теста зависит от цели проверки. Если нужно ото-брать небольшое число самых подготовленных испытуемых, то ясно, что задания должны быть трудные, ибо только с помощью таких заданий можно отобрать лучших. Если же, на-оборот, требуется отсеять самых слабых, то сделать это лучше с помощью сравнительно лег-ких заданий; те, кто не выполнят эти задания, и есть самые слабые. При необходимости оце-нить испытуемых во всем диапазоне знаний - от низшего до высшего, в тест придется вклю-чать задания легкие, средние и трудные.[5]

1.4 Виды тестов 1. Гомогенные тесты распространены больше других. В педагогике они создаются

для контроля знаний по одной учебной дисциплине или по одному разделу такой, например, объемной учебной дисциплины, как физика. В гомогенном педагогическом тесте не допус-кается использование заданий, выявляющих другие свойства. Наличие последних нарушает требование дисциплинарной чистоты педагогического теста. Ведь каждый тест измеряет что-то заранее определенное.

Например, тест по физике измеряет знания, умения, навыки и представления испы-туемых в данной науке. Одна из трудностей такого измерения заключается в том, что физи-ческое знание изрядно сопряжено с математическим. Поэтому в тесте по физике экспертно устанавливается уровень математических знаний, используемых при решении физических

10

заданий. Превышение принятого уровня приводит к смещению результатов; по мере превы-шения последние все больше начинают зависеть не столько от знания физики, сколько от знания другой науки, математики. Другой важный аспект - стремление некоторых авторов включать в тесты не столько проверку знаний, сколько умение решать физические задачи, вовлекая, тем самым, интеллектуальный компонент в измерение подготовленности по физи-ке.

2. Гетерогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания - система, создаваемая с целью объек-тивного, качественного, и эффективного метода оценки структуры и измерения уровня под-готовленности, учащихся по нескольким учебным дисциплинам. Нередко в такие тесты включаются и психологические задания для оценки уровня интеллектуального развития.

Обычно гетерогенные тесты используются для комплексной оценки выпускника школ, оценки личности при приеме на работу и для отбора наиболее подготовленных абиту-риентов при приеме в вузы. Поскольку каждый гетерогенный тест состоит из гомогенных тестов, интерпретация результатов тестирования ведется по ответам на задания каждого тес-та (здесь они называются шкалами) и, кроме того, посредством различных методов агреги-рования баллов делаются попытки дать общую оценку подготовленности испытуемого. 3. Интегративные тесты Интегративным можно назвать тест, состоящий из системы заданий, отвечающих требова-ниям интегративного содержания, тестовой формы, возрастающей трудности заданий, наце-ленных на обобщенную итоговую диагностику подготовленности выпускника образователь-ного учреждения. Диагностика проводится посредством предъявления таких заданий, пра-вильные ответы на которые требуют интегрированных (обобщенных, явно взаимосвязанных) знаний двух и большего числа учебных дисциплин. Создание таких тестов дается только тем преподавателям, которые владеют знаниями ряда учебных дисциплин, понимают важную роль межпредметных связей в обучении, способны создавать задания, правильные ответы на которые требуют от учащихся знаний различных дисциплин и умений применять такие зна-ния.

4. Адаптивные тесты Адаптивный тест представляет собой вариант автоматизированной системы тестиро-

вания, в которой заранее известны параметрами трудности и дифференцирующей способно-сти каждого задания. Эта система создана в виде компьютерного банка заданий, упорядо-ченных в соответствии с интересующими характеристиками заданий. Самая главная харак-теристика заданий адаптивного теста – это уровень их трудности, полученный опытным пу-тем, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую ап-робацию на достаточно большом числе типичных учащихся интересующего контингента.

5. Критериально-ориентированные тесты Если главной задачей является стремление выяснить, - какие элементы содержания

учебной дисциплины усвоены тем или иным испытуемым, то это случай предметно - педаго-гического подхода к интерпретации результатов тестирования. При этом определяется - что из генеральной совокупности заданий (по англ. Domain) испытуемый знает и что не знает. Интерпретация результатов ведется педагогами, на языке учебной дисциплины. Вывод выстраивается вдоль логической цепочки: содержание учебной дисциплины - гене-ральная совокупность задания для измерения знаний - тест, как выборка заданий из этой со-вокупности, ответы испытуемого - вероятностный вывод о его знаниях учебной дисциплины. При ориентации на такие тесты требуется большое число заданий и достаточно полное оп-ределение содержания изучаемой дисциплины. Интерпретация результатов ведется педаго-гами - предметниками. Споры ведутся вокруг двух главных вопросов:

1. правильности содержания теста, что означает безошибочность формулировок его заданий, предметно-научная обоснованность, допустимость теста для про-верки интересующих знаний в данной группе испытуемых. При аргументации в

11

пользу того или иного теста педагоги-предметники опираются на понятийный аппарат, язык принципы и вообще на знания преподаваемой ими учебной дис-циплины. В таких случаях говорят о тестах с содержательно-ориентированной интерпретацией результатов).

2. обоснованности оценки знаний по всему учебному предмету, на основе резуль-татов тестирования испытуемых по небольшой выборке заданий теста; выборка из потенциально или реально существующей генеральной совокупности всех заданий, которые можно было бы дать испытуемым для уверенной и обосно-ванной оценки. Фактически это вопрос обоснования точности индуктивного вывода о знании большого числа вопросов на основе ответов по малому числу заданий теста.

Второй вид тестов связан с ориентацией на такие конкретные цели и задачи, как, на-пример, проверка уровня усвоения сравнительно короткого перечня требуемых знаний, уме-ний и навыков, выступающих в качестве заданного стандарта или критерия усвоения. На-пример, для аттестации выпускников образовательных учреждений важно иметь такие зада-ния, которые позволяют делать вывод о минимально допустимой компетентности выпускни-ков. При проверке минимально допустимого уровня знаний содержание заданий носит принципиально облегченный характер[4].

1.5 Обзор тестирующих систем В настоящее время существует множество программных продуктов для разработки

тестов. Например: 1. Educational Technology & Society 6 главным достоинством, которой является

использование в качестве основного средства разработки тестовых заданий редактора Microsoft Word и технологии OLE 2.0. Для каждого теста можно задать собственную шкалу оценивания ответов и время прохождения теста. Итоговый результат тестирования студента сохраняется в базе данных.

2. AVELife TestGold Studio - легкий в освоении и удобный в использовании инстру-мент для принятия решений, связанных с оценкой уровня знаний, умений, навыков и психо-логических характеристик сотрудников или обучаемых - от разработки тестов до проведения тестирования и анализа его результатов. Комплексный формат теста мощный встроенный текстовый редактор, позволяют разрабатывать тесты любой сложности и направленности в удобной многооконной среде, а гибко настраиваемая схема начисления промежуточного оценочного балла и различные типы конечных оценок.

3. Программный пакет УСАТИК 2.000 программа для проведения компьютерного тестирования, оценки знаний и разработки тестов.

4. TestStand – среда управления тестами. TestStand обладает гибкими средствами на-стройки, позволяющими модифицировать пользовательский интерфейс, осуществлять гене-рацию отчетов и управлять последовательностью выполнения и составом тестов. Построен-ный на основе высокоскоростного многозадачного ядра, TestStand соответствует требовани-ям самых сложных систем тестирования. Использование TestStand позволяет сфокусировать усилия инженеров на разработке стратегии тестирования продукции, в то время как TestStand возьмет на себя заботу о исполнении тестов в заданной последовательности и по-следующей генерации отчетов. Перечисленные программные продукты являются лицензионными и для их использования необходимо покупка лицензии на использование.

Каждый программный продукт имеет свои достоинства, но у каждого из них есть су-щественный недостаток, они используют единственную форму представления информации – текстовую. Да и способ оценивания знаний тестируемого однотипен, как правило, предпола-галось выбрать один из нескольких вариантов ответа. Все изменилось с появления на свет продукта Macromedia Authorware, который собрал в себя все достоинства программ по раз-работке тестов и перевел разработку тестов на принципиально новый уровень, включив в

12

разработку теста все возможны формы мультимедиа (видео, звукового сопровождения), что позволило более наглядно демонстрировать содержание тестов.

13

2. Платформа Macromedia Authorware

2.1 Введение в Authorware Пакет Authorware – лидирующий продукт в области, предназначенный для создания

мультимедийных приложений для электронного обучения и тестирования, предусматри-вающих совместное использование различных форм подачи материала: текста, рисунков, видео и звукового сопровождения.

Authorware ориентирован на создание электронных обучающих и тестирующих сис-тем. В связи с этим возможности пакета Authorware не ограничены рамкам простых презен-таций. Входящие в состав Authorware средства позволяют в полном объеме реализовать со-временные требования к построению и организации систем электронного обучения и тести-рования. Одно из преимуществ Authorware перед другими подобными системами является средство публикации учебного курса.

Конечный продукт созданный в Authorware, представляет собой независимое прило-жение, которое может быть записано на любой носитель информации, либо опубликовано в Интернете. При размещении учебного курса в Интеренете обеспечивается возможность уда-ленной регистрации пользователей с последующей обработкой информации об их успехах в изучении курса с помощью системы удаленного контроля, размещенной на сервере.[1]

2.2 Возможности продукта Macromedia Authorware Вы можете использовать все преимущества продукта, для того, чтобы создавать обу-

чающие и тестирующие приложения и распространять их везде. • единый пользовательский интерфейс, удобное и настраиваемое рабочее пространство; • интуитивно понятная схема рабочего процесса и ключевых инструментов, использо-

вание функции drag-and-drop, шаблонов и т.д.; • импорт PowerPoint файлов; • легкость публичного распространения; • продукт оптимально подходит как экспертам, так и тем, кто работает с ним впервые; • использование популярных программы и технологий вместе с написанием скриптов

для создания различных обучающих интерактивных приложений; • возможности полнофункционального скриптования позволяют легче создавать необ-

ходимые команды и компоненты Knowledge Objects; • встроенная функция data tracking – позволяет отслеживать результаты студентов для

того, чтобы определить эффективность обучения; • поддержка XML и LMS позволяет создавать обучающие программы, отвечающие

LMS стандартам. LMS (Learning Management System) система управления обучением - программное решение, которое автоматизирует управление образовательными со-бытиями. LMS может управлять регистрацией и входом в систему пользователями, каталогами курсов, записывать и хранить данные об обучаемых и предоставлять от-четы руководителям, кураторам и т.д.;

• интерактивный контент Authorware разработан на основе стандартов Aviation Industry CBT Committee (AICC), Advanced Distributed Learning (ADL), и IMS;

• объекты знаний LMS – они помогают принять решение, какую информацию необхо-димо отправить или принять и организуют весь процесс коммуникации с системами LMS. Визуальный интерфейс позволяет разрабатывать учебные программы, не прибегая к

скриптованию. Для создания внешней логики приложения достаточно просто перетаскивать нужные окна, используя функцию drag-and-drop, а для добавления информационного напол-нения использовать меню. Мощные шаблоны и встроенная интерактивность:

14

• компоненты Knowledge Objects (встроенные шаблоны ) помогут сократить время разработки – используйте их для ускорения выполнения задач различного объема. Вы можете просто выбирать нужные шаблоны из галереи Knowledge Objects и, используя функцию drag-and-drop, вставлять их в контент;

• программа дает возможность создавать специальные графические «кнопки», области проверки, радио «кнопки», помеченные текстовые области, комбинированные облас-ти и тд. и другие элементы пользовательского интерфейса;

• все это поможет создать удобный интерфейс, которым просто управлять; • программа позволяет создавать динамические, управляемые обучающие приложения

путем импорта внешних данных, хранящихся в стандартных XML файлах; • поддержка Macromedia Flash MX – продукт позволяет импортировать анимацию

Macromedia Flash MX в Authorware 6. Продукт позволяет интегрировать в приложения музыку и звуковые эффекты в форма-

те МР3, просматривать DVD видео файлы, дает возможность импортировать RTF файлы, вставлять графические объекты, символы и применять «продвинутое» текстовое форматиро-вание[2]

2.3 Работа с Macromedia Authorware Работа с Macromedia Authorware во многом напоминает работу с конструктором Lego. Вам предлагается разнообразные детали, из которых вы сможете собрать ту или иную ком-позицию. При этом одни детали стыкуются с другими «без сучка и задоринки», а для неко-торых требуется подбирать пару определенного типа. Подобрать подходящую деталь не сложно, поскольку в Macromedia Authorware различных видов деталей немного – чуть больше десятка. Вместе с тем, это нисколько не ограничивает ваши возможности.

2.3.1 Разработка курса Разработка курса в Authorware логически разбивается на несколько этапов. После

анализа основных характеристик будущего продукта (целевая аудитория, задачи, содержа-ние, применяемые технологии) создается логическая структура проекта, на которую потом навешивается «тело» собственно контента курса и привлекательный дизайн. Данная струк-тура наглядно представляется в виде дерева, на котором располагаются иконки, символизи-рующие различные объекты, которые можно добавить к проекту.

Каждый такой объект может содержать различные типы данных: текст, графику, ви-део, исполняемый скрипт типов объектов довольно много. Есть и хороший набор интерак-тивных элементов, позволяющих гибко управлять поведением будущей обучающей про-граммы. Иконки всех типов объектов сосредоточены на специальной панели инструментов Icon Palette. В деле размещения иконок объектов на дереве структуры проекта царит пол-нейший drag&drop - любую иконку можно просто перетащить на нужное место дерева раз-рабатываемого курса. При желании можно использовать меню File Insert. В этом случае Authorware ориентируется на тип указанного вами в диалоге файла и самостоятельно отнесет его к одному из известных пакету типов объектов. Щелчком по объекту на дереве проекта открывается вложенный уровень иерархии структуры или же диалог редактирования выде-ленного элемента. Каждый объект обладает своим набором параметров, отредактировать ко-торые помогает Property Inspector, который открывается при щелчке по нужной иконке. По-смотреть на внешний вид объекта можно с помощью Presentation Window, там же удобно управлять дизайном конкретного объекта. Разработка структуры курса дело творческое. Authorware, в свою очередь, пред-лагает средства ускорения данной работы шаблоны для некоторых наиболее распро-страненных задач. Крупный проект в полном соответствии с теорией рекомендуется разби-вать на отдельные относительно независимые модули. Создать их можно группировкой нужных объектов с помощью инструмента Map Icon. По сути, вы можете создать внутри ка-ждого такого модуля собственную структуру связей, этакий проект в проекте. Это позволяет

15

рационально организовать работу - на уровне проекта вы будете управлять не сонмом от-дельных объектов, а укрупненными модулями.

Сами модули редактируются независимо друг от друга, что весьма кстати, если раз-работкой курса занимается не один человек, а команда специалистов. Кроме самой простой линейной структуры перемещения пользователя по учебному курсу, пакет Authorware рабо-тает и с куда более замысловатыми вариантами. Реализуется это с помощью двух главных схем: автоматического режима и режима свободной навигации. В первом случае программа сама управляет перемещениями пользователя, основываясь, например, на результатах прой-денных им тестов, предлагая в зависимости от уровня этих результатов различные пути дальнейшего продвижения по курсу.

Стоит сказать, что пакет распознает не только простые варианты прохождения теста на уровне «прошел - не прошел», но также может перевести пользователя на новую ветку и по более тонким критериям, допустим, исходя из подсчета набранных им баллов. Это значи-тельно повышает гибкость компьютерного курса. Таким образом, программа способна в оп-ределенной степени подстраиваться под уровень знаний пользователя. Кроме автоматиче-ского контроля, можно предложить пользователю полную свободу перемещения по курсу, заменив автоматического «стрелочника» удобной навигационной панелью, для создания ко-торой в Authorware также есть собственные встроенные средства. Отдельно следует назвать такой тип объекта, как Knowledge Object «объект знания», который является средством автоматизации разработки. Эти объекты представляют собой своеобразные заготовки наиболее востребованных элементов. Каждому типу Knowledge Object сопоставлен собственный мастер пошаговой настройки параметров объекта, который дополняется подробным описанием и онлайновой справкой. Некоторые Knowledge Object добавляются в проект автоматически. Заложенные в Authorware объекты данного типа орга-низованы в несколько категорий.

Среди объектов группы New File Application и Quize. Первый представляет собой об-щую заготовку нового проекта, а второй шаблон страницы опроса с различными типами во-просов. Группа Assessment Knowledge Objects позволяет создавать интерактивные трениро-вочные задания различного плана, например, нацеленные на манипулирование объектами. Группа File Knowledge Objects отвечает за различные операции с файлами, будь то загрузка нужного шрифта, обращение к CD/DVD-приводам или работа с настроечными .ini-файлами. Категория Interface Knowledge Objects, как следует из названия, содержит инструменты для создания различных элементов интерфейса.

Группа Internet Knowledge Objects содержит три типа объектов, связанных с настрой-кой специализированного Authorware Web Player, запуском браузера и открытием заданного адреса, а также с отправкой почты. Наконец, отдельно выделяется группа RTF Knowledge Objects, которая занимается операциями над объектами, созданными с помощью встроенно-го в Authorware RTF- редактора. В последнем случае вы сможете внедрить в текст специфи-ческие команды Authorware. Применение готовых, входящих в комплект поставки Authorware заготовок — не догма, их можно создавать и самостоятельно, используя различ-ные инструменты пакета.

Однако заметим, что применение Knowledge Object действительно заметно ускоряет работу над проектом. Управлять отдельными действиями программы можно различными средствами необходимые фрагменты изготавливаются с использованием собственного языка Authorware Script Language, технологий JavaScript или ActiveX. Можно задействовать и XML. В системе существует возможность записи данных пользователя: его пути по изучае-мому курсу, пройденные этапы, сделанные закладки и прочие полезные вещи. Данные со-храняются в специальном файле, содержащем все сведения о проведенной сессии. Для их хранения у пользователя автоматически создается соответствующий каталог, для хранения мета данных проекта.[6]

16

2.3.2 Добавление контента Следующий этап это постепенное наполнение структуры курса заблаговременно под-

готовленной информацией. Сбор и упорядочивание всех данных и документов, которые бу-дут задействованы в проекте, обеспечиваются рядом специализированных инструментов, главное место среди которых занимают библиотеки объектов. Различным типам элементов соответствуют свои собственные библиотеки текста, звука, изображений, видео и т.д. Это позволяет грамотно организовать все необходимое информационное «сырье» и получить быстрый доступ к каждому документу. В Authorware все эти элементы отображаются как иконки, которыми можно свободно манипулировать в рамках структуры курса. Создание та-ких объектов можно вести как встроенными редакторами пакета, так и с помощью внешних специализированных приложений.

Кроме непосредственного включения необходимых документов в проект, можно соз-давать связи с внешними файлами, в том числе ставить и ссылки на сетевые адреса. При этом в ходе работы с таким контентом можно задействовать все стандартные возможности Authorware, в том числе, например, привязывать к ним скрипты. Стоит только помнить о том, что заданные пути к внешним файлам не должны вести в пустоту, поэтому после пуб-ликации готового курса следует контролировать неизменность этих путей и имен внешних файлов. Для облегчения работы с внешними ресурсами в Authorware предусмотрен специ-альный инструмент External Media Browser, с помощью которого можно увидеть список свя-занных файлов, проверить пути и произвести многие другие необходимые операции.[6]

2.3.3 Публикация проекта Готовый продукт может быть записан на любой съемный носитель - от дискеты до DVD — или же выставлен в сети - локальной или глобальной. Каждый названный способ имеет свои особенности, о чем следует подумать уже в самом начале разработки нового кур-са.

Если планируется запись на диск, то в проект можно включать практически неогра-ниченное количество мультимедиа данных, занимающих большой объем В случае сетевой публикации вы получаете значительную гибкость в обновлении готового материала доста-точно просто загрузить на сервер новые файлы. Однако здесь приходится учитывать ограни-чения каналов доступа ваших пользователей. Существует и комбинированный способ, соче-тающий преимущества названных подходов и позволяющий обойти их недостатки, так на-зываемая Web-CD-технология. Суть ее в том, что наиболее объемные и неизменные разделы проекта записываются на CD/DVD, а изменчивая часть курса, то есть файлы, содержащие обновляемые сведения, хранятся на сервере. В программе, работающей на машине пользова-теля, связь с ними осуществляется с помощью ссылок на внешние ресурсы, о которых было рассказано выше. Таким образом, применение гибридной технологии в Authorware является штатным режимом работы и не представляет проблемы. Довольно любопытные возможности предлагают встроенные в Authorware инст-рументы синхронизации обучающей программы с другими источниками звука и видео. Представьте ситуацию: у пользователя запущена такая обучающая программа, а в приводе загружен DVD с дополнительным учебным фильмом. В нужные моменты программа обра-щается к этому фильму, выбирая и демонстрируя необходимые в данный момент фрагменты.

На завершающем этапе разработки стоит провести тестирование программы, которое необходимо для отлова возможных ошибок и всесторонней оптимизации производительно-сти проекта. Не стоит забывать, что обучающая программа должна быть доступна как можно более широкому кругу потенциальных пользователей, в том числе со слабым уровнем под-готовке работы на ПК. Это особенно актуально при создании курсов дистанционного обуче-ния.[6]

17

2.3.4 Вопросы совместимости Совместимость Authorware с другими компонентами среды компьютерного обучения

обеспечивается на двух уровнях. Сначала вы передаёте данные из обучающей программы для последующей обработки во внешнее приложение, например, сохраняете их в базе дан-ных. А на втором уровне происходит экспорт всех необходимых данных об объектах Authorware в XML-файл, соответствующий стандартам IMS/OTI и SCORM. Это значит, что впоследствии такие данные могут быть использованы любым другим приложением, совмес-тимым с названными стандартами. Как правило, в диалогах редактирования любых объектов Authorware, которые должны содержать такие сведения, находятся соответствующие опции, воспользовавшись которыми можно указать все требуемые метаданные.[6]

2.4. Выводы: основные мнения о продукте Macromedia Authorware Разработчикам Authorware удалось совместить в своем продукте мощные средства

разработки и сравнительную простоту эксплуатации пакета. Это стало возможным благодаря наглядной визуальной системе представления проекта и большому количеству мастеров и заготовок. При таких возможностях успех уже будет в большей степени зависеть от мастер-ства и уровня методической подготовки авторов курса. Особенно приятно наблюдать внима-тельное отношение к существующим в области компьютерного обучения стандартам обмена данными: совместимость здесь еще никому никогда не мешала. Кроме применения по пря-мому назначению для создания курсов компьютерного обучения, пакет Authorware в прин-ципе может быть использован и для других схожих целей. На мой взгляд, изготовление, на-пример, мультимедийной энциклопедии ему тоже будет вполне по плечу. Одним словом, Authorware - это серьезный пакет для решения серьезных задач. К положительным особенностям Macromedia Authorware можно отнести:

1. Простота разработки приложений; 2. Детальная проработка структуры Macromedia Authorware; 3. Наглядность представления информации; 4. Интуитивно понятный интерфейс; 5. Интеграция данных; 6. Простота публикации разрабатываемых курсов; 7. Возможность импорта файлов из широкого спектра программных продуктов; 8. Доступность для людей с ограниченными возможностями.

К недостаткам можно отнести: 1. Скудность внутреннего языка программирования, который не позволяет в полной

мере реализовать все идеи и методы для решения поставленных задач; 2. Малодоступность справочных материалов по разработке проектов в среде Macrome-

dia Authorware. 3. Большое потребление трафика при размещении проектов в Интернете.

18

3. Реализация тестирующей системы в Macromedia Authorware

3.1. Общий подход к реализации тестирующей системы Задачей, разрешение которой было поставлено в рамках дипломной работы, являлось

создание тестирующей системы, предназначенной для тестирования студентов и оценивания их уровня знаний.

В качестве основных этапов разработки и проектирования тестирующей системы мож-но выделить следующие:

1. Назначение системы; 2. Описание пользователей;

3. Определение возможностей тестирующей системы; 4. Разработка архитектуры тестирующей системы; 5. Вид с точки зрения проектирования; 6. Вид с точки зрения реализации; 7. Вид с точки зрения развертывания; 8. Запись информации в базу данных;

9. Разработка базового уровня архитектуры; 10.Тестирование.

3.2. Назначение системы Проблема отсутствия средств, автоматизирующих процесс сдачи и получения оценки, в первую очередь затрагивает студентов и преподавателей. Следствием этой проблемы явля-ется сложность осуществления процесса, однако создание ТС могло бы полностью её снять и позволить осуществлять процесс с более высоким качеством и за меньшее время.

Тестирующая система должна обеспечивать эффективное взаимодействие пользова-телей с целью упрощения сдачи предмета, а также уменьшить нагрузку преподавателя по выставлению зачетов студентам. Тестирующая система должна иметь возможность хране-ния и поиска информации не только по текущему, но и по прошедшим годам.

Целью тестирующей системы является автоматизация процесса сдачи зачетов, подве-дение итогов, и предоставление преподавателю необходимой информации о результатах сдачи зачета студентами.

3.3. Описание пользователей Предполагается, что данная тестирующая система предназначена для использования

преподавателями, имеющими отношение к информационным технологиям. Реализованная в рамках данной работы тестирующая система используется преподавателем для проведения тестов в рамках занятия по курсу “Введение в специальность”. Тестирующая система поддерживает следующих пользователей: «Студент» - тестируемый системой. «Преподаватель» - управляющий системой. В качестве требований к тестирующей системе можно выделить следующее:

• Интуитивно-понятный графический интерфейс, но не перегруженный графикой; • Простота в использовании; • Возможность удалённого использования.

3.4. Возможности системы Тестирующая система обладает гибким механизмом настройки и позволяет расши-

рять возможности системы в зависимости от спектра решаемых задач и требуемой функ-

19

циональности. В результате анализа предметной области и пожеланий преподавателя были выявлены следующие задачи:

1. Обязательные: • Аутентификация и менеджмент пользователей; • Тестирование пользователей; • Сбор статистик; • Просмотр содержания ТС; • Выдача результата пройденного теста.

2. Желательные: • Хранение истории.

3.4.1. Аутентификация и менеджмент пользователей В данной системе прохождение тестирования возможно только для зарегистрирован-

ных пользователей. Регистрация проходит следующим образом: в начале теста тестирующая система просит пользователя идентифицироваться, то есть ввести свои инициалы и номер группы. После ввода запрашиваемой информации происходит регистрация пользователя: его данные записываются в специальную внешнюю базу данных, в которой хранятся все сведе-ния о тестируемом (его инициалы, номер группы и результаты тестирования).

После прохождения пользователем тестирования результат сохраняется в базу данных автоматически. Незарегистрированные пользователи не имеют возможности пройти тести-рование.

Таким образом, первым элементом интерфейса пользователя является механизм аутен-тификации, после прохождения которой, пользователь получает возможность пройти тести-рование.

В процессе регистрации каждого нового пользователя происходит обязательное обра-щение к базе данных: база данных просматривается на наличие записей о данном пользова-теле и если будет обнаружено, что пользователь с данными инициалами и группой уже сда-вал тест, то ему будет оказано в повторном его прохождении. Если же при поиске не было обнаружено совпадений с введенными данными, то пользователь допускается до сдачи тес-та. Аутентификация и связь с базой данных реализована на встроенном языке Authorware. Схема базы данных приведена в приложении Д.

Менеджмент заключается в том, что у преподавателя есть любые возможности для управления записями во внешней базе данных, содержащей результаты тестирования. Для этого используется программный продукт MS Access, с помощью которого и происходит управление всеми записями в БД.

3.4.2. Тестирование пользователей Вторым элементом интерфейса пользователя является тестирование, после прохожде-

ния которого, тестируемому выводится его результат в графическом виде. После регистрации пользователя в системе, для него индивидуально формируется в

псевдослучайном порядке набор вопросов для тестирования. Для каждого вопроса сущест-вует множество альтернатив ответа, и для отображения каждому конкретному пользователю выбирается заданное количество альтернатив из этого множества. Для реализации такого псевдослучайного выбора вопросов и альтернатив ответа был использован встроенный язык Authorware.

При прохождении теста каждое действие пользователя отслеживается и сохраняется во внутренних переменных, по окончании тестирования в работу включается основной блок оценивания, который анализирует все переменные и выставляет итоговый результат.

Тестирующая система состоит из одного окна, в котором отображаются вопрос, аль-тернативы ответа на него, элементы пользовательского интерфейса и информационные па-нели. Большинство вопросов снабжено рисунками, которые позволяют более наглядно пере-

20

дать смысл вопроса. Когда пользователь зарегистрировался в системе и приступил к сдаче теста, он имеет возможность перемещаться по ней при помощи панели навигации, которая позволяет:

- перейти к следующей странице;

- перейти к предыдущей странице;

- вернуться к первой странице.

Создана последовательная, логичная и довольно функциональная система навигации в пределах всего курса. Она реализована средствами внутреннего языка Authorware.

3.4.3. Сбор статистик и хранение истории После анализа требований к тестирующей системе было решено использовать такой механизм, который обеспечил бы длительное хранение и обработку результатов тестирова-ния. Для решения это задачи самым подходящим вариантом было использование внешней базы данных. Технология баз данных позволила осуществить длительное хранение результа-тов тестирования, и расширила возможности преподавателя по их администрированию. При регистрации пользователя в тестирующей системе, происходит автоматическое добавление и сверка нововведённых данных со всеми уже существующими в БД записями. После прохождения процедуры регистрации пользователю предлагается ответить на ряд во-просов, при этом ответ на каждый вопрос автоматически добавляется в информацию для со-хранения в БД. По окончании тестирования история ответов и результат автоматически со-храняется в базе данных и отображается на экран.

3.4.4. Просмотр содержания ТС и выдача результата пройденного теста Просмотр содержания тестирующей системы, выдачу результатов тестирования и все шаги по администрирования подробно рассмотрены в приложении В.

3.5. Архитектура системы Для упрощения процесса тестирования пользователя система реализована в виде Web-приложения и как исполняемый файл (файл с расширением .ехе). Web–приложение бу-дет представлять собой HTML-страницы, которая обеспечивает просмотр теста в окне Web-браузера.

Взаимодействие между сервером Web-приложений и Web-клиентом начинается с HTML-страницы. Пользователь нажимает на ссылку, и данные пересылаются на сервер Web-приложения. Этот запрос обрабатывается на сервере Web-приложения и результат возвра-щается пользователю в виде новой HTML-страницы. Архитектура и компоненты, которые используются для поддержки взаимодействия между Web-клиентом и сервером Web-приложения могут быть представлены с использова-нием модели Структура/Представление/Управление как:

1. Структура - это компоненты, которые представляют бизнес-логику данного Web-приложения. (Интегрированная база данных, содержащая тест, модуль-анализатор, выстав-ляющий оценку, данные о студентах, прошедших тестирование) 2. Представление – это компоненты, которые создают HTML-страницы, возвращае-мые пользователю серверным Web-приложением в ответ на запрос.

3. Управление – это компоненты или сервисы, которые управляют компонентами

Структуры и Представления. Были выделены компоненты, которые показывают как выглядит архитектура системы

на физическом уровне (рис. 1).

21

Рис. 1. Архитектура системы на физическом уровне

Данная схема показывает, как происходит взаимодействие между модулями системы и формирование запросов для отображения HTML-страниц. В данной технологии используются следующие компоненты:

• Диспетчеры – это компоненты, отвечающие за разбор запросов пользователя на полу-чение информации и передачу этих запросов другим компонентам для генерации со-держимого ответа и передачу запрошенной информации обратно клиенту. Диспетче-ры представлены двумя компонентами:

- PageDispatcher – его задача анализ HTTP запросов; - AdapterDispatcher – его задача передача запросов адаптерам.

• Адаптеры – это компоненты, позволяющие вам обращаться к свойствам объектов приложения из скриптового языка на стороне сервера, теги которого размещаются в тексте шаблона страницы.

• Продюсеры – это компоненты, которые умеют генерировать динамическую информа-цию на основе заданного шаблона.

3.6. Вид с точки зрения проектирования Тестирующая система реализует следующую функциональность:

• Аутентификация и менеджмент пользователей; • Тестирование пользователей; • Сбор статистик; • Просмотр содержания ТС; • Хранение/просмотр истории; • Выдача результата пройденного теста.

Тестирующая система представляет собой клиент (тонкий клиент)/сервер с трехуров-

невой архитектурой. Клиентская часть (уровень 1) отвечает за представление данных пользователю. Поль-

зователю достаточно иметь программу-браузер для взаимодействия с тестирующей систе-мой. С помощью программы-браузера пользователь через сеть взаимодействует с сервером базы данных и с приложением.

22

Уровень бизнес – логики (уровень 2) и обработки данных отвечает за основную логи-ку приложения и логику обработки данных. На этом уровне и располагается приложение тестирующей системы.

Серверная часть (уровень 3) отвечает за представление сервисов данных клиенту. Сервисы представления управляют пользовательским интерфейсом и основной бизнес логи-кой приложения, а также реализуют доступ к данным независимо от их расположения. При-ложение устанавливается на сервер совместно с базой данных и взаимодействует с пользова-телем через браузер.

Независимость от платформы. Тестирующая система гарантирует пользователю взаимодействие независимо от

платформы, поскольку браузеры имеются практически на всех существующих вычислитель-ных платформах при условии поддержки ими стандартов HTML. Дальнейшая разработка тестирующей системы не потребует изменения под различные операционные системы поль-зователей или различных пользовательских интерфейсов.

Прозрачный сетевой доступ. Важнейшим элементом системы является доступ через Web, который обеспечивает

прозрачность сетевого доступа для пользователя, за исключением необходимости указания URL – адреса, что полностью обеспечивается Web-браузером и приложением.

Масштабируемость. Размещая всю функциональность приложения на отдельном сервере и удаляя ее из

программы клиента, Web-технология позволяет сэкономить время, затрачиваемое на раз-вертку приложения. В то же время упрощается модернизация и администрирование системы при работе с различными вычислительными платформами.[4]

3.7. Вид с точки зрения реализации Тестирующая система представляет собой Web-приложение, реализованное на Mac-

romedia AUTHORWARE 6.0. Данное приложение использует внутренний контейнер и внеш-нее хранилище для хранения результатов. Внутренний контейнер предназначен для хране-ния следующих объектов:

• Вопросы и альтернативы ответа; • Графические объекты и рисунки;

Приложение использует HTML-страницы. Взаимодействие с HTML–страницами. Используется технология Web Snap, реализующая разработку приложений под Web.

Данное взаимодействие происходит следующим образом (рис. 2):

23

Рис. 2. Технология Web Snap

Данная схема показывает работу тестирующей системы, её взаимодействие с про-граммными продуктами, установленными на сервере. Page Dispatcher (диспетчер страниц) анализирует запрос и на основании пути запроса решает, какому модулю (Page module) он должен быть передан для дальнейшей обработки. Модуль генерирует запрошенную информацию, которая и отображается затем пользовате-лю.

3.8. Вид с точки зрения развертывания Данная система не нуждается в развертывании, так как используется технология тон-

кого клиента. Все взаимодействие с приложением осуществляется с пользовательского ком-пьютера при помощи Web-браузера. Дополнительной установки приложений или компонен-тов приложений не требуется. В данном аспекте тестирующая система обладает следую-щими преимуществами: 1. Для функционирования клиента не требуется дорогостоящее аппаратное обеспечение. 2. Для пользователей бизнес – логика приложения централизуется на одном севере приложе-ния и, как следствие, сопровождение приложения тоже централизуется.

3.9. Запись информации в базу данных Применение технологии баз данных существенно расширяет возможности преподава-теля и/или администратора тестирующей системы по накоплению и обработке результатов.

Macromedia Authorware поддерживает два наиболее популярных стандарта: 1 ODBC (Open Database Connectivity) – открытый стандарт подключения к ба-

зам данным. 2 OSQL (Structured Query Language) - структурированный язык запросов,

предназначенный для создания запросов к базам данным. Механизм ODBC позволяет Macromedia Authorware выполнять обмен данных с наи-более распространенными СУБД: Access, FoxPro, dBase, Paradox.

Для установки соединения с СУБД она должна быть доступна и, кроме того, должен быть известен маршрут доступа к файлам данных СУБД. Наличие драйвера баз данных, имени источника данных и маршрута доступа к нему является необходимым условием иден-тификации источника данных.

24

Из всех возможных СУБД автором была выбрана СУБД MS Access, так как она имеет широкое распространение и удовлетворяет всем требованиям, предъявленным в рамках дан-ной работы к внешней базе данных.

Тестирующая система использует внешнюю базу данных для хранения результатов тестирования. Механизм связи с базой данных заключается в следующем: при регистрации пользователя в тестирующей системе происходит создание записи в таблице Students_Data, туда записываются данные пользователя, время создания записи и количество сдач теста данным пользователем. Сеанс связи с базой данных не прерывается, она остается активной во время всего процесса тестирования. После окончания теста тестируемому выставляется оценка, она так же сохраняется в базе данных, в таблице Test_Result, и выводится на экран. Сеанс связи с базой данной завершается после вывода результатов тестирования на экран.

3.10 Базовый уровень архитектуры С точки зрения анализа тестирующая система (ТС) обеспечивает следующее:

На основе анализа были выделены следующие классы: 1. Преподаватель; 2. Студент; 3. Тестирование; 4. Тема. В данных классах были выделены следующие атрибуты: Преподаватель: Логин; Пароль; ФИО; Студент: ФИО; Группа; Логин; Пароль; Тестирование: Студент; Тема; Тема: Номер; Вопрос;

Классы отражают взаимодействие между объектами системы. Они содержат данные и действия, влияющие на эти данные. Взаимодействие между классами отображено в пред-ставленных диаграммах. Для упорядочивания модели были выделены следующие пакеты: 1. Актеры: Преподаватель; Студент; 2. Безопасность: <<Server Page>> - Обеспечение безопасности; 3. Информирование: <<Server Page>> - Посылка сообщений; 4. Объекты: Вопросы теста; Взаимодействие между классами определяется следующим образом:

25

Регистрация (рис. 3). Аутентификация преподавателя (рис. 4). Тестирование пользователя (рис. 5). Просмотр результатов (рис. 6). Просмотр архивной информации (рис. 7). Удаление результатов (рис. 8). Поиск по результатам тестирования (рис. 9).

Рис. 3. Регистрация пользователя

26

Рис. 4. Аутентификация преподавателя

Рис. 5. Тестирование пользователя

27

Рис. 6. Просмотр результатов

Рис. 7. Просмотр архивной информации

28

Рис. 8. Удаление результатов

Рис. 9. Поиск по результатам тестирования

29

3.11.Тестирование В процессе тестирования студенту будет предложен ряд вопросов. Текст вопросов, аль-

тернативы вариантов ответов к ним и другая сопутствующая информация хранятся во внут-реннем контейнере. Тестирующая система обладает гибкой системой настройки, которая по-зволяет задавать количество вопросов задаваемых в тесте, порог оценивания, задать на-стройки системы навигации по курсу.

Вопросы отображаются на экране по одному, и переход между ними осуществляется по кнопке «Next». Возврат к предыдущим вопросам осуществляется по кнопке «Back».

В реализованном мной тесте все вопросы являются вопросами одного типа – с единст-венным верным вариантом ответа среди множества альтернатив.

За каждый верно выбранный вариант начисляется один балл. Оценивание происходит после завершения тестирования. Результаты ответов на все вопросы передаются в основной блок оценивания, где происходит анализ всех полученных данных. Полученный результат сравнивается с шаблоном оценивания и выносится окончательный результат.

После прохождения теста выдается статистика: инициалы и номер группы сдающего, общее время тестирования, названия тем, количество правильных и неправильных ответов по каждой теме, общий результат и оценка за тест.

3.12 Проблемы реализации тестирующей системы и пути их решения Из-за скудности внутреннего языка программирования и малодоступности справоч-

ных материалов по разработке проектов в среде Macromedia Authorware, в процессе разра-ботки данного проекта возникли определенные проблемы в проектировании и реализации тестирующей системы, которые не могли быть решены стандартными средствами, то есть путем стандартной компиляции проекта конструктором (Wizard).

1. Связь тестирующей системы с внешней базой данных. Тестирующая система реализована в виде Web-приложения и в виде исполняемого

файла (файл с расширением .ехе). Система использует: - внутренний контейнер для хранения вопросов, ресурсов и наглядного материала; - внешнее хранилище данных для хранения результатов тестирования. Проблемная ситуация состоит в том, что механизм связи внешней базы данных с тес-

тирующей системой слабо документирован. Все описанные в руководстве методы взаимо-действия приложений, созданных в среде Macromedia Authorware, с внешней базой данных, оказались малополезными и не обеспечивали нужной функциональности. Наша система рас-считана на одновременную работу до 100 пользователей, проблемная ситуация возникла в обеспечении стабильной работы системы и в установлении чёткой связи между каждым тес-тируемым и его результатами.

Для решения это проблемы был исследован код, генерируемый конструктором Mac-romedia Authorware, создающий связи между приложением и внешней базой данных. В этот код были вручную внесены изменения, расширяющие его функциональность. Изменения коснулись параметров, передаваемых для модификации полей базы данных. Вместо значе-ний для изменения записей стали использоваться SQL запросы, что позволило расширить возможности манипуляциями данными. Изменения также коснулись команд проверки зна-чений и поиска, изменена логика механизма осуществляющего связь внешней базы данных с тестирующей системой. Путем этих модификаций удалось добиться требуемой функцио-нальности от подсистем регистрации и сохранения результатов.

Подсистема регистрации ответственна за регистрацию новых пользователей в тести-рующей системе, а также для проверки количества прохождений одним студентом каждого теста. Тестирующая система настроена на проход студентом теста один раз, повторная сдача теста не разрешена.

30

Подсистема сохранения результатов ответственна за автоматическое сохранение ре-зультатов пользователя и отображение их в графическом виде.

2. Интегрирование компонентов тестирующей системы. Тестирующая система состоит из множества более мелких подсистем:

- регистрация пользователя; - проверка пользователей; - навигация по курсу; - основной блок оценивания результатов; - псевдослучайный выбор кадров; - контроль работы тестирующей системы; - сохранение результатов тестирования; - передача системных переменных; - связь основных частей тестирующей системы. Каждая из подсистем выполняет свою функциональность, для обеспечения стабиль-

ной работы тестирующей системы необходима чёткая связь между подсистемами и строгий порядок их выполнения.

Проблемная ситуация стоит в том, что решить задачу связи всех подсистем в единое целое, так как средствами продукта Macromedia Authorware это оказалось невозможно. При построении тестирующей системы возникла проблема с нехваткой встроенных средств кон-троля, обеспечением связи между системами и оцениванием результата. Для решения этой трудности потребовалась разработка дополнительных подсистем, обеспечивающих требуе-мую функциональность.

Для связывания всех перечисленных выше подсистем использован механизм глобаль-ных переменных. С того момента, как пользователь решил запустить тестирующую систему и до момента получения им его результатов, происходит контроль, передача и сохранение результатов его деятельности.

Для решения этой проблемы для каждой подсистемы были заведены свои глобальные переменные, и каждая глобальная переменная уникально идентифицировала определенное действие пользователя. После завершения тестирования все глобальные переменные анали-зировались в основном блоке оценивания, и выносился окончательный результат.

3. Случайный выбор вопросов и вариантов ответов. Подавляющее большинство известных тестирующих систем предполагает неизмен-

ный набор вопросов и вариантов ответов на эти вопросы, что снижает репрезентативность теста. Единственная известная нам тестирующая система, в которой реализован случайный выбор, была упомянутая во введении система, выбранная нами в качестве содержательного прототипа.

Идея случайного выбора вопросов состоит в том, что весь тест разбивается на не-сколько тем, по каждой из которых испытуемому задается некоторое число вопросов из по-тенциально широкого списка. Например, тест по дисциплине «Введение в специальность» разделен на 4 основные части.

Тема 1 - Доэлектронная история вычислительной техники; Тема 2 – Электронные вычислительные машины; Тема 3 – Языки и системы программирования; Тема 4 - Операционные системы.

Для каждой части был создан свой псевдослучайный датчик, который выбирает из соответствующей ему темы заданное количество вопросов.

Проблема заключалась в связи псевдослучайного датчика и кадров тестирующей сис-темы, так как для реализации этого традиционными способами встроенного языка програм-мирования было недостаточно.

Для решения этой проблемы для каждой части тестирующей системы были заведены списки всех кадров этой темы. В этих списках хранятся номера и названия страниц. Псевдо-

31

случайный датчик генерирует значение в заданном диапазоне. Сгенерированное значение подставляется в список всех кадров темы, получаются сведения о кадре, проверяется, что выбранный кадр не был уже отображен. После проверки номер кадра помещается в очередь показа кадров. Для каждой части используется свои псевдослучайный датчик, который гене-рирует случайные числа в заданном диапазоне, исходя из настроек каждой части.

Для реализации псевдослучайного выбора вариантов ответа определенного вопроса используются списки вариантов ответа. Из всех возможных вариантов ответа конкретного вопроса случайным образом выбирается заданное количество ответов и помещается в список разрешенных вопросов. При отображении вопроса на экран используются те номера, кото-рые присутствуют в списке разрешенных вопросов.

4. Оценивание по нескольким темам. Как отмечалось выше, для реализации принципа случайного выбора вопросов тест

разбивается на некоторое (в приведенном содержательном примере 4) число тем. Каждая часть представляет собой тест, в котором реализованы свои система навигации, система оценивания, система контроля и управления. После прохождения пользователем одной те-мы, все результаты сохраняются в глобальных переменных. После прохождения всех тем, все сохранённые значения передаются в основной блок оценивания. После тщательного ана-лиза выставляется окончательная оценка тестируемому, результат автоматически сохраняет-ся и выводится на экран. Проблема заключалась в собрании воедино всех передаваемых параметров. Решить проблему построения основного блока оценивания, который занимался окончательным ана-лизом всех передаваемых глобальных переменных, средствами продукта Macromedia Au-thorware оказалось невозможно.

Для решения этой проблемы был создан механизм поэтапного сохранения результа-тов. Принцип работы этого механизма заключается в следующем: в памяти выделяется место для хранения большого количества данных. Каждой системе отводится определенный объем этой памяти, и при завершении работы любой подсистемы, система проводит запись всех глобальных переменных и значений в эту область. При завершении тестирования в работу подключатся основной блок оценивания. Он считывает все значения из этой области памяти, анализирует их и выставляет окончательный результат. Последним шагом работы является сохранение результата во внешней базе данных и вывод его на экран.

5. Навигация по курсу. При реализации тестирующей системы возникла необходимость в создании системы

навигации по курсу. Навигация осуществляется с помощью двух кнопок, расположенных в левом верхнем углу тестирующей системы. С помощью них пользователь может просмот-реть предложенные для ответа вопросы, а также имеет возможность вернуться назад и по-смотреть вопросы, на которые он уже ответил. Проблема заключалась в построении системы навигации для всех частей тестирую-щей системы. Для обеспечения этого встроенная система навигации не подходила, из-за сво-ей недостаточной функциональности.

В итоге, для решения этой проблемы были использованы списки, составленные для связи псевдослучайного датчика с кадрами тестирующей системы. Алгоритм работы систе-мы навигации основан на следующем: после завершения работы псевдослучайного датчика составляется очередь показа кадров для каждой темы. Навигационная система использует эту очередь для перехода к следующему или предыдущему кадру из показанных пользовате-лю.

6. Защита внешней базы данных от несанкционированного доступа. Использование в тестирующей системе внешней базы данных для хранения результа-

тов обусловлено расширением возможностей преподавателя и/или администратора по нако-плению и обработке результатов. Для связи тестирующей системы с внешней базой данных использовался стандарт ODBC (Open Database Connectivity) – открытый стандарт подключе-

32

ния к базам данным. Этот механизм позволяет Macromedia Authorware выполнять обмен данных с наиболее распространенными СУБД: Access, FoxPro, dBase, Paradox. В данном случае была выбрана СУБД MS Access, так как она имеет широкое распространение и удов-летворяет всем требованиям, предъявляющимся к внешней базе данных. Ребром встает вопрос о защите внешней базы данных от несанкционированного дос-тупа. Проблема заключалась в реализации механизма, который обеспечивал бы проверку прав доступа к внешней базе данных, так как встроенными средствами продукта Macromedia Authorware это оказалось невозможно.

Для решения этой проблемы были использованы глобальные переменные, в которых хранится пароль доступа к внешней базе, имя создателя базы данных, местонахождения базы данных и имя базы данных. При каждом обращении к базе данных сначала идет проверка всех этим переменных, и, если проверка происходит удачно, то происходит обращение к по-лям базы данных и запись, иначе, если проверка не прошла, то происходит завершение сеан-са работы с базой данных. Для защиты базы данных от полного перебора пароля использует-ся 12-значный пароль, что практически исключает возможность взлома базы данных.

В результате приведенных выше решений удалось обойти все проблемные места в

реализации и вывести работу тестирующей системы на достаточный уровень.

33

Заключение

В результате проделанной работы можно сделать следующие выводы по применению пакета Macromedia Authorware.

Данный пакет предназначен для создания компактных мультимедийных приложений. Средства, входящие в его состав, позволяют в полном объеме реализовывать современные требования к построению и организации систем электронного обучения и тестирования. Macromedia Authorware, вобрал в себя все достоинства ранее существовавших программ по разработке тестов и перевел разработку тестов на принципиально новый уровень, позволив включать в процесс создания теста все возможные формы мультимедиа (видео/аудио) со-провождения.

Вместе с тем при разработке реальных тестирующих систем в данной среде возникает ряд технических проблем, связанных с обеспечением переменной структуры теста и множе-ственного доступа через Web. Проведенный нами подробный анализ этих проблем показы-вает, что путем определенных технических решений они могут быть успешно решены. До-казательством этому может служить разработанная с использованием предлагаемых реше-ний тестирующая система, которая унаследовала все достоинства и функциональность сис-темы, выбранной в качестве прототипа и широко используемой на факультете информати-ки, и плюс к этому, приобрела новые свойства и качества.

Тестирующая система может служить основой для создания тестов разной направ-ленности, для этого достаточно поменять набор вопросов, и новый тест готов к использова-нию.

34

Список использованной литературы

1. Gery White, Liza Stanziano. Using_Authorware [Электронный ресурс]: Mac-romedia, - 2003. - Режим доступа: http://www.Macromedia.com/

2 . Macromedia Authorware [Электронный ресурс]: Macromedia, 2004. - Режим доступа: Edu.Allsoft.ru

3. Анастази А., Урбина С. Психологическое тестирование. СПб., 2002. - 200 с.

4. Аванесова В.С. Теория тестов [Электронный ресурс], 1994. - Режим доступа: http://www.unn.ru/vmk/info.php?id=_tt

5. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. М.: 2003. - 256 с.

6. Гультяев А.К. Macromedia Autohware 6.0. Разработка мультимедийных учебных курсов. - СП: Учитель и ученик, 2002. - 400 с.

7. Гладких Б.А. Информатика от абака до интернета. Введение в специаль-ность: Учебное пособие. Томск: Изд-во Том. ун-та, 2006. - 500 c.

8. Майоров А.Н. Теория и практика создания тестов для системы образования. М., 2000. - 340 с.

9. Серафимович И.В. Разработка электронного учебного курса "Проектирование баз данных в расширенной модели данных «Сущность - связь»: Дипломная работа - Томск: Томск. гос. ун-т. Факультет информатики, 2005. - 52 с.

10. Челышкова М.Б. Теория и практика конструирования педагогических тес-тов. М., 2002. - 400 с.

35

Приложение А. Руководство для студента Тестирующая система реализована в виде Web-приложения и как исполняемый файл (файл с расширением .ехе). Для запуска системы, реализованной в виде Web-приложения, необходимо: 1. Запустить Web-browser;

2. Ввести адрес сервера, на котором находится тестирующая система;

3. Согласится с предложением установки проигрывателя Macromedia Authorware;

4. Запустить систему, как показано на (рис. 10).

Рис. 10. Запуск тестирующей системы

После запуска тестирующей системы пользователю выводятся информационные окна, с пра-вилами сдачи (рис. 11) и навигации по тестирующей системе (рис. 12).

36

Рис. 11. Информация для студентов

Рис. 12. Структура тестирующей системы

37

Перед началом тестирования студент должен пройти регистрацию - ввести фамилию, ини-циалы и номер группы (рис. 13).

Рис. 13. Регистрация студентов

После регистрации тестируемому необходимо ответить на предложенный ряд вопросов (рис. 14). Процесс ответа на вопрос заключается в следующем:

1. Необходимо выбрать вариант ответа - для этого необходимо подвести к вы-бранному им варианту ответа курсор и нажатием на левую кнопку мыши вы-делить его;

2. После этого необходимо нажать на кнопку «Далее», находящуюся в верхнем левом углу окна тестирующей системы.

После этих манипуляций тестирующая система предложит следующий вопрос.

38

Рис. 14. Предлагаемые вопросы

После ответа на все предложенные вопросы тестирующая система сохраняет и выводит ре-зультат тестирования (рис. 15).

39

Рис. 15. Результат тестирования.

Для запуска системы, реализованной в виде исполняемого файла (файл с расширени-

ем .ехе), необходимо запустить файл T.exe в папке Local. Остальные действия аналогичны действиям при запуске тестирующей системы в виде Web-приложения.

40

Приложение Б. Руководство программиста Для регистрации студентов используются следующий код:

1. Инициализация настроек. Расположение: Тема1\Login—65888\password\auto register ODBC database odbcDatasource := "Authorware 5 Application KO Data" odbcUser := "Admin" odbcPassword := "" odbcSourceType := 4 odbcDriverName := "Microsoft Access Driver (*.mdb)" odbcStatement := "DSN=" ^ odbcDatasource ^ ";" odbcStatement := odbcStatement ^ "Description=Application KO Database;" odbcStatement := odbcStatement ^ "DefaultDir =" ^ FileLocation ^";" odbcStatement := odbcStatement ^ "Access;" odbcStatement := odbcStatement ^ "DBQ=" ^ FileLocation ^ "iso.mdb;" odbcStatement := odbcStatement ^ "PWD=" ^ odbcPassword ^ "1111111111;" odbcStatement := odbcStatement ^ "UID=" ^ odbcUser ^ ";" odbcDriverInstalled := tMsDBRegister(odbcSourceType; odbcDriverName; odbcStatement) odbcStatement := "" 2. Инициализация структуры базы данных. Расположение: Тема1\Login—65888\password\auto register ODBC database\find user if logonUserIDField then -- odbcStatement := "SELECT * FROM [Student_Data] WHERE (LastName = '" ^ uLastName ^ "' AND FirstName = '" ^ uFirstName ^ "' AND LogonID = '" ^ logonUserID ^ "' AND MiddleName = '" ^ uMiddleName ^ "')" odbcStatement := "SELECT * FROM [Student_Data] WHERE (Fio = '" ^ uFio ^ "' AND Logo-nID = '" ^ logonUserID ^ "' AND GroupName = '" ^ uGroupName ^ "')" else -- odbcStatement := "SELECT * FROM [Student_Data] WHERE (LastName = '" ^ uLastName ^ "' AND FirstName = '" ^ uFirstName ^ "' AND MiddleName = '" ^ uMiddleName ^ "')" odbcStatement := "SELECT * FROM [Student_Data] WHERE (Fio = '" ^ uFio ^ "' AND GroupName = '" ^ uGroupName ^ "')" end if Trace( odbcStatement) --open connection to database odbcHandle := ODBCOpen(WindowHandle; "odbcError"; odbcDatasource; odbcUser; odbcPass-word) Trace(odbcHandle) --send SQL statement and retrieve data odbcReturnData := ODBCExecute(odbcHandle; odbcStatement) Trace(odbcReturnData) Trace(odbcError) --close connection to database ODBCClose(odbcHandle) --populate variables if odbcReturnData > "" then logonUserID := GetLine(odbcReturnData; 1; 1; Tab) -- uLastName := GetLine(odbcReturnData; 2; 2; Tab) uFio := GetLine(odbcReturnData; 2; 2; Tab) uGroupName := GetLine(odbcReturnData; 3; 3; Tab)

41

logonPassword[1] := GetLine(odbcReturnData; 4; 4; Tab) logonAttempts := GetLine(odbcReturnData; 5; 5; Tab) Trace(logonAttempts) uFirstDate := GetLine(odbcReturnData; 6; 6; Tab) uTotalTime := GetLine(odbcReturnData; 7; 7; Tab) end if uStudentFolder := logonUserID Для реализации случайного выбора вопросов используется следующее: Расположение:\Тема1\ initialize\ randomize IDList@"randomize" := [] --if #RandomizeOrder is on, randomize question order if _QuizSettings@"#1 - general prefs"[#RandomizeOrder] = 1 then --copy question Map IconIDs to a temporary list IDList@"randomize" := CopyList(quizPagingIconIDs[sectionCurrent]) quizPagingIconIDs[sectionCurrent] := [] --build a random ordered list of question IconIDs repeat while ListCount(IDList@"randomize") > 0 RandomNumber@"randomize" := Random(1; ListCount(IDList@"randomize"); 1) AddLinear(quizPagingIconIDs[sectionCurrent]; IDList@"randomize"[RandomNumber@"randomize"]) DeleteAtIndex(IDList@"randomize"; RandomNumber@"randomize") end repeat end if if _QuizSettings@"#1 - general prefs"[#NumberQuestionsToAsk] > 0 then --copy question Map IconIDs to a temporary list IDList@"randomize" := CopyList(quizPagingIconIDs[sectionCurrent]) quizPagingIconIDs[sectionCurrent] := [] repeat with TempLoop@"randomize" := 1 to _QuizSettings@"#1 - general prefs"[#NumberQuestionsToAsk] if (IDList@"randomize"[TempLoop@"randomize"] <> "") & (IDList@"randomize"[TempLoop@"randomize"] <> 0) then AddLinear(quizPagingIconIDs[sectionCurrent]; IDList@"randomize"[TempLoop@"randomize"]) else exit repeat end if end repeat end if IDList@"randomize" := [] Система навигации Расположение:\Тема1\ quiz navigation pageComplete[sectionCurrent; CurrentPageNum] := 1 if Sum(pageComplete[sectionCurrent]) >= ListCount(quizPagingIconIDs[sectionCurrent]) then sectionComplete[sectionCurrent] := 1 end if quizCurrentPage := quizCurrentPage – 1 Подсистема оценивания и записи результата в базу данных. Располоджение:\Тема4\ odbc-quiz

42

odbcHandle := ODBCOpen(WindowHandle; "odbcError"; odbcDatasource; odbcUser; odbcPass-word) result:=Test1prav+Test2prav+Test3prav+Test4prav if result>=18 then itog:=5 else if result=17 then itog:=4 else if (result>=15 & res1<17) then itog:=3 else if result<15 then itog:=2 kol:=19 otr:=kol-result if itog=2 then res1:="ТЕСТ НЕ СДАН" else if itog=3 then res1:="ТЕСТ СДАН. Необходимо лудше изучать материал !!!" else if itog=4 then res1:="ТЕСТ СДАН. Хорошие результаты !!!" else if itog=5 then res1:="ТЕСТ СДАН. Отлично !!!" -- A control number is used to link a test result record with the detail line items -- The control number from the result record must be replicated to each of the detail -- records to maintain the MS Access link. -- To determine the next control number to use, we read in all the exisiting ones -- and increment by 1. quizControlNum := ODBCExecute(odbcHandle; "SELECT Max(TestControlNum) FROM TestRe-sults") + 1 quizCurrentScore[sectionCurrent]:=itog --build SQL statement to update test results odbcStatement := "INSERT INTO TestResults (\"TestControlNum\", \"LogonID\", \"TestDate\", \"TestTime\", \"Score\")" odbcStatement:= odbcStatement^" VALUES ('"^quizControlNum^"', '"^logonUserID^"', '"^Date^"', '"^Time^"', '"^quizCurrentScore[sectionCurrent]^"')" --send SQL statement ODBCExecute(odbcHandle; odbcStatement) --build SQL statement to update test details --repeat with quizIndex[1] := 1 to ListCount(quizQuestionResults[sectionCurrent]) -- odbcStatement := "INSERT INTO TestResultDetail (\"TestControlNum\", \"Question\", \"Score\", \"UserResponse\")" -- odbcStatement := odbcStatement ^ " VALUES ('" ^quizControlNum ^ "', '" ^ quizIndex[1] ^ "', '" ^ String(quizQuestionResults[sectionCurrent; quizIndex[1]; 2]) -- odbcStatement := odbcStatement ^ "', '" ^String(quizQuestionResults[sectionCurrent; quizIn-dex[1]; 3]) ^ "'" ^ ")" -- ODBCExecute(odbcHandle; odbcStatement) --end repeat --close connection to database ODBCClose(odbcHandle)

43

Приложение B. Руководство для преподавателя по разработке тестов При создании тестирующей системы была использована среда разработки Macromedia

Authorware v 6.0, и для дальнейшего сопровождения продукта необходимо использовать данный программный продукт или последующие версии.

Для начало работы непосредственно с кодом проекта необходимо: 1. Установить Macromedia Authorware v 6.0; 2. Запустить Macromedia Authorware v 6.0. и открыть файл проекта t.a6p.

Проект тестирующей системы имеет вид (рис. 16).

Рис. 16. Проект тестирующей системы

Проект тестирующей системы состоит из 4 подчастей:

1. Тема 1 - Доэлектронная история вычислительной техники; 2. Тема 2 – Электронные вычислительные машины; 3. Тема 3 – Языки и системы программирования; 4. Тема 4 - Операционные системы. Каждая часть представляет собой отдельную тему для тестирования, каждая из кото-

рых содержит свои настройки, свои глобальные переменные и собственную систему оцени-вания. Для нормального функционирования необходимо сохранять связи между частями и без особой необходимости не изменять логику проекта, так как это может повлечь неста-бильность системы в целом.

44

Для задания настроек каждой темы необходимо: 3. Открыть файл проекта t.a6p; 4. Запустить объект Quiz Knowledge Object. Объект Quiz Knowledge Objekt за-

пускает двойным щелчком по значку KO. На (рис. 17) значок КО обведен в прямоугольник;

5. После запуска Quiz Knowledge Object в настройках можно выбрать основные свойства и параметры темы такие как: количество задаваемых вопросов ,порядок их следования, параметры оценивания, добавление новых вопросов и тд.

Рис. 17. Запуск Quiz Knowledge Object

Для добавления новых вопросов в тему необходимо:

1. Открыть файл проекта t.a6p; 2 Запустить объект Quiz Knowledge Object той темы, в которую хотите добавить

новые вопросы; 3. В объект Quiz Knowledge Object найти вкладку Add Questions. Вид окна пока-зан на (рис. 18); 6. В появившемся окне необходимо выбрать тип вопроса: Одиночный ответ,

множественный ответ, вводимый ответ, графический выбор и т.д.; 7. После выбора типа вопроса необходимо вызвать Wizard Questions для ввода

вопроса и альтернатив ответов на него (рис. 19); 8. После добавления всех вопросов необходимо закрыть окно объекта Quiz

Knowledge Object нажатием кнопки Done. Новые вопросы автоматически добавляются в тему. Тестирующая система сама включит но-вые вопросы в тестирование согласно общим настройкам логики программы.

45

Рис. 18. Добавление нового вопроса

46

Рис. 19. Настройка вопроса и альтернатив ответа

Для изменения параметров выставление оценки необходимо:

1. Открыть файл проекта t.a6p; 2 Запустить объект типа MAP темы “Операционные системы”. Для запуска не-

обходимо навести на значок MAP темы “Операционные системы” и двойным щелчком открыть его. На (рис. 20) значок обведен в квадрат;

3 В раскрывшемся окне объекта MAP темы “Операционные системы” необхо-димо найти файл odbc-quiz и открыть его двойным щелчком (рис. 21).;

4 В раскрывшемся окне можно установить необходимые параметры и порог для вывода оценки.

47

Рис. 20. Объект типа MAP темы “Операционные системы”

48

Рис. 21. Анализ результата и выставление оценки

Для изменения пароля доступа к базе данных необходимо:

1. Открыть файл проекта t.a6p; 2. Запустить объект типа MAP темы “Доэлектронная история вычислительно

техники”. Для запуска необходимо навести на значок MAP темы “Доэлек-тронная история вычислительно техники” и двойным щелчком открыть его;

3. В появившемся окне необходимо найти файл “Login—65888” и двойным щелчком открыть его;

4. В раскрывшемся окне найти файл “password” двойным щелчком открыть его; 5. В раскрывшемся окне найти файл “auto register ODBC database” двойным

щелчком открыть его; 6. Откроется окно программы в котором необходимо найти строчку

odbcStatement := odbcStatement ^ "PWD=" ^ odbcPassword ^ "1111111111;" И заменить имеющийся там пароль на новый;

7. Изменения пароля требуется и у самой базы, для этого нужно открыть базу данных, находящуюся в той же папке, где располагается проект программы, и изменить пароль.

49

Приложение Г. Руководство по установке Тестирующая система реализована в виде Web-приложения и как исполняемый файл

(файл с расширением .ехе). Данная система не нуждается в развертывании, так как используется технология тон-

кого клиента. Всё взаимодействие с приложением осуществляется с пользовательского ком-пьютера при помощи web-браузера и/или проводника Windows. Дополнительной установки приложений или компонентов приложений не требуется.

Для установки тестирующей системы в виде Web-приложения необходимо:

1 . Разместить файлы тестирующей системы на сервере;

2. Разместить страницу T.aam в качестве стартовой.

Для установки тестирующей системы в виде исполняемого файла необходимо:

1. Разместить файлы тестирующей системы на сервере;

2. Открыть файлы тестирующей системы для доступа.

50

Приложение Д. Схема базы данных для хранения результата тес-тирования

Таблица Students_Data, атрибуты:

LogonID - первичный ключ;

FIO - инициалы студента;

GroupName - группа;

Password - пароль студента;

Attempts - количество сдач теста;

FirstData - дата сдачи;

Totaltime - время сдачи.

Таблица TestResults , атрибуты:

Test ControlNum - первичный ключ;

LogonID - внешний ключ;

Testdata - дата теста;

TestTime - время теста;

Title - для заметок;

Score - оценка.