Bryansk State Technical University (department «CTS», Post graduate student)
Bryansk, Bryansk, Russian Federation
The article provides a comparative analysis of software quality .test designers based on the ISO-9126 quality model according to such quality criteria as functionality, reliability, usability, efficiency, ease of maintenance and portability. The advantages and disadvantages of software quality are revealed and the prospects for further research are determined.
test designers, software quality, quality criteria, validity, reliability
В условиях переход к цифровой экономике необходимо ввести ускоренную технологическую трансформацию в области произведственных
и образовательных инноваций. Технологическая революция в России связана с использованием новых информационных технологий и
возможности их использования во всех сферах народного хозяйства, включая в первую очередь образовательные учреждения и
организации.[6, 7]
Эффективность образования возможна только в условиях объективного контроля знаний и умений обучающихся. Различают два метода
контроля – субъективный и объективный. Субъективный метод контроля означает выявление, измерение и оценку знаний, умений, навыков,
исходящую из личных представлений экзаменатора. Этот метод оценки знаний пригоден для итогового контроля, так как не обладает
необходимой точностью и воспроизводимостью результатов.
Инструментом, который позволяет объективно оценивать качество усвоения, является критериально-ориентировочный тест, сочетающий
в себе контрольное задание и эталон, по которому можно судить о качестве усвоения.
В современной системе образования тесты крепко заняли свое место. Тесты – это задание, состоящее из ряда вопросов и нескольких
вариантов ответа на них для выбора в каждом случае одного верного. С их помощью можно получить, например, информацию об уровне
усвоения элементов знаний, о сформированности умений и навыков учащихся по применению знаний в различных ситуациях.
Тестирование – более справедливый метод, оно ставит всех учащихся в равные условия, как в процессе контроля, так и в процессе оценки,
практически исключая субъективизм преподавателя.
Актуальным направлением современной организации тестового контроля является его индивидуализация, приводящая к значительной
экономии времени тестирования. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть
имеют разовый характер. Затраты же на проведение теста значительно ниже, чем при письменном или устном контроле. Перед тем, как
рассмотреть основные программные комплекс, предназначенные для конструирования тестов, рассмотрим критерии качества
программного обеспечения [5].
На данный момент наиболее распространена и используется многоуровневая модель качества программного обеспечения, представленная
в наборе стандартов ISO 9126. Основой регламентирования показателей качества систем является международный стандарт ISO 9126
«Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению». В этом
стандарте описано многоуровневое распределение характеристик ПО. На верхнем уровне выделено 6 основных характеристик качества ПО,
каждую из которых определяют набором атрибутов, имеющих соответствующие метрики для последующей оценки (рисунок 1). Согласно
этой модели, функциональность программного средства (functionality) – совокупность свойств ПС, определяемая наличием и конкретными
особенностями набора функций, способных удовлетворять заданные или подразумеваемые потребности качества наряду с ее надежностью
как технической системы. Надежность (Reliability) – способность ПО выполнять требуемые задачи в обозначенных условиях на
протяжении заданного промежутка времени или указанное количество операций. Удобство использования программного средства
(usability) – совокупность свойств ПС, характеризующая усилия, необходимые для его использования, и оценку результатов его
использования заданным кругом пользователей ПС. Эффективность (Efficiency) – способность ПО обеспечивать требуемый уровень
производительности в соответствии с выделенными ресурсами, временем и другими обозначенными условиями. Удобство сопровождения
(Maintainability) – легкость, с которой ПО может анализироваться, тестироваться, изменяться для исправления дефектов, для реализации
новых требований, для облегчения дальнейшего обслуживания и адаптироваться к именующемуся окружению. Портативность (Portability)
– совокупность свойств ПС, характеризующая приспособленность для переноса из одной среды функционирования в другие [4].
TestMaker - это локальная программа компьютерного тестирования знаний, предназначенная для создания и проведения тестов. TestMaker
позволяет создавать набор проверочных заданий для обучения и дальнейшего контроля знаний обучаемых, редактировать ранее
созданные тесты, а также сохранять результаты тестирования. В программной системе TestMaker поддерживается:
• Создание разных типов вопросов;
• Добавление графических изображений;
• Ввод ограничений по времени для прохождения теста;
• Генерирование вопросов в случайном порядке;
• Отображение результатов тестирования в процентах;
• Хранение результатов тестирования.
Также есть возможность создания закрытого однозначного вопроса, в котором можно задать неограниченное число вариантов ответа.
В данном программном продукте вопрос представляет собой три области, в которых необходимо подобрать соответствия между
компонентами левой и правой областями. Выбор ответов из левого и правого окна автоматически заносится в верхнее окно. Неверный
ответ можно удалить двойным щелчком. Один элемент любого списка может иметь несколько соответствий из другого или не иметь ни
одного. Ответ на вопрос считается правильным, если все соответствия указаны верно. Количество вариантов не ограничен. Вопрос на
ранжирование не является отдельным типом вопроса, так как его можно смоделировать как вопрос на соответствие. Открытый вопрос с
возможностью расширения правильного ответа, но без допуска опечаток. Ответ может содержать несколько строк.
RichTest- это пакет программ, позволяющий составлять тестовые задания и проводить тестирования. Программный комплекс состоит из
трех модулей: Админ (RichTestAdmin), Клиент (RichTestCustomer) и Отчеты (Rich TestTestReports). Модуль RichTestAdmin предназначен
для создания и редактирования тестовых заданий, модуль RichTestCustomer предназначен для проведения тестирований, модуль
RichTestTestReports предназначен для сбора и анализа результатов тестирования в виде отчетов.
Для повышения качества оценки знаний обучающихся данный программный комплекс предоставляет следующие возможности: переход
к теории для подготовки к прохождению тестирования, задание сложности каждого вопроса, прикрепление подсказки к вопросу
(отображение подсказки во время тестирования приводит к получению штрафных баллов), переход пользователя в обучающий режим,
где выводится верный ответ в случае ошибки. Также программа RichTest позволяет строить отчеты по результатам тестирования.
Программный комплекс предоставляет возможность указания любого числа вариантов ответа, один из которых будет правильный.
Задача тестируемого найти верный вариант ответа. Программа позволяет отображать варианты ответов в случайном порядке. Есть
возможность использования подсказки, за которую будут сниматься баллы (баллы можно указать любые). В RichTest задание на
соответствие представляет собой два столбца - для каждого варианта из первого столбца необходимо указать соответствующий вариант
из второго. Одному варианту из первого столбца может соответствовать только один вариант из второго. Количество вариантов в столбцах
должно быть одинаковым. Задание на соответствие представляет собой два столбца - для каждого варианта из первого столбца
необходимо указать соответствующий вариант из второго. Одному варианту из первого столбца может соответствовать только один
вариант из второго. Количество вариантов в столбцах должно быть одинаковым. В заданиях на ранжирование тестируемому необходимо
для каждого варианта ответа указать его порядковый номер. В списке может быть неограниченное количество вариантов ответа. Открытый
вопрос представляет собой пустое окно, в которое необходимо ввести ответ на вопрос или заполнить отсутствующую часть. Можно
задать только один вариант ответа, пользователь не имеет возможности допустить опечатку (ответ будет засчитан как неверный). [2]
Рис.1. Модель качества программного обеспечения (ISO 9126)
Экзаменатор (examinator) - это программа для проведения экзаменов, контрольных и тестовых работ в любых учебных заведениях.
Программа имеет возможность заполнения данными по любым изучаемым предметам. В качестве вопроса может использоваться текст
или графическое изображение. Количество тестов и вопросов в тесте не ограничено.
Экзаменатор состоит из двух частей: программы тестирования и программы преподавателя. Эти программы могут находиться на одном
компьютере или на разных компьютерах в локальной сети. Запустить программу преподавателя может только человек, который знает
пароль преподавателя. Данная система позволяет установить минимальный процент успешного прохождения тестирования, пропускать
вопросы и переходить к выполнению следующего здания. Задания на тестирования могут выдаваться не по порядку. Во время выполнения
тестирования на экране отображается текущую оценку и затраченное время Можно устанавливать время прохождения тестирования. В
заданиях на выбор одного правильного ответа обучаемому предлагается выбрать один верный ответ из нескольких. Максимальное
количество вариантов ответов- 8 . В данной системе нет различия между вопросами с выбором нескольких ответов или одного. На
странице редактора вопроса выбирается количество правильных ответов. Преподаватель может указать только один ответ или несколько
верных сразу. Также в системе Экзаменатор нет возможности создавать задания на поиск соответствия и постановку от-крытого вопроса.
[8]
MyTestXPro — это система программ для создания и проведения компьютерного тестирования знаний, сбора и анализа результатов.
С помощью программы MyTestXPro возможна организация и проведение тестирования, экзаменов в любых образовательных
учреждениях (вузы, колледжи, школы) как с целью выявить уровень знаний по любым учебным дисциплинам, так и с обучающими целями.
Предприятия и организации могут осуществлять аттестацию и сертификацию своих сотрудников.
Программа MyTestXPro работает с десятью типами заданий:
• одиночный выбор;
• множественный выбор;
• установление порядка следования;
• установление соответствия;
• указание истинности или ложности утверждений;
• ручной ввод числа (чисел);
• ручной ввод текста;
• выбор места на изображении;
• перестановка букв;
• заполнение пропусков.
Параметры тестирования, задания, звуки и изображения к заданиям для каждого отдельного теста - все хранится в одном файле теста.
Никаких баз данных, никаких лишних файлов - один тест – один файл. Файл с тестом за-шифрован и сжат.
Программа MyTestXPro работает с десятью различными типами заданий. В тесте можно использовать как задания одного типа, так и
задания разных типов. Количество групп и заданий в тесте не ограничено. Вопросы с вариантами ответа могут включать до десяти
вариантов. Для каждого задания возможно заать до пяти формулировок вопроса.
Текст вопроса и вариантов ответа (там, где они возможны) поддерживают возможности форматирования текста, вставки рисунков, таблиц,
символов. В программе имеется удобный встроенный текстовый редактор. Форматировать текст, вставлять таблицы, рисунки и символы
можно не только в вопросы, но и в варианты ответов.
Программа поддерживает несколько независимых друг от друга режимов тестирования. Используя различные режимы и параметры
тестирования, возможно эффективно решать разнообразные задачи, как обучения, так и проверки знаний.
Как и какие именно задания из теста будут заданы тестируемому, сколько времени будет ему на обдумывание, будет ли показан верный
ответ, будут ли сохранены или отправлены результаты тестирования… и многие другие опции легко настраиваются с помощью редактора
тестов.
С помощью MyTestXPro вы можете организовать как локальное, так и сетевое тестирование. Можно проводить тестирование и не имея
подключения к какой-либо сети. При сетевом тестировании результаты тестирования могут быть автоматически переданы по сети в
модуль Журнал, а могут быть отправлены по электронной почте или на веб-сервер в Интернет методом POST.
При невозможности провести компьютерное тестирование из электронного теста можно быстро сформировать и распечатать «бумажный
тест». Для удобства распространения тестов среди обучаемых можно создавать «автономные тесты» - программы, содержащие один тест
и настройки модуля тестирования в одном исполняемом exe-файле.
Следующий пакет – система тестирования INDIGO (сайт – http://indigotech.ru/).
В этой системе также можно создавать тестовые задания 5 типов. Но кроме этого особенностью конструктора тестов INDIGO
является поддержка многоуровневой иерархической группировки вопросов тестов по заданиям, темам и т.д. Ведь если вопросы теста
отображаются в одном линейном списке, то возникают сложности с навигацией и пониманием того, какой вопрос к чему относится. В этой
системе имеется возможность задания для каждой группы индивидуальных настроек (в особенности, порядка выдачи вложенных
элементов или их случайной выборки).
1. Сравнительный анализ программных продуктов, предназначенных для создания заданий тестового контроля
№ п/п Наименование
критерия TestMaker RichTest Экзаменатор MyTestXPro INDIGO Moodle
1 Функциональность
1.1 Функциональная
исправность + + + + + +
1.2 Соответствие
стандартам + + + + + +
1.3 Функциональная
совместимость + + + + + +
1.4 Безопасность + + + + + +
1.5 Точность + + + + + +
2 Надёжность
2.1. Завершённость + +/- + + +/- +
2.2. Восстанавливаемость + +/- + +/- +/- +
2.3. Устойчивость к
отказам + +/- + + +/- +
3 Удобство
использования
3.1. Удобство изучения + + + + - +/-
3.2. Понятность + + + + +/- +
3.3. Удобство и простота использования +/- + +/- + +/- +
4 Эффективность
4.1. Эффективность по
времени + + + + + +
4.2. Эффективность использования ресурсов +/- +/- + + + +
5 Удобство
сопровождения
5.1. Стабильность + + +/- + +/- +
5.2 Анализируемость - - + + + +
5.3. Контролепригодность - - + + + +
5.4. Изменяемость +/- + + + - +
6 Портативность
6.1. Удобство установки - + +/- - +/- +/-
6.2. Заменяемость +/- - +/- +/- + -
6.3. Совместимость + + + + + +
Заключение
При сравнении программных продуктов выяснилось, что все они обладают высокой функциональностью, надежностью и валидностью.
Недостатком программного продукта Test Maker является возможность создания тестов только на выбор одного или нескольких
правильных ответов и сложность установки. Программы INDIGO и Moodle сложны в изучении для пользователя программных продуктов,
однако это компенсируется большим количеством методических разработок по этим программам.
Перспективным направлением дальнейших исследований является содержательный анализ самих тестовых заданий с точки зрения их
валидности и надёжности при включении в фонд оценочных средств.
1. Alisultanova E. D., Suleymanov I. R. Analysis of the used programs of computer-based testing in higher education institutions // the Alley of science. - 2017. – vol.1. - №16. - P. 926-932
2. Alyautdinova G.R., Ignalina I. S., Paygina L. R. A com-parative analysis of testing programs TestMaker and RichTest/ / Educational technologies and society-2017. - vol. 20. - №2. - P. 377-384
3. Androsov K. Yu.., Sudaric A. N., Fedotov S. N. Devel-opment of the unified test Suite and its software tested by solving tasks of professional selection in the operator and the driver's activity // ErgoDesign. - 2018. – vol.1. - №1 (01). – P. 28-35.
4. Gorbachenko I. M. Evaluation of software quality for the creation of testing systems. Fundamental research. - 2013. - №6-4. - P. 823-827.
5. Gustyahina V. P. Program, the designers of the tests as a tool of knowledge control. - //Information and communication technologies in pedagogical education. - 2018. - №3 (55). - P. 14-16
6. Zhuravlev A. L., Nestik T. A. Socio-psychological de-termination of readiness of the personality to the use of new technologies // Psychological journal. - 2018. - vol. 39. - №5. - P. 5-14.
7. Idrissov G. I., Knyaginin V. N., Kudrin A. L., Rozhkova E. S. New technological revolution: challenges and opportunities for Russia // economic Issues - 2018. - №4. - P. 5-25.
8. Matveev S. V., Frolov K. A. An overview of the capabilities of software systems and TestMaker Examiner // Educational technologies and society in 2016. - vol. 19. - №2. — P. 549-557
9. Mukhutdinov T. A., Andreeva V. N., Ismagilov A. Kh., Shakirov A. A. Overview of the capabilities of software sys-tems and Additionally TestMaker // Educational technologies and society in 2016. - vol. 19. - №2. - P. 528-538.
