ОЦЕНКА КОМПЕТЕНТНОСТИ ВЫПУСКНИКОВ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ ПО НАПРАВЛЕНИЮ ПОДГОТОВКИ «ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ» НА ОСНОВЕ НЕЧЕТКОГО КОГНИТИВНОГО ПОДХОДА
Авторы:
1.
Астраханский государственный университет
2.
Астраханский государственный университет
3.
Астраханский государственный технический университет
4.
Астраханский государственный технический университет
(кандидат технических наук, доцент; заведующий кафедрой информационной безопасности )
Тип:
Статья
Страницы:
с 115
по 124
Статус:
Опубликован
Получено:
05.01.2017
Одобрено:
28.02.2020
Опубликовано:
25.01.2017
Классификаторы:
ВАК 05.12.2013 Системы, сети и устройства телекоммуникаций
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК [378.147:004]:331.156
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК [378.147:004]:331.156
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
Язык материала:
русский
Ключевые слова:
компетентность, учебная дисциплина, задачи, нечеткое когнитивное моделирование, лингвистическая переменная, специалист по защите информации, информационная безопасность
Аннотация (русский):
Предлагаемая методика оценки компетентности выпускника высшего учебного заведения, разработанная на примере направления подготовки «Информационная безопасность», учитывает следующие особенности решаемой задачи: неполнота и неопределенность информации об умениях, навыках и знаниях выпускника; многокритериальность, обусловленная необходимостью учета большого числа частных показателей, связанных с учебной деятельностью и формированием компетенций; наличие как количественных, так и качественных показателей, которые необходимо учитывать при оценке уровня компетенции. Разработана нечеткая когнитивная модель, состоящая из пяти уровней. На вход модели подаются данные об уровне выполнения поставленных перед выпускником задач. Выходные данные модели - уровень компетентности выпускника. Разработанная методика может применяться в любых высших учебных заведениях для оценки компетентности выпускников различных специальностей и направлений путем изменения концептов и межуровневых связей разработанной нечеткой когнитивной модели.
Предлагаемая методика оценки компетентности выпускника высшего учебного заведения, разработанная на примере направления подготовки «Информационная безопасность», учитывает следующие особенности решаемой задачи: неполнота и неопределенность информации об умениях, навыках и знаниях выпускника; многокритериальность, обусловленная необходимостью учета большого числа частных показателей, связанных с учебной деятельностью и формированием компетенций; наличие как количественных, так и качественных показателей, которые необходимо учитывать при оценке уровня компетенции. Разработана нечеткая когнитивная модель, состоящая из пяти уровней. На вход модели подаются данные об уровне выполнения поставленных перед выпускником задач. Выходные данные модели - уровень компетентности выпускника. Разработанная методика может применяться в любых высших учебных заведениях для оценки компетентности выпускников различных специальностей и направлений путем изменения концептов и межуровневых связей разработанной нечеткой когнитивной модели.
Ключевые слова:
компетентность, учебная дисциплина, задачи, нечеткое когнитивное моделирование, лингвистическая переменная, специалист по защите информации, информационная безопасность
компетентность, учебная дисциплина, задачи, нечеткое когнитивное моделирование, лингвистическая переменная, специалист по защите информации, информационная безопасность
Введение Состояние проблемы. Подготовка высококвалифицированных кадров в различных областях и сферах является одним из основных направлений государственной политики Российской Федерации. Федеральными государственными образовательными стандартами высшего (высшего профессионального) образования определены общекультурные, профессиональные, общепрофессиональные компетенции, которыми должен обладать выпускник в результате освоения им образовательной программы. Например, в [1] определены общекультурные, профессиональные компетенции, которыми должен обладать выпускник в результате освоения программы бакалавриата по направлению подготовки 10.03.01 Информационная безопасность. Так, выпускник должен: 1. Обладать такими общекультурными компетенциями (ОК), как: - способность осознавать необходимость соблюдения Конституции Российской Федерации, прав и обязанностей гражданина своей страны, гражданского долга и проявления патриотизма (ОК-1); - способность осуществлять свою деятельность в различных сферах общественной жизни с учетом принятых в обществе моральных и правовых норм (ОК-2); - способность уважительно и бережно относиться к историческому наследию и культурным традициям, толерантно воспринимать социальные и культурные различия (ОК-3); - способность понимать и анализировать политические события, мировоззренческие, экономические и социально значимые проблемы и процессы, применять основные положения и методы социальных, гуманитарных и экономических наук при решении социальных и профессиональных задач (ОК-4) и т. д. 2. Обладать такими профессиональными компетенциями (ПК), как: - способность использовать основные естественнонаучные законы, применять математический аппарат в профессиональной деятельности, выявлять сущность проблем, возникающих в ходе профессиональной деятельности (ПК-1); - способность понимать сущность и значение информации в развитии современного общества, применять достижения информатики и вычислительной техники, перерабатывать большие объемы информации, проводить целенаправленный поиск в различных источниках информации по профилю деятельности, в том числе в глобальных компьютерных системах (ПК-2); - способность использовать нормативные правовые документы в своей профессиональной деятельности (ПК-3); - способность формировать комплекс мер по информационной безопасности с учетом его правовой обоснованности, административно-управленческой и технической реализуемости и экономической целесообразности (ПК-4); - способность организовывать и поддерживать выполнение комплекса мер по информационной безопасности, управлять процессом их реализации с учетом решаемых задач и организационной структуры объекта защиты, внешних воздействий, вероятных угроз и уровня развития технологий защиты информации (ПК-5) и т. д. Существует также проект Федерального государственного образовательного стандарта высшего образования (ФГОС ВО) [2], в котором определены, помимо общекультурных и профессиональных компетенций, общепрофессиональные компетенции для выпускников направления подготовки 10.03.01. В соответствии с данным проектом стандарта, выпускник, освоивший программу бакалавриата, должен обладать следующими общепрофессиональными компетенциями (ОПК): - способностью анализировать физические процессы и явления и применять соответствующий физико-математический аппарат для решения профессиональных задач (ОПК-1); - способностью применять соответствующий математический аппарат для решения профессиональных задач (ОПК-2); - способностью применять положения в области электротехники, электроники и схемотехники для решения профессиональных задач (ОПК-3); - способностью понимать сущность и значение информации в развитии современного общества, решать стандартные задачи профессиональной деятельности на основе информационной и библиографической культуры с применением информационно-коммуникационных технологий (ОПК-4) и т. д. Однако в стандартах не приведены методики и не указаны подходы к оценке компетенций выпускника и уровня его компетентности целом. Традиционно оценка компетентности выпускников осуществляется на основе текущей, промежуточной и итоговой государственной аттестации, которая должна проводиться при помощи фондов оценочных средств, которые включают типовые задания, контрольные работы, тесты и др. [3], позволяющие оценить знания, умения и уровень владения приобретенными компетенциями. При этом уровень владения той или иной компетенцией определяется преподавателями на основании субъективных суждений. Однако данный подход имеет существенные недостатки. Например, при проведении традиционной оценки очень сложно определить уровень владения выпускником отдельной компетенцией, вклад в которую вносят различные дисциплины. Некоторые исследователи, например авторы работ [4-6], строят количественные модели оценки компетентности, однако не учитывают, что некоторые элементы их модели сложно оценить численно. Встречаются работы (например, [7]), в которых приводятся данные самооценки компетентности выпускников. Однако самооценка может давать неточные данные: степень объективности самооценки очень низкая, поскольку часто встречаются выпускники с завышенной или заниженной самооценкой. Популярным подходом является разработка методик оценки компетентности выпускников на основе гибридных экспертных систем. Так, например, в [8] предложена 4-уровневая модель оценки, включающая уровень частных компетенций, уровень промежуточных компетенций, уровень обобщающих компетенций, уровень интегральной компетентности. К достоинствам построенной модели можно отнести возможность оценки как частных компетенций, изложенных в ФГОС, так и интегрального показателя компетентности, возможность использования как количественной, так и качественной информации. Однако и такая модель не свободна от недостатков. Уровень сформированности частных компетенций оценивается при помощи метода многомерной классификации на основе первичных учетных показателей, в качестве которых могут быть использованы результаты аттестации студентов и выпускников. Данный метод сложнореализуем на практике и требует больших трудозатрат. Кроме того, данный подход не позволяет учесть различный уровень влияния первичных учетных показателей на частную компетенцию. Таким образом, не существует методики, которая полностью решала бы поставленную задачу. Именно поэтому целью исследования являлось описание разработанной нами методики оценки компетентности выпускника, которая учитывает следующие особенности решаемой задачи: - неполнота и неопределенность информации об умениях, навыках и знаниях выпускника; - многокритериальность, связанная с необходимостью учета большого числа частных показателей, связанных с учебной деятельностью и формированием компетенций. - наличие как количественных, так и качественных показателей, которые необходимо учитывать при решении задачи оценки уровня компетентности. Одним из эффективных способов решения слабоформализуемых задач является построение нечетких когнитивных моделей, неоспоримыми достоинствами которых по сравнению с другими методами являются возможность формализации численно неизмеримых факторов, использования неполной, нечеткой и даже противоречивой информации [9]. Постановка и решение задачи Построим методику оценки уровня компетентности, основанную на применении когнитивного моделирования, теории нечетких множеств и отношениях предпочтения между различными критериями. В качестве модели процесса оценки компетентности выпускника примем кортеж COM = , где G - ориентированный граф, не содержащий горизонтальных ребер в пределах одного уровня иерархии (рис.); QL - набор качественных оценок уровней каждого фактора в графе; S - множество весов ребер графа G, отражающих степень влияния концептов на заданный элемент следующего уровня иерархии; R - набор правил для вычисления значений концептов на каждом из уровней иерархии G; W - индекс схожести, характеризующий степень соответствия значения фактора той или иной качественной оценке из терм-множества лингвистической переменной QL. Нечеткая когнитивная модель оценки компетентности выпускника На вершине графа G находится показатель К0, отражающий общую компетентность специалиста по защите информации. На первом уровне находятся интегральные показатели частных компетенций: ОК0 - интегральный показатель общекультурных компетенций; ОПК0 - интегральный показатель общепрофессиональных компетенций; ПК0 - интегральный показатель профессиональных компетенций. Если методика оценки применяется для направлений подготовки, образовательный стандарт которых не предусматривает наличие общепрофессиональных компетенций (например, [1]), необходимо исключить соответствующую ветвь модели. На втором уровне находятся частные общекультурные - {ОКl}, общепрофессиональные - {ОПКi}, профессиональные - {ПКj} компетенции, описанные в образовательном стандарте. На третьем уровне находятся дисциплины - {Дz}, которые формируют компетенции, находящиеся на первом уровне. Наличие связей между дисциплинами и компетенциями определяется кафедрами посредством составления аннотации программ учебных дисциплин. Например, для направления «Информационная безопасность» иностранный язык может формировать следующие компетенции: способность к письменной и устной деловой коммуникации, к чтению и переводу текстов по профессиональной тематике на одном из иностранных языков (ОК-8), способность к самоорганизации и самообразованию (ОК-9), способность понимать сущность и значение информации в развитии современного общества, решать стандартные задачи профессиональной деятельности на основе информационной и библиографической культуры с применением информационно-коммуникационных технологий (ОПК-4). Перечень дисциплин, необходимых для изучения студентом, приведен в образовательном стандарте, используемом в учебном процессе. На нижнем, четвертом уровне располагаются задачи - {Зk}, поставленные перед студентами в рамках дисциплины. Задачи формируются руководством кафедры на основании личного опыта и требований, приведенных в образовательных стандартах. Например, перед студентами направления «Информационная безопасность» в рамках дисциплины «Основы информационной безопасности» могут быть поставлены следующие задачи: изучить основы организационно-правового обеспечения защиты информации; изучить основы программно-аппаратного обеспечения защиты информации; изучить основы инженерно-технического обеспечения защиты информации; овладеть навыками определения информации, подлежащей защите, актуальных угроз информационной безопасности для организаций различного профиля деятельности; научиться определять методы и пути реализации угроз на основе анализа объекта информатизации и т. д. Для описания состояния концептов графа G определим лингвистическую переменную «Уровень фактора» и терм-множество ее значений QL, состоящее из 5 элементов: В качестве семейства функций принадлежности для QL используем пятиуровневый классификатор, в котором функциями принадлежности нечетких чисел, заданных на отрезке [0, 1] R, являются трапеции: {XX (а1, а2, а3, а4)}, где а1 и а4 - абсциссы нижнего, а2 и а3 - абсциссы верхнего основания трапеции. Применение классификатора позволяет перейти от качественного описания уровня параметра к стандартному количественному виду соответствующей функции принадлежности из множества нечетких трапецеидальных чисел. Вычисление текущих значений факторов в графе G предлагается производить по приведенным ниже формулам (1)-(8): (1) где - z-я дисциплина; - k-я задача, решаемая в рамках дисциплины ; n - количество задач , решаемых в рамках дисциплины ; - коэффициент влияния на , , отражает приоритетность поставленных перед студентами задач в рамках текущей дисциплины. (2) где ОПКi - i-я общепрофессиональная компетенция; Дz - z-я дисциплина;m - количество дисциплин, влияющих на ОПКi; - коэффициент влияния Дz на ОПКi, , отражает вес каждой дисциплины в формировании i-й общепрофессиональной компетенции. (3) где ОКl - l-я общекультурная компетенция; Дz - z-я дисциплина; u - количество дисциплин, влияющих на ОКl; - коэффициент влияния Дz на ОКl, , отражает вес каждой дисциплины в формировании l-й общекультурной компетенции. (4) где - j-я профессиональная компетенция; Дz - z-я дисциплина; t - количество дисциплин, влияющих на ; - коэффициент влияния Дz на ,, отражает вес каждой дисциплины в формировании j-й профессиональной компетенции. (5) где - интегральный показатель общепрофессиональных компетенций; - i-я общепрофессиональная компетенция; f - количество общепрофессиональных компетенций; - коэффициент влияния на отражает вклад каждой общепрофессиональной компетенции в интегральный показатель . (6) где - интегральный показатель общекультурных компетенций; - l-я общекультурная компетенция; g - количество общекультурных компетенций; - коэффициент влияния на , , отражает вклад каждой общекультурной компетенции в интегральный показатель . (7) где - интегральный показатель профессиональных компетенций; - j-я профессиональная компетенция; h - количество профессиональных компетенций; - коэффициент влияния на , отражает вклад каждой профессиональной компетенции в интегральный показатель . (8) где - общая компетентность специалиста по защите информации; - коэффициент влияния на; - коэффициент влияния на ; - коэффициент влияния на ; Применение аддитивных свёрток в формулах обусловлено тем, что уменьшение оценки по одному критерию может быть компенсировано увеличением оценки по другому критерию (или нескольким критериям), и это полностью отвечает предметной области задачи. В результате вычислений по приведенным выше формулам получаются нечеткие числа. Их необходимо распознать. Для этого нужен индекс схожести. Индекс схожести W двух нечетких чисел A (а1, а2, а3, а4) и B (b1, b2, b3, b4) c соответствующими функциями принадлежности mА(x) и mВ(x) находится по формулам из [9]: , где ; rout представляет собой площадь нечеткого числа B(b1, b2, b3, b4), лежащую вне эталонного нечеткого числа A(а1, а2, а3, а4); rin - площадь, лежащая внутри этого же нечеткого числа. Алгоритм оценки уровня компетентности выпускника включает в себя следующие подготовительные этапы: 1. Задание множеств {ОКl},{ОПКi},{ПКj}, {Дz}, {Зk}, которые формируют уровни графа G. 2. Определение наличия/отсутствия связей между концептами графа G. 3. Задание коэффициентов влияния, приведенных в формулах (1)-(8). Данные действия осуществляются преподавателями кафедры на основании образовательного стандарта, учебного плана, аннотаций программ учебных дисциплин и личного профессионального опыта сотрудников. При этом следует обратить внимание на то, что значения коэффициентов влияния подвергаются изменениям в зависимости от цели проведения оценки: определение компетентности выпускника в целом как специалиста по рассматриваемому направлению либо определение компетентности выпускника как специалиста в конкретной области (например, для специалиста по информационной безопасности можно выделить следующие направления: сети, связь, криптография и т. д.) или сфере (государственная служба, бизнес и т. д.). Для непосредственной оценки уровня компетентности выпускника лицу, принимающему решения, необходимо определить уровень выполнения поставленных перед выпускником задач и далее произвести расчет по формулам (1)-(8). Расчетный пример Рассмотрим упрощенный пример оценки компетентности выпускника в соответствии с [1]. Пусть степень влияния ОК0, ПК0 и ОПК0 на К0 составляет 0,3; 0,4; 0,3 соответственно. К концу обучения выпускник должен обладать 4-мя компетенциями: - способность понимать социальную значимость своей будущей профессии, цели и смысл государственной службы, обладать высокой мотивацией к выполнению профессиональной деятельности в области обеспечения информационной безопасности и защиты интересов личности (ОК-5); - способность определять виды и формы информации, подверженной угрозам, виды и возможные методы и пути реализации угроз на основе анализа структуры и содержания информационных процессов предприятия, целей и задач деятельности объекта защиты (ОПК-7); - способность проводить анализ информационной безопасности объектов и систем на соответствие требованиям стандартов в области информационной безопасности (ПК-12); - способность выполнять работы по установке, настройке и обслуживанию программных, программно-аппаратных, криптографических и технических средств защиты информации (ПК-1); Степень влияния ПК-1 и ПК-12 на интегральный показатель профессиональных компетенций составляет 0,4 и 0,6 соответственно. В рамках учебного процесса студенту читалось 2 дисциплины: «Основы информационной безопасности» и «Безопасность сетей ЭВМ». Первая дисциплина формирует следующие компетенции - ОК-5, ОПК-7, ПК-12, вторая - ОПК-7, ПК-1. Вклад дисциплин в формирование компетенции ОПК-7 составляет 0,6 и 0,4 соответственно. В рамках дисциплины «Основы информационной безопасности» поставлены следующие задачи: изучить основы организационно-правового обеспечения защиты информации; изучить основы программно-аппаратного обеспечения защиты информации; изучить основы инженерно-технического обеспечения защиты информации; овладеть навыками определения информации, подлежащей защите, актуальных угроз информационной безопасности для организаций различного профиля деятельности. Коэффициенты влияния каждой задачи на уровень освоения дисциплины составляют 0,4; 0,2; 0,2; 0,2 соответственно. В рамках дисциплины «Безопасность сетей ЭВМ» поставлены следующие задачи: изучить основы построения локальных вычислительных сетей; изучить программно-аппаратные способы защиты локальных сетей на уровне отдельного персонального компьютера; изучить программно-аппаратные способы защиты локальных сетей на уровне коммутаторов и маршрутизаторов. Коэффициенты влияния каждой задачи на уровень освоения дисциплины составляют 0,4; 0,3; 0,3 соответственно. Пусть во время обучения преподавателями уровни выполнения задач студентом были оценены следующим образом: - изучить основы организационно-правового обеспечения защиты информации - «Средний»; - изучить основы программно-аппаратного обеспечения защиты информации - «Выше среднего»; - изучить основы инженерно-технического обеспечения защиты информации - «Средний»; - овладеть навыками определения информации, подлежащей защите, актуальных угроз информационной безопасности для организаций различного профиля деятельности - «Ниже среднего»; - изучить основы построения локальных вычислительных сетей - «Выше среднего»; - изучить программно-аппаратные способы защиты локальных сетей на уровне отдельного персонального компьютера - «Средний»; - изучить программно-аппаратные способы защиты локальных сетей на уровне коммутаторов и маршрутизаторов - «Высокий». Оценим общий уровень компетентности студента: 1. Уровни освоения дисциплин. Уровни освоения дисциплин рассчитываются по формуле (1). Уровень освоения дисциплины «Основы информационной безопасности» будет равен Уровень освоения дисциплины «Безопасность сетей ЭВМ» будет равен 2. Уровни освоения частных компетенций. Поскольку на компетенции ОК-5, ПК-1, ПК-12 влияет по одной дисциплине, уровень их освоения будет равен уровню усвоения соответствующих дисциплин. Таким образом, уровень освоения ОК-5, ПК-12 будет иметь значение «Средний»; уровень освоения ПК-1 - «Выше среднего». Уровень освоения ОПК-7 равен 0,6 «Средний» + 0,4 «Выше среднего» = «Средний» 3. Уровни освоения интегральных показателей компетенций. Поскольку на ОК0 и ОПК0 влияет по одной частной компетенции, то уровень их освоения будет равен уровню освоения соответствующих частных компетенций. Таким образом, уровень освоения ОК0 и ОПК0 будет иметь значение «Средний». Уровень освоения ПК0 в соответствии с формулой (7) будет равен 0,4 ∙ «Выше среднего» + 0,6 «Средний» = «Выше среднего» 4. Уровень компетентности выпускника. Уровень компетентности выпускника в соответствии с формулой (1) будет равен 0,4∙«Выше среднего» + 2∙0,3 «Средний» = «Средний» . Таким образом, общий уровень компетентности выпускника можно оценить как «Средний». Все расчеты с нечеткими числами проводились с помощью программного продукта [10]. Заключение Методика оценки компетентности выпускников направления 10.03.01 Информационная безопасность, разработанная на основе нечеткого когнитивного подхода, позволяет учесть слабую формализуемость задачи. В настоящее время методика проходит апробацию в Астраханском государственном университете на кафедре информационной безопасности.
1. Федеральный государственный образовательный стандарт высшего профессионального образования по направлению подготовки 090900 Информационная безопасность (квалификация (степень) «бакалавр»): утвержден Приказом Министерства образования и науки Российской Федерации от 28 октября 2009 г. № 496. URL: http://минобрнауки.рф/документы/1939 (дата обращения: 28.09.2016).
2. Проект Федерального государственного образовательного стандарта высшего образования по направлению подготовки 10.03.01 Информационная безопасность. URL: http://regulation.gov.ru/projects (дата обращения: 28.09.2016).
3. Космачева И. М., Давидюк Н. В., Сибикина И. В. О совершенствовании обучения специалистов по информационной безопасности в современных условиях // Материалы Четвертой Всерос. науч.-практ. конф. «Наука, образование, инновации: пути развития». Петропавловск-Камчатский: Изд-во КГТУ. С. 221-227.
4. Sibikina I., Kvyatkovskaya I., Kosmacheva I., Lezhnina Y. The Calculation Procedure of Competence Completeness // Some Challenges for KBSE. Proceedings 11th joint conference on knowledge-based software engineering (JCKBSE 2014, Volgograd, Russia). Волгоград: ВолГТУ, 2014. С. 134-143.
5. Сибикина И. В., Квятковская И. Ю., Космачёва И. М. Оценка уровня сформированности компетенции студента вуза на примере графовой модели // Вестн. Саратов. гос. техн. ун-та. 2014. № 2. С. 179-185.
6. Адольф В. А., Лукьяненко М. В., Чурляева Н. П. Количественная оценка компетентности выпускников интегрированной системы обучения и возможности ее повышения // Педагогическое образование и наука. 2011. № 11. С. 22-30.
7. Гришина Е. А. Оценка уровня сформированности профессиональной компетентности выпускников-психологов в практической деятельности // Вестн. Череповецк. гос. ун-та. 2008. № 1. С. 131-135.
8. Алгазин Г. И., Чудова О. В. Информационные технологии комплексной оценки компетентности выпускника вуза // Вестн. Новосибирск. гос. ун-та. Сер.: Информационные технологии. 2009. Т. 7, № 3. С. 70-78.
9. Ажмухамедов И. М., Проталинский О. М. Системный анализ и моделирование слабо структурированных и плохо формализуемых процессов в социотехнических системах // Инженер. вестн. Дона. URL: http://www.ivdon.ru/magazine/archive/n3y2012/916 (дата обращения: 28.09.2016).
10. Ажмухамедов И. М., Колесова Н. А. Вычисления с нечеткими числами: Свидетельство о гос. регистрации программ для ЭВМ № 2011614482; заявка № 2011612617; зарегистр. в реестре программ для ЭВМ 07.07.2011.
