PROCEDURE OF ASSESSING CREDIBILITY TO THE EXPERT IN TERMS OF THE PROBLEM OF AGE CATEGORIZATION OF WEB CONTENT
Authors:
1.
Astrakhan State Technical University
2.
Astrakhan State Technical University
3.
Astrakhan State Technical University
4.
Astrakhan State Technical University
(Candidate of of Sciences in Technology, Assistant Professor; Head of the Department of Information Security )
Type:
Article
Pages:
from 86
to 97
Status:
Published
Received:
05.04.2019
Accepted:
28.02.2020
Published:
25.04.2019
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004: 007.51
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004: 007.51
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
expert, expert procedure, expert trust coefficient, indicator, reputation coefficient, feedback coefficient, survey
Abstract (English):
Currently the solution of a set of tasks is impossible without using expert procedures. At the same time, some of them require the involvement of the great number of experts, increasing the probability of human factor errors, fabrication and falsification of expert assessments. There has been suggested the method of obtaining the quantitative assessment of the degree of trust to experts, which allows to improve the quality and accuracy of the expert procedures. The developed method helps to consider both the established reputation of the expert and his reaction in the course of the expertise. The description and examples of calculations of key indicators involved in the formation of the expert's feedback coefficient (in applying one of the most common expert methods - a survey), such as: duration of filling/answering a question, time difference between answers to the related questions, availability of incorrect answers to trap questions. The adequacy of the method has been confirmed by the results of the computational experiment conducted in a group of 20 experts solving the problem of web resource age categorization. The developed method is amenable to further algorithmization and can be applied in decision support systems for various purposes.
Currently the solution of a set of tasks is impossible without using expert procedures. At the same time, some of them require the involvement of the great number of experts, increasing the probability of human factor errors, fabrication and falsification of expert assessments. There has been suggested the method of obtaining the quantitative assessment of the degree of trust to experts, which allows to improve the quality and accuracy of the expert procedures. The developed method helps to consider both the established reputation of the expert and his reaction in the course of the expertise. The description and examples of calculations of key indicators involved in the formation of the expert's feedback coefficient (in applying one of the most common expert methods - a survey), such as: duration of filling/answering a question, time difference between answers to the related questions, availability of incorrect answers to trap questions. The adequacy of the method has been confirmed by the results of the computational experiment conducted in a group of 20 experts solving the problem of web resource age categorization. The developed method is amenable to further algorithmization and can be applied in decision support systems for various purposes.
Keywords:
expert, expert procedure, expert trust coefficient, indicator, reputation coefficient, feedback coefficient, survey
expert, expert procedure, expert trust coefficient, indicator, reputation coefficient, feedback coefficient, survey
На сегодняшний день множество задач в различных областях требуют привлечения экспертов в процессе их решения. В сфере обеспечения информационной безопасности, например, к такого рода задачам относятся анализ объектов информатизации в части составления модели угроз, модели нарушителя, классификация и категорирование веб-контента с точки зрения его безопасности и т. д. При отсутствии инструментального метода оценивания тех или иных критериев неизбежно приходится прибегать к методу экспертных оценок. При вовлечении человека в решение той или иной задачи с определенной вероятностью могут возникнуть проблемы человеческого фактора, в том числе различного рода ошибки вследствие халатности или недобросовестного выполнения обязанностей. Вероятность возникновения данных проблем снижается при условии компетентности отдельного эксперта, уровень которой необходимо достоверно определить [1]. Однако при осуществлении строгого отбора компетентных специалистов возникают другие сложности: существенные материальные затраты для осуществления экспертной процедуры, нехватка кадров и эффективности экспертной деятельности. Компромиссом в данном вопросе при решении некоторого круга задач является выбор лиц, не являющихся специалистами в области экспертного оценивания, но способных корректно и адекватно осуществлять данный вид деятельности. Основанием для такого суждения о субъекте может быть его принадлежность к пользователям объекта оценивания, таким образом, он обладает всей необходимой информацией для формирования своего экспертного заключения в данном вопросе. Примером может являться задача фильтрации и возрастной категоризации веб-контента, в которой экспертами могут выступить опытные пользователи сети Интернет. Более того, в данной задаче экспертную оценку могут предоставить родители несовершеннолетних детей в силу своей прямой заинтересованности в идентификации и блокировке деструктивной информации в Интернете. При применении такого подхода к процедуре экспертной оценки процент некорректных результатов будет неизбежно выше по сравнению с предварительным отбором компетентных специалистов. Данный недостаток может быть устранен вводом некоторого количественного коэффициента доверия для каждого эксперта в системе, отражающего адекватность и эффективность его деятельности и корректирующего результаты его оценивания. Это позволяет контролировать результаты экспертных заключений и нивелировать отсутствие соответствующей специализации у субъектов системы. Кроме того, нельзя исключать возможность фабрикации и фальсификации экспертных оценок. Данная угроза представляет наибольшую опасность при дистанционном опросе экспертов, который в настоящее время является достаточно распространенным методом проведения экспертных процедур. Успешная реализация фабрикации и фальсификации оценок негативно повлияет на корректность итогового экспертного заключения в рамках решения той или иной задачи. В контексте минимизации влияния рассмотренных факторов возникает актуальная задача разработки метода оценки степени доверия эксперту с целью контроля результатов и повышения достоверности экспертной деятельности. При этом в оценке должно учитываться, с одной стороны, текущее состояние субъекта, его способность к прохождению экспертного опроса на текущий момент и адекватность его оценки и, с другой стороны, его «репутация» на основе уже проведенной экспертной деятельности [2]. Оценка степени доверия должна быть объективной и универсальной к применению. Кроме того, процедура оценки степени доверия эксперту должна удовлетворять следующим требованиям [3]: 1. Анонимность экспертов - при проведении экспертной процедуры эксперту не предоставляются идентификационные данные и коэффициенты репутации других субъектов. 2. Независимость экспертов - эксперты никак не взаимодействуют друг с другом и не имеют информации о действиях, осуществляемых другими субъектами при проведении процедуры. 3. Отсутствие преимущества у новых экспертов - на момент ввода нового эксперта ему присваивается начальное значение коэффициента репутации, которое затем изменяется в соответствии с результатами его экспертной деятельности и установленным алгоритмом. 4. Устойчивость системы, основанной на методе: некомпетентные эксперты или злоумышленники не в состоянии существенно повлиять на итоговую экспертную оценку вследствие их низких коэффициентов репутации и доверия. 5. Саморегулируемость системы, основанной на методе: с увеличением количества экспертов увеличивается и сумма всех коэффициентов репутации, таким образом, уменьшается степень влияния каждого субъекта на итоговую экспертную оценку. Кроме того, коэффициенты репутации субъектов также корректируются автономно. Описание разработанного метода В соответствии с поставленными требованиями был разработан метод оценки степени доверия эксперту, позволяющий учитывать как его сложившуюся на момент проведения экспертизы репутацию, так и реакцию в процессе прохождения экспертной процедуры. Введем следующие понятия. Коэффициент репутации эксперта Rr - характеристика, определяющая вес оценки эксперта на основе произведенных им экспертных процедур: (1) где m - количество экспертов, участвующих в процедуре; - начальный коэффициент репутации нового эксперта, принимающий конкретное числовое значение, одинаковое для всех экспертов; - скорректированный по результатам прохождения экспертной процедуры коэффициент репутации эксперта. Коэффициент обратной связи эксперта Rо - характеристика, определяющая вес его текущей экспертной оценки на основе заданных критериев. Эта характеристика определяется с помощью системы показателей, позволяющих оценить реакцию эксперта в процессе проведения экспертизы. В общем случае где s - количество учитываемых показателей. В работе рассмотрены 3 ключевых показателя и предлагается следующая зависимость для определения Rо: где - начальное значение коэффициента обратной связи эксперта. Коэффициент доверия эксперту Rd - величина, характеризующаяся совокупностью коэффициента репутации и коэффициента обратной связи: «Грязная» (невзвешенная) экспертная оценка - экспертная оценка без учета коэффициента доверия. «Чистая» (взвешенная) экспертная оценка - итоговая оценка экспертов, полученная с учетом влияния на нее их коэффициентов доверия. Получение «чистой» экспертной оценки согласно разработанному методу оценки доверия эксперту происходит следующим образом: 1. Определение множества экспертов. Пусть в процедуре участвуют m экспертов, образующих множество экспертов A: 2. Получение «грязных» оценок. Каждый из m экспертов проходит экспертную процедуру, в результате чего получается множество «грязных» экспертных оценок О: Также в результате проведения экспертизы рассчитываются коэффициенты обратной связи для каждого эксперта Rо: 3. Расчет коэффициентов доверия для каждого эксперта Rd: (2) где - коэффициент репутации i-го эксперта; - коэффициент обратной связи. В результате получается множество 4. Определение «чистой» оценки. 4.1. Выделение из множества А подмножества экспертов с одинаковыми экспертными оценками Оk: где k - количество подмножеств экспертов с одинаковыми оценками; j - количество экспертов в подмножестве. 4.2. Вычисление итоговой оценки. Конкретный расчетный способ ее нахождения может варьироваться в зависимости от поставленной задачи. Положим: (3) 5. Корректировка коэффициентов репутации экспертов Rr на основании «чистой» экспертной оценки W: 5.1. Декомпозиция множества экспертов A на 2 подмножества: 5.2. Уточнение для указанных подмножеств коэффициентов репутации следующим образом: (4) где Rr(A-) - сумма коэффициентов репутации экспертов из подмножества A-: (5) где l - количество экспертов в подмножестве A-; Rr(A+) - сумма коэффициентов репутации экспертов из подмножества A+: (6) где n - количество экспертов в подмножестве A+. Для новых экспертов Схематично разработанный метод представлен на рис. Схема проведения экспертной процедуры на основе разработанного метода Показатели для получения коэффициента обратной связи эксперта В результате анализа практических процедур экспертной оценки были выявлены следующие ключевые показатели, позволяющие в дальнейшем оценить коэффициент обратной связи, а затем и степень доверия эксперту (рассматриваемый метод экспертизы - дистанционный опрос). 1. Длительность заполнения ответа на вопрос (фильтрация тестирований со слишком быстрой длительностью заполнения). Слишком быстрое прохождение опроса сигнализирует о возможности того, что респондент является «спидстером» (проходящим тестирование на скорость, не думая над ответами) [4]. Задачей является определение предела длительности прохождения, ниже которого показатели являются недопустимыми. Пусть Т - данная длительность заполнения, Та - среднее арифметическое показателей длительности заполнения за все время, σ - среднеквадратическое отклонение показателей длительности заполнения за все время, Тi - длительность заполнения опроса, обработанного ранее, n - количество обработанных ранее опросов: Если , то коэффициент обратной связи Rо снижается, т. к. отклонение данного времени заполнения от медианы вдвое превысило показатель рассеивания предыдущих показателей времени заполнения относительно математического ожидания. Пусть начальная (и максимальная) обратная связь эксперта = 100, длительность заполнения Т = 15 мин = 900 с, среднее арифметическое показателей длительности заполнения Та = 10 мин = 600 с, среднеквадратическое отклонение показателей длительности заполнения σ = 1 мин = 60 с, тогда снижается на величину отношения предела отклонения длительности заполнения от среднего арифметического 2σ к данному отклонению : - скорректированный коэффициент обратной связи. 2. Разница во времени между ответами на связанные вопросы. Если в экспертной процедуре существует ряд связанных контекстом вопросов (например, несколько вопросов по показанной эксперту картинке) и нет возможности вернуться к предыдущим вопросам и материалам, то эксперт должен ответить на эти вопросы за короткий промежуток времени. Если эксперт отвечает на часть данных вопросов, например, через сутки, маловероятно, что он восстановит контекст тестирования по памяти. Пусть t1, …, tn - показатели длительности прохождения логически связанных вопросов, n - количество данных идущих подряд вопросов, tm - предел времени, после которого эксперт с большой долей вероятности не сможет восстановить в памяти контекст, чтобы корректно отвечать на дальнейшие вопросы. Тогда, если существует ti, такое, что ti > tm, то коэффициент обратной связи уменьшается. Пусть начальная (и максимальная) обратная связь эксперта = 100, количество связанных контекстом вопросов n = 3, длительности ответа на связанные контекстом вопросы t1 = 120 с, t2 = 900 с, t3 = 240 с, предел длительности ответа tm = 10 мин = 600 с, тогда t2 > tm =>Ro снижается на величину отношения предела длительности ответа tm к длительности ответа t2, превышающего данный предел: - скорректированная обратная связь. 3. Ответы на вопросы-ловушки. Примером такого вопроса является «Законно ли распространение детской порнографии в Российской Федерации?». Если ответ эксперта - «да», ценность данного экспертного мнения резко снижается. Пусть G - количество некорректных ответов эксперта на вопросы-ловушки, Gmax - установленный экспериментально предел таких ошибок. Если G > Gmax, вероятность того, что эксперт является «спидстером», резко повышается. Пусть начальная (и максимальная) обратная связь эксперта = 100, количество некорректных ответов на вопросы-ловушки G = 2, предел некорректных ответов на вопросы-ловушки Gmax = 1, тогда G > Gmax => Ro снижается на величину отношения предела некорректных ответов на вопросы-ловушки Gmax к количеству данных некорректных ответов G: - скорректированная обратная связь. Расчетный эксперимент Разработанный метод был апробирован на примере решения актуальной задачи возрастного категорирования веб-контента согласно требованиям ФЗ № 436 [5, 6]. Для участия в сессии поставленных экспериментов привлекались 20 экспертов. Первый эксперимент заключался в получении начального значения коэффициента репутации экспертовв результате прохождения ими серии из 10 экспертиз по оценке разных сайтов с различной возрастной маркировкой. Следующий эксперимент был направлен на исследование влияния коэффициента доверия Rd эксперту на итоговый результат экспертизы путем формирования и сравнения возрастной оценки конкретного веб-ресурса с учетом и без учета коэффициентов репутации Rr и обратной связи экспертов Ro. В значительной степени экспертиза особенностей восприятия информационного продукта, как сформулировано в ст. 6, п. 2-2, ФЗ № 436, заведомо носит предположительный, субъективированный характер, поскольку эксперт не изучает особенности восприятия детьми исследуемого сайта, но, опираясь на знание соответствующей литературы, на свой жизненный опыт, может предположить, какие эффекты способен произвести тот или иной материал. Поэтому получение экспертных оценок осуществлялось анкетно-вопросным методом (табл. 1), при этом часть вопросов представляла собой вопросы-ловушки, предназначенные для более точного вычисления коэффициентов обратной связи экспертов. Таблица 1 Пример опроса по одному возрастному индикатору Употребление ненормативной лексики Да Нет Наличие нецензурных слов и выражений (матерных - по словарям ненормативной лексики) вне зависимости от их сюжетной или персонажной функции, особенно в адрес ребенка или из уст ребенка, допускается Наличие ненормативной лексики в контенте сайта с маркировкой 18+ допускается Наличие ненормативных речевых оборотов и выражений, сходных до степени смешения с нецензурными, вне зависимости от их сюжетной или персонажной функции, особенно в адрес ребенка или из уст ребенка, допускается Наличие бранных слов (имеющих в толковых словарях такую пометку и используемых в бранной функции, особенно в адрес ребенка или из уст ребенка) допускается Наличие ненормативной лексики в контенте сайта с маркировкой 6+ допускается Наличие вульгарных, жаргонных, экспрессивно-просторечных (имеющих такие словарные пометы) как речевых характеристик персонажей или как средств сюжетной выразительности допускается В ходе первого эксперимента был проведен опрос 20 человек с целью присвоения сайтам возрастной категории согласно требованиям ФЗ № 436. Для анализа было выбрано 10 сайтов, владельцы которых уже самостоятельно произвели возрастную маркировку ресурса: - https://www.ntv.ru 18+; - https://tonkosti.ru/ 16+; - https://bash.im 18+; - http://uotika.ru 0+; - https://www.kinopoisk.ru 18+; - https://dic.academic.ru 16+; - http://disney.ru 0+; - https://www.metrinfo.ru 16+; - https://rocit.ru 12+; - https://www.классный-журнал.дети 6+. За «чистую» оценку W в рамках данного эксперимента были приняты оценки, официально размещенные владельцами ресурсов. Каждому эксперту до начала опросов был присвоен априорный коэффициент репутации, равный 100, в соответствии с формулой (1). По мере прохождения опросов коэффициент репутации Rr каждого эксперта корректировался в зависимости от результата опроса. При совпадении оценки эксперта с «чистой» оценкой сайта коэффициент репутации эксперта повышался, в обратном случае - понижался. Данная корректировка описывается формулами (4)-(6). Результаты расчета коэффициентов репутации экспертов Rr после прохождения 10 опросов сведены в табл. 2. Таблица 2 Коэффициенты репутации экспертов по итогам первого эксперимента № эксперта Коэффициент репутации эксперта 1 83,5 2 87,8 3 130,7 4 83,5 5 118,2 6 107,1 7 87,8 8 83,5 9 137,2 10 112,6 11 87,8 12 83,5 13 112,5 14 87,8 15 92,3 16 83,5 17 124,3 18 92,3 19 107,1 20 87,8 Рассмотрим расчет коэффициента репутации эксперта № 1 в данном эксперименте. В ходе проведения серии опросов из 10 для эксперта № 1 рассчитывались промежуточные коэффициенты репутации и конечный коэффициент репутации, отображенный в табл. 2: В ходе следующего этапа экспериментальных исследований 20 экспертов производили оценку контента веб-ресурса http://diletant.media. Теперь задача состояла в анализе результатов экспертизы и получения итогового значения возрастной категории сайта с учетом коэффициентов доверия экспертам и без их учета. Результаты присвоения возрастной категории сайту экспертами без учета коэффициента доверия Rd приведены в табл. 3. Таблица 3 Результаты присвоения возрастной категории сайту № эксперта Категория сайта http://diletant.media 1 16+ 2 16+ 3 12+ 4 16+ 5 12+ 6 12+ 7 12+ 8 16+ 9 12+ 10 12+ 11 6+ 12 16+ 13 6+ 14 16+ 15 16+ 16 16+ 17 12+ 18 16+ 19 12+ 20 16+ Таким образом, указанному сайту большинством экспертов присвоена категория 16+, что не соответствует «эталонной» оценке категории сайта. Согласованность экспертов оценивалась с помощью коэффициента вариации [7]: где σ - среднее квадратическое отклонение оценок эксперта: ; D - дисперсия оценок, данных экспертом: , где m - число экспертов; Cig - оценка (в баллах или долях) g-го элемента i-м экспертом; Mg - среднее арифметическое значение величины оценки элемента (в баллах или долях): Тогда Полученное значение коэффициента вариации соответствует удовлетворительной степени согласованности экспертов. По итогам проведения первого эксперимента каждый из экспертов «заработал» свой коэффициент репутации Rr, который характеризует качество его предыдущих оценок и будет учитываться в следующем эксперименте. Кроме того, на данном этапе введем коэффициент обратной связи Rо, который отражает соответствие прохождения опроса поставленным критериям. Коэффициент доверия эксперту рассчитывался по формуле (2). Результаты экспертизы и расчета коэффициентов доверия экспертам сведены в табл. 4. Таблица 4 Результаты экспертизы и расчета коэффициентов доверия экспертам № эксперта Коэффициент репутации эксперта Коэффициент обратной связи эксперта Коэффициент доверия эксперту Оценка сайта http://diletant.media 1 80 36,2 58,1 16+ 2 87,8 75,2 81,5 16+ 3 110,7 100,0 105,3 12+ 4 83,5 72,8 78,1 16+ 5 98,2 98,9 98,5 12+ 6 87,1 95,8 91,4 12+ 7 87,8 100,0 93,9 12+ 8 83,5 48,2 65,8 16+ 9 117,2 100,0 108,6 12+ 10 112,6 96,3 104,4 12+ 11 87,8 92,0 89,9 6+ 12 83,5 56,9 70,2 16+ 13 112,5 92,7 102,6 6+ 14 87,8 65,5 76,6 16+ 15 92,3 79,3 85,8 16+ 16 83,5 70,1 76,8 16+ 17 124,3 100,0 112,1 12+ 18 92,3 60,4 76,3 16+ 19 87,1 100,0 93,5 12+ 20 87,8 40,7 64,2 16+ Рассмотрим расчет коэффициента обратной связи Rо на примере эксперта № 1. Его начальный коэффициент обратной связи . Корректировка по показателю «Длительность заполнения»: - среднеквадратическое отклонение показателей длительности заполнения σ = 30 с; - среднее арифметическое показателей длительности заполнения Ta = 480 с; - длительность заполнения (экспертом № 1) T = 559 с; - => Rо эксперта подвергается негативной корректировке - снижается. Корректировка по показателю «Разница во времени между ответами на связанные вопросы»: - количество связанных контекстом вопросов n = 4; - длительности ответа на связанные контекстом вопросы t1 = 90 с, t2 = 78 с, t3 = 94 с, t4 = 210 с; - предел длительности ответа tm = 100 с, тогда t4 > tm => Rо эксперта снижается. Корректировка по показателю «Ответы на вопросы-ловушки»: - количество некорректных ответов на вопросы-ловушки G = 0; - предел некорректных ответов на вопросы-ловушки Gmax = 1, тогда G < Gmax => Rо остается неизменным. Следовательно, по итогам учета 3-х ключевых показателей скорректированный коэффициент обратной связи эксперта № 1 . В качестве «чистой» оценки выбран результат экспертизы, который соответствует наибольшей сумме коэффициентов доверия экспертам, в соответствии с формулой (3). Из результатов расчетов, приведенных в табл. 5, следует, что итоговая возрастная категория сайта принимается равной 12+, что действительно соответствует официально проставленной маркировке. Таблица 5 Возрастные категории, присвоенные сайту с учетом суммарного коэффициента доверия Категория сайта http://diletant.media Суммарный коэффициент репутации Суммарный коэффициент доверия 0+ 0 0 6+ 200,3 192,5 12+ 825 807,7 16+ 865,5 733,4 18+ 0 0 Заключение В результате проведенных экспериментов продемонстрированы значимость и необходимость учета коэффициентов доверия экспертам при проведении процедуры оценки сайта, а также показана адекватность разработанного метода и процедуры. Применение разработанной процедуры оценки степени доверия экспертам в процессе проведения экспертных процедур позволяет контролировать достоверность и повышать качество результатов экспертной деятельности при решении широкого спектра задач, требующих вовлечения значительного количества экспертов в дистанционном режиме, в том числе и в сфере информационной безопасности.
1. Petrosyan E. R. Kompetentnost' ekspertov. M.: Akademiya standartizacii, metrologii i sertifikacii, 2013. 53 s.
2. Gostyunina V. A. Opredelenie kachestva ekspertnoy ocenki pri provedenii kategorizacii web-kontenta // Informacionnye tehnologii i tehnologii kommunikacii: sovremennye dostizheniya: materialy II Mezhdunar. molodezh. konf. (Astrahan', 11-14 sentyabrya 2018 g.). Astrahan': Izd-vo AGTU, 2018. S. 50.
3. Suprunenko A. V. Modeli i algoritmy klassifikacii veb-kontenta na osnove teoretiko-igrovogo podhoda: avtoref. dis. … kand. tehn. nauk. N. Novgorod: Izd-vo NGTU, 2017. 22 s.
4. Fedorovskiy A. M. Kachestvo onlayn-oprosov. Metody proverok // Monitoring obschestvennogo mneniya: ekonomicheskie i social'nye peremeny. 2015. № 3 (127). S. 28-35.
5. O zaschite detey ot informacii, prichinyayuschey vred ih zdorov'yu i razvitiyu: Federal'nyy zakon ot 29 dekabrya 2010 g. № 436-FZ // Rossiyskaya gazeta. 2010. URL: https://www.rg.ru/2010/12/31/deti-inform-dok.html (data obrascheniya: 28.12.2018).
6. Davidyuk N. V., Baydulova D. R., Baytumenov A. Z., Gostyunina V. A. Analiz soderzhatel'nyh indikatorov dlya resheniya zadachi po vozrastnoy klassifikacii tekstovoy informacii // Studencheskaya nauka dlya razvitiya informacionnogo obschestva: sb. materialov IX Vseros. nauch.-tehn. konf. Stavropol': Izd-vo SKFU, 2019. Ch. 1. S. 60-70.
7. Polyakova V. V., Shabrova N. V. Osnovy teorii statistiki. Ekaterinburg: Izd-vo Ural. un-ta, 2015. 142 s.
