METHODOLOGY FOR CONSTRUCTING A PLAN FOR A DIAGNOSTIC STUDY OF CANDIDATES’ PROFESSIONAL COMPLIANCE IN PROFESSIONAL SELECTION SYSTEMS
Abstract and keywords
Abstract (English):
Modern methods of selecting specialists are based on using a whole range of testing tools for candidates. However, there are cases when applying the entire complex of means is not appropriate. For instance, such a situation may occur during a candidate’s career growth, when his or her psychological and professional characteristics are generally known and only specific clarifications are required to make a decision on a new position. In this case, a set of tests can be formed taking into account the analysis of the candidate’s previous activities. Definitely, such a set of tests also implies a certain sequence of their application in the course of analysing the candidates’ potential properties. In this case, the criterion basis for choosing the sequence of applying the tests will be the test analysis time (number of steps) and the cost of testing the candidate’s degree of professional compliance. The significant non-statistical uncertainty of the candidates’ outcomes of test checks (answers) is also necessary to take into account. The proposed article considers the problem of a priori planning of the procedure for using test tools for diagnosing the candidates’ degree of professional compliance based on a preliminary fuzzy assessment of their professional and personal characteristics. Solving the problem is reduced to a sequential (step by step) analysis of fuzzy preference relations of the candidates’ degree of professional compliance. At the same time, the composition of diagnostic tools is selected taking into account their reliability, followed by determining the most non-dominated alternatives for decisions. The decision-making is based on a fuzzy information-cost criterion. Applying this approach allows proposing a methodology for planning activities for assessing the candidates’ compliance degree with different levels of competence.

Keywords:
degree of professional compliance, professional suitability, fuzzy sets, fuzzy preference relations, fuzzy matrix of strict preference, professional selection
Text
Publication text (PDF): Read Download

Введение

 

Современные методы отбора специалистов базируются на применении целого комплекса средств тестирования кандидатов, включающих комплекты психологических тестов, физиологических исследований, анализа и оценки профессиональных знаний, навыков и умений [1, 2, 3, 4]. В ряде случаев применение всего комплекса средств оценки степени профессионального соответствия (СПС) кандидата не является необходимым в силу его избыточности и общности оценок, не отражающих специфические аспекты реальной профессиональной деятельности кандидата. Такая ситуация может сложиться, например, при изменении текущего должностного предназначения кандидата, когда его психологические и профессиональные характеристики в целом известны, но требуют уточнения с учетом обстоятельств текущего развития и состояния организации. Решение подобных задач может носить достаточно узкопрофильный характер оценки готовности кандидата соответствующей должности, что в целом будет определять и профильный характер тестов (вопросов, задаваемых кандидату) [1, 2, 3]. В совокупности набор таких тестов определяет сущность и содержание инструментария оценки должностного предназначения кандидата, реализуемого в ходе проведения предтестовой беседы и собственно профессионального тестирования кандидата. Таким образом, набор таких тестов формируется на основе уже имеющегося образа кандидата (по результатам его предшествующей деятельности), а именно его личностных, психологических и профессиональных характеристик. Набор тестов отражает целевые задачи организации, особенности её организационного и инновационного развития, специфические условия деятельности, факторы будущей деятельности, выраженное отношение к которым со стороны кандидата позволяет принять решение о его профессиональном соответствии. Безусловно сформированный, исходя из ситуационного анализа предполагаемого отношения кандидата к деятельности, такой набор тестов предполагает и определённую последовательность их применения в ходе анализа потенциальных свойств кандидата. Критериальной основой выбора последовательности применения тестов будет являться время (число шагов тестового анализа) и стоимость тестовой проверки СПС кандидата. При этом необходимо учитывать существенную нестатистическую неопределенность исходов тестовых проверок (ответов) кандидатов.

1. Математический аппарат планирования мероприятий по оценке степени профессионального соответствия кандидатов

Пусть задано множество Е={ei;i=1,m}  различных классов оценок уровней развития СПС кандидата, подлежащих определению. В данном случае под классом понимается определенный вид состояний СПС кандидата, определяющий его возможности выполнять данную профессиональную деятельность в полном объёме без каких-либо ограничений, частично с определёнными ограничениями или быть полностью непригодным к данному виду деятельности.

Пусть задано, также, множество П={πi;i=1,n}  тестов, обеспечивающих взаимное различение классов. Причем в заданном множестве тестов П найдется, по крайней мере, один тест πi*П , который даст различные исходы при состояниях оцениваемого кандидата, принадлежащих разным классам оценок его СПС. Формально это условие может быть записано следующим образом:

 

ei,efE:if, πjП:eijefj                         (1)

 

Характерной особенностью применяемых тестов для оценки СПС кандидатов πiП  является множество их исходов (результатов тестирования), т.е. ωi{ωjk;k=1,K} . Результаты тестирования ωi  считаем известными и прогнозируемыми для данного кандидата с учетом априорно предполагаемого его состояния. При этом лицо, принимающее решение (ЛПР) исходит из того, что по анализу предшествующей деятельности кандидата и его личностных характеристик в целом у ЛПР складывается образ профессионального соответствия этого кандидата, что позволяет ЛПР сформировать систему П* тестов для уточнения отдельных классов состояния СПС кандидата.

Будем также считать, что известны ресурсные затраты (время – стоимость) применения тестов C={Cj(πj)} .

С учетом выполнения указанных требований к средствам тестовых проверок можно сформировать необходимое их подмножество {πj;j=1,n}πjПi  и определить очерёдность применения тестов из их состава, при которых обеспечивалось бы определение заданных классов eiE  состояний СПС кандидата с минимальными ресурсными затратами, т.е.:

 

πiπiП*:eiE,efE\ei;eijefj              (2)

 

Выполнение требований (2) является, с одной стороны, условием распознавания любого состояния СПС кандидата, а с другой стороны, в сочетании с правилами, определяющими последовательность применения тестовых проверок, является основой формирования программ тестирования с учетом предварительного априорного анализа состояния СПС кандидата по внешним наблюдаемым признакам.

Процедура определения программ тестовых проверок любого кандидата базируется на определённой последовательности действий. Первоначально, с учетом априорного анализа состояния СПС кандидата, выбирается первая проверка (тест) πj1П , позволяющая, с точки зрения ЛПР, с максимальной степенью уверенности выделить предполагаемый класс состояния СПС кандидата. Далее анализируются результаты её применения.

Результаты первой проверки (теста) могут быть реальными исходами применения тестов, в случае реального тестирования кандидата, или могут быть представлены априорно, как предполагаемые результаты тестирования, в случае разработки только лишь плана тестовой проверки кандидата, исходя из предположения его наиболее вероятного состояния.

Исходы, которые с заданной степенью уверенности определяют один из классов eiЕ  состояний кандидата являются конечными. В отношении каждого из последующих исходов тестирования повторяется описанная выше процедура выбора теста исследования кандидата. Исходы тестирования так же, как и процедуры выбора тестов не являются детерминированными, а носят нечеткий характер.

Таким образом, в силу нечеткости исходов, все последующие тесты πjkП,  подбираются исходя из результатов предшествующей проверки πjk-1П .

В данном случае распознавание классов состояния любого кандидата является интеллектуальным экспериментом, заключающегося в выборе и проведении нескольких тестовых проверок, с заранее непредсказуемыми и нечёткими исходами.

При этом ЛПР на каждом шаге тестирования определяет целесообразность применения конкретного теста из множества П*  (при подготовке к тестированию) и принадлежности кандидата к конкретному классу множества E   (по исходам тестирования).

Для принятия окончательного решения необходимо вычислить наиболее возможное состояние тестируемого. Данная задача является многокритериальной и подразумевает выбор (из множества нечетких альтернатив допустимых решений) универсального множества выбора X.

Рассмотрим ситуацию. Пусть μ(x)  – нечеткое описание подмножества допустимых альтернатив оценок состояния СПС кандидата (на определённом этапе собеседования). При этом значения функции μ(x)  описывают степень соответствия профессиональных и личностных качеств предъявляемым требованиям.

В случаях, когда конкретное значение функции μ(x)  отсутствует, рациональным можно считать выбор одной из альтернатив, имеющей максимальную степень недоминируемости. Однако, в силу отсутствия четких критериев оценки данным способом сложно сформировать оценку реальной ситуации. Описание информации в данном случае целесообразно выполнить в виде системы отношений предпочтений во множестве альтернатив (например, x,y ) [5, 6].

Так, для любой пары альтернатив (x,y)  оценок компетенций тестируемого или выбора (на очередном шаге) средств тестирования может быть сформировано: x  не хуже y , т.е. xy ; у  не хуже x , т.е. xy . В силу нечеткости указанных альтернатив представим их в виде нечетких отношений предпочтений, где степень выполнения предпочтения для каждой пары альтернатив х,у  будет описывающий параметр μR(x,y) .  Данный параметр является функцией принадлежности отношений R. Для определения функций принадлежности нечетких отношений безразличия и предпочтения рассмотрим функцию нечеткого строго предпочтения [2, 7]:

 

 

μRS(x,y)=&μR(x,y)-μR(y,x),при μR(x,y)>μR(y,x);&0,при μR(x,y)=μR(y,x).

 

Где: μRS(x,y)  определяет степень, с которой альтернатива y  доминируется альтернативой x .

Для выделения в X нечеткого подмножества всех недоминируемых альтернатив требуется определить пересечение вида: 1-μRSx,у  для уX . Обозначив это пересечение как μRНД(x) , получим:

 

 

μRНД(x)=1-supyXμR(y,x)-μR(x,y).

 

 

 

Так как величина функции μRНД(x)  – это степень недоминируемости альтернативы x , то при заданной нечеткой информации рациональным будет выбор тех альтернатив, которые имеют наибольшую степень принадлежности, т.е.:

 

 

XНД={Х/xX,μRНД(х)=supμRНД(х)}.

 

 

В случаях, когда функции μRНД(x)=1  альтернативы является как четко недоминируемыми и рассматриваются как четкими решениями нечетко поставленной
задачи [2]. Следовательно, задача сводится к выбору альтернатив
уX  с максимальной степенью принадлежности нечеткому множеству недоминируемых альтернатив. Для выбора конкретной из нескольких аналогичных альтернатив привлекается дополнительная информация.

 

2. Алгоритм построения плана оценки степени профессионального соответствия кандидатов

 

С учетом приведенных выше определений оценку СПС кандидатов можно осуществить в виде следующей последовательности шагов.

Шаг 1. Присваиваем очередной номер этапа определения плана диагностического исследования СПС кандидата βγ+1 , где γ=1,V . В данном случае номер этапа β определяет очередную выборку из множества тестовых средств диагностического анализа состояния СПС кандидата.

Шаг 2. Определяем функцию принадлежности нечеткого множества недоминируемых альтернатив (НМНА), соответствующую начальной (предполагаемой, ожидаемой по предварительной эвристической оценке) классификации состояния СПС кандидата:

 

μβНД=μβНДli;liE;μβНДli=1-supμβSy,liμβДОПНД     (3)

где: μβS(y,li)   функция строгого предпочтения альтернатив y  и li  при классификации состояния СПС кандидата:

 

μβS(y,li)=&μβ(y,li)-μβ(li,y),при μβ(y,li)>μβ(li,y);&0,при μβ(y,li)=μβ(li,y).

 

 

μβ(y,li)   и μβ(li,y)  – степень предпочтения альтернатив y  (оценки соответствия кандидата) и li  (средства тестирования кандидата) при классификации состояния СПС кандидата; i=1,m;  m – число классов состояний кандидата.

Величины параметров μβ(y,li) и μβ(li,y)  определяются ЛПР, исходя из предварительного анализа характеристик предыдущей работы кандидата и результатов предтестовой беседы с ним, и позволяют получить относительно достоверное представление о степени профессионального соответствия кандидата [7].

μβДОПНД – предельное значение степени недоминируемости альтернатив, при котором они могут считаться четко доминирующими альтернативами, т.е. μβНД(li)1 , при μβНДμβДОПНД .

Параметр μβДОПНД  отражает нечеткий доверительный интервал Δ=μβ⥂⥂ДОПНД,1 , внутри которого альтернативы принимаемых решений, в силу нечеткости суждений ЛПР, принимаются им как четкие. Тогда наиболее рациональная оценка состояния СПС кандидата будет соответствовать классу l*  (с максимальным значением функции принадлежности μβНД ). В общем случае, учитывая интервальный характер принимаемых решений, таких альтернатив может быть несколько, а именно:

EβНД=l*l*E,l*supiE μβНДli      

В случаях μβНД(li*)1 , альтернативы включают в себя единственный класс l*
и являются как четко (в смысле введенного условия (3) недоминируемые альтернативы классификации объекта, и рассматриваются как четкое решение нечетко поставленной задачи классификации.

Шаг 3. Выбираем из множества допустимых тестов оценки состояния СПС кандидата наиболее информативное средство диагностики, отвечающее совокупности выделенных ЛПР предполагаемых классов состояния СПС кандидата. Для этого рассчитываем функции ηβНДπj,l*  принадлежности НМНА выбора типа средств оценки состояния СПС кандидата:

ηβНД(πj,l*)=1-supgΠηβS(q,πj,l*),

Здесь:

 

ηβS(q,πj,l*)=&ηβ(q,πj,l*)-ηβ(πj,q,l*),при ηβ(q,πj,l*)>ηβ(πj,q,l*);&0,при ηβ(q,πj,l*)=ηβ(πj,q,l*).

ηβs(q,πj,l*)  – функция строгого предпочтения q  -го средства оценки перед πj  средством оценки (тестом) при условии, что состояние кандидата оценивается классом l* .

 

Шаг 4. Выбираем рациональный тип тестов оценки СПС кандидата, учитывая выявленную на предыдущем шаге классификацию его состояния, а также принимая во внимание ресурсные ограничения (стоимость, время или иное). Учет данных ограничений требует применение следующей формализацией:

Fβπj,l*=jβπj,l*Сj         (4)

где: Сj  – ресурсы, требуемые для организации диагностики состояния СПС кандидата (стоимость организации исследования кандидата πj – м средством оценки (тестом));

jβπj,l*  показатель информативности проверки:

 

jβπj,l*=i=1mμβНДl*×1-Ρjii=1mμβНДl*,               (5)

 

где Ρji  – ошибка идентификации і – го класса состояния СПС кандидата
πj – м тестом диагностики; m – число классов состояний СПС кандидата.

Предполагаемый выбор типа средства анализа (тестирования) кандидата будет соответствовать максимальной величине функции принадлежности (4), т.е.

π*supπjПFβ(πj,l*)

Шаг 5. Определяем множество (предполагаемое) возможных исходов W  применения выбранных средств оценки π . Для каждого исхода ωjβγWγ=1,θj
с применением πj - го средства (тестирования) определяем функции принадлежности НМНА у,liЕ  классификации состояния тестируемого.

Где: ωjβγ   предполагаемые исходы применения j-го средства тестирования на предыдущем этапеγ=1,0j;

θj  – количество исходов в случаях применения j  - го средства тестирования состояния кандидата.

С учетом теперь уже новых полученных данных можно записать следующее:

 

 

μβγНД(li,UjПβγ(ωαβγ))=1-supyEμβγs(y,li,UjПβγ(ωjβγ)),  ωjβγW,                      (6)

 

 

где Пβγ – множество средств тестирования кандидата, применимых для оценки состояния кандидата на этапе β  при исходахωjβγ  применения j  - го средства на предыдущем этапе:

ПβγП;у,liЕ.

Оценки данного вида (6) формулируются с учетом возможных исходов проверок на предыдущих этапах.

Шаг 6. Для всех возможных исходов тестирования ωjβγWjβγ с применением πj - го средства решаем задачу (3).

Для всех исходов ωjβγWjβγ , наиболее рациональной классификации соответствуют классы l* , с максимальным значением функции (6). При этом выполнение условия μβНДl*,ωjβγμβДОПНД будет свидетельствовать о наличии чётко доминируемых альтернатив определения классов состояний СПС кандидата для исхода ωjβγ  теста πj .

Определим множествоi*  диагностируемых классов состояний СПС кандидата l*i*l*,ωjβγ , если выполняется условие:

 

Α=μβНДl*,ωjβγμβДОПНДμβНДl*,ωjβγ=1.

 

Если для всех исходов применения πj  - го теста, такое решение единственное, т.е. μβНДl*,ωjβγ=1,ωjβγWjβγ , то проверяем полноту множества выявляемых классов состояний кандидата, т.е.:

i*l*,ωjβγ=m .

Здесь │*│ – мощность множества. Выполнение равенства свидетельствует о возможности полного выявления классов состояний СПС кандидата и переходу к шагу 7.

Наличие нескольких таких состояний для любого из исходов применения πj  - го теста кандидата, т.е. ωjβγWjβγ , таких что mβl*,ωjβγ>1 , свидетельствует о неоднозначности оценки его состояния по предполагаемым исходам тестовых оценок. Как правило, это может быть вызвано недостаточной компетентностью ЛПР, и/или следствием недостаточно полным набором данных для формирования однозначного решения на данном (каждом) этапе исследования СПС кандидата.

Шаг 7. Осуществляем оценку полноты использования планируемых тестов. При этом принимается во внимание, что предполагаемая начальная классификация состояния СПС кандидата соответствовала классам lil*ΕlНД,  т.е. проверяем βn , где n – общее количество применяемых тестов для оценки кандидата при условии наличия предполагаемого состава его классификационных признаков.

При условии невыполнения неравенства производим сокращение множества классов диагностируемых состояний СПС кандидата E с учетом множества однозначно диагностируемых классов кандидата на предыдущем шаге, т.е. формируем новое множество E* классифицируемых состояний СПС кандидата, подлежащих диагностике E*=E\i*l*,ωjβγ . В случае выполнения неравенства, переходим к следующему шагу.

Шаг 8. Выполняем анализ причин неоднозначного определения классов состояний СПС кандидата, определенным набором средств диагностики. Причины неоднозначности аналогичны сформулированным на шаге 6.

Шаг 9. Определяем последовательность применяемых диагностических средств оценки состояний СПС кандидата, приводящих к однозначному решению о его состоянии.

 

3. Пример реализации построения плана оценки степени профессионального соответствия кандидатов по предлагаемой выше методике

Будем считать, что отбираемые в системе профотбора кандидаты характеризуются пятью классами их соответствия должностному предназначению. Для тестирования могут быть использованы 3 типа тестов. Следовательно m=5 , = 3. По итогам опроса (тестирования) ЛПР может сформировать матрицу вида:

 

μR1=&1,0 0,0 0,0 0,0 0,0&0,3 1,0 0,3 0,0 0,0&0,8 0,5 1,0 0,0 0,2&0,9 0,5 0,0 1,0 0,2&0,2 0,1 0,0 0,0 1,0

 

На основе приведённой методики получим матрицу нечеткого отношения строгого предпочтения классов состояний СПС кандидата:

 

μRS=&0,0 0,0 0,0 0,0 0,0&0,3 0,0 0,0 0,0 0,2&0,8 0,2 0,0 0,0 0,2&0,9 0,5 0,0 0,0 0,2&0,2 0,1 0,0 0,0 0,0

 

Рассчитаем функцию принадлежности НМНА первоначальной классификации состояний СПС кандидата:

 

μR1НД=e1e2e3e4e50,10,51,01,00,8 .

 

В данном случае множество E,μR1НД  можно рассматривать как обобщенное мнение ЛПР о наиболее вероятных предполагаемых состояниях исследуемого СПС кандидата, т.е. об образе его профессионального соответствия, полученного на основе первичного анализа его деятельности. В этой оценке максимально доминирующими состояниями следует признать состояния е3  и е4 .

Оценим эффективность оценки состояний СПС кандидата имеющимися тестами с учетом предварительного анализа его возможной классификации состояний профессионального соответствия, т.е.:

S1=E=e1,e2,...,e5 .

 

Принимаем условие, что цена всех тестовых проверок одинакова, а именно:Сπj:j=1.3 . Рассмотрим тестπ1 . Он может иметь пять исходов (abcde). При этом ошибки идентификации выявленных в ходе предыдущего эвристического анализа классов состояний профессионального соответствия кандидата распределяются следующим образом:

 

 

δ1е1=0; δ1е2=0,25; δ1е3=0,7; δ1е4=0,8; δ1е5=0

 

Каждому исходу ω1βγ=α,b,c,d,e теста π1 соответствует своё множество выявляемых состояний степеней профессионального соответствия кандидата, а именно:

 

 

π1a:S1S11a=e1,   π1b:S2S11b=e1,e2,

π1c:S1S11c=e2;e3,   π1d:S1S11d=e3;e4,   π1e:S1S11e=e4.

 

Используя выражение (5), определим информативность проверки π1  т.е.:

jβπj,l*=i=1mμβНДl*×1-Ρjii=1mμβНДl*

 

 

J1π1=0,1(1-0)+0,5(1-0,25)+1(1-0,7)+1(1-0,8)+0,8(1-0)0,1+0,5+1+1+0,8=0,52.

 

 

Тогда информационно-стоимостной показатель данной проверки в отношении начального эвристического анализа S1 исходного состояния СПС кандидата, вычисленный по формуле (4), будет равен:

Fβ(πj,l*)=jβ(πj,l*)Сj

 

F1π1=j1π1C1π1=0,521=0,52 .

 

Для остальных проверок: F1π2=0,63;  F1π3=0,69.  Наибольшее значение имеет F1 (p3), следовательно (4) тест π3  является оптимальным для проверки в состоянии S1E.  Проверка π3  имеет пять исходов:

 

π3a:S1S13a=e1,  π3b:S2S13b=e1,e2,e3,  π3c:S1S13c=e2;e3,

π3d:S1S13d=e4,  π3e:S1S13e= {е5 }.

 

В отношении проверок π3a;π3d;π3e  программа тестирования завершена, так как их результаты соответствуют конечным оценкам. Далее оценим эффективность применения оставшихся тестовπ1 и π2 с учетом теста π3=π3bπ3c :

 

F13bπ1=0,45;  F13bπ2=0,63.

 

Следовательно, проверка π2 . для S13b=e1,e2,e3.  будет оптимальной. В свою очередь проверка π2 . может иметь два исхода {b, c} и разбивать S13b  на: S132bb=e1,e2  
и
S132bc=e2e3 , второе из которых – конечно.

Аналогично выполняется анализ в отношении S13c .

Из анализа результатов планирования диагностического исследования следует:

– для теста π3:  «а», «d» и «e» классы состояний СПС будут выявлены однозначно e1, e4 и е5;

– для тестаπ3  «b» и «c» результаты оценок состояния СПС кандидата неоднозначны. Для выявления и оценки этих классов состояний требуется переосмыслить их внутреннее содержание, определить новую структуру предполагаемых средств их диагностики.

Перспективным направлением исследований в использовании  тестовых средств в психодиагностике является необходимость поиска их аналогов и прототипа при проведении патентного поиска [8], а также разработка программных продуктов и вычислительных алгоритмов, реализующих модели принятия решения в задачах профессионального психологического отбора [9].

 

Обсуждение/Заключение

 

Итогом рассмотренного выше анализа является методика построения гибкого плана использования тестовых средств для исследования СПС кандидатов. Приведенная методика позволяет сформировать план проверки на основе априорных данных о кандидате и осуществлять коррекцию плана в случае полученных новых данных по итогам предыдущих исследований СПС кандидата, с учётом выделенных на эти цели финансовых и временных затрат.

References

1. Bagretsov S.A., Vorobyov N.N., Shalashaa Z.I. Intellectual Resources of the Organization. Moscow: Ileksa; 2011. 353p.

2. Orlovsky S.A. Problems of Decision-Making with Fuzzy Information. Moscow: Nauka; 1981. 208 p.

3. Shashlyuk Yu.A., Bagretsov S.A., Dobrynin V.N. Safety Management of Operation of Railway Transport Systems. Moscow: VNIIgeosistem; 2018. 390 p.

4. Zaichenko Yu.P. Fuzzy Models and Methods in Intelligent Systems. Kiev: Slovo; 2008. 344 p.

5. Bagretsov S.A., Lvov V.M., Naumov V.V. Diagnosis of Socio-Psychological Characteristics of Small Groups with External Status. Saint Petersburg: Lan, Saint-Petersburg University of the Ministry of Internal Affairs of Russia; 1999. 640 p.

6. Druzhinin V.N. Experimental Psychology. Moscow: INFRA-M; 1997. 256 p.

7. Bagretsov S.A., Oganyan K.M., Prorok V.Ya. Fundamentals of Construction and Organization of Adaptive Systems of Professional Selection. Saint Petersburg: Lan; 2003. 329 p.

8. Spasennikov V, Androsov K, Golubeva G. Ergonomic Factors in Patenting Computer Systems for Personnel’s Selection and Training. In: CEUR Workshop Proceedings 30; 2020 Sep 22-25; Saint Petersburg. p. 1.

9. Abdel-Basset M., Gamal A., Son L.H., Smarandache F. A Bipolar Neutrosophic Multi Criteria Decision Making Framework for Professional Selection. Applied Sciences. 2020;10(4). doi: 10.3390/app10041202.

Login or Create
* Forgot password?