Аннотация (русский):
Цель данной работы - разработка методики моделирования оценки вероятности успеха проекта, прототипа модели, а также рекомендаций для более эффективного управления проектами и портфелем проектов в банке. Работа содержит 40 зарубежных и 10 русскоязычных источников. В первой части исследования были освещены теоретические основы управления проектами и портфелем проектов. Проанализированы особенности управления проектами в банках, приведены примеры факторов и критериев успеха проекта. Были рассмотрены подходы к моделированию в задачах бинарной классификации. Во второй части были описаны основные предпосылки, допущения и ограничения, была предложена верхнеуровневая концепция модели, а также разработана авторская методика моделирования оценки вероятности успеха проекта. В третьей части был создан прототип модели оценки вероятности успеха проекта. Помимо выполненных задач, были разработаны рекомендации на основе полученных результатов: определены факторы, предопределяющие успех проекта, и составлена блок-схема имплементации системы моделей, состоящей из статического и динамического модуля в процессы управления проектами / портфелем проектов. Определены дальнейшие направления исследования, в числе которых тестирование других подходов к моделированию (например, с помощью нейросетей), оценка экономического эффекта от внедрения системы моделей, кластеризация проектов с целью определения схожих по признакам групп и применения к ним соответствующих управленческих воздействий.

Ключевые слова:
управление проектами, портфель проектов, факторы успеха проекта, критерии успеха проекта, оценка вероятности, анализ данных, предиктивная модель, бинарная классификация, машинное обучение, моделирование

Введение

В настоящее время мировая практика по управлению проектами содержит множество подходов и методологий, среди которых PMBoK (Project Management Body of Knowledge) [41], PRINCE2 (PRojects IN Controlled Environments), Microsoft Solutions Framework. Вместе с тем существуют гибкие методологии и техники, а именно: Agile, Scrum, Kanban и другие. С начала 2000-х годов развиваются специализированные методологии, например, CRISP-DM (Cross Industry Standard Process for Data Mining) [28]  – стандарт по управлению проектами по анализу данных. Конкуренция в экономике дошла до такого предела, при котором имплементация проектного подхода в разных задачах явялется необходимым условием «выживания», получения конкурентного преимущества. Стоит отметить факт проникновения проектного менеджмента практически во все сферы бизнеса: строительство и реконструкция, банкинг, IT-сектор, НИОКР. Большинство высокотехнологичных финансовых институов уделяет внимание внедрению информационных технологий, развитию инновационных проуктов, созданию инфраструктуры, небходимой для обеспечения непрерывности деятельности компании. В банковском секторе постоянно разрабатываются проекты, программы по созданию новых продуктов и внедрению инновационных технологий, что говорит о необходимой эффективности проектного управления для успешной деятельности любой организации.

Управление проектами в кредитных организациях обладает уникальными особенностями. Так, только в банках существуют, так называемые, регуляторные проекты. Такие проекты инициируются как правило самим банком для удовлетворения надлежащим образом требований ЦБ РФ (Центрального Банка Российской Федерации). В то же время крупные технологические компании и финансово-кредитные учреждения следуют принципам документа «Инновационная Россия — 2020», в соответствии с которым статус экономики страны должен перейти из сырьевой в  инновационную высокотехнологичную экономику [1].Таким образом, банки становятся всё больше IT-компанией, нежели банком в традиционном понимании. Данный факт подразумевает реализацию большого количества проектов и программ в части разработки ПО, технологической и организационной инфраструктуры, созданию новых кредитных продуктов, иногда строительных проектов, требующих эффективного управления. Всё это подтверждает актуальность выбранной темитики.

Для достижения стратегических целей банка разрабатывается набор инициатив, являющийся основой для формирования портфеля проектов конкретного банка, а ключевые показатели эффективности и вехи проектов/программ включаются мотивационную систему оценки результативности деятельности. Из этого следует, что проектное управление оказывает прямое и косвенное влияние на показатели деятельности банка. Эффективное управление проектами можно охарактеризовать различными способами. Например, одинм из показателей эффективности управления проектами может быть доля успешно выполненных проектов в портфеле. В свою очередь успешность проекта представляется возможным определить как дихотомично, так и более гранулярно. В обоих случаях для заключения вывода о статусте проекта (успешный или не успешный) необходимы количественные критерии. Таким образом, вполне логично сделать вывод: зная, с какой вероятностью тот или иной проект будет успешен, возможно предпринять корректирующие действия и впоследствии повысить эффектиность проектного управления, а значит и КПЭ (ключевые показатели эффективности) банка.

Объектом исследования был выбран портфель проектов банка с характеристикам проектов, закртытых в период с 2014 по 2018гг. Предметом исследования являются факторы, влияющие на успех проекта. Были предложены гипотезы исследования:

• Гипотеза 1: проекты, управляемые по agile методологии являются более успешными по сравнению с проектами, в которых используются другие методологии.
• Гипотеза 2: представляется возможным выделить факторы, предопределяющие вероятность успеха проекта с точностью более 80% по метрике AUC ROC.

С учётом вышеприведённой информации была сформулирована цель работы – разработка методики моделирования, прототипа модели оценки вероятности успеха проекта, а также рекомендаций для более эффективного управления проектами/портфелем проектов в банке. В работе были использованы 40 англоязычных и 10 русскоязычных источников, среди которых: стандарты PMBoK (6-е издание), методология SEMMA, Управление портфелем проектов под редакцией Аньшина В.М, статьи из академических журналов по управлению проектами, а также лекции и учебники по анализу данных.

Главной целью управления портфелем проектов можно считать выполнение стратегических задач посредством выбранных проектов, программ, структуры портфеля. Исходя из основной цели управления портфелем проектов возникает вполне естественная необходимость правильного отбора проектов/программ в связи с ограничениями по трудовым, матеариальным и временным ресурсам. Если говорить шире, то процесс отбора проектов в портфель является частью формирования портфеля проектов. Данной задачей занимались и продолжают заниматься многие исследователи. Проблему формирования портфеля проектов можно отнести к задачам оптимизации в условиях неопределённости. Авторы В.М. Аньшин, И.В. Демкин, И.М. Никонов, И.Н. Царьков в работе «Модели управления портфелем проектов в условиях неопределенности» применяют теорию нечётких множеств, определённых Л. Заде в 1965[1, с.76], для решения задачи отбора проектов в портфель. В своей работе авторы квантифицируют качественные метрики с помощью нечётких чисел. Аналогичный подход развивался и другими исследователями, например, Fátima Péreza и др. в работе [24], Hamed Jafarzadeh и др. в исследовании [15] также применяют теорию нечётких множеств для формирвания оптимального портфеля проектов. Существуют и другие методы формирования портфеля проектов, например, метод на основе домирующих ценностей организации [6]. В настоящее время используют и другие подходы к меоделированию оптимального портфеля проектов. При этом в большинстве подходов квантифицируются экспертные оценки, после чего при применяются различные методы математического моделирования. Естественно, следует иметь ввиду качество входных данных, от которых зависят все последующие выводы и результаты. Природа оценок, получаемых с помощью экспертных методов, является субъективной, что может привести к искаженным суждениям о действительности и, как следствие, принятию неверных решений с точки зрения рациональности. В связи с этим возникает необходимость наиболее объективного оценивания характеристик проектов.

Одной из наиболее распространенных задач в управлении проектом является определение того, достиг ли проект успеха. Традиционно такие метрики управления проектом, как время, стоимость, содержание и качество, являются наиболее важными показателямии определения успешности проекта. Позднее специалисты-практики и исследователи пришли к заключению, что успех проекта следует также измерять с точки зрения достижения целей проекта. Заинтересованные стороны проекта могут по-разному оценивать, как может выглядеть успешное завершение проекта и какие факторы являются наиболее важными. Крайне важно четко определить в документах цели проекта и выбрать цели, которые можно измерить [40].

Проект может быть успешным по классическим критериям, но при этом не достичь успеха с точки зрения бизнеса. Это может произойти в случае изменений в бизнес-потребностях или рыночных условиях до завершения проекта. Исследователи Thomas G.и др. в работе [48] рассматривают проблему определения критериев успешности IT-проектов и разделяют их на три категории С точки зрения бизнес-успеха важные критерии – это обеспечение целостности, непрерывности, соответствие стратегическим целям, поставку бенефитов. В крупных финансовых организациях как правило применяют свои внутренние подходы к оценке успешности проекта. Зачастую используются формальные критерии на основе взвешанных количественный и качественных оценок. К количественным оценкам относятся фактические показатели отклонений по срокам, стоимости. Качественные показатели квантифицируют экспертной оценкой. При этом важно различать успех проектного управления и успех продукта.

Успешность проекта может быть определена по формализованным критериям. Естественно, проект не становится успешным сам по себе – существуют факторы успеха. Они могут отличаться как в зависимости от проекта, так и критериев. Terry Cooke-Davies в работе [47] изучает факторы, влияющие на успех проекта. Автор также подчёркивает важность отличия успеха продука (результат проекта) от успеха проекта (проектного управления). Исходя из данных отличий, следует по-разному рассматривать как критерии успеха, таки факторы успеха. В исследовании Terry-Cooke Davies [47] отвечает на три вопроса:

• Какие факторы являются критически важными для успешного проектного управления?
• Какие факторы влияют на успех продукта – результата проекта?
• Какие факторы способствуют постоянному успеху проекта?

Отвечая на эти три вопроса, авторы выявляют 12 факторов. Ниже представлены некоторые из них:

• Компетентность в управлении рисками;
• Компетентность в документировании организационной ответственности за проект;
• Управление интеграцией проекта;
• Существования эффективного процесса поставок результатов проекта и управления проектом, включающих в себя функции проектного и линейного менеджмента;
• Эффективное управление знаниями – «learning from experience».

Автор статьи не даёт развёрнутого описания некоторых, в связи с чем возникает риск неверной интерпретации этих влияющих переменных. В тоже время большую часть из выявленных факторов можно считать вполне логичной и адекватной. Terry-Cooke Davies проводил исследование с помощью метода анкетирования. Респондентами являлись международные компании, менеджеры проектов из разных отраслей, что делает выборку довольно разнородной, а значит – универсальной. Таким образом, автор постарался выделить наиболее важные и универсальные факторы успеха, продукта проекта, а также системы управления проектами в организации в целом. Результаты работы можно учесть в настоящем исследовании.

          Narcivo C. и другие в работе «Evaluating logistic regression models to estimate software project outcomes» [39] также изучают факторы, влияющие на успех IT-проектов. Вместе с этим исследовател моделируют вероятность успеха проекта с помощью логистической регрессии с предварительным факторным анализом переменных. Данные собирались с помощью метода анкетирования. Исследователи выделили следующие факторы:

• Уровень компетентности команды проекта и проектного менеджера;
• Реалистичные ожидания пользователей;
• Качество планирования;
• Степень коммуникации менеджера проекта с командой проекта и др.

После определения значимых переменных авторы исследования произвели факторныый анализ методом главных компонент в целях снижения размерности, однако это впоследствии не привело к увеличению точности. В других исследованиях [22,40] авторы выделяют организационные, человеческие, процессные, технические и проектные категории факторов. К организационным относят такие факторы как сильная поддержка менеджмента, организация подходящей среды, доминирования agile методологии. В категрию человеческих факторов относят по большей части «командные факторы»: компетенции и опыт команды проекта, мотивацию, знание agile-процессов, способность самоорганизоваться, хорошие отношения с пользователями. Процессными факторами успеха являются в основном правила следования ценностям agile, сильная коммуникация посредством ежедневных встреч и др. К техническим факторам авторы исследований относят степень формализации стандартов для программирования, корректное интеграционное тестирование, необходимое наличие документации. Прооектными факторами являются размер команды, независимость команд, предварительный анализ расходов, рисков и др.

Помимо определения факторов и критериев успеха существует ещё более важная проблема – количественная оценка вероятности успеха проекта На данном этапе работы важно описать уже существующие подходы и методы моделирования вероятности успеха проекта. На текущий момент наиболее распространёнными задачами прогнозирования являются задачи классификации и регрессии.  Narciso C. и др. в работе «Evaluating logistic regression models to estimate software project outcomes» [39] проводят анализ влияния факторов успешности IT-проектов. В своём исследования авторы произвели краткий обзор методов, применяемых для моделирования вероятности успеха проекта, разработали собственный метод, собрали данные с помощью метода анкетировния по 164 проектам в США, построили модель и сделали выводы. Они применяли следующий алгоритм:

• Разбиение на обучающую и отложенную выборки;
• Идентификация переменных, сильно коррелирующих с целевой;
• Факторный анализ с помощью метода главных компонент;
• Построить модели-кандидаты и сравнить качество на отложенной (тестовой) выборке по метрике Area Under Curve Receiver Operating Characteristic (AUC ROC)

Переменные с большим количеством пропущенных значений были удалены. В результате было построено две модели. Первая – на основе выделенных факторов, вторая – на основе исходных переменных. Авторы пришли к выводу, что значимые отличия отсутствуют в применяемых методах (AUC ROC первой и второй модели равен 75.7% и 81.8% соответственно). Авторы также упомянули о важности выбора порога отсечения, котором в результате стал равен доли успешности проекта [39, с.5]. В большинстве исследований главным критерием выбора лучшей модели является метрика AUC ROC. Порог отсечения позволяет варьировать точность классификатора по каждому из классов. В конце исследования авторы выделяют три главных фаткора успеха проекта:

• Степень понимания требований к проекту;
• Компетентность менеджера проекта;
• Позднее вовлечение команды проекта в процессы.

Стоит отметить, что выявленные исследователями факторы являются довольно общими по свои определениям и не несут конкретики. В связи с этим может возникнуть сложность сложность при интерпретации взаимосвязи, а также при принятии управленческих решений по реализации проекта. Авторы также утверждают, что их модель может быть использована и в других организациях. Verner J.M. и др. в работе «State of the practice: An exploratory analysis of schedule estimation and software project success prediction» [31] также применяют метод логистической регрессии для оценки вероятности успеха проекта. В своём исследования авторы также как и [39] использовали метод анкетирования для сбора данных по 153 проектам в США. По результатам исследования были выделены факторы, влияющие на успех проекта. Авторы не описывают в достаточной мере подход к моделированию, работу с пропущенными значениями. Однако они упоминают выбранный ими порог отсечения. Francisco R. в исследовании «The optimization of success probability for software projects using genetic algorithms» [26] используют генетические алгортимы для моделирования вероятности успеха проекта, при этом не выделяя факторы факторы, способствующие успеху. Также авторы указывают на высокую сложность интерпретации результатов при использовании сложных алгоритмов. В некоторых случаях она может полностью отсутствовать. К тому же, с точки зрения бизнеса интерпретируемость модели является одним из необходимых условий применения в промышленной эксплуатации. Min-Yuan Cheng и др. в работе «Project success prediction using an evolutionary support vector machine inference model» [37] применяют метод опорных векторов для моделирования успешности проекта. В своём исследовании авторы рассматривают строительные проекты, но утверждают, что их методика может быть применима и в других областях проектной деятельности. В рамках данного исследования были проанализированы и другие методы моделирования вероятности успеха проекта. Стоит отметить, что подавляющая часть статьей ориентирована на строительные и IT-проекты. Также были приняты во внимания подходы, применяемые для решения задач кредитного скоринга.

 

Методология

Методика моделирования вероятности успеха проекта состоит из 5 этапов: формирование выборки, обработка данных, однофакторный анализ, многофакторный анализ, валидация модели. На первом этапе – формировании выборки – были определны методы и принципы сбора данных, проанализированы возможные проблемы и предложены подходы к их решению. На втором этапе – обработка данных – особое внимание было уделено подходам к преобразованию факторов, описана мотивация для использования дискретизации факторов, а также её преимущества. На третьем этапе – однофакторном анализе – предложены качественные и количественные критерии для отбора факторов. На четвертом этапе – многофакторного анализа – представлено формальное описание статистического алгоритма для построения модели, приведены возможные алгоритмы для построения модели. На пятом этапе – валидация модели – изложена цель и принципы тестирования модели, а также представлены статистические тесты для оценки качества модели. Таким образом, необходимо разработать методику для решения задачи бинарной классификации, а также получить вероятность принадлежности к классу. В данном случае классами будут:

• Успешный проект;
• Неуспешный проект.

Одной из допущений является определение успеха/неуспеха. Для формализованного определения успешности/не успешности необходимы критерии. Они могут быть установлены как заказчиком проекта, так и проектным комитетом или другими заинтересованными сторонами. Классическим вариантом критериев успешности проекта могут быть:

• Отклонение по стоимости не более чем на х %;
• Отклонение по срокам не более чем на х %;
• Исполнение содержания не менее чем на x %.

Ограничениями могут выступать размер выборки, необходимый для построения модели, наличие централизованной базы данных с характеристиками проектов. Для возможности моделирования необходим хотя бы один формализованный численно критерий проекта. Наиболее важной является предпосылка о независимости критериев. Другими словами, отклонение по срокам не зависит от отклонений по стоимости и наоборот. В дальнейшем будет рассмотрена возможность учёта корреляций между критериями

Вероятность успеха проекта может определяться как функция в виде произведения вероятностей соответствия установленным критериям (консервативный подход – см. далее формулу 1). В этом случае имеется предпосылка о независимости критериев. Таким образом, данная формула даёт вероятность успеха проекта, если он будет соответствовать всем установленным критериям.

PSproject=PScriteria1*PScriteria2*PScriteria3…PScriterian ,

где PScriterian – вероятность соответствия n-му критерию по результатам закрытия проекта, PSproject – вероятность успеха проекта (успехом в данном случае считается соответствие всем установленным критериям), n-количество критериев

Формула (1)

Возможен и альтернативный, оптимистичный подход. Вероятность успеха можно определить как вероятность соответствия хотя бы одному из установленных критериев. Для представления такого подхода в аналитическом виде необходимо определить неуспех проекта. Вероятность несоответствия критерию:

PFcriterian=1-PScriterian ,

где PFcriterian  – вероятность несоответствия n-ому критерию, PScriterian – вероятность соответствия n-ому критерию

Формула (2)

          На основе формулы 2 возможно придать аналитеский вид вероятности «полного» неуспеха проекта. Другими словами, вероятность того, что все установленные критерии будут нарушены:

PFproject=PFcriteria1*PFcriteria2*PFcriteria3…PFcriterian ,

где PFproject – вероятность полного неуспеха проекта, PFcriterian – вероятность несоответствия n-ому критерию

Формула (3)

Формула 3 эквивалентна формуле 4:

PFproject=(1-PScriteria1)*(1-PScriteria2)*…(1-PScriterian) ,

где PFproject – вероятность полного неуспеха проекта, PFcriterian – вероятность несоответствия n-ому критерию

Формула (4)

Формула 3 и 4 определяет неуспех проекта как вероятность несоответствия сразу всем установленным критериям. Оптимистичный подход определяет вероятность успеха проекта как вероятность соответствия хотя бы одному критерию и исходя из формулы 4 принимает следующий аналитический вид:

PSproject=1-(1-PScriteria1)*(1-PScriteria2)*…(1-PScriterian) ,

где PSproject – вероятность успеха проекта (успехом в данном случае считается соответствие хотя бы одному установленному критерию), PScriterian – вероятность соответствия n-ому критерию

Формула (5)

Одним из ключевых свойств модели можно считать её «гибкость», способность быть адаптированной к используемой среде, поставленным критериям. Так, пользователи настоящей методики могут выбрать одну из формул определения успеха проекта, либо создать свою. Для консервативного подхода может быть использована формула 1. По ней успех проекта определяется как произведение вероятностей каждого из установленных критериев. Оптимистичный прогноз вероятности успеха проекта определён формулой 5. Как правило в банках критерии успешности проекта установлены на уровне портфеля – применяются для всех проектов в равной степени.

Естественно, для получения вероятности успеха необходимо в начале произвести вычисления вероятности соответствия n-ому критерию, рассчитываемых с помощью методов, описанных в настоящей методике. Предпочтительным является логистические регрессия в силу возможности интерпретации весов модели. Возможно и применение других методов, среди которых, деревья решений, случайный лес, ансамбли моделей. Верхнеуровневый алгоритм оценки вероятности успеха проекта выглядит следующим образом:

• Численное определение критериев успешности проекта;
• Вычисление вероятности соответствия n-ому критерию;
• Применение одной из формул (1 или 5).

Для начала необходимо определить критерии успеха проекта. Крайне важно, чтобы данные критерии были квантифицируемыми. После определения критериев проставляется флаг признак успеха/неуспеха проекта. Далее производится расчёт вероятности соответствия каждому из поставленных критериев, после чего применяются формулы 1-5. Следует отметить, что предложенная концепция определения вероятности успеха являет может быть изменена в соответствии с внутренними методиками банка. Также допускаются экспертные корректировки, соответствующие бизнес-практикам и принципам построения моделей. Построение моделей может осуществляться последовательно с помощью однофакторного и многофакторного анализа (в случае логистической регрессии). Целью однофакторного анализа является получение короткого списка факторов для построение модели посредством выделения наиболее значимых, информативных факторов. Процесс однофакторного анализа сводится к выявлению наличия и силы связи между фактором и зависимой переменной. Для построения моделей были использованы такие методы как логистическая регрессия, дерево решений. Тестирование модели может быть определено как часть более широкого понятия – валидации модели, так и более узкого – проверка качество по ряду свойств на отложенной выборке или кросс-валидации.

 

Результаты

В целях соблюдения коммерческой тайны название банка, базы данных проектов, название самих проектов и прочих уникальных элементов будут скрыты или заменены на условные обозначения. Сбор необходимых для формирования выборки осуществлялся посредством выгрузуки из базы данных ежеквартальных отчётов о состоянии портфеля проектов в период с 2014 по 2018 гг. Для дополнения  данных были использованы паспорта проектов, включающих более детализированную информацию. При отсутствии данных по проекту информация запрашивалась индивидуально. В случае отсутствия большей части данных проект не включался в анализ. Успех проекта был определён в соответствии с критериями, установленными внутренними методиками банка. Признаками для дальнейшего построения модели являлалась информация на момент открытия проекта. Признаки и проекты с более чем 50% пропущенных значений были удалены из анализа. Таким образом, выборка содержит данные по 690 проектам, закрытым в период с 2014 по 2018 годы. Обработка данных была произведена в зависимости от метода построения модели (описание в следующем параграфе).  При применении логистической регрессии непрерывные факторы были дискретизированы, пропущенные значения для каждого фактора были выделены в отдельную корзину.  Алгоритмы деревьев решений и случайного леса не чувствительны к размерности признаков, и пропущенным значениям (если их не слишком много). Для построения моделей были выбраны 3 метода:

 

• Логистическая регрессия;

Для построения модели с помощью логистической регрессии фактроы были дискретизированы по методике, описанной в разработанной методики. Пропущенные значения были выделены в отдельную корзину.

После трансформации факторов и WOE-преобразования были рассчитаны значения IV факторов согласно формуле 10. Можно сделать предварительный вывод о наиболее значимых признаках на основе рисунка 14. Ими являются: модель управления, наличие ит-составляющей проекта, количество согласующих департаментов, департамент-заказчик, размер капитальных расходов. Наименее информативные признаки: пол менеджера проекта, регуляторный проект/не регуляторный, проект реализуется в программе/вне программы.

Цель однофакторного анализа в случае логистической регрессии – определить короткий список факторов. Другими словами – произвести отбор переменных. Для выбора лучшей модели был использован метод stepwise, а также графический метод: последовательно добавлялилсь факторы, начиная с большего по IV, и на них строилась модель. Качество оценивалось на обучающей и тестовой выборке.

 

Поосле добавления 5 фактора практически не меняется. В соответствии с принципами моделирования модель с 5 факторами признана лучшей. Все факторы значимы на уровне 5%. Мультиколлинеарность отсутствует (VIF<3). Метрика AUC ROC на тестовой выборке составила 92%. Индекс gini, рассчитанный в соответствии с формулой 15 составил 84%.

• Дерево решений:

Альтернативным методом построения модели является дерево решений. Обработка и преобразование данных не включали в себя дискретизацию факторов с последующим WOE-преобразованием. Пропущенные значения для непрерывных признаков были заменены средним, а для категориальных – модой. Оптимальная глубина дерева была определена эвристически: строился график зависимости метрики качества классификации от глубины дерева. С помощью эмпирического метода была определена оптимальная глубина дерева – 3. Метрика AUC ROC на тестовой выборке составила 89,75%. Индекс gini, рассчитанный в соответствии с формулой 15 составил 79,5%. С помощью дерева решений также как и при использовани логистической регрессии с предварительной дискретизацией факторов возможно выделить факторы, предопределяющие успех проекта. Ими стали: модель управления (agile – не agile), риск-профиль (интегральный показатель риска проекта, рассчитанный по внутренним методикам), департамент заказчик, размер капитальных расходов.  Например, возможно алгоритмически объяснить отнесение проекта к категориям успешных или не успешных, а вероятность вычислить с помощью соотнешения классов в терминальном узле (листе дерева).

• Random Forest (случайный лес):

Более сложным алгоритмом по сравнению с раннее представлеными является случайный лес. В качестве начального приближения для поиска оптимального параметра (количество деревьев) было выбрано 10000 деревьев. Однако после нескольких экспериментов был сделан вывод об отсутствии необходимости такого числа деревьев.

 

Модель, построенная с помощью случайного леста уже с 10 деревьями даёт идеально качество на обучающей выборке, что ещё раз подтверждает ранжирующую способность раннее выделенных факторов, предопределяющих успех проекта. С помощью алгоритма случайного леса представляется возможным оценить важность признаков. Результаты представлены далее на рисунке 22. Метод случайного леса показывает практически аналогичные результаты при построении модели с помощью логистической регрессии. Важность признаков (feature importance) – метрика, качественно похожая на IV, опреденная случайным лесом по большей части совпадает с расчитанным Information Value при использовании логистической регрессии, а также деревом решений. Исходя из этого можно сделать вывод о качественной дискретизации факторов и WOE-преобразованием, а также стабильностью данных факторов. Метрика AUC ROC на тестовой выборке составила 94,5%. Индекс gini, рассчитанный в соответствии с формулой 15 составил 89%.

 

Предложения и рекомендации

Были применены различные методы, среди которых: логистическая регрессия, дерево решений, случайный лес. Лучшим с точки зрения качества на тестовой выборке стал случайный лес (AUC ROC = 94,5%), наиболее наглядным стали дерево решений (AUC ROC = 89,75%) и логистическая регрессия (AUC ROC = 92%). Значимость и дискриминирующая способность фактора «модель управления проектом» (agile) подтвердилась при использовании всех методов. Резюмируя, обе гипотезы принимаются в соответствии с полученными результатами моделирования, что будет учтено при разработке рекомендаций в следующем параграфе. Разработанная модель может быть использованая в следующих процессах:

• Бюджетирования;
• Отбора проектов в портфель;
• Мониторинга рисков.

Целевая архитектура моделей, разработанная в рамках текущего и дальнейшего исследования, представлена на рисунке 25. На текущем этапы был разработан статический модуль – модель, предсказывающая вероятность успеха проекта при инициации. Входными данными являлись признаки, информация по которым уже известна в момент инициации. Используя её, можно получить вероятность успеха проекта и учесть полученную оценку при отборе проектов в портфель. Например, можно установить пороговое значение, при котором проект не может быть включён в портфель. При положительном решении на основе вероятностной оценки, являющейса некоторой мерой риска проекта, возможно более эффективно управлять рисками, разработать соответствующие мероприятия по нейтрализации угроз. Например, если вероятность успеха проекта определена как минимум из вероятностей соответствия критериями (исполнение бюджета и сроков), то возможно заранее внести изменения в бюджет и чательнее спланировать проект в соответствии с полученной оценкой. 

 

Направления дальнейшего ииследования

К дальнейшим направлениям исследования можно отнести:

• Тестирование других подходов к моделированию (например, с помощью нейросетей);
• Оценку экономического эффекта от внедрения подобной модели

• Разработка динамического модуля ;
• Интеграция статического и динамического модулей в целевой архитектуре;
• Выявление иных факторов успеха проекта и использование данной информация для более эффективного проектного управления;
• Кластеризация проектов с целью определения схожих по признакам групп и применения к ним определенных управленческих воздействий, способствующих более качественному и успешному проектному управлению

 

Заключение

Для достижения цели исследования была использована разработанная методика. Помимо построенной модели представлены результаты тестирования гипотез, сделан вывод о факторах, влияющих на успех проекта в банке х, а также сформулированы рекомендации по использованию разработанной модели в процессах управления портфелем проектов, определены дальнейшие направления исследования.

          По результатам построения моделей были приняты основные гипотезы настоящей работы:

• Гипотеза 1: проекты, управляемые по agile методологии являются более успешными по сравнению с проектами, в которых используются другие методологии.
• Гипотеза 2: представляется возможным выделить факторы, предопределяющие вероятность успеха проекта с точностью более 80% по метрике AUC ROC.

Помимо разработанной модели была представлена целевая архитектура моделей, предложен вариант интеграции динамического модуля в модель, предполагаемые факторы. Также было показано, в каких процесах управления проектами/портфелем проектов возможно применить данную модель. Лучшим методом по метрике AUC ROC стал случайный лес. С точки зрения наглядности метод дерева решений превосходит остальные. Если принимать во внимание принятые подходы к моделированию вероятности принадлжености к классу в задачах классификации в банке, то предпочтительным будет логистическая регрессия. Резюмируя, каждый метод имеет свои преимущества и недостатки, но при этом возможно построить достаточно точную модель.

Резюмируя, можно сказать, что поставленная цель и задачи были выполнены, разработаны рекомендации для банка. Определены дальнейшие направления исследования.

1. Алешин А. В., Аньшин В. М., Багратиони К. А. и др. ; под ред. Аньшина В. М., Ильиной О. Н. (2013) Управление проектами: фундаментальный курс // Издательский дом дом Высшей школы экономики

2. Аньшин В. М., Демкин И. В., Никонов И. М., Царьков И. Н. (2007) Модели управления портфелем проектов в условиях неопределенности // Издательский центр МАТИ

3. Воронцов К. В. (2013) Конспект лекций К.В. Воронцова по машинному обучению // Элетронный ресурс: [http://www.machinelearning.ru]

4. Министерство экономического развития России (2011) Стратегия инновационного развития Российской Федерации на период до 2020 года // Распоряжение Правительства РФ от 08.12.2011 N 2227-р (ред. от 18.10.2018)

5. Дульзон А.А (2014) Успешность управления проектами, оценка возможности // Гребенников, 04(40)

6. Молоканова В. М. (2013) Метод формирования портфеля проектов на основе доминирующих ценности организации // Технические науки

7. Национальный стандарт Российской Федерации (2011) ГОСТ Р 54869-2011 // Приказ Росстандарта

8. Открытый курс по машинному обучению (2018) Конспект лекций

9. Собина Н. В., Логинов М. П. (2016) Управление проектами в коммерческом банке // Финансы и Кредит

10. Шишорин Г. Ю. (2018) Разработка методики управления рисками на основе показателей толерантности к риску, курсовая работа // ФБИМ НИУ-ВШЭ

11. Agarwal, N., Rathod, U. (2006) Defining ‘success’ for software projects: an, exploratory revelation // International Journal of Project Management, 24 (4):358–370.

12. Ali, A.S.B., Anbari, F.T., Money, W.H. (2008) Impact of organizational and project factors on acceptance and usage of project management software and perceived project success // Project Management Journal, 31 (3): 459–472

13. Ana Azevedo and M.F. Santos (2008) KDD, semma and CRISP-DM: A parallel overview // Conference: IADIS European Conference on Data Mining 2008, Amsterdam, The Netherlands

14. Annina Simon, Mahima Singh Deo (2016) An Overview of Machine Learning and its Applications // International Journal of Recent Technology and Engineering (IJRTE), ISSN: 2277-3878, Volume-7 Issue-6S2

15. Babak A., Hamed J., Pouria A. G. (2018) A methodology for project portfolio selection under criteria prioritisation, uncertainty and projects interdependency – combination of fuzzy QFD and DEA // Expert System with Appplications, Volume 110, Pages 237-249

16. Calisir, F., Gumussoy, C.A. (2005) Determinants of budget overruns on IT projects // Technovation 25 (6):631–636

17. Carvalho, M.M.d., Patah, L.A., Bido, D.d.S. (2015) Project management and its effects on project success: cross-country and cross-industry comparisons // International Journal of Project, 33 (7):1509–1522

18. De Bakker, K., Boonstra, A., Wortmann (2010) Does risk management contribute to IT project success? A meta-analysis of empirical evidence // International Journal of Project Management. 28 (5):493–503

19. Deutsches Institut für Normung (2012) DIN, Германия, DIN 69901

20. Diksha Sharma, Neeraj Kumar (2017) A Review on Machine Learning Algorithms, Tasks and Applications // International Journal of Advanced Research in Computer Engineering & Technology (IJARCET), Volume 6, Issue 10

21. Doherty, N.F., Ashurst, C., Peppard (2012) Factors affecting the successful realization of benefits from systems development projects: findings from three case studies // Journal of Information Technologies, 27 (1), 1–16

22. Dragan Stankovic, Vesna Nikolic, Miodrag Djordjevic, Dac-Buu Cao (2013) A survey study of critical success factors in agile software projects in former Yugoslavia IT companies // Journal of Systems and Software,Volume 86, Issue 6, Pages 1663-1678

23. Dvir, D., Sadeh, A., Malach-Pines, A. (2006) Projects and project managers: the relationship between project managers' personality, project types, and project success // Project Management Journal, 37 (5), 36–48

24. Fátima Péreza, Trinidad Gómezb, Rafael Caballerob, Vicente Liernc (2018) Project portfolio selection and planning with fuzzy constraints // Technological Forecasting and Social Change, Volume 131, Pages 117-129

25. Francesco C., Giulio D., Fabio N. (2015) Project selection in project portfolio management: An artificial neural network model based on critical success factors // International Journal of Project Management 33, 1744–1754

26. Francisco R., Narciso C., Alfredo C., Matthew B. (2016) The optimization of success probability for software projects using genetic algorithms // The Journal of Systems and Software

27. Geoghegan, L., Dulewicz, V. (2008) Do project managers' leadership competencies Contribute to project success? // Project Management Journal, 39 (4):58–67

28. IBM (2011) IBM SPSS Modeler CRISP-DM Guide // IBM Corporation

29. Ika, L., Diallo, A., Thuillier (2012) Critical success factors for World Bank projects: an empirical investigation // International Journal of Project Management 30, 105–116., D., 2012.

30. Ives, M. (2005) Identifying the contextual elements of project management within organizations and their impact on project success // Project Management Journal, 36 (1), 37–50

31. J.M. Verner, W.M. Evanco, N. Cerpa (2007) State of the practice: An exploratory analysis of schedule estimation and software project success prediction // Information and Software Technology 49, 181–193

32. John F. Magee (1964) Decision Trees for Decision Making // Harward Business Review

33. Jugdev, K., Müller, R. (2005) A Retrospective Look at Our Evolving Understanding of Project Success // Project Management Journal 36(4):19-31

34. Lech, P. (2013) Time, budget, and functionality?—IT project success criteria revised // Information System Management, 30 (3):263–275

35. Marija Lj. Todorović a, Dejan Č. Petrović a,1, Marko M. Mihić a, Vladimir Lj. Obradović a, Sergey D. Bushuyev (2015) Project success analysis framework: A knowledge-based approach in project management // International Journal of Project Management 33, pages 772–783

36. Markowitz H. (1952) Portfolio selection // Journal of Finance, 7 (1), 77–91

37. Min-Yuan Cheng, Yu-Wei Wu, Ching-Fang Wu (2011) Project success prediction using an evolutionary support vector machine inference model // Automation in Construction

38. Mladen Radujković, Mariela Sjekavica (2017) Project Management Success Factors // Creative Construction Conference 2017, CCC 2017, 19-22 June 2017, Primosten, Croatia

39. Narciso C., Matthew B., Barbara K., June V. (2015) Evaluating logistic regression models to estimate software project outcomes // Information and Software Technology

40. Otávio P., Marco A., Heverton R. (2017) Cost and time project management success factors for information systems development projects // International Journal of Project Management, 1608–1626

41. Project Management Institute (2017) APM Body of Knowledge, 6th edition // Project Management Institute

42. Raz, T., Shenhar, A.J., Dvir, D. (2002) Risk management, project success, and technological uncertainty // R&D Manag. 32 (2), 101–109.

43. Savolainen, P., Ahonen, J.J., Richardson (2012) Software development project success and failure from the supplier's perspective: a systematic literature review // International Journal of Project Management, 30 (4):458–469

44. Serrador, P., Pinto, J. K. (2015) Does agile work? — a quantitative analysis of agile project success // International Journal of Project Management, 33 (5):1040–1051

45. Sheffield, J., Lemétayer (2013) Factors associated with the software development agility of successful projects // International Journal of Project Management, 31 (3): 459–472

46. Shenhar, A.J., Levy, O. (1997) Mapping the dimensions of project success // Project Management Journal, 28 (2), 5

47. Terry Cooke-Davies (2002) The ‘‘real’’ success factors on projects // International Journal of Project Management, 20, 185–190

48. Thomas, G., Fernández, W. (2008) Success in IT projects: a matter of definition? // International Journal of Project Management, 26 (7):733–742

49. Wander Plas (2018) Python for data science // O`REILLY

50. World Bank Operational Policies (2015) Document №2.20