Moskva, Moscow, Russian Federation
Moskva, Moscow, Russian Federation
The article deals with the application of information and signal theory in economic-mathematical modeling. An alternative supplies hypothesis testing procedure is described on the basis of an information criterion.
economic-mathematical modeling, entropy, signal theory, informationcriterion, hypothesis.
- Введение
Теорию информации относят к дополнительным главам теории вероятностей, которая специально рассматривает сигнальную специфику случайных процессов. Если же рассматривать результат экономического или социального процесса, как модель сигнала, можно с принципиально новых позиций получить ответы на вопросы о ценности информации, емкости информационного поля.Для экономики с её финансовыми кризисами классическая экономическая теория и статистика, построенные на линейных равновесных моделях,оказываются малопродуктивными или, более того, неадекватными. В течение последней трети XX в. исследователи, работающие над проблемами физики распознавания образов, передачи информации, управления информационными потоками, а также в ряде других областей направляли свои усилия на обнаружение общих черт в нелинейных процессах, протекающих в сложных системах. С математической точки зрения, хаотический характер поведения сложных систем в большей степени обусловлен тем, что моделируемые преобразования, происходящие с системой, носят нелинейный характер.Системы с хаотическим поведением были обнаружены в гидродинамике, физике лазеров, химической кинетике, астрофизике, биофизике, экологии, при обработке больших массивов данных сложной структуры в сейсмике [7,11]. Зарождение нелинейной парадигмы, включающей в себя энтропийную метрику, было предопределено уровнем развития науки и для анализа экономических процессов. Вплоть до 90-х годов XX в. при использовании инструментария классической статистики в экономико-математическом моделировании доминировала линейная парадигма. Согласно этой парадигме каждое воздействие на начальные условия вызывает пропорциональную реакцию получаемого результата. Однако рынки редко бывают столь устойчивыми и на незначительные возмущения могут реагировать нелинейно. По отношению к динамике социально-экономических систем и процессов теория хаоса не только объясняет бифуркационные явления (большие падения или большие выбросы), но прямо говорит нам, что их невозможно предсказать. По этой причине многие рыночные технические аналитики обоснованно предположили, что распознать в хаотическом движении новые закономерности им поможет фрактальная теория. В экономике и финансах стали применяться фрактальные статистики, связанные с именем Херста. Так, при построении новых стохастических моделей ценообразования в стандартизованные методики расчета, например, по базовым формулам Ито или Блэка-Шоулса, вводят фрактальную статистику Херста, как дополнительный учет меры хаоса. Современные консалтинговые компании применяют фрактальную статистику Херста к оценке доходности акций при анализе инвестиционно-финансовой привлекательности компании. По существу, основная задача показателя Херста – отличить случайный числовой ряд от неслучайного, даже если этот случайный ряд не гауссовый, т.е. вероятностное распределение не является нормальным. В то же время адекватной количественной мерой неопределенности финансового состояния компании, охватывающей в своем анализе значимые финансовые факторы, может быть выбрана энтропийная метрика. В этой связи финансовая система компании может быть структурирована по подмножествам элементов, образованных ее финансовыми показателями. Тогда элементы системы и ее связи будут определять вероятностное пространство состояний системы предприятия. В работах [9,10,13] были выделены подмножества финансовых показателей и связаны со случайными величинами, образующими вероятностные пространства соответствующих показателей. При таком подходе отклонения энтропии могут интерпретироваться как показатель риска, заменяющий дисперсию. Еще раз отметим, что при оценке рисков экономико-математические методы изучения и управления информационными процессами исследователи начинают использовать аппарат теории информации, а именно, энтропийный подход. Так, автором в [12] была решена задача минимизации рисков портфелей электроэнергетических проектов в Турции с использованием показателей энтропии в качестве меры риска вместо дисперсии. Следовательно, показатели энтропии могут быть использованы на этапе оценки проектных рисков.
- Мера информации
Первую логарифмическую меру информации предложил Хартли в 1928г. Шеннон и Винер, независимо друг от друга, опубликовали в 1948г. работы, в которых были описаны логарифмические меры информации в практически применяемой форме. Упрощенно мы можем определить информацию, содержащуюся в послании, как отрицательную энтропию или отрицательный логарифм вероятности. При этом, чем больше вероятность послания, тем меньше информации оно содержит. Базисным понятием теории информации является понятие энтропии. Энтропия – мера неопределенности некоторой ситуации. Можно также назвать ее мерой рассеяния, и в этом смысле она подобна дисперсии. Но если дисперсия является адекватной мерой рассеяния лишь для специальных распределений вероятностей случайных величин (а именно – для двухмоментных распределений, в частности, для гауссова распределения), то энтропия не зависит от типа распределения. Кроме универсальности энтропия обладает свойством аддитивности. Именно такая удобная, с практической точки зрения, мера неопределенности была введена К. Шенноном:
,
здесь Х – дискретная случайная величина;
– вероятность того, что случайная величина примет значение 
.
С некоторыми трудностями, энтропийный подход удалось обобщить на непрерывные случайные величины (введением дифференциальной энтропии). Использование формы дифференциальной энтропии известных распределений позволяет получать количественные закономерности в замкнутой аналитической форме [8,14].
В основе всей теории информации лежит открытие, что информация допускает количественную оценку. Не останавливаясь на том, как развивалось и обобщалось понятие количества информации, дадим сразу ее современное толкование. Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропии этого объекта, т.е.
Остановимся еще на одном важном моменте. До сих пор речь шла о среднем количестве информации, приходящемся на пару состояний объектов X и Y. Эта характеристика естественна для рассмотрения особенностей стационарно функционирующих систем, когда в процессе функционирования принимают участие всевозможные пары 
.Однако в ряде практических случаев оказывается необходимым рассмотреть информационное влияние конкретной пары состояний, оценить содержание информации в конкретной реализации сигнала, емкость «полезного» сигнала. Некоторые сигналы несут информации намного больше, чем другие, например, в контексте выбираемых управленческих инициатив. Допуская существование количественной меры информации, в конкретной паре 
естественно потребовать, чтобы индивидуальное и среднее количество информации удовлетворяли соотношению (в дискретном случае):
Тогда мерой индивидуальной информации может служить информационная плотность
в дискретном случае
.
В непрерывном случае информационная плотность имеет вид
.
Следующий пример показывает, как использовать информационный показатель для выбора статистической гипотезы о «полезности» сигнала информации.
- Пример использования информационного критерия для проверки гипотезы об альтернативных поставках – альтернативные информационные потоки
Известно, что проводимая либерализация энергетических рынков приводит к разделению компаний, расширению доступа к инфраструктурным объектам, появлению новых участников рынка и площадок биржевой торговли. В результате изменяются как содержание, так и направленность информационных потоков между участниками рынка. Эти потоки информации становятся более сложными и менее предсказуемыми. Возникает явление ассиметричности информации между участниками рынка. С одной стороны, информационная асимметрия создается специально государственными регулирующими органами между компаниями поставщиками и компаниями транзитерами с целью снижения их влияния на рынок. В то же время ассиметричность информации является одним из следствий несовершенства рынка и может привести к неоптимальному распределению экономических ресурсов. Например, избыточному финансированию инвестиций в транспортную инфраструктуру, завышению транспортных тарифов, усилению ценовых колебаний. Так, в этих условиях компания транспортировщик не имеет полной информации по планируемым объемам поставок и должна полагаться на различные источники информации. Это приводит к неоптимальному использованию инфраструктуры и дополнительным вложениям в инфраструктуру. Для прогнозирования инвестиций в инфраструктуру компании необходимо учитывать не только информацию EXPOST, представляющую статистические данные о загруженности транспортных мощностей, но и новые информационные рыночные сигналы, моделируемые случайным вектором Y –управленческие решения в смежных областях, государственные директивы, возможности новых участников рынка, рынок товаров субститутов. В этой связи требуется разработка новых инструментов оценки ценности информации. Пусть на основании анализа выборки (т.е. совокупности наблюдений по изучаемым объемам поставок 
) требуется отдать предпочтение одной из конкурирующих гипотез –ассиметричным условиям поставок, если построены гипотетические распределения наблюдений по каждой из гипотез. Возникает мысль о том, чтобы вычислить индивидуальное количество информации Y, представленное случайным векторомв выборке X по каждой из гипотез, и сравнить их. В теории информации используется информационное расстояние для оценки «полезного» сигнала Y. Сравнение информации по двум «полезным» сигналам может быть задано информационным расстоянием в качестве информационного критерия
.
Известно, что в теории информации задача обнаружения «полезного» сигнала может сводиться к принятию одной из альтернативных гипотез:
– в случайном векторе есть значимый сигнал; 
– значимый сигнал отсутствует.
Эта задача сводится к оптимальному разбиению вероятностной области наличия сигналов на две подобласти. При этом если статистический вектор результатов опыта оказывается в области соответствующей большей вероятности, то принимается гипотеза о наличии сигнала. В математической статистике проверка гипотез о сравнении двух распределений осуществляется с помощью функции правдоподобия общего вида.
Пусть 
– выборка, представляющая вектор одинаково распределенных, независимых случайных величин. Рассмотрим две альтернативные гипотезы:
; 
.
; 
.
Введем в рассмотрение, например, параметр 
, тогда принимается вторая гипотеза, если вероятность расположения случайного вектора в 
, содержащего «полезный» сигнал, больше 50%. Такой критерий предусматривает сравнение следующего отношения(функция правдоподобия)
– с параметром с, относя к критической области ту часть 
, где это отношение больше значения заданного параметра. Причем в этом случае получаем один не обязательно оптимальный критерий. Если же требуется получить критерий с заданным 
или если необходимо варьировать размер критической области с учетом заданной мощности критерия, то рассматривают класс похожих критериев со свободными параметрами[5]. Например, если вторая вероятность превосходит первую в c раз, то выбираем вторую, а иначе – первую.
В теории информации рассматривают функцию правдоподобия вида отношения условных вероятностей, при учете условия о «полезном» сигнале – случайном векторе 
(например, моделируемом показатели, описывающие «полезные» управленческие инициативы). При двух заданиях «полезного» сигнала имеем две альтернативные гипотезы, описанные выше, с функцией правдоподобия вида
.
Оптимальный критерий соответственно имеет вид
.
Для статистического анализа рассматривается выборка в виде пара 
, где случайный вектор X задает характеристики поставок(цены, транспортные издержки, амортизацию и другие), векторы 
– количественная информация об этих характеристиках в соответствии с вводимыми альтернативными гипотезами.
В заключение отметим, что для системного экономического анализа и экономико-математического моделирования теория информации имеет прикладное значение. Во-первых, ее конкретные методы позволяют провести ряд количественных исследований информационных потоков в изучаемой среде. Важным методологическим аспектом является эвристическое значение основных понятий теории информации – неопределенности, энтропии, количество информации, избыточности, пропускной способности и ряда других. Использование этих понятий актуально для понимания и прикладного моделирования системных процессов не только в технических, но и в гуманитарных областях, экономике. Системный анализ неизбежно выходит на количественное исследование ресурсов, которые потребуются для решения сложной проблемы. В этом случае информационные ресурсы будут играть далеко не последнюю роль наряду с материальными, энергетическими и временными. Авторы надеются привлечь внимание коллег к энтропийному подходу в анализе данных, имеющих не стандартное распределение. Изучение понятий и методов теории информации, как дополнительной главы в теории вероятностей, может также быть интересным при организации проектных исследовательских работ в университете [14,15,16].
1. Kolmogorov A.N. Izbrannye trudy. Teoriya informacii i teoriya algoritmov.- M.: Nauka, 1987. – 303 s.
2. Yaglom A.M., Yaglom I.M. Veroyatnost' i informaciya. M.: Nauka, 1973. – 512s.
3. Martin N., Inglend Dzh. Matematicheskaya teoriya entropiy. M.: Mir. 1988. –251s.
4. A. Gjendemsjo (ed.).InformationandSignalTheory – Houston: Rice University, 2006. – 98p.
5. BorovkovA.A. Matematicheskayastatistika.M.: Mir. 1984. – 472s.
6. Feller V. Vvedenie v teoriyu veroyatnostey i ee prilozheniya.M. : Mir.1984. – 738s.
7. Zhuravlev V.I., Lukk A.A., Sidorin A.Ya., Ryzhkova T.V. Fraktal'nye harakteristiki mnozhestv seysmicheskih sobytiy pri uchete faktora vremeni // Fizika Zemli. – 2001. – № 3. – S. 34.
8. Ryzhkova T.V. Maksimizaciya entropii standartnyh raspredeleniy // Fundamental'nye fiziko-matematicheskie problemy i modelirovanie tehniko-tehnologicheskih sistem. – 2016. – № 17. – S. 238–249.
9. Ryzhkova T.V.Entropiynye pokazateli finansovoy sistemy predpriyatiya // Vestnik MGTU Stankin. – 2012. – № 2. – S. 124–127.
10. Ryzhkova T.V.Entropiynyy analiz investicionnoy privlekatel'nosti kompanii // Vestnik Rossiyskogo ekonomicheskogo universiteta im. G.V. Plehanova. – 2010. – № 6. – S. 89–100.
11. Zhuravlev V.I., Lukk A.A., SidorinA.Ya., Ryzhkova T.V. Time-dependent fractal characteristics of sets of seismic events // Izvestiya. Physics of the Solid Earth. 2001. T. 37. № 3. S. 223-233.
12. Bozhenko E.V.Entropiynyy podhod k ocenke elektroenergeticheskih proektov v Turcii// Fundamental'nye fiziko-matematicheskie problemy i modelirovanie tehniko-tehnologicheskih sistem. – 2016. – № 17. – S. 45–53.
13. Ryzhkova T.V.Entropiynaya ocenka konkurentosposobnosti kompanii // V mire nauchnyh otkrytiy. – 2010. – № 6-1. – S. 94–95.
14. Ryzhkova T.V. Model' differencial'noy entropii finansovyh pokazateley Mezhd.nauchno-prakt.konf.,posv.105-letiyu REU im.G.V. Plehanova «Metody kolichestvennyh issledovaniy processov modernizacii ekonomiki i social'noy sfery», Moskva, 2012, – C. 248–252.
15. Mahina T.Yu., Ryzhkova T.V., Tushkanov D.A., Chistyakova N.A. Ocenka tvorcheskogo potenciala studenta na primereolimpiady «Prakticheskaya stohastika - 2013» v REU im. G.V. Plehanova // Izvestiya Rossiyskogo ekonomicheskogo universiteta im. G.V. Plehanova. – 2014. – № 4 (18). – S. 161–178.
16. Ryzhkova T.V., Tushkanov D.A., Chistyakova N.A. K voprosu ob organizacii samostoyatel'noy raboty studentov (na primere kafedry vysshey matematiki REU im. G.V. Plehanova) // Izvestiya Rossiyskogo ekonomicheskogo universiteta im. G.V. Plehanova. – 2015. – № 4 (22). – S. 411–431.
