Penza, Penza, Russian Federation
Penza, Russian Federation
Ser'eznyy nauchnyy interes dlya analitikov predstavlyayut otkrytye social'nye dannye seti Internet. Odnako eti dannye ne prigodny dlya avtomatizirovannoy prikladnoy obrabotki v ishodnom sostoyanii i dolzhny byt' predstavleny v strukturirovannom, ponyatnym pri ruchnoy obrabotke vide – social'nom profile. Postroenie social'nogo profilya osuschestvlyaetsya cherez analiz otfil'trovannyh ishodnyh dannyh iz otkrytyh istochnikov seti Internet. Dinamicheskie nestrukturirovannye dannye, vklyuchayuschie v sebya kak tekstovuyu, tak i mul'timedia informaciyu, ne mogut byt' issledovany klassicheskimi sredstvami analitiki. Sledovatel'no, trebuetsya opredelit' novye analiticheskie metody i podhody, zavisyaschie ot vida obrabatyvaemyh dannyh, dlya naibolee effektivnogo ispol'zovaniya ishodnyh dannyh. Zadacha analiza dannyh social'nogo profilya dostigaetsya za schet ispol'zovaniya matematicheskogo apparata teorii mnozhestv, programmnyh kompleksov Big Data, sredstv analitiki social'nyh media, a takzhe sovremennyh metodov analiza mul'timedia. V stat'e predlozheny metody analiza nestrukturirovannoy tekstovoy informacii social'nogo profilya. Opisyvaetsya tehnologiya poiska neyavnyh zavisimostey v tekstah s ispol'zovaniem sredstv vizual'nogo analiza i obrabotki estestvennogo yazyka. Takzhe predlagaetsya obzor metodik dlya analiza mul'timedia kontenta (grafika, zvuk). Etap analiza raznorodnyh dannyh social'nogo profilya yavlyaetsya dostatochno slozhnym v realizacii. Suschestvuet vozmozhnost' chastichno avtomatizirovat' process analiza informacii za schet ispol'zovaniya sredstv vizual'nogo analiza, obrabotki estestvennogo yazyka (NLP), neyronnyh setey i specializirovannyh algoritmov. Poluchennye dannye obespechivayut podrobnyy detal'nyy obzor svyazey i suschnostey social'nogo profilya i mogut ispol'zovat'sya v dal'neyshih bolee glubokih social'nyh issledovaniyah.
Analiz dannyh, nestrukturirovannye dannye, mul'timedia, otkrytye istochniki informacii, social'nyy profil' cheloveka, Big Data.
Введение НЕТ СПИСКА ЛИТЕРАТУРЫ
Социальный профиль – это множество информации, характеризующее социальные свойства человека и наглядно структурированное для удобства автоматизированной обработки и человеческого восприятия [1]. Социальные профили могут найти свое применение в различных сферах деятельности, начиная с прикладных целей контекстной передачи информации и заканчивая исследованиями искусственного интеллекта и социума, а также противодействия терроризму.
Задача построения социального профиля первоначально сводится к созданию математической модели и выбору структуры данных для хранения персонализированной информации [2]. Социальный профиль человека основывается на данных из открытых источников сети Интернет. Идентификация человека в сети производится через определение его точек вхождения – учетных записей веб-ресурсов, которые предоставляют ему ряд возможностей по использованию ресурса и выделяют из массы остальных пользователей сети. Собираемые данные фильтруются от посторонней информации и разделяются по степени структурированности на статическую и динамическую части. С учетом экспоненциального роста информации в сети перед аналитиками стоит задача автоматизировать процессы анализа как структурированной, так и неструктурированной информации. В данной работе освещаются проблемы анализа текстовых и мультимедийных данных социального профиля человека с использованием различных средств (Big Data, OCR, визуальный анализ, статистика и т.д.).
После идентификации человека в сети Интернет, сбора и фильтрации первичных данных социального профиля [2, 3] полученная информация анаизируется с целью формирования целостной структурированной социальной картины личности. Собранная ранее информация разделяется на две логические части [2]: информационную карту, содержащую уникальные идентифицирующие сведения о рассматриваемой персоне - статический контент, и динамический контент, состоящий из гетерогенных неструктурированных данных. Эти данные хранятся в различных типах хранилищ, зависящих от характера самой информации. Для хранения данных, не предусматривающих редактирования, предлагается использовать HBase - нереляционную распределенную базу данных с открытым исходным кодом, которая запускается над распределенной файловой системой HDFS (Hadoop Distributed File System) и обеспечивает надежный способ хранения очень больших объемов разнородных данных [4].
Соответствующая геоинформация помещается в графовое хранилище Neo4J [5], основными характеристиками которого являются: поддержка ACID (англ. Atomicity, Consistency, Isolation, Durability - атомарность, согласованность, изолированность, долговечность данных), хорошая масштабируемость, поддержка популярных языков программирования (Java, Python, Ruby), мощный механизм обхода графа, подробная документация.
Данные динамической части могут быть как текстовыми, так и мультимедийными, поэтому для анализа каждого типа данных требуется определенный подход. Отдельной задачей при этом является анализ неструктурированных данных для выявления неявных семантических зависимостей, искажений, информационного мусора,. Эта задача может быть решена при помощи сочетания встроенных механизмов поискового робота и прикладных программных модулей на основе фреймворка для разработки и выполнения распределенных программ Hadoop [3, 9].
Анализ текстовых данных социального профиля
В настоящее время для обработки неструктурированных текстовых данных аналитиками применяются методы интеллектуального анализа текстов и обработки естественного языка [6]. Также могут использоваться методы анализа тональности для определения эмоциональной окраски текстов и возможного выявления в них неявного или скрытого смысла [7].
Неструктурированный текст, являющийся исходным при построении социального профиля, может включать: электронные письма, публикации (посты, комментарии на социальных ресурсах), электронные документы, списки, расшифровки изображений и аудиозаписей, статистические и геоданные и т.д. В подсистеме анализа социальных связей и зависимостей осуществляются поиск и разделение по группам выражений, которые станут основой для узлов и связей социального графа. Анализ текстов состоит из четырех этапов, представленных на рис. 1.
Рис. 1. Последовательность шагов анализа неструктурированного текста
Первым шагом анализа неструктурированных текстовых данных социального профиля является определение исходного языка для каждого элемента. Затем в текстах осуществляется поиск записей, входящих в информационную карту. Это обеспечит основу для последующего выстраивания связей социального профиля.
Дальнейший этап анализа заключается в распознавании именованных сущностей и извлечении признаков. Полученные результаты являются кандидатами на роль объектов социального профиля. При этом необходимо учитывать наличие синонимов, производных слов, транскрипций для каждого объекта.
После получения коллекции объектов социального профиля начинается извлечение информации и связей из неструктурированных данных для формирования целостной картины социального профиля. На данном этапе необходимо наличие средств обработки естественного языка, в частности заполненных тезаурусов правил синтаксического и лексического анализа текста. Желательно наличие отдельного словаря для оценки настроений.
Ввиду очень большого количества обрабатываемых данных предлагается использовать решения на основе технологии Big Data. В качестве примера рассмотрим применение программного средства IBM Content Analytics, которое осуществляет поиск фактов на основе анализа контента, просмотра и импорта содержимого, синтаксический разбор и анализ содержимого, моделирование и прогнозирование, разработку интеллектуальных фильтров и создание пригодного для поиска индекса [8].
Рис. 2. Схема алгоритма анализа текстов в IBM Content Analytics
Рассмотрим алгоритм работы с Content Analytics (рис. 2). Первоначально создается коллекция документов – специальная индексируемая структура для работы со срезами данных или ограниченными совокупностями однородных значений по некоторому классификационному признаку. В нее импортируют исходные данные из различных источников. Далее подключаются базы данных словаря и синтаксических правил.
Затем поиск статистической информации осуществляется либо с помощью баз данных словарей обработки естественного языка, либо посредством запросов из ключевых слов. Тезаурусы состоят из локальной БД, xml-файла и собственно словаря в формате dict. Такие словари заполняются наиболее характерными выражениями из текстов исходных данных, после чего из них лексическим анализатором получают другие формы слов. Это повышает качество анализа и способствует нахождению информации, на основе которой делают статистические выводы.
Результаты выделяются в тексте во вкладке Documents. Вкладка Facets показывает статистические данные результатов (например, количество повторений в тексте) в виде диаграмм. Пример диаграммы среза по ключевому слову «Возраст» показан на рис. 3 [8].
Рис. 3. Пример запроса для среза данных в Content Analytics
Также возможно применение системы IBM BigInsights, использующей фреймворк Hadoop [9] и модель распределенных вычислений MapReduce [10] для выполнения задачи текстового анализа. Встроенные функции системы включают нормализацию, разметку, идентификацию языка, классификацию текстов для фильтрации спама, распознавание и интеграцию сущностей, анализ настроений, извлечение связей [11]. Их можно настраивать с помощью словарей для анализа настроений и списка объектов для распознавания сущностей. Также имеются решения для извлечения отраслевых ключевых показателей для избранных отраслей.
Результаты работы BigInsights можно использовать как исходные для других внешних обработчиков, в частности для определения неявных связей внутри данных социального профиля.
Выявление неявных зависимостей в данных социального профиля
Результаты анализа неструктурированных данных, даже с использованием специализированных средств NLP (англ. natural language processing - обработка естественного языка,), могут быть несовершенными: используемые тезаурусы могут быть неполными, исходные данные содержать лингвистические ошибки или иметь двоякий смысл. Также может содержаться скрытая информация, которую можно определить лишь косвенно. Для разрешения подобных проблем наиболее подходят средства визуального анализа, в качестве которых предлагается использовать программный инструментарий IBM i2. Он включает в себя следующие компоненты [8]:
- Text Chart – модуль для визуализации неструктурированных текстов, позволяет оперативно преобразовывать текстовую информацию в структурированный и легко анализируемый графический формат;
- Analyst's Notebook - предоставляет возможности быстрого сопоставления, анализа и наглядного представления данных из различных источников, обнаружения ключевой информации среди данных;
- iBase - позволяет совместно работающим коллективам аналитиков собирать, контролировать и анализировать данные из нескольких источников в единой защищенной рабочей среде для решения повседневных проблем путем исследования и анализа взаимосвязей в больших объемах сложно структурированной и неструктурированной информации.
Исходя из результатов анализа текстовых данных с помощью BigInsights и Content Analytics создается математическая модель для постройки iBase базы данных социального профиля. На ее основе строится граф, задающий возможные взаимосвязи между сущностями социального профиля, пример которого представлен на рис. 4.
Рис. 4. Образец графа типов сущностей социального профиля
В качестве вершин графа выступают типы объектов, характеризующие рассматриваемую персону или связанные с ней определенным образом:
- рассматриваемая персона – центральный объект социального профиля, фактически состоит из данных информационной карты и сопутствующих сведений из динамического контента;
- упоминаемая персона – информация о лице, которое имеет связь с рассматриваемой персоной;
- организация – информация о различных учреждениях, которые связаны с персонами из социального профиля;
- мероприятие – информация о событии, объединяющем группу людей по некоторым общим признакам;
- адрес – географическое расположение, относящееся к конкретному человеку, организации или мероприятию;
- деятельность – информация о занятости лица, не связанной с конкретной организацией (например, писательство или благотворительность);
- специализация – конкретное направление деятельности лица или организации;
- хобби – информация об увлечениях людей;
- достижения – сведения о результатах деятельности лица, включая авторский контент;
- телефон – номер телефона, код и сопутствующая информация;
- электронная почта – адрес электронной почты, принадлежащий конкретному человеку или организации.
Основная работа по выявлению связей и зависимостей производится в программе IBM i2 TextChart. Анализ данных выполняется по следующему алгоритму:
1) данные социального профиля заносятся в проект Text Chart через импорт CSV-файла с исходной информацией;
2) в тексте выделяется первая попавшаяся важная информация, после чего проводится поиск повторений и синонимов по всему тексту с помощью средства Find;
3) результаты добавляются в проект как сущности социального профиля (рассматриваемая персона, деятельность и тд.);
4) в тексте выделяются слова, выражающие отношения между созданными объектами, и в окне с создаваемым графом зависимостей выбираются соответствующие объекты;
5) нажатием Insert Link выбирается требуемый тип связи, после чего выражения добавляются в качестве связей;
6) посредством навигации между результатами поиска сущностей аналогичным образом добавляются новые объекты и атрибуты уже существующих;
7) при нахождении противоречивой информации подсчитываются записи для каждого из вариантов, после чего делается вывод об их истинности: ложная информация удаляется из социального профиля или проводится уточняющий поиск.
Сущности Text Chart обладают уникальным индексом и наименованием, состоящим из метки в исходном тексте и значения, присвоенного аналитиком. Также существует возможность наличия нескольких значений у одного атрибута, за счет чего обеспечивается нахождение всех возможных интерпретаций отдельной сущности.
Результатами визуального анализа являются социальный граф и iBase БД социального профиля. Помимо скрытой информации, выявленной непосредственно во время анализа, возможно нахождение неявных связей на полученном графе социального профиля.
Методы анализа мультимедиаинформации социального профиля
В отличие от текстовых данных, мультимедиаконтент трудно поддается анализу с использованием классических средств, поэтому приходится прибегать к использованию решений на основе больших данных, нейронных сетей и машинного обучения. Примерами таких систем можно считать Google Analytics, MS Azure, Multimedia Mining Marvel, Quaero. Наиболее часто встречающейся мультимедийной информацией являются изображения и аудиозаписи. Существует ряд стратегий анализа мультимедиа данных [12]. Для обработки неструктурированной информации социального профиля используется целостная стратегия.
В рамках построения социального профиля мультимедиаконтент может рассматриваться в двух различных вариантах:
- Данные мультимедиа, просматриваемые и создаваемые исследуемым лицом, – информация, которая может говорить о деятельности и предпочтениях персоны. Также сюда относится и авторский контент. Задача анализа состоит в сравнении мультимедийных объектов с существующими образцами в сети Интернет и внутри социального профиля (например, определение музыкальных предпочтений по нескольким аудиозаписям).
- Контент, содержащий в себе сведения непосредственно о рассматриваемом лице. Целью анализа является выделение существенной информации из самого мультимедийного объекта (например, распознавание эмоций на фото, выделение смысловых выражений из аудиозаписей).
Для обработки мультимедийной информации первой категории целесообразно использовать контентный метод анализа [13], суть которого состоит в разбиении данных на составные части и их прямом сравнении. Для упомянутого выше примера определения музыкальных предпочтений будет выполняться следующий алгоритм. Сначала у существующих в базе социального профиля аудиозаписей проверяются ID3-теги на наличие исполнителя и жанра музыки. Если такие теги найдены, то они записываются в таблицу предпочтений. В ином случае производится сравнительный анализ аудиозаписи с образцами из Интернета (средствами утилит AudioTag, Shazam, Google Sound Search), и после обнаружения совпадения искомые теги добавляются в таблицу. По завершении обработки всех имеющихся аудиозаписей производится подсчет тегов и делается вывод о преобладании определенного жанра или исполнителя в выборке.
Пользовательский контент может содержать различные идентификационные метки как в сервисной информации (данные об авторе, устройстве, на котором был создан контент, геометки), так и внутри самой мультимедийной сущности. Такими метками могут быть: авторская подпись или водяной знак, характерный авторский стиль объекта, упоминания автора в комментариях и т.д. Часть этой информации является неявной, поэтому возможности автоматической обработки пользовательского контента весьма ограничены. Желательно использование средств визуального анализа. Сам алгоритм обработки будет отличаться тем, что помимо текстовой информации, извлеченной из мультимедийных объектов, нужно учитывать абстракции, которые добываются вручную и имеют нечеткую интерпретацию.
Другой задачей анализа пользовательского контента является определение вариантов использования мультимедийных сущностей. В данном случае перед аналитиком стоит цель связать конкретный мультимедийный объект с текстовым определением смысла события, в котором этот объект упоминается. Средствами Big Data в Интернете осуществляются поиск всех возможных ситуаций применения мультимедийной сущности и дальнейший статистический разбор сопутствующего текста с выделением тональности. Здесь, так же как и в предыдущем случае, рекомендуется использовать средства визуального анализа.
Рассмотрим подробнее вторую категорию. Для еe анализа используется контентно-интерпретационный метод [13], согласно которому составным частям мультимедийных данных присваиваются понятия на формальном языке, после чего выстраиваются связи между ними. Подходы к анализу аудио- и графической информации различаются между собой.
Обработка аудиоинформации
Основным направлением анализа аудиозаписей при построении социального профиля является распознавание речи и ее интонации. Результатами аудиоанализа являются: звуковые характеристики голоса рассматриваемой персоны, прикрепляемые к социальному профилю; распознанные тексты, связывающиеся с исходной записью. Также могут учитываться характеристики голоса иных лиц из анализируемого аудиофайла для сравнения с другими социальными профилями. Причем звуковые характеристики голоса не могут рассматриваться в качестве элемента информационной карты, так как, как правило, значительно изменяются в зависимости от возраста и состояния персоны, окружающей обстановки и качества записи.
В настоящее время существует достаточное количество свободно распространяемых систем распознавания речи с открытым исходным кодом: CMU Sphinx, Julius, HTK, Praat, SHoUt, VoxForge и др. Многие из них основаны на использовании скрытых марковских моделей и нейронных сетей. Звуковые характеристики голоса включают в себя спектрально-временные, кепстральные, амплитудно-частотные и признаки нелинейной динамики.
Следует упомянуть, что в русском языке существует семь видов интонационных конструкций (3 вопросительных, 2 восклицательных, 2 повествовательные). Распознавание интонации речи человека может проходить в три этапа: запись речи человека и разделение ее на законченные интонационные конструкции, выделение тона голоса в каждой из частей, построение классификатора интонационных конструкций [14]. Точность работы подобного алгоритма зависит от качества и продолжительности записей, особенностей речи и т.д.
Обработка графической информации
Анализ графической информации включает в себя: распознавание образов, текста и сопоставление результатов с датой создания рассматриваемого файла. Подходы к распознаванию графической информации делятся на три категории: методы перебора, искусственные нейронные сети и поиск контуров объекта с дальнейшим исследованием их свойств. Технология OCR (англ. Оptical character recognition - оптическое распознавание символов) позволяет находить печатный и в меньшей степени рукописный текст. Качество исходного изображения сильно влияет на конечный результат алгоритмов распознавания. Как и в случае с анализом аудио, распознанный на изображении текст должен привязываться к исходному объекту и в дальнейшем рассматриваться с помощью средств текстовой аналитики. После завершения обработки изображения полученные данные сводятся в результирующую таблицу, содержащую следующие ключевые параметры: распознанные лица, их эмоции, список надписей, данные об окружении (распознанные объекты), сервисная информация об изображении (размер, дата создания, название и др.).
Распознавание образов в рамках построения социального профиля подразделяется на: поиск лиц на изображениях, определение их выражений, а также выделение элементов окружения. Услуги распознавания лиц предоставляют такие сервисы, как ASID, FaceID, FindFace, Vissage Gallery. Распознавание эмоций является более сложной процедурой, основными проблемами которой являются определение положения и цвета лица, степень освещения, наличие посторонних объектов на переднем плане изображения. Несмотря на это, существуют готовые решения: FaceReader, FaceSecurity и др. Разработка систем определения элементов окружения недостаточно развита на сегодняшний день, поэтому для решения этой задачи целесообразно использовать специально обученную нейронную сеть.
Заключение
Степень проработанности аналитической подсистемы построения социального профиля влияет на информативность и корректность конечных результатов исследования. Особенно это касается обработки мультимедийных данных, ввиду их многообразия и трудной автоматизированной обработки. В рамках текущей работы был приведен обзор имеющегося опыта в области аналитики неструктурированных текстов социальных медиа и мультимедийного контента, а также рассмотрена возможность их применения в задаче построения социального профиля.
Показано, что автоматизированная обработка неструктурированных текстовых данных с использованием средств Big Data, визуального анализа и обработки естественного языка на примере использования программных продуктов IBM BigInsights, Content Analytics, i2 позволяет построить подробный граф, учитывающий явные и скрытые взаимосвязи между объектами социального профиля.
Предложен обзор существующих подходов к анализу мультимедийного контента, а также рассмотрена возможность их применения в задаче построения социального профиля. Выявлено, что для обработки аудиоданных возможно использование уже существующих алгоритмов, а анализ графической информации требует совершенствования технологии распознавания.
1. Bozhday, A. S. Ispol'zovanie tehnologiy Big Data dlya postroeniya social'nogo profilya cheloveka na osnove otkrytyh istochnikov informacii / A. S. Bozhday, A. Yu. Timonin // Vestnik Penzenskogo gosudarstvennogo universiteta. – 2 (10). – Penza: Izdatel'stvo Penzenskogo gosudarstvennogo universiteta. – 2015. – s. 140-144.
2. Bozhday, A. S. The Process of Personal Identification and Data Gathering Based on Big Data Technologies for Social Profiles. / A. S. Bozhday, A. Yu. Timonin, A. M. Bershadskiy // Digital Transformation and Global Society. DTGS 2016. Communications in Computer and Information Science, vol. 674. – Sankt-Peterburg, 22-24 iyunya 2016 g. – Springer International Publishing, Switzerland. – 2016. – s. 576-584.
3. Bozhday, A. S. Research of filtration methods for reference social profile data / A. S. Bozhday, A. Yu. Timonin, A. M. Bershadskiy // EGOSE '16 Proceedings of the International Conference on Electronic Governance and Open Society: Challenges in Eurasia. – Sankt-Peterburg, 22-23 noyabrya 2016 g. – ACM Press, New York, NY, USA. – 2016. – s. 189-193.
4. Apache HBase ™ Reference Guide // Oficial'nyy sayt proekta Apache HBase. – 2016. [Elektronnyy resurs] URL: http://hbase.apache.org/book.html (data obrascheniya 24.03.2017)
5. Oficial'nyy sayt Neo4j: The World's Leading Graph Database. – 2017. [Elektronnyy resurs] URL: https://neo4j.com (data obrascheniya 24.03.2017)
6. Bol'shakova, E. I. Avtomaticheskaya obrabotka tekstov na estestvennom yazyke i komp'yuternaya lingvistika: ucheb. posobie / E. I. Bol'shakova, E. S. Klyshinskiy, D. V. Lande, A. A. Noskov, O. V. Peskova, E. V. Yagunova — M.: MIEM, 2011. — 272 s.
7. Men'shikov, I. L. Analiz tonal'nosti teksta na russkom yazyke pri pomoschi grafovyh modeley / I. L. Men'shikov // Doklady vserossiyskoy nauchnoy konferencii AIST’2013: sbornik statey. — Ekaterinburg, 2013. — S. 151-155.
8. Shmid, A. V. Novye metody raboty s bol'shimi dannymi: pobednye strategii upravleniya v biznes-analitike. Nauchno-prakticheskiy sbornik. Pod redakciey doktora tehnicheskih nauk, professora A.V. Shmida. – M.:PAL'MIR, 2016. – 528s.
9. Oficial'nyy sayt proekta Apache Hadoop. – 2017. [Elektronnyy resurs] URL: http://hadoop.apache.org (data obrascheniya 24.03.2017)
10. Hadoop 1.2.1 Documentation: MapReduce Tutorial. – 2013. [Elektronnyy resurs] URL: http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial (data obrascheniya 24.03.2017)
11. Loza, K. Izuchaem platformu rasshirennoy analitiki: Chast' 3. Analiz nestrukturirovannogo teksta s ispol'zovaniem shablonov / K. Loza, A. Sathi, M. Tomas // IBM developerWorks. – 2014. [Elektronnyy resurs] URL: http://www.ibm.com/developerworks/ru/library/ba-adv-analytics-platform3/ (data obrascheniya 24.03.2017).
12. Davydov, A. A. Sistemnaya sociologiya: analiz mul'timediynoy informacii v Internete / A. A. Davydov // Oficial'nyy sayt IC RAN. – 2009. [Elektronnyy resurs] URL: http://www.isras.ru/publ.html?id=1257 (data obrascheniya 24.03.2017).
13. Yakovlev, V. E. Makromedia: analiz mul'timedia informacii. M-Lang / V. E. Yakovlev // Molodoy uchenyy. — 2011. — №4. T.1. — s. 105-108.
14. Levin, A. I. Raspoznavanie intonacii v nepreryvnoy rechi cheloveka / A. I. Levin, P. E. Minin, A. D. Egorov // XIX Mezhdunarodnaya telekommunikacionnaya konferenciya molodyh uchenyh i studentov "Molodezh' i nauka" Tezisy dokladov. Otvetstvennyy redaktor O. N. Golotyuk. – Moskva, 01 oktyabrya - 10 dekabrya 2015 g. – Moskva: Nacional'nyy issledovatel'skiy yadernyy universitet "MIFI" – 2015. – s. 109-110.
