МУЛЬТИМЕДИЙНЫЙ ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ СОЗДАНИЯ СЛОВАРЯ РУССКОГО ЖЕСТОВОГО ЯЗЫКА
Авторы:
1.
Новосибирский государственный технический университет
2.
Новосибирский государственный технический университет
Тип:
Статья
Страницы:
с 105
по 114
Статус:
Опубликован
Получено:
05.01.2017
Одобрено:
25.01.2017
Опубликовано:
25.01.2017
Классификаторы:
ВАК 05.12.2013 Системы, сети и устройства телекоммуникаций
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК 004.82
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК 004.82
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
Язык материала:
русский
Ключевые слова:
жестовый язык, русский жестовый язык, мультимедийный словарь, нотация Димскис, Unity3D, анимированный персонаж, аватар, библиотека «клипов»
Аннотация (русский):
Исследуется возможность компьютерного сурдоперевода русского жестового языка, основой которого является словарь. Проанализированы современные мультимедийные словари жестового языка с точки зрения их использования при автоматическом сурдопереводе. Обоснована перспективность использования анимированного персонажа (аватара) для демонстрации жестов и применения нотаций жестового языка для управления им. Проведен анализ современных нотаций жестового языка. Приведены обоснования использования нотации Димскис в качестве перспективной для разработки словаря русского жестового языка. Использование современного кроссплатформенного графического пакета Unity3D для создания модели анимированного сурдопереводчика позволяет создать экономичную и эффективную систему. Функционал пакета Unity3D доступен и удовлетворяет всем требованиям по работе с аватаром. Рассматриваются основные характеристики нотации Димскис и особенности использования элементов нотации при компьютерной реализации. Описана многоуровневая структура программного комплекса для создания справочника жестового языка. Иерархическая структура построения дерева анимаций позволяет структурировать последовательность доступности элементарных записей для применения, ограничить возможности необратимых изменений основных разработанных движений и в то же время обеспечить пользователю простую доступность всех необходимых элементарных анимаций. Применение нотации Димскис позволяет пользователям, знакомым с русским жестовым языком, самостоятельно пополнять словарь терминов, использование справочника предполагается для демонстрации дактилем и слов, а также составных словосочетаний. Предложенный подход предоставляет возможность создания «уроков» по определенным темам.
Исследуется возможность компьютерного сурдоперевода русского жестового языка, основой которого является словарь. Проанализированы современные мультимедийные словари жестового языка с точки зрения их использования при автоматическом сурдопереводе. Обоснована перспективность использования анимированного персонажа (аватара) для демонстрации жестов и применения нотаций жестового языка для управления им. Проведен анализ современных нотаций жестового языка. Приведены обоснования использования нотации Димскис в качестве перспективной для разработки словаря русского жестового языка. Использование современного кроссплатформенного графического пакета Unity3D для создания модели анимированного сурдопереводчика позволяет создать экономичную и эффективную систему. Функционал пакета Unity3D доступен и удовлетворяет всем требованиям по работе с аватаром. Рассматриваются основные характеристики нотации Димскис и особенности использования элементов нотации при компьютерной реализации. Описана многоуровневая структура программного комплекса для создания справочника жестового языка. Иерархическая структура построения дерева анимаций позволяет структурировать последовательность доступности элементарных записей для применения, ограничить возможности необратимых изменений основных разработанных движений и в то же время обеспечить пользователю простую доступность всех необходимых элементарных анимаций. Применение нотации Димскис позволяет пользователям, знакомым с русским жестовым языком, самостоятельно пополнять словарь терминов, использование справочника предполагается для демонстрации дактилем и слов, а также составных словосочетаний. Предложенный подход предоставляет возможность создания «уроков» по определенным темам.
Ключевые слова:
жестовый язык, русский жестовый язык, мультимедийный словарь, нотация Димскис, Unity3D, анимированный персонаж, аватар, библиотека «клипов»
жестовый язык, русский жестовый язык, мультимедийный словарь, нотация Димскис, Unity3D, анимированный персонаж, аватар, библиотека «клипов»
Введение Программа «Доступная среда» [1] предусматривает положительную социализацию слабослышащих людей в условиях современного общества. Для реализации сурдоперевода разрабатываются мультимедийные компьютерные системы, используются возможности сети Интернет. Универсального жестового языка, единого для глухих людей всего мира, не существует, в мире зафиксировано более 120 жестовых языков. В начале 50-х гг. 20 в. комиссией Всемирной федерации глухих был разработан международный жестовый язык жестуно (Gestuno) для облегчения общения участников международных конференций [2]. Словарь жестуно включает около 1500 жестов. Однако существенным недостатком жестуно является отсутствие грамматики. В последние годы в Европе рост взаимодействия между сообществами глухих разных стран привел к возникновению панъевропейского пиджинизированного жестового языка, но он, как и жестуно, не является родным языком какой-либо группы глухих [3]. Национальные особенности русского жестового языка (РЖЯ) отражаются в самобытной лингвистической системе, обладающей своеобразной лексикой, грамматикой и т. д. Наиболее полное описание лексики РЖЯ - 4-томный словарь «Специфические средства общения глухих» [4], содержащий более 3000 слов и составленный по принципу «от русского слова - к жесту». Жестовые языки обладают меньшей степенью стандартизации, чем звучащие языки. О недостаточной стандартизации РЖЯ свидетельствует, в частности, наличие нескольких диалектов этого языка. Так, выделяют петербургский и московский диалекты РЖЯ (по данным словарей, различия между ними могут составлять 30-40 % жестов-слов [5]). Диалекты РЖЯ используются во многих районах Российской Федерации, а также в Белоруссии, Казахстане, Украине. Соответственно, возникает проблема выбора тех диалектов, на которые будет ориентирован перевод [6]. Предлагаемое исследование является составной частью исследований по переводу звучащей речи в жестовый язык и обратно, проводимых в Новосибирском государственном техническом университете [7]. Так, например, перевод текста (звучащей речи) на РЖЯ связан с выявлением его смысла, переводом на грамматику жестового языка, с поиском слов в словаре, с представлением их в виде нотаций и отображением с помощью аватара. А один из подходов к распознаванию РЖЯ заключается в представлении жестов в виде компьютерных нотаций, в поиске слов в словаре и лингвистической обработке для представления в виде текста или голосового сообщения. Таким образом, важной составной частью этого большего проекта является запись РЖЯ в виде нотаций и создание словаря. Словари и нотации жестового языка Основой любого компьютерного сурдоперевода является словарь жестового языка. Среди существующих мультимедийных компьютерных словарей РЖЯ можно отметить следующие [8]: - мультимедийный видеословарь «Толковый словарь русского жестового языка - RuSLED». Программа является интерактивной оболочкой к видеословарю РЖЯ, записанному в 2002 г. в Межрегиональном центре реабилитации лиц с проблемами слуха (г. Павловск); - видеословарь «Тематический словарь русского жестового языка», созданный Московской городской организацией Всероссийского общества глухих (ВОГ); - мультимедийная электронная обучающая система «Русский жестовый язык. Базовый курс», созданная в 2001 г. центром «Истина» при поддержке центрального правления ВОГ; - интерактивный видеословарь «DigitGestus», созданный в г. Новосибирске в 1996-1997 гг., содержащий несколько сотен элементов; - интерактивный видеословарь проекта «Сурдосервер 2.0», содержащий те же самые видеоматериалы, что и электронная обучающая система «Русский жестовый язык. Базовый курс» 2001 г., а также оригинальный жестовый словарь по направлению «Информационные технологии»; - мультимедийный «Словарь лексики русского жестового языка», созданный в 2006 г. Однако следует отметить, что не существует такого словаря РЖЯ, который позволял бы по форме жеста находить его значение, хотя в мире создание подобных словарей жестовых языков - достаточно распространенная практика [3]. Передача столь сложной комбинации, осуществляемой в пространстве и времени, весьма затруднительна для записи. Для описания жеста по его признакам существует несколько различных систем нотации (жестовой транскрипции), позволяющих зафиксировать представление жеста в записи. Однако эти системы практически не используются в естественном общении, основными областями их применения являются образовательная сфера и лингвистические исследования. Данные системы являются фонографическими, т. е. они основаны на иконическом и символьном изображении компонентов жеста [9]. Разработка нотации, подходящей для системы автоматического перевода, представляет собой самостоятельную и очень непростую проблему [6]. Первая система транскрибирования жестов была разработана У. Стокоу [10]. Она состояла из 55 символов, образующих три группы в соответствии с тремя параметрами: 1) место выполнения жеста по отношению к телу говорящего; 2) форма кисти руки, выполняющей жест; 3) траектория движения руки. Впоследствии был введен четвертый параметр структуры жеста - ориентация рук в пространстве относительно друг друга и корпуса говорящего [11]. Нотация Стокоу позволяет записать только те значения параметров жеста, которые ее автор считал смысловыми, значительными для американского жестового языка, поэтому данная нотация не позволяет описать многие динамические параметры выполнения жеста, которые могут вносить существенный вклад в смысл жеста. Существует несколько других систем нотации жестовых языков, они обладают разной степенью подробности и иконичности и ориентированы на описание различных явлений в жестовых языках. Широко известной системой транскрипции жестовых языков является Гамбургская система нотации HamNoSys [12], которая ориентирована на очень подробное описание жеста. В ней используется около двухсот символов, обозначаются не только место выполнения жеста, форма и траектория движения руки, но и ориентация руки, немануальные жесты (мимика говорящего). При записи жеста сначала записывается форма руки (рук), затем ориентация, место выполнения жеста и характер движения. Жесты в транскрипции HamNoSys довольно сложны для визуального восприятия, однако система записи подходит для компьютерной обработки. Эта нотация используется в проекте «Информационный киоск», где демонстрацию жестов для словаря RuSLED осуществляет анимированный персонаж (аватар). Несмотря на то, что дополненная версия HamNoSys имеет знаки для отображения некоторых элементов мимики, при управлении аватаром они не используются. Для записи жестов применяется методика «захвата движений» (motion capture) демонстратора. Жесты фиксируются с помощью нескольких камер, специальных перчаток, отражателей на костюме и лице [13]. Если проводить аналогии с записью звучащей речи, нотацию Стокоу можно сравнить с фонематической транскрипцией, HamNoSys - с фонетической [2]. По иному принципу строится транскрипционная система Беркли (BTS) [14]. В основе ВТS лежит принцип выделения в жесте «значимых» элементов, ее можно сопоставить с глоссированием. Одни и те же элементы жестовой структуры могут, в зависимости от смысла жеста, получать разное содержательное наполнение. Значение компонента жестовой структуры указывается с помощью специального индекса. Жест в транскрипции представляет собой последовательность элементов, снабженных индексами: сначала записывается форма пассивной руки, потом форма активной руки, движение руки, ориентация руки. Система BTS была разработана для транскрибирования жестового дискурса и поэтому включает в себя символы для обозначения дискурсивного поведения говорящего - различных выражений лица, интенсивности выполнения жестов, пауз, ошибок в выполнении жестов и т. п. Описанные выше системы записи жестов нашли применение в лингвистических научных исследованиях [4]. В повседневном применении получила развитие транскрипция Sign writing [15]. Созданная профессиональной танцовщицей, специалистом по записи движений человеческого тела, эта транскрипция из исследовательского инструмента быстро превратилась в форму записи жестовой речи. Все большее число носителей жестовых языков пользуются системой Sign writing, считая ее письменной формой своего родного языка [16]. Но Sign writing продолжает использоваться и как система нотации в лингвистических исследованиях [17]. Sign writing базируется на принципах, предложенных У. Стоуки. В Sign writing жест не записывается как линейная последовательность символов, а изображается пиктограммой, включающей иконические изображения рук, их движений, их расположения относительно друг друга и говорящего. Транскрипция позволяет точно и наглядно отображать жесты, при этом остается простой для восприятия. Этот жестовый язык отличается большей проработанностью и однозначностью записи. Однако у него весьма велик набор знаков (свыше тысячи), что делает его малопригодным для применения в компьютерных технологиях. Запомнить и использовать на практике их трудно. Намного практичнее сократить число частных случаев конфигурации руки, описывая их как переменные. Такому требованию удовлетворяет система нотации жестов, предложенная для РЖЯ Л. Димскис [18]. В ее нотации выделяется более 30 конфигураций рук, около 50 характеристик места исполнения жеста и более 70 характеристик локализации. Использование нотации Димскис для реализации словаря РЖЯ в большей степени удовлетворяет всем рассмотренным ограничениям и условиям, необходимым для автоматизированного компьютерного сурдоперевода: - ограниченное количество нотаций; - формирование слов РЖЯ на основе нотаций, не требующее сложной аппаратуры для видеозахвата и (или) программного обеспечения для распознавания движения; - нотации Димскис - основные транскрипции РЖЯ; - возможность использования анимированного персонажа для отображения РЖЯ; - символьная запись, значительно уменьшающая объем словаря и повышающая скорость воспроизведения на мобильных устройствах. Для реализации 3D-модели сурдопереводчика (аватара) был выбран мощный графический движок Unity3D, основным преимуществом которого является кроссплатформенность и доступность. Unity3D имеет возможность сборки приложения под несколько популярных операционных систем как на мобильных устройствах, так и на персональных компьютерах. Программный комплекс для создания словаря русского жестового языка В Unity3D сложный анимационный персонаж (аватар) описывается и управляется по частям. Это предполагает древовидную структуру скелета аватара. Рука анимационного персонажа состоит из элементов: ключица, плечо, предплечье, кисть . Unity3D поддерживает связность суставов. Используется относительная полярная система координат. Описание перемещения любого элемента руки рассчитывается от конечной точки (родителя) предыдущего элемента (сустава). Для перевода элемента руки в новое положение необходимо обязательно указать параметры конечного пространственного угла (изменения углов по трем координатам) и время, требуемое для выполнения перемещения. Описание движения элементов относительно предыдущего (родительского) сустава позволяет описывать перемещение элементов независимо друг от друга и упростить составление нотации Димскис. Передвижение всегда возможно по двум направлениям: по часовой стрелке или против. Для правильного, естественного движения, присущего человеку, необходимо выбрать кратчайший путь. Для этого необходимо вычислить углы поворота как по часовой, так и против часовой стрелки и выбрать из них минимальный - именно он соответствует естественному движению аватара (человека). Положение конечной точки, таким образом, описывается 3 углами поворота и временем перехода в это положение. Разработано программное обеспечение, которое позволяет переводить созданное в Unity3D движение в текстовый формат и наоборот - текстовый формат такого описания в анимационное движение (рис. 1). Данный переход составляет основу всех анимационных движений («точка»). В среде Unity3D создаются также анимированные простейшие элементы движения других элементов руки. Элемент руки Конечное положение Время Расчетные углы поворота Х Y Z Секунда DX DY DZ Правое плечо X1 Y1 Z1 t1 X1-X0 Y1-Y0 Z1-Z0 Рис. 1. Пример текстового описания движения правого плеча Для описания естественного для человека движения элемента руки часто требуется более сложная траектория, которую необходимо описывать состоящей из нескольких промежуточных положений. Для этой цели создается более сложный сценарий («кривая»), содержащий последовательные действия (рис. 2). Элемент руки Конечное положение Время Расчетные углы поворота Х Y Z Секунда DХ DY DZ Плечо X1 Y1 Z1 t1 X1-X0 Y1-Y0 Z1-Z0 Плечо X2 Y2 Z2 t2 X2-X1 Y2-Y1 Z2-Z1 Плечо X3 Y3 Z3 t3 X3-X2 Y3-Y2 Z3-Z2 Рис. 2. Кривая - совокупность последовательного выполнения нескольких перемещений В большинстве движений таким простым способом не обойтись. Например, движение плеча (части руки до локтевого сустава) невозможно без движения ключицы (в плечевом суставе), поэтому приходится создавать наборы простейших анимаций для создания движения элементов руки. Движение плеча содержит сценарий из двух элементов - это составляет дополнительную основу простейших движений - «клип» (рис. 3). Это же можно отнести и к повороту кисти - поворот кисти невозможен без поворота предплечья. Эти действия в среде Unity3D выполняются параллельно. Нотация Димскис Элемент руки Конечное положение Время Расчетные углы поворота на уровне плеч перед собой Х Y Z Секунда DХ DY DZ Левое плечо X1 Y1 Z1 t1 X1-X0 Y1-Y0 Z1-Z0 Левое предплечье X2 Y2 Z2 t2 X2-X1 Y2-Y1 Z2-Z1 Рис. 3. «Движение левой рукой» Наиболее трудоемким описанием движений является перемещение составляющих элементов кисти (запястья, пястья и фаланг пальцев) руки (рис. 4). Нотация Димскис Элемент руки - пальцы (фаланги) Конечное положение Время Расчетные углы поворота Х Y Z Секунда DX DY DZ Ладонь раскрыта, пальцы выпрямлены Правый мизинец (проксимальная) X11 Y11 Z11 t11 X11-X01 Y11-Y01 Z11-Z01 Правый мизинец (средняя) X21 Y21 Z21 t21 X21-X11 Y21-Y11 Z21-Z11 Правый мизинец (дистальная) X31 Y31 Z31 t31 X31-X21 Y31-Y21 Z31-Z21 Правый безымянный палец (проксимальная) X12 Y12 Z12 t12 X12-X02 Y12-Y02 Z12-Z02 Правый безымянный палец (средняя) X22 Y22 Z22 t22 X22-X12 Y22-Y12 Z22-Z12 Правый безымянный палец (дистальная) X32 Y32 Z32 t32 X32-X22 Y32-Y22 Z32-Z22 … … … … … … … … Рис. 4. «Движение правыми пальцами» - проксимальная фаланга, средней и дистальной В нотации Димскис количество таких положений ограничено и составляет менее 50 случаев. Для упрощения работы пользователей при создании справочника и уроков движение пальцев также собирается в «клип». При этом выполнение движений отдельными элементами описывается «кривыми», движения выполняются последовательно, а все в совокупности элементы (пальцы) выполняют движения параллельно. Набор сформированных элементарных анимаций («клипов») составляет основу визуализированных нотаций Димскис. У каждой из этих анимаций указано время выполнения - оно недоступно пользователям. Его можно поменять только в среде Unity. «Клипы» делятся на статические и динамические. Статические описывают перевод руки аватара из начального состояния в конечное, например, положение пальцев или руки при демонстрации буквы РЖЯ. Динамические «клипы» отображают передвижения элементов руки при демонстрации символов нотации Димскис, соответствующих шевелению пальцев или движениям исполняемых жестов. В этой связи динамические «клипы» представляют собой набор статических «клипов» - например разведение и сведение пальцев. Динамические «клипы» в качестве начального состояния берут предыдущее и часто после демонстрации движения возвращаются в прежнее состояние. На основе статических и динамических «клипов» формируется составной «клип», который после отладки может быть занесен в справочник готовых слов и букв РЖЯ (соответствует значению «знак»). Если новое слово справочника РЖЯ можно получить на основе «знака», то в этом случае более рационально подключать динамический «клип» к уже готовому знаку. Например, из буквы М можно получить слово МАРТ, добавив динамический «клип» («обратимое, горизонтальное»). По окончании выполнения записи в нотации Димскис отрабатывается заключительный «клип» - «возврат в начальное состояние». В нотации Димскис все слова и буквы в основном начинаются с 5-символьного описания положения руки и пальцев. Нотация состоит из следующих символов: - первый элемент - характер исполнения жеста (одноручный, двуручный); - второй элемент - положение пальцев; - третий элемент - направление ладони; - четвертый элемент - направление пальцев; - пятый элемент структуры - место расположения жеста. Например, запись в нотации Димскис буквы А представлена на рис. 5: - первый знак (буква П) указывает на то, что жест выполняется правой рукой; - второй знак иконографически указывает форму руки - сжатые пальцы; - третий символ схематически изображает разворот ладони - она направлена от себя, от корпуса говорящего; - четвертый знак указывает на ориентацию ладони - пальцами вверх; - последний символ означает, что жест исполняется на уровне плеча человека. Рис. 5. Пример записи жеста-буквы А в нотации Димскис Символы нотации Димскис предназначены для наглядности демонстрации жестов человеком, поэтому они имеют некоторую избыточность и повторяемость. При компьютерной реализации это соответствует тому, что несколько символов нотации преобразуются в один «клип» и библиотека символов нотации Димскис имеет не прямой зависимости символ - «клип» (рис. 6). Создаются 3 библиотеки «клипов» - для правой и левой рук и на их основе - для двуручных жестов. Нотация Димскис «Клип» Х Х Х Запись жеста - поднять правую руку до уровня плеча Движение правой рукой вверх до плеча Х Х Х Запись жеста - указательный и средний пальцы выпрямлены, остальные прижаты к ладони Движение указательным и средним пальцами правой руки (эквивалентно), как для буквы М Х Х Запись жеста - пальцы вверх, ладонь направлена от себя Поворот правого предплечья ладонью к себе Рис. 6. Примеры простого статического «клипа» для цифры 2 и избыточности описания нотации Димскис для выбора «клипа» При запуске приложения загружается файл описания сцены с аватаром, находящимся в исходном положении. В режиме «Разработчик» доступны для отображения все созданные анимационные файлы, включая «элементарные». Разработчик имеет возможность создавать сценарии, используя всю иерархию библиотеки - от «точки» до «знаков» и «последовательностей». При необходимости может перейти в оболочку Unity3D и исправить или создать новый элемент анимации (рис. 7). Рис. 7. Внешний вид программного модуля и редактирования в Unity3D Созданный «клип» записывается в библиотеку символов нотаций Димскис, при этом ему ставятся в соответствие подходящие элементы. На основе полученных «клипов» производится разработка справочника РЖЯ (библиотека «знаков») за счет сборки составных «клипов» или применения уже готовых «знаков» (рис. 8). Рис. 8. Пример формирования слова МАРТ либо из готового «знака» М, либо непосредственно по нотациям Димскис В режиме «Пользователь» набирается необходимая запись в нотации Димскис, которая в соответствии со структурой библиотеки отбирает необходимые «клипы» для реализации слова. Сформированные записи могут быть занесены в справочник РЖЯ (библиотека «знаков») и в дальнейшем использоваться для составления новых слов и более сложных сценариев. В этом режиме пользователю доступна возможность изменения времени исполнения жестов за счет введения «множителя скорости». Заключение Использование нотации Димскис позволяет пользователям, знакомым с РЖЯ, самостоятельно пополнять словарь терминов, что является несомненным достоинством предлагаемого подхода. Иерархическая структура построения дерева анимаций («точка», «кривая», «клип», «знак») позволяет структурировать последовательность доступности элементарных записей для применения, ограничить возможности необратимых изменений основных разработанных движений и в то же время обеспечить простую доступность всех необходимых элементарных анимаций пользователю. Для дальнейшего использования предоставляется возможность создания на основе «клипов» и «знаков» сценариев любой сложности для последовательного выполнения («последовательностей»), при этом можно регулировать время выполнения каждого входящего «клипа» и «знака» за счет введения множителя скорости выполнения. Использование в качестве исходной информации символов нотации Димскис позволяет реализовать поиск нужного символа по знакам нотации. Применение текстовых файлов для описания словаря существенно сокращает объем словарной базы и ускоряет время воспроизведения анимации на мобильных устройствах. В дальнейшем использование «Справочника» предполагается для демонстрации дактилем и слов РЖЯ, а также составных словосочетаний. Предложенный подход на основе нотации Димскис предоставляет возможность создания «уроков» по определенным темам для обучения РЖЯ [19].
1. Государственная программа Российской Федерации «Доступная среда» на 2011-2020 годы. URL: http://www.rosmintrud.ru/docs/government/170 (дата обращения: 9.11.2016).
2. Комарова А. А. Развитие исследований по истории глухих // Материалы Первого Моск. симпоз. по истории глухих. М.: Загрей, 1997. С. 16-25.
3. Прозорова Е. В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания. 2007. № 1. С. 44-61.
4. Гейльман И. Ф. Специфические средства общения глухих. Дактилология и мимика. Ч. 1-4 [Словарь]. Л.: ЛВЦ ВОГ, 1975-1979.
5. Grenoble L. An Overview of Russian Sign Language // Sign Language Studies. Maryland: Linstok Press, 1992. Vol. 21 (77). P. 321-338.
6. Гриф М. Г., Тимофеева М. К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сибир. филолог. журнал. 2012. № 1. С. 211-219.
7. Мануева Ю. С., Гриф М. Г., Козлов А. Н. Построение системы компьютерного сурдоперевода русского языка // Тр. СПИИРАН. 2014. № 6 (37). С. 170-187.
8. Карпов А. А., Кагиров И. А. Формализация лексикона системы компьютерного синтеза языка жестов // Тр. СПИИРАН. 2011. Вып. 1 (16). С. 123-140.
9. Van der Hulst H., Channon R. Notation systems. Brentari D. (ed.). Sign languages. New York: Cambridge University Press, 2010. P. 151-172.
10. Stokoe W. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. New York: University of Buffalo, 1960. 78 p.
11. Battinson R. Lexical Borrowing in American Sign Language. Silver Spring: Linstok Press, 1978. 240 p.
12. Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide // International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. P. 225-231.
13. Воскресенский А. Л., Ильин С. Н., Zelezny M. О распознавании жестов языка глухих // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 26-30 мая 2010 г.). Вып. 9 (16). М.: РГГУ, 2010. С. 76-81.
14. Hoiting N., Slobin D. Transcription as a tool for understanding: The Berkeley transcription system for sign language research (BTS). G. Morgan, B. Woll (eds.). Directions in sign language acquisition. Amsterdam: Philadelphia, 2002. P. 55-75. URL: http://ihd.berkeley.edu/btsforsignlanguage.pdf (дата обращения: 9.11.2016).
15. Sutton V. Lessons in SignWriting: textbook and workbook. La Jolla: Deaf action committee for sign writing, 1999.
16. Martin J. A linguistic comparison. Two notation systems for signed languages. Stokoe Notation and Sutton sign writing. Sign writing web site. La Jolla (CA) (Deaf action committee for sign writing). 2000. http://www.signwriting.org/archive/docsl/sw0032-Stokoc-Sutton.pdf (дата обращения: 9.11.2016).
17. Clark K., Clark-Gunsauls D. Research related to classifiers at Salk Institute uses sign writing // Sign writer newsletter. La Jolla. CA: Deaf action committee for sign writing, 1997.
18. Димскис Л. С. Изучаем жестовый язык: учеб. пособие. М.: Академия, 2002. 128 с.
19. Гриф М. Г., Мануева Ю. С. Разработка алгоритма семантического анализа речи (текста) для перевода на русский жестовый язык // Науч. вестн. НГТУ. 2016. № 1 (62). С. 106-119.
