Міністерство освіти і науки України

Чернівецький національний університет імені Юрія Федьковича

Інститут фізико-технічних та комп’ютерних наук
Кафедра програмного забезпечення комп’ютерних систем

ПОЯСНЮВАЛЬНА ЗАПИСКА
до кваліфікаційної роботи бакалавра
на тему: «Система online-комунікації для людей з
особливими потребами. Сервіси розпізнавання жестів та
передачі відео-потоку»

Виконав студент 4-го курсу, групи 443ск

спеціальності __________________________________
_____121 Інженерія програмного забезпечення______
(шифр і назва спеціальності)
__________ __В.О. Кравчик____
(підпис) (ініціали та прізвище)
Керівник __________ __В.В. Комісарчук__
(підпис) (ініціали та прізвище)
Рецензент __________ __Ю.Я. Томка___
(підпис) (ініціали та прізвище)

До захисту допущено:
Протокол засідання кафедри № ____
від «______» ____________ 20___ р.
зав.кафедри _______ __С.Е. Остапов____
(підпис) (ініціали та прізвище)

Чернівці – 2020
 ЧЕРНІВЕЦЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ ІМЕНІ ЮРІЯ
ФЕДЬКОВИЧА
Кафедра програмного забезпечення комп’ютерних систем

Рівень вищої освіти _перший

(бакалаврський)________________
(назва)
Спеціальність _121 – Інженерія програмного
забезпечення
(шифр і назва спеціальності)

ЗАТВЕРДЖУЮ
Завідувач кафедри __ПЗКС________
(назва кафедри)
__________ __С.Е. Остапов________
(підпис) (ініціали та прізвище)
«______» ____________ 20___ р.

ЗАВДАННЯ
НА КВАЛІФІКАЦІЙНУ РОБОТУ СТУДЕНТУ
Кравчику Вадиму Олександровичу

1. Тема проекту (роботи): _______________________________________________________

_ «Система online-комунікації для людей з особливими потребами. Сервіси розпізнавання
жестів та передачі відео-
потоку»________________________________________________________
Керівник проекту (роботи): _Володимир Васильович Комісарчук, к.т.н., асистент кафедри
програмного забезпечення комп’ютерних систем ___________________________________
(прізвище, ім’я, по батькові, науковий ступінь, вчене звання)
затверджені наказом закладу вищої освіти від «____» _____________ 20___р. №_____
2. Термін подання студентом проекту (роботи): ____________________________________
3. Вихідні дані до проекту (роботи): _1) розробити дизайн клієнтської частини сайту, 2)
реалізувати модуль розпізнавання жестів, 3) реалізувати модуль для передачі відео потоку,
3) реалізувати інтеграцію системи з модулями голосового асистенту та клієнт-серверного
чату, 4) реалізації механізму створення кімнати та підключення іншого
користувача._________________________________________________________________
4. Зміст розрахунково-пояснювальної записки (перелік питань, які потрібно розробити):
1. Постановка задачі.
2. Аналіз аналогів програмного продукту.
3. Обґрунтування вибору інструментальних засобів та вимог до апаратного
забезпечення.
4. Визначення варіантів використання та об’єктно-орієнтованої структури системи.
 5. Проектування та реалізація алгоритмів роботи системи.
6. Реалізація додатку системи.
7. Порядок встановлення та розгортання системи.
8. Структура інтерфейсу Інтерфейс та порядок роботи з системою.
9. Тестування роботи програмного комплексу.
5. Перелік графічного матеріалу (з точним зазначенням обов’язкових креслень, слайдів)
1. Узагальнена архітектура MVC
3. Діаграма послідовності WebSocket та HTTP.
3. Діаграма послідовності WebRTC.
4. Модель взаємодії користувачів.
5. Рисунки демонстрації нейронної мережі. Tensorboard.
6. Рисунки демонстрації процесу деплойменту.
7. Рисунки інтерфейсу системи.
6. Консультанти розділів проекту (роботи)
Підпис, дата
Розділ Прізвище, ініціали та посада консультанта завдання
завдання видав
прийняв
       
       
       
       

7. Дата видачі завдання «____» ___________ 20___р.

КАЛЕНДАРНИЙ ПЛАН
Термін
№ виконання
Назва етапів кваліфікаційної роботи Примітка
з/п етапів проекту
(роботи)
1 Постановка задачі Грудень 2019
2 Пошук, огляд та аналіз аналогічних розробок Січень 2020
3 Формулювання технічного завдання Січень 2020
4 Опрацювання літературних джерел Лютий 2020
5 Проектування структури Квітень 2020
6 Написання програмного коду. Квітень 2020
7 Відлагодження Травень 2020
8 Написання пояснювальної записки Червень 2020
9 Захист  Червень 2020

Студент ____________ __В.О. Кравчик______

(підпис) (ініціали та прізвище)
Керівник проекту (роботи) ____________ __В.В. Комісарчук____
(підпис) (ініціали та прізвище)
 АНОТАЦІЯ

Дипломна робота присвячена розробці та аналізу системи online-

комунікації для людей з особливими потребами. Програмний продукт
побудований на основі нейронних мереж та засобів керування голосом.
Функціоналом передбачено кілька способів введення тексту:
- за допомогою клавіатури;
- за допомогою голосового введення;
- за допомогою жестів(по символу).
Клієнт серверна архітектура дозволяє користувачам зручно
використовувати програмне забезпечення маючи лише комп’ютер та доступ в
інтернет. Зручний та зрозумілий інтерфейс полегшує адаптацію. З’єднання на
основі протоколу Web Socket дозволяє реалізувати так званий Live режим для
нашої системи.
Нейронна мережа побудована на основі бібліотеки TensorFlow для
безпосереднього навчання системи, та Web APIs, яка виступає допоміжною
бібліотекою для отримання зображення з камери користувача.
Модуль розпізнавання жестів являє собою окремий мікро сервіс,
поміщений в Docker контейнер для полегшення його розробки та розгортання
на інших машинах.
Розпізнавання голосу базується на бібліотеках Web Speech API та
ResponsiveVoice. Перша бібліотека реалізовує інтерфейс, який в свою чергу
забезпечує можливість розпізнавати текст з вхідного аудіо потоку.
ResponsiveVoice використовується реалізації Text-to-Speech.

Дипломна робота викладена на 43 сторінках; вона містить 3 розділи, 19

рисунків та використано 10 джерел.
ЗМІСТ
АНОТАЦІЯ.........................................................................................................1

ВСТУП................................................................................................................3
 ВСТУП

Інформаційні технології - невід'ємна частина нашого життя. Внаслідок

швидкого розвитку методів комунікації між людьми, неможливо залишити
осторонь проблему комунікації із зовнішнім світом. Розпізнавання жестів
дозволить людині спілкуватися і взаємодіяти з пристроями і машинами
природно, без будь-яких додаткових пристроїв. Розпізнавання жестів дозволить
управляти різними інженерними пристроями, може буде використано у
медицині або у сфері розваг.