КОМП”ЮТЕРНА ЛІНГВІСТИКА
ПРИКЛАДНА ЛІНГВІСТИКА =
КОМП”ЮТЕРНА ЛІНГВІСТИКА
Вузьке трактування терміна
•В СРСР термін прикладна лінгвістика став
широко вживатися в 50-і рр. в зв'язку з
розробкою комп'ютерних технологій і
появою систем автоматичної обробки
інформації. Саме тому в російськомовній
літературі замість терміна прикладна
лінгвістика в тому ж значенні часто
використовуються терміни «комп'ютерна
лінгвістика», «обчислювальна лінгвістика»,
«автоматична лінгвістика», «інженерна
лінгвістика»;
•У західній лінгвістиці термін прикладна
лінгвістика (applied linguistics, angewandte
Linguistik) зв'язується насамперед з
викладанням іноземних мов, включаючи
методику викладання, особливості опису
граматики для навчальних цілей,
викладання мови як рідної та іноземної.
Широке трактування терміна
•Ототожнення цих дисциплін не цілком
вдале, оскільки кожна з них має свій
предмет і методи роботи в рамках
прикладної лінгвістики як більш широкого
напрямку.
• В. А. Звегинцев, «під прикладною
лінгвістикою найчастіше розуміють всі види
автоматичної обробки мовної інформації
(Language-data Processing) - машинне
розпізнавання усного мовлення, машинний
переклад, автоматичну класифікацію
технічних та інших документів, автоматичне
анотування текстів, автоматичне кодування
та ін. і дійсно, автоматична обробка мовної
інформації становить у наш час основну
дослідницьку проблематику прикладної
лінгвістики (...). Але все ж було б
неправильно замикати прикладну
лінгвістику в межах цієї проблематики»
[Звегинцев 1968, с. 24].
 ФУНКЦІОНАЛЬНА КОНЦЕПЦІЯ ПРИКЛАДНОЇ
(комп”ютерної) ЛІНГВІСТИКИ
• Найбільш вдалим вважається визначення прикладної лінгвістики і
переліку розв'язуваних нею завдань, зроблене Олександром
Євгеновичем Кібріком.
• На думку автора, «прикладна лінгвістика - розділ мовознавства, в
якому розробляються методи вирішення практичних завдань,
пов'язаних з оптимізацією використання мови як найважливішого
засобу людської комунікації».
• Велика кількість завдань, що вирішуються прикладною лінгвістикою,
виділяються з опорою на ті функції мови, які оптимізуються
завданнями прикладної лінгвістики.
• Чотири функції:
• 1) оптимізація способів фіксації і зберігання мовної інформації;
• 2) оптимізація способів передачі інформації;
• 3) оптимізація інтелектуальних здібностей людини, пов'язаних з
використанням мови;
• 4) оптимізація використання мови як засобу масової комунікації.
 Термін “комп’ютерна лінгвістика” у
трактуванні лінгвістів
Городецкий Б.Ю. Компьютерная лингвистика:
моделирование языкового
общения
“Термін “комп’ютерна
лінгвістика” задає загальну
орієнтацію на використання
комп’ютерів для
розв’язання різноманітних
наукових та практичних
завдань, пов'язаних з
мовою, аж ніяк не
обмежуючи способи
розв’язання цих завдань”
Баранов А.Н. Введение в прикладную
лингвистику. – М., 2001. - С.13.
“Під терміном “комп’ютерна
лінгвістика (computational
linguistics) звичайно розуміють
широку царину використання
комп’ютерних інструментів –
програм, комп’ютерних
технологій організації та
оброблення даних – для
моделювання функціонування
мови в тих чи інших умовах,
ситуаціях, проблемних галузях,
а також сферу застосування
комп’ютерних моделей мови
не лише в лінгвістиці, а й у
суміжних з нею дисциплінах”
 Об’єкт дослідження КЛ становить
Об’єкт мова в усіх трьох способах свого
дослідження КЛ існування:
Об’єктом • мовна система – сукупність
певних одиниць з властивими
розв’язання їм формальними, змістовими та
конкретних завдань у функціональними
межах КЛ властивостями;
може бути кожен зі • мовлення – різноманітні
складників відомої продукти реалізації мовної
системи в певних умовах та
тріади Ф.де Сосюра : ситуаціях комунікації;
– langue “мова” • мовна діяльність – процес
– parole “мовлення” використання мовної системи
– langage “мовна й створення продуктів такого
діяльність” застосування мови в тих чи інших
умовах комунікації.
 Передумовою будь-якого
Предмет
дослідження КЛ
Предмет дослідження КЛ –
ознаки будови, змісту та
функціонування одиниць
мовної системи, продуктів
мовлення та мовної
діяльності – звукових або
письмових текстів, які могли
б служити для їхнього
моделювання й
використання в процесах
комп’ютерного
опрацювання
мовної інформації
комп’ютерного моделювання є
формалізація мовного
матеріалу, тобто пошук
засобів формального,
унаочненого, приступного
сприйняттю комп’ютера
представлення
досліджуваного мовного
об’єкта – одиниці мови або
процесу з її участю. Такими
формальними ознаками
будови мовних об’єктів
можуть служити кількісні,
сполучувальні (комбінаторні) й
позиційні характеристики їхніх
складників.
Аспект, в якому КЛ вивчає мову, і застосовуваний нею
інструмент такого вивчення – комп’ютер – і вирізняють її
з-поміж інших лінгвістичних дисциплін, формують
особливий погляд на мову як об’єкт дослідження. Від
традиційної, некомп’ютерної, лінгвістики КЛ відрізняє
особливий спосіб вивчення об’єкта за допомогою
комп’ютера. Він зумовлює необхідність розроблення
методів та прийомів аналізу й синтезу мовних фактів,
відмінних від традиційних.
Врахування комплексного характеру предмета дослідження
КЛ, специфіки використання в її дослідженнях
особливого технічного засобу дає підстави
сформулювати таке її визначення:
Комп’ютерна лінгвістика – самостійна лінгвістична
дисципліна, яка розв’язує теоретичні й прикладні
завдання мовознавства за допомогою комп’ютера
 Застосування нового дослідницького
ХАРАКТЕР КЛ ЯК інструмента – комп’ютера – дає змогу
ЛІНГВІСТИЧНОЇ на якісно новій фактичній основі, за
ДИСЦИПЛІНИ допомогою нових дослідницьких
Комп’ютерна лінгвістика є методів та прийомів аналізу й синтезу
мовних фактів розв’язувати
водночас дисципліною теоретичні завдання сучасного
•теоретичною, мовознавства, одержувати відомості
•фундаментальною про будову та функціонування мовних
об’єктів, які уможливлюють зміни в
• практичною, прикладною. самій парадигмі знання про мову,
оскільки дозволяють не лише по-
іншому розв’язувати старі, а й ставити
нові лінгвістичні завдання.
Використання спеціального технічного
засобу і підпорядкованих йому
прийомів та процедур моделювання
мовних об’єктів ставить КЛ в ряд
інших прикладних лінгвістичних
дисциплін
 СТРУКТУРНА ТА МАТЕМАТИЧНА
ЛІНГВІСТИКА – ТЕОРЕТИЧНА БАЗА КЛ
У певному сенсі КЛ можна вважати
спадкоємицею саме тих галузей лінгвістики,
які у своїх дослідженнях оперували
формально-логічними та математичними
методами, а також тих напрацювань у
моделюванні й аналізі мовних об’єктів та
мовленнєвих процесів, які накопичили
структурна та математична лінгвістика.
Термін “комп’ютерна лінгвістика” у
загальнонауковому трактуванні
Комп'ютерна лінгвістика (КЛ) – міждисциплінарна
галузь, яка виникла на стику таких наук, як:
• лінгвістика,
• математика,
• інформатика (Computer Science),
• штучний інтелект (Artificial Intelligence).
У своєму розвитку вона до сих пір вбирає і застосовує
(за необхідності адаптуючи) розроблені в цих
науках методи та інструменти.
 • Інформа́тика —
теоретична та прикладна (технічна,
технологічна) дисципліна, що вивчає
ІНФОРМАТИКА структуру і загальні
властивості інформації, а також
Інформація – це сукупність методи і (технічні) засоби її створення,
символів, або образів, що перетворення, зберігання, передачі та
несуть змістове використання в різних галузях
людської діяльності.
навантаження.
• Основне теоретичне завдання
Оскільки інформація у інформатики полягає у визначенні
мовній формі, тобто загальних закономірностей,
оформлена засобами як відповідно до яких
створюється інформація, відбувається
природних, так і штучних її перетворення, передавання та
мов, посідає в сучасних використання у різних сферах
інформаційних потоках діяльності людини.
чільне місце, лінгвістика • Прикладні завдання інформатики
активно залучена до полягають у розробці
найефективніших методів і засобів
створення засобів її здійснення інформаційних процесів,
опрацювання, передусім – зокрема передачі інформації
за допомогою комп'ютера. комп”ютерними засобами
Типи інформації в
лінгвосеміотичній теорії
А.О.Білецького
ОЗНАКИ МОВНОЇ
ІНФОРМАЦІЇ:
•антропогенна (створена
людиною)
•кодована (закріплена у
спеціальній формі)
•екстраситуаційна
(незалежна від конкретної
ситуації спілкування ????)
•вербальна (представлена у
словесній формі)
•логічна,
•естетична,
•побутова,
•спеціальна
 Функції мови як спеціалізованої системи
обміну інформацією за А.О.Білецьким
1. Трансформаційна (від лат. transformo “перетворюю, змінюю форму”) –
перетворення інформації;
2. Консервативна (від лат. cōnservo “зберігаю”) – зберігання інформації;
3. Транслятивна (від лат. trānslātio ”перенос, переміщення”) – передавання
інформації;
4. Дименсійна (від лат. dīmēnsio “вимірювання, розмір”) – вимірювання
інформації;
5. Утилітарна (від лат. ūtilitās “користь, придатність”) – використання
інформації;
6. Естетична (від грецьк. αỉσθητικός ”чуттєво сприйманий”) – вибір для
оформлення та передавання інформації засобів, оптимальних для її
сприйняття;
7. Метасемантична (від грецьк. μετα ”зверх, понад” та σημαντικός
”означальний”) – відображення в оформленні інформації додаткового
змісту, який впливає на відчуття людини, стимулює в неї певні реакції на
інформацію (пор., наприклад, різні способи оформлення прохання: наказ,
уклінне прохання, дружнє спонукання до дії, нейтральний заклик, побажання
тощо).
Завдання комп’ютерної лінгвістики у проекції на інші лінгвістичні дисципліни
Завдання (прикладні задачі) комп’ютерної лінгвістики
у проекції на нелінгвістичні дисципліни

ШТУЧНИЙ
ІНТЕЛЕКТ
Найтісніше комп'ютерна
лінгвістика пов'язана із
галуззю штучного інтелекту , в
якій розробляються програмні
моделі окремих
інтелектуальних функцій.
Оскільки володіння мовою
належить до інтелектуальних
функцій, перетин цих наук
очевидний, але ШІ не
поглинає всю КЛ, оскільки
вона має свою теоретичну
базу і методологію. Загальним
для цих наук є комп'ютерне
моделювання як основний
метод і кінцева мета.
• Науковий напрям, в рамках якого
ставляться і вирішуються завдання
апаратного або програмного
моделювання тих видів людської
діяльності, які традиційно вважаються
інтелектуальними
• Властивість інтелектуальних систем
виконувати функції (творчі), які
традиційно вважаються прерогативою
людини. Структура інтелектуальної
системи включає три основні блоки - базу
знань, вирішувач та інтелектуальний
інтерфейс, що дозволяє вести спілкування
з ЕОМ без спеціальних програм для
введення даних
• Наука «Штучний інтелект» входить в
комплекс комп'ютерних наук, а
створювані на її основі технології до
інформаційних технологій. Завданням цієї
науки є відтворення за допомогою
обчислювальних систем та інших штучних
пристроїв розумних міркувань і дій
 Для чого людству ШІ?
Людський мозок надзвичайно швидко обробляє
інформацію, але сьогодні людських здібностей
недостатньо, адже суспільство переповнене інформацією:
● доводиться мати справу з величезними обсягами даних
● дані надходять з багатьох джерел одночасно
● дані не структуровані й надходять хаотично
● дані постійно змінюються, а отже, і знання на основі
цих даних повинні постійно оновлюватися
● обробка даних і реакція на них повинні відбуватися в
реальному часі та з високою точністю
Людина не може справитися з усіма цими факторами, але
ми можемо створити системи, які зможуть, – системи ШІ.
Загальні сфери застосування ШІ
● комп’ютерний зір (візуальне
розпізнавання предметів, істот, символів)
● обробка природної мови
● розпізнавання мовлення
● експертні системи (визначення медичного
діагнозу, передбачення результатів
маркетингової кампанії)
● робототехніка
NLP - Natural
Language
Processing
ОСНОВНІ ЗАВДАННЯ:
•розпізнавання усного мовлення
•синтез усного мовлення
•аналіз тексту
•вилучення інформації
•інформаційний пошук
•аналіз висловлювань
•аналіз тональності тексту
•діалогові системи
•генерування тексту
•машинний переклад
•автоматичне реферування та
анотування
• Автоматичне оброблення
природної мови (Natural
Language Processing, NLP) -
загальний напрям штучного
інтелекту і математичної
лінгвістики, який вивчає
проблеми комп'ютерного
аналізу і синтезу природних
мов. Стосовно штучного
інтелекту аналіз означає
розуміння мови, а синтез -
генерацію грамотного тексту.
Вирішення цих проблем буде
означати створення більш
зручної форми взаємодії
комп'ютера і людини.
Карен Спарк
Джонс Відома британська вчена, яка займалася
інтеграцією інформатики та NLP в основні
блок-схеми штучного інтелекту. Її
найбільш важливим внеском є створення
концепції обліку ваги слів зворотної
частоти документа (IDF), яку вона
описала в статті в 1972 році. На
сьогоднішній день IDF використовується в
багатьох пошукових системах, зазвичай, у
складі схеми TF-IDF.

Карен Спарк Джонс визначає 4 етапи

розвитку АОПМ
 • 1) кінець 1940-х - кінець 1960-х. Робота була сфокусована на
Історіямашинному
розвитку перекладі.
АОПМ Теоретична основа – роботи Н.Хомського у
галузі формалізації структури природної мови. Першим
прикладом машинного перекладу, який був представлений на
Джорджтаунському експерименті (1954 р.) був англо-російський
елементарний автоматичний переклад.
• 2) кінець 1960-х — кінець 1970-х. Робота у сфері розуміння
тексту. Першою програмою розуміння природної мови була
експертна система розроблена Террі Виноградом
в Масачусетському технологічному інституті у 1972 році. Ця
програма розуміла велику кількість англомовних слів та могла
робити певні висновки.
• 3) кінець 1970-х — кінець 1980-х. Застосування штучного інтелекту
• Террі Аллен в обробці природної мови вимагало розроблення комп̓ютерної
Виноград граматики.
американський • 4) 1990-ті. Одне з провідних місць в АОПМ займав статистичний
дослідник штучного підхід, який дозволяв тепер не просто аналізувати дані, але й
інтелекту, професор справді застосовувати цей метод для оброблення природної
комп'ютерних мови.
наук Стенфордськог • 5) 2000-ні. NLP працює завдяки глибинному навчанню (Deep
о університету, Learning) – галузі машинного навчання
член Асоціації з
обчислювальної
техніки(2009)
 Завдання
• Завдання та особливий статус комп’ютерної лінгвістики у
сучасному прикладному мовознавстві.
• Кореляція термінів "прикладна лінгвістика" ↔
"комп'ютерна лінгвістика" у вітчизняному мовознавстві.
• Функціональна концепція прикладної (комп'ютерної)
лінгвістики.
• Інформація, види і представлення інформації в
інформатиці. Отримання, збереження, оброблення і • Карпіловська Є.А.
передача інформації.
• Основні завдання сучасної комп’ютерної лінгвістики
Вступ до прикладної
мовознавстві та за його межами. лінгвістики:
• Об’єкт та предмет дослідження в комп’ютерній лінгвістиці комп’ютерна
• Взаємозв'язок комп'ютерної лінгвістики з інформатикою. лінгвістика:
Типи інформації в лінгвосеміотичній теорії
А.О.Білецького. Функції мови як спеціалізованої системи Підручник.—
передачі інформації за А.О.Білецьким Донецьк: ТОВ «Юго-
• Поняття штучного інтелекту, зв’язок комп’ютерної
лінгвістики зі штучним інтелектом.
Восток, Лтд», 2006.—
• Natural Language Processing (NLP) і комп’ютерна С. 7 – 20.
лінгвістика: сучасні системи автоматичного аналізу тексту.