ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА
- Обработка естественного языка: основные понятия
Для начала следует выяснить, что понимается под термином обработка естественного языка.
Обработка естественного языка
- одно из направлений искусственного интеллекта и математической лингвистики, которое занимается изучением проблем компьютерного анализа и синтеза естественных языков.
Расшифруем некоторые понятия, входящие в состав данного определения.
Естественный язык – это хранящаяся в сознании человека сложная система правил, в соответствии с которыми происходит речевая деятельность, т.е. порождение и понимание текстов.
Искусственный интеллект – это область компьютерной науки (информатики), специализирующаяся на моделировании интеллектуальных и сенсорных способностей человека с помощью вычислительных устройств.
Математическая лингвистика – математическая дисциплина, предметом которой является разработка и изучение понятий, образующих основу формального аппарата для описания строения естественных языков (т. е. метаязыка лингвистики).
Анализ как форма и метод деятельности искусственного интеллектатрактуется как понимание языка. Под синтезом же в сфере искусственного интеллекта понимают генерацию грамотного текста.
Словарь языка свидетельствует, о чём думают люди, а грамматика как они думают
... автору более точно реализовать свой замысел. Пример 3 «Словарь языка свидетельствует, о чем думают люди, а грамматика – как они думают», - писал ученый Г. Степанов. Известный лингвист прав, потому ... в виду ученый-лингвист Г. Степанов. Пример 4 «Словарь языка свидетельствует, о чем думают люди, а грамматика – как они думают», - писал ученый Г. Степанов. Высказывание лингвиста, безусловно, справедливо, ...
- Основные задачи обработки естественного языка
Понимание, распознавание естественного языка –ключевая задача, посколькуузнавание и распознавание языка живого требуетколоссальныхзнаний языковой системы, языкового строя, их особенностей и закономерностей.
Определим основные, наиболее актуальные задачи обработки естественного языка . Это:
- распознавание речи;
- синтез речи;
- анализ текста;
- синтез текста;
- машинный перевод;
- создание вопросно-ответных систем;
- информационный поиск;
- извлечение информации;
- анализ тональности текста
- реферирование текста.
Итак, рассмотри подробнее сущность названных задач.
В первую очередь следует рассмотреть одну из наиболее важных задач, а именно распознавание речи Под этим процессом подразумевается процесс, ведущий к преобразованию речевого сигнала человеческого голоса в цифровую информацию.Такая возможность может быть использована людьми, лишёнными способности набора текста с помощью рук либо для упрощения и ускорения этого процесса. Синтез речи –формирование по печатному тексту сигналов речи, то есть искусственное производство человеческой речи. Выполнением этой задачи занимается такая отрасль современной информатики, компьютерной лингвистики, информационных технологий, как искусственный интеллект.
Эта задача в основном предназначена для использования в информационных и справочных системах, диспетчерских службах, для выдачи информационных запросов о технологических процессах, для помощи людям с ограниченными возможностями зрения и речи.
Доклад: Анализ текста публичной речи
... публичной речи, особенности ее построения, а также проанализируем по плану текст речи общественного деятеля Стива Джобса. 4 Публичная речь и ее особенности Публичная речь ... компания Apple представила коммуникатор iPhone. Текст выступления: «Для меня большая честь быть ... чтобы речь понимали, следует ограничитьиспользование слов, находящихся на периферии словарного состава языка. Чистота речи - ...
Анализ текста – процесс извлечения содержательной, высокого качества информации из текста на естественном языке для автоматизации процесса извлечения и анализа данных. Синтез текста мы определяли выше, в предыдущем пункте данной главы. Ему присуще наличие некоторых специфических подзадач. К примеру, многоязыковая генерация. Так называют автоматическое составление специальных документов на нескольких языках (патентных формул, инструкций по эксплуатации технических изделий или программных систем).
Для решения этого типа задач применяются подробные языковые модели. Машинный , или автоматический перевод Под данной задачей обработки естественного языка подразумевается процесс перевода устных текстов, написанных на естественном языке, на другой, тоже естественный, язык при помощи электронно-вычислительных машин в предназначенных для данного типа задач компьютерных программах. Создание вопросно-ответных систем , то есть таких информационных систем, которые способны принимать, распознавать, классифицировать вопросы и давать ответы на них на естественном языке.
Эта задача осуществляется по следующему алгоритму:
определения типа вопроса; поиском текстов, потенциально содержащих ответ на этот вопрос; извлечением ответа из этих источников.
Такие системы можно классифицировать на:
те, которые предназначены для работы с текстами и темами определённой тематики, те, которые способны работать с информацией, относящейся к различным сферам знания. Информационный поиск – процесс выявления информации в документах, содержащихся в доступных системе поиска базах данных, которые соответствуют заданному запросу по тематике.
Исполнение этой задачи подразумевает под собой исполнение следующей последовательности операций:
формулирование информационного запроса; поиск потенциальных обладателей соответствующей информации; извлечение информации из найденных документов; ознакомление с результатами произведённого поиска и выборка наиболее подходящих условиям запроса источниками.
Существует 3 разновидности информационного поиска:
поиск по содержанию всего документа; поиск по названию документа, дате его создания, автору, размеру и т.п. данным; поиск по тематике изображения, предмету, присутствующему на нём. Извлечение информации – задачи обработки естественного языка, выполняющая автоматическое извлечение необходимых данных из источника информации, текста (как правило, неструктурированного).
Эта задача непосредственно связана с предыдущей. Анализ тональности текста – анализ лексем текста, оценка их эмоциональной окрашенности и классификация по принадлежности к нейтральному, позитивному или негативному лексическому слою языка. Реферирование – сокращение объёма текста за счёт выделения основных тезисов путём поиска соответствий заданным в поиске ключевым словам и его краткое изложение.
Информационный процесс. Обработка информации
... процесс классификации. Формализованная модель обработки информации Обратимся теперь к вопросу о том, в чем сходство и различие процессов обработки информации, связанных с различными составляющими информационного процесса, ... слово. 1. Что такое информация, информационный процесс. В обыденной жизни информацию отождествляют с понятиями "сообщение", "сведения", "данные", "знания". Такое соотношение ...
- Трудности, возникающие при выполнении задач
обработки естественного языка
Когда эти условия будут выполняться, тогда можно будет говорить о создании весьма удобной формы взаимодействия человека с компьютером – более простой, доступной, понятной, продуктивной, эргономичной.
Но, к сожалению, в процессе выполнения этой задачи возникают препятствия, создаваемые теми или иными особенностями естественного языка. Например, на качество понимания текста могут повлиять такие факторы, как:
непосредственно сам язык, его отнесённость к той или иной языковой семье, группе; порядок речи (прямой, обратный или свободный – чаще всего при обработке русского языка трудности связаны именно с ним); характерные особенности национальной культуры носителей естественного языка; говорящий, источник речи, а именно: логический строй речи; синтаксическое построение речи; грамматический строй речи; грамотность; фонетические особенности речи; полисемичность языка; наличие омонимов в данном естественном языке; способы словообразования, присущие определённому языку; неологизмы, окказионализмы; фразеологические обороты и устойчивые выражения.
- Программное обеспечение, предназначенное для обработки естественного языка
Осуществление названных задач требует наличия определённого программного обеспечения. Укажем наиболее популярные и востребованные пакеты программного обеспечения, способного выполнить тот или иной тип обработки естественного языка:
General Architecture for Text Engineering (GATE) ModularAudioRecognitionFramework NaturalLanguageToolkit (NLTK).
GeneralArchitectureforTextEngineering ( GATE – одна из систем обработки естественного языка с открытым исходным кодом. Её работа основана на наборах компонентов, созданных на языке Java Данная система начала своё развитиев 1995 году.
С помощью GATE стала возможна реализация таких задач, в которых требуется определить смысловое содержание некого текста и кодировать его путем добавления аннотаций к отдельным сегментам текста в структурированном виде. Эта система применяется для выполнения задач по извлечению информации, по составлению как ручной, так и автоматической семантической аннотации текста, работы с онтологиями, машинного обучения, анализа потока сообщений в блогах.
Система GATE получила распространение в различныхсферах научных знаний. Нас интересует только её применение вкомпьютерной лингвистике, обработке естественного языка, а также в моделировании языковых процессов.
ModularAudioRecognitionFramework (MARF) – модульная библиотека распознавания аудио. Данное программное обеспечение предназначено для выборки алгоритмов для обработки и распознавания текста, речи, звука, то есть выполнения непосредственных потребностей поставленных задач обработки естественного языка. Это приложение также способно осуществлять дополнение алгоритмов и модулей. Система MARF способна работать как библиотека в приложениях или может использоваться как источник для изучения и расширения лингвистических баз данных. NaturalLanguageToolkit (NLTK) – библиотеки и программ для символьной и статистической обработки естественного языка.
Русский язык и культура речи» : «Культура речи и эффективность общения
... таким образом, как требуется этой именно эпохе. Из бесконечной практики речи рождается обновленный язык. 1. Культура речи Культура речи -- сравнительно молодая область науки о языке. Как самостоятельный раздел ... условиям общения. В понятие хорошей речи включаются как минимум три признака богатство, точность и выразительность. Показателями богатой речи являются большой объем активного словаря, ...
NLTK предназначена для студентов, изучающих и занимающихся компьютерной лингвистикой, эмпирическая лингвистикой, когнитивистикой, искусственным интеллектом, информационным поиском.
Все перечисленные программные обеспечения предназначены для создания лингвистических информационных ресурсов. Рассмотрим несколько аспектов, касающихся этих ресурсов.
ГЛАВА 2. ЛИНГВИСТИЧЕСКИЕ РЕСУРСЫ
Разработка лингвистических процессоров (к примеру тех, о которых говорилось в предыдущей главе) требует широкого и наиболее полного представления лингвистической информации о естественном языке, который требуется обработать. Такая информация отображается в таких лингвистических информационных ресурсах, как:
компьютерные словари; базы словосочетаний; компьютерные грамматики.
Рассмотрим подробнее типы этих ресурсов.
2.1. Компьютерные словари
Именно словари являются наиболее традиционной формой представления лексической информации. Так же и в компьютерной лингвистике – наиболее распространённой и широко используемой являются компьютерные словари.
Словари различаются:
единицами (как правило, это слова или словосочетания); структурой; охватом лексики (к примеру, словари терминов конкретной узкой области, словари общей лексики и т.п.).
Для устранения дальнейших сложностей в понимании определим, что же такое словарная единица.
Единицей словаря называется словарная статья. В словарной статье представлена наиболее полная информация о лексеме. Также следует отметить, что лексические омонимы обычно представляются в разных словарных статьях, так как они содержат в себе разное смысловое наполнение и не могут являться одной и той же лексической и словарной единицей.
Здесь следует назвать некоторые виды компьютерных словарей:
Лингвистическое обеспечение автоматизированных систем библиотек ...
... этапе автоматизации библиотеки создают свои электронные каталоги и в качестве ИПЯ используют УДК и/или ББК, язык ключевых слов и язык библиографического описания. Лингвистическое обеспечение в Центральной научной сельскохозяйственной библиотеке Российской Академии ...
морфологические словари; толково-комбинаторные словари; словари синонимов; словари паронимов; тезаурусы; онтологии.
Определим функции и общее назначение каждого из этих типов.
Морфологические словари наиболее распространены в компьютерной лингвистике. Используются они для морфологического анализа. В словарной статье представляется морфологическая информация обопределённом слове, а именно такие характеристики слова, как: часть речи; словоизменительный класс (только для языков флективного типа); перечень значений слова и т.п.
Иногда в морфологический словарь может быть добавлена и грамматическая информация (например, модели управления слова).
Это обстоятельство зависит от организации и возможностейлингвистического процессора.
Толково-комбинаторный словарь В нём представлена более полная и широкая информация о словах. В словарной статье в этом случае кроме информации морфологической, синтаксической и семантической (синтаксические и семантические валентности) предлагаются сведения о лексической сочетаемости этого слова. На толково-комбинаторный словарь опирается лингвистическая модель «Смысл ⇔ Текст». Т акая модель призвана обеспечить получение связных синтаксических структур для всех предложений текстов, подвергаемых обработке, причём независимо от степени их сложности, и переработку текстов на естественном языке без смысловых потерь. В ряде лингвистических процессоров используются словари синонимов. В структуру такой словарной статьи входят: заглавное слово; антоним к заглавному слову; вариант заглавного слова; синоним; вариант синонима. Словарь паронимов – это довольно новый вид не только компьютерных, но и словарей вообще. Паронимы – это внешне схожие слова, различающиеся по смыслу, например, чужой и чуждый, правка и справка. Эти словари предназначены для исправления ошибок в тексте и обучения правильному употреблению паронимов в разных контекстах. Тезаурус – это семантический словарь. В нём представлены смысловые связи слов – синонимические, родовидовые отношения, отношения части и целого, ассоциативные отношения. Применение и составление тезаурусов связано с решением задач информационного поиска. Онтология – это набор понятий и сущностей определенной области, сферы знаний, который ориентирован намногократное использование для различных задач. Такие словари могут создаваться на базе существующей в языке лексики – в этом случае они называются лингвистическими.
Такой лингвистической онтологией считается система WordNet – объёмный лексический ресурс, в котором собраны слова английского языка: существительные, прилагательные, глаголы и наречия. Там же представлены их смысловыесвязи нескольких типов. Для каждой из названных частей речи слова сгруппированыв синонимические ряды (синсеты), между которыми устанавливаются отношенияантонимии, гипонимии (отношение род-вид), меронимии (отношение часть-целое).
Общую онтологию формируетверхний уровень иерархии– система основных понятий о мире.
По аналогичной схеме были построены лексические ресурсы для других языков Европы, объединенные под общим названием EuroWordNet .
Основные понятия культуры речи. Словарь трудностей русского языка
... слов, удачное применение изобразительных и выразительных средств языка, пословиц и поговорок, крылатых слов, фразеологических выражений, богатство индивидуального словаря, эффективность общения, усиливают действенность устного слова. 1.3 Эстетический аспект Этический аспект культуры речи предписывает знание и ...
2.2. Компьютерные базы словосочетаний
В базы словосочетаний отбираются наиболее типичные, устойчивые словосочетания, фразеологические обороты конкретного языка. Такая база словосочетаний русского языка, содержащая около миллиона единиц, составляет ядро системы КроссЛексика.
Система КроссЛексика – это большой электронный словарь сочетаний и смысловых связей русских слов.
Словосочетания вносятся в компьютерную базу в соответствии со следующими принципами:
высокая частотность; высокая степень ассоциации; синонимичность лексической единице; значительная многозначность компонентов; обозначение типа объекта.
2.3. Компьютерные грамматики
Ещё один вид лингвистических ресурсов – это грамматики естественного языка . Их тип зависит от используемой в лингвистическом процессоре модели синтаксиса. Компьютерная грамматика представляет собою набор правил, которые выражают общие синтаксические свойства слов и групп слов. Общее количество правил компьютерной грамматики зависит и от модели синтаксиса, изменяясь от нескольких десятков до нескольких сотен.
Но здесь существует такая проблема, как соотношение в модели языка грамматики и лексики: чем больше информации представлено в словаре, тем короче может быть грамматика и наоборот.
2.4. Составление лингвистических информационных ресурсов и автоматизация этого процесса
Составление компьютерных словарей, тезаурусов и грамматик – это весьма объемная и трудоемкая работа. Чаще разработка лингвистической модели и соответствующего процессора оказывается проще, нежели составление лингвистических информационных ресурсов. Следовательно, одной из подзадач компьютерной лингвистики является автоматизация построения лингвистических ресурсов.
Компьютерные словари часто формируются конвертацией обычных текстовых словарей. Но при построении словарей и тезаурусов для быстроразвивающися научных областей требуется намного более кропотливая и сложная работа.Для извлечения необходимой лингвистической информацииисходным материалом являются коллекции и корпуса текстов.
Корпус текстов – это коллекция текстов, собранная по определенномупринципу (например, по жанру, авторской принадлежности и т.п.), в которой все тексты снабжены некой лингвистической разметкой (или аннотациями) – морфологической, акцентной, синтаксической и т.д. На данный момент существует более сотни различных корпусов – для разных естественных языков и с различной разметкой. В России наиболее известным корпусом текстов является Национальный корпус русского языка.
Текст как объект лингвистического анализа
... и цитируется чаще всего в литературе по лингвистическому анализу текста: «Текст - это произведение речетворческого процесса, обладающее ... природы текста. При этом одновременно подчеркиваются разные его свойства: «Художественный текст можно определить как коммуникативно ... ТЕКСТА. ТЕКСТ И КУЛЬТУРА Любой текст, в том числе и художественный, являясь, с одной стороны, самодостаточным объектом, объектом ...
Размеченные корпуса создаются лингвистами и используются для:
выполнения целей и задач, которые преследуются влингвистических исследованиях; настройки используемых в компьютерной лингвистикемоделей и процессоров с помощью известных математических методов машинного обучения.
В последнее время чаще в качестве более полного лингвистического ресурса рассматриваются тексты сети Интернет, так как корпусы и коллекции текстов обязательно ограничены по представленным в них языковым явлениям. Ведь, бесспорно, Интернет на сегодняшний день – самый представительный источник образцов современной речи. Тем не менее, его использование как корпуса требует разработки специальных технологий.
Заключение
На сегодняшний день компьютерная лингвистика достигла довольно высоких результатов в создании различных приложений по автоматической обработке текстов на естественном языке. Дальнейшее ее развитие зависит и от разработки новых приложений, и от независимой разработки различных моделей языка. Наиболее отработанными являются модели морфологического анализа и синтеза. Модели синтаксиса еще не доведены до уровня устойчиво и эффективно работающих модулей, несмотря на большое количество существующих формализмов и методов. Еще менее изучены и формализованы модели уровня семантики и прагматики, хотя такая потребность на данный момент возникла. Решить многие проблемы и вопросы, возникающие в ходе этой работы, может развитие лингвистических информационных ресурсов.
Список использованной литературы
[Электронный ресурс]//URL: https://litfac.ru/referat/internet-portal-znaniy-po-lingvistike/
- Большакова Е.И., Клышинский Э.С., Ландэ Д.Э., Носков А.А., Пескова О.В., Ягунова Е.В., Автоматическая обработка текстов на естественном языке и компьютерная лингвистика: учеб.пособие. – М.: МИЭМ, 2011. – 272 с.
- Естественно-языковые системы: курс лекций. – Улан-Удэ: Изд-во ВСГТУ, 2006. – 92 с.: илл.
- Колодяжная Л.И., Поликарпов А.А.,Некоторые количественные характеристики русской синонимии на материале «Словаря синонимов» под редакцией А.П. Евгеньевой (Л.: Наука, 1975)[Электронный ресурс] –
- Лукашевич Н.В., Добров Б.В., Чуйко Д.С., Отбор словосочетаний для словаря системы автоматической обработки текстов [Электронный ресурс] –
