WO2020091618A1 - Система определения именованных сущностей с динамическими параметрами - Google Patents

Система определения именованных сущностей с динамическими параметрами Download PDF

Info

Publication number
WO2020091618A1
WO2020091618A1 PCT/RU2018/000712 RU2018000712W WO2020091618A1 WO 2020091618 A1 WO2020091618 A1 WO 2020091618A1 RU 2018000712 W RU2018000712 W RU 2018000712W WO 2020091618 A1 WO2020091618 A1 WO 2020091618A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
named entities
module
entities
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/RU2018/000712
Other languages
English (en)
French (fr)
Inventor
Владимир Александрович СУВОРОВ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Federalnoe Gosudarstvennoe Avtonomnoe Obrazovatelnoe Uchrezhdenie Vysshego Obrazovaniya "moskovsky Fiziko Tekhnichesky Institut Gosudarstvenny Universitet "
Original Assignee
Federalnoe Gosudarstvennoe Avtonomnoe Obrazovatelnoe Uchrezhdenie Vysshego Obrazovaniya "moskovsky Fiziko Tekhnichesky Institut Gosudarstvenny Universitet "
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Federalnoe Gosudarstvennoe Avtonomnoe Obrazovatelnoe Uchrezhdenie Vysshego Obrazovaniya "moskovsky Fiziko Tekhnichesky Institut Gosudarstvenny Universitet " filed Critical Federalnoe Gosudarstvennoe Avtonomnoe Obrazovatelnoe Uchrezhdenie Vysshego Obrazovaniya "moskovsky Fiziko Tekhnichesky Institut Gosudarstvenny Universitet "
Priority to PCT/RU2018/000712 priority Critical patent/WO2020091618A1/ru
Priority to EP18938933.1A priority patent/EP3876137A4/en
Publication of WO2020091618A1 publication Critical patent/WO2020091618A1/ru
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Creation or modification of classes or clusters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Definitions

  • the present invention relates to the extraction of information from natural language texts using computer systems, in particular, to systems for the definition of named entities with dynamic parameters.
  • Neural network approach Using a large amount of tagged data, it is possible to train the system to highlight tagged entities mentioned in the same context. A large amount of data is required, but the system allows you to select entities of arbitrary size.
  • the technical problem to which the claimed technical solution is directed is the creation of a system for determining named entities with dynamic parameters. Also, an essential problem to be solved of this kind of technical solutions is the implementation of the ability to learn from the text stream the required entities of a completely different nature, having examples of sentences containing certain entities.
  • the technical result consists in increasing the accuracy of automatic determination of named entities from a text.
  • Named Entities Recognizing are objects of a certain type, most often composite, for example, organization names, people’s names, dates, places, currency, etc. These categories can be represented by concepts of a predefined or dynamically built ontology.
  • a more complex entity is such entities as: greeting, farewell, talking about the weather.
  • An entity can contain any number of words.
  • Each named entity is an n-gram in the text for which the class is defined.
  • a system for the definition of named entities with dynamic parameters, comprising: a module for processing source texts in a natural language, a module for determining the topics of named entities, a module for a decisive model, and a module for a set of models for extracting named entities from a text, while the module for processing source natural language texts, made with the possibility of:
  • the module for determining topics of named entities made with the ability: to classify named entities that were defined in the text into different classes of topics, to detect and classify predefined relationships between entities that are recognized in the text and using an ontological graph connect classified named entities with the corresponding entities from open knowledge base;
  • the module of the decision model is configured to accept classified topics of named entities, loosely coupled topics and words with the greatest weight and with the help of a trained neural network model determine which model of extraction: named entities from a set of models will determine named entities from the text; and the module for the set of models for extracting named entities from the text launches a model selected from the set that defines named
  • a semantic structure of a plurality of semantic structures is represented by a graph including a plurality of nodes corresponding to a plurality of semantic classes and a plurality of arcs corresponding to a plurality of semantic relations.
  • stop words are made in the form of prepositions and auxiliary parts of speech, as well as using the database of stop words.
  • the relationship between sentences can be strongly related, this is if the topics can overlap and loosely coupled.
  • an open source library for thematic modeling of large collections of text documents (BigARTM) is used to classify topics.
  • the open knowledge base may be: DBpedia, Freebase, OpenCyc, Wikidata, YAGO, Wordnet.
  • FIG. 1 illustrates a general view of the claimed system
  • FIG. 2 illustrates a general diagram of a computing device.
  • the present invention is directed to a system for defining named entities with dynamic parameters.
  • the claimed system (100) includes interconnected natural language source code processing module (110), named entity determination module (120), decision model module (130), and a set of model models for extracting named entities from text (140).
  • the natural language source code processing module (110) is configured to receive natural language text containing unallocated sets of sentences or labeled sets of sentences containing entities of a particular type.
  • named entities which are words
  • predefined categories such as:
  • the resulting text is divided into sentences, after which a semantic analysis of the sentences is carried out, that is, it determines the meaning of these sentences.
  • a semantic structure of a plurality of semantic structures is represented by a graph including a plurality of nodes corresponding to a plurality of semantic classes and a plurality of arcs corresponding to a plurality of semantic relations.
  • Semantic analysis can be built on the basis of the elements of the iPavlov or StanfordNLP library.
  • lemmatization and stemming of words is performed, while forming an array of words from which stop words and punctuation are removed, words with similar semantic meanings are grouped, weight is assigned to each word depending on its frequency in the text, and named entities from grouped words.
  • the words in the text are brought into their original vocabulary form, for example, running - running. This stage is carried out with the help of dictionaries or by integrating language rules into code - for example, determining part of speech, ending and converting the ending to the right one.
  • stop words are made in the form of prepositions and auxiliary parts of speech, as well as using the database of stop words
  • Word2Vec clusters words according to the principle of their semantic proximity, namely, reveals the semantic proximity of words, for example, what the word Internet is semantically closer to computer networks or outer space). Then words with a similar meaning are located closer to each other.
  • the TF-IDF function (TF is the word frequency, IDF is the inverse frequency of the document) is a statistical measure used to assess the importance of a word in the context of a document that is part of a collection of documents or corpus.
  • the weight of a word is proportional to the frequency of use of the word in the document and inversely proportional to the frequency of use of the word in all documents of the collection.
  • the BM25 function is used to organize words in a text by their relevance, namely by weight.
  • the module for determining the topics of named entities (120) is configured to classify named entities that have been defined in the text into different classes of topics, to detect and classify predefined relationships between entities that are recognized in the text and associate classified named entities with an ontological graph relevant entities from an open knowledge base.
  • Open knowledge bases may be such as: DBpedia, Freebase, OpenCyc, Wikidata, YAGO, Wordnet
  • the decision model module (130) is configured to accept classified topics of named entities, loosely coupled topics and words with the greatest weight, and using a trained neural network model, such as a multi-layer convolutional network with softmax optimization function and 5 layers of neurons, determine which one a model for extracting named entities from a set of models will determine named entities from the text.
  • a trained neural network model such as a multi-layer convolutional network with softmax optimization function and 5 layers of neurons
  • a module for a set of models for extracting named entities from text runs a model selected from the set that defines named entities that describe specific objects.
  • FIG. 2 a general diagram of a computer device (200) that provides the data processing necessary to implement the claimed solution will be presented.
  • device (200) comprises components such as: one or more processors (201), at least one memory (202), data storage means (203), input / output interfaces (204), means B / In (205), means of network interaction (206).
  • processors 201
  • memory 202
  • data storage means 203
  • input / output interfaces 204
  • means B / In 205
  • means of network interaction 206
  • the device processor (201) performs the basic computing operations necessary for the operation of the device (200) or the functionality of one or more of its components.
  • the processor (201) executes the necessary computer-readable instructions contained in the random access memory (202).
  • the processor (201) may be a full instruction set microprocessor (CISC), a reduced instruction set microprocessor (RISC), an extra long instruction microprocessor (VLIW), a processor implementing another instruction set, or processors implementing a combination command sets.
  • the processor (201) can also be one or more special-purpose computing devices, for example, a custom integrated circuit (ASIC), a user-programmable gate array (FPGA), a digital processor Signals (DSP), network processor, etc.
  • the processor (201) is configured to execute instructions for performing the operations and functions discussed herein.
  • the memory (202), as a rule, is made in the form of RAM and contains the necessary program logic that provides the required functionality.
  • the storage medium (203) may be in the form of HDDs, SSDs, an array raid, network attached storage, flash memory, optical information storage devices (CD, DVD, MD, Blue-Ray drives) and the like.
  • the tool (203) allows for long-term storage of various types of information, for example, the history of processing transactional requests (logs), user identifiers, etc.
  • Interfaces (204) are standard means for connecting, for example, USB, RS232, RJ45, LPT, COM, HDMI, PS / 2, Lightning, FireWire, and the like.
  • interfaces (204) depends on the specific implementation of the device (200), which may be a personal computer, mainframe, server cluster, thin client, smartphone, laptop, etc.
  • I / O data means the following can be used: keyboard, joystick, display (touch screen), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
  • Network communication tools (206) are selected from a device providing network reception and data transmission, for example, an Ethernet card, a WLAN / Wi-Fi module, a Bluetooth module, a BLE module, an NFC module, IrDa, an RFID module, a GSM modem, and so on. .P.
  • a device providing network reception and data transmission for example, an Ethernet card, a WLAN / Wi-Fi module, a Bluetooth module, a BLE module, an NFC module, IrDa, an RFID module, a GSM modem, and so on. .P.
  • the organization of data exchange via a wired or wireless data channel is provided, for example, WAN, PAN, LAN (LAN), Intranet, Internet, WLAN, WMAN or GSM.
  • the components of the device (200) are interfaced via a common data bus (210).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

Изобретение относится к извлечению информации из текстов на естественном языке с помощью вычислительных систем. Технический результат заключается в повышении точности автоматического определения именованных сущностей из текста. Заявленная система определения именованных сущностей с динамическими параметрами содержит модуль процессинга исходных текстов на естественном языке, модуль определения тематик именованных сущностей, модуль решающей модели и модуль набора моделей извлечения именованных сущностей из текста, при этом принимают текст на естественном языке, содержащий неразмеченные наборы предложений или размеченные наборы предложений, содержащие сущности определенного типа, анализируют полученный текст для нахождения участков текста, содержащих именованные сущности, классифицируют именованные сущности, определяют какая именно модель извлечения именованных сущностей из набора моделей будет определять из текста именованные сущности, запускают выбранную из набора модель.

Description

СИСТЕМА ОПРЕДЕЛЕНИЯ ИМЕНОВАННЫХ СУЩНОСТЕЙ С
ДИНАМИЧЕСКИМИ ПАРАМЕТРАМИ
ОБЛАСТЬ ИЗОБРЕТЕНИЯ
[0001] Настоящее изобретение относится к извлечению информации из текстов на естественном языке с помощью вычислительных систем, в частности, к системам определения именованных сущностей с динамическими параметрами.
УРОВЕНЬ ТЕХНИКИ
[0002] Извлечение информации является одной из важнейших операций автоматизированной обработки текстов на естественном языке.
[0003] В настоящий момент задача выделения сущностей в документе требуется в ряде отраслей.
[0004] Например, в юридических документах требуется извлекать номер договора, фамилию и имя судьи, заявителя, ответчика, статью кодекса по которой ведется дело, основание для возбуждения дела, даты - все это может быть использовано, например, для поиска документа или автоматического составления шаблона заявления о опротестовании решения в высшей инстанции суда.
[0004] В медицинских документах выделение сущностей таких как возраст пациента, болезнь, лекарства которыми его лечили, даты лечения, прогноз заболевания может быть использовано для автоматического построения карты вероятностей успехов лечения
[0005] В финансовой сфере анализируя разговор клиента с финансовым советником после выделения сущностей таких как зарплата клиента, количество накоплений, количество членов семьи, желаемый срок инвестиций, отношение к определенным ситуациям в жизни можно составить риск профиль и сделать персонализированное предложение клиенту
[0006] Термин «именованная сущность» впервые был введен на шестой Конференции по Пониманию Сообщений (Message Understanding Conference, MUC-6) в 1996 году. MUC-6 и предшествующие ей Конференции по Пониманию Сообщений были посвящены задачам по извлечению информации: получение структурированной информации о компаниях и военных операциях из неструктурированных текстов, как, например, газетных статей и военных сводок. [0007] При постановке задачи по извлечению информации было замечено, что необходимо различать такие информационные единицы, как персона, организация, локация и числовые выражения, включающие в себя время, даты, деньги и проценты. Идентификация в тексте данных сущностей была признана одной из важнейших подзадач извлечения информации и была названа извлечение именованных сущностей.
[0008] В настоящее время используется ряд подходов, каждый из которых обладает своими преимуществами и недостатками.
• Использование словарей сущностей. Этот подход удобен, когда вариантов сущностей малое количество и все их возможно описать - например требуется найти все упоминания закрытого списка членов совета директоров компании. Работает с отличным качеством, зачастую не требует контекста. Однако не справляется если сущность не попала в список. Также необходимо вести и актуализировать списки сущностей.
• Онтологический/семантический подход. Используется граф знаний и разметка частей речи.
• Нейросетевой подход. Используя большое количество размеченных данных возможно обучить систему выделять размеченные сущности, упоминаемые в том же контексте. Требуется большое количество данных, однако система позволяет выделять сущности произвольного размера.
[0009] Из заявки US20090144609A1 (МПК G06F17/00, G06F17/30, опубл. 04.06.2009) известны способ и система обработки естественного языка, в части распознавания сущностей (ERDS). В заявке описывается автоматическое определение того, к каким объектам относится текст, используя методы обработки естественного языка и анализ информации, полученной из контекстуальных данных в тексте.
[0010] Из патента US9619457B1 (МПК G06F17/27, G06K9/00, опубл. 11.04.2017) известен способ обработки текста на естественном языке и, более конкретно, к методам автоматической идентификации значимых объектов в документах. Этот способ описывает идентификацию набора упоминаний сущностей в каждом абстрактном и каждом соответствующем документе на основе их соответствующих частей речи (POS) и анализе зависимостей.
[ООП] Из заявки US20140195884A1 (МПК G06F17/21, G06F17/30, опубл. 10.07.2014) известен способ автоматического извлечения и организации информации устройством обработки из множества источников данных. Для источников данных применяется конвейер для извлечения информации об обработке естественного языка, который включает автоматическое обнаружение объектов. Информация об обнаруженных объектах идентифицируется путем анализа продуктов конвейера обработки естественного языка. Идентифицированная информация сгруппирована в классы эквивалентности, содержащие эквивалентную информацию. Создается хотя бы одно отображаемое представление классов эквивалентности. Вычисляется порядок, в котором отображается хотя бы одно отображаемое представление. Производится комбинированное представление классов эквивалентности, которое соответствует порядку отображения отображаемого представления.
[0012] Таким образом, известные из уровня техники решения, предназначенные для обработки естественного языка, имеют ограниченную функциональность в части выбора определенной архитектуры для распознавания сущностей, а также основным недостатком является то, что в известных решениях обучение осуществляется с использованием метода частичного обучения является чрезмерной генерацией шаблонов, которая для точных и полных результатов требует валидации экспертом.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0013] Технической проблемой, на решение которой направлено заявленное техническое решение, является создание системы определения именованных сущностей с динамическими параметрами. Также существенной решаемой проблемой подобного рода технических решений является осуществление возможности из потока текста узнавать требуемые сущности совершенно разной природы, имея примеры предложений содержащие определенные сущности.
[0014] Технический результат заключается в повышении точности автоматического определения именованных сущностей из текста.
[0015] Именованные сущности (NER - Named-Entity Recognizing)— это объекты определенного типа, чаще всего составные, например, названия организаций, имена людей, даты, места, денежные единицы и т.д. Эти категории могут быть представлены концептами заранее определенной или динамически выстраиваемой онтологии.
Примеры именованных сущностей:
- Имена персоналий: И. Сечин, Ben White;
- Географические названия: р. Ока, гор. Москва; - Названия компаний/организаций: РЖД, ОАО «Уют»;
- Даты и временные отрезки: 02.03.1913, 2 р.ш;
- Номера телефонов: +7(123)456-78-90;
- Адреса: 3-ая улица Строителей д. 25, кв.12;
- Марки товаров: Nokia, Apple, Land Rover;
- Обозначения денежных единиц: руб., $, GBP;
- Ссылки на литературу: [2], [Иванов, 1995];
- Гены, белки, хим. вещества: H2N-CH(R)-COOH.
[0016] Более сложной сущностью являются такие сущности как: приветствие, прощание, разговор о погоде. Сущность может содержать любое количество слов.
[0017] Каждая именованная сущность - это n-грамма в тексте, для которой определен класс. Некоторые примеры классов именованных сущностей:
Новостная тематика: имена персон, названия организаций и геолокаций.
Биологическая тематика: названия протеинов, клеток.
[0018] В предпочтительном варианте реализации заявлена система определения именованных сущностей с динамическими параметрами, содержащая: модуль процессинга исходных текстов на естественном языке, модуль определения тематик именованных сущностей, модуль решающей модели и модуль набора моделей извлечения именованных сущностей из текста, при этом модуль процессинга исходных текстов на естественном языке, выполнен с возможностью:
- приема текста на естественном языке, содержащего неразмеченные наборы предложений или размеченные наборы предложений, содержащие сущности определенного типа;
- анализа полученного текста, для нахождения участков текста, содержащих именованные сущности, а именно: разбивают полученный текст на предложения, осуществляют семантический анализ предложений, после чего выполняют лемматизацию и стемминг слов, при этом образуя массив слов из которого удаляются стоп-слова и пунктуации, группируют слова со схожим смысловым значением, присваивают вес каждому слову в зависимости от частоты встречаемости его в тексте и определяют именованные сущности из сгруппированных слов; модуль определения тематик именованных сущностей, выполнен с возможностью: классифицировать именованные сущности, которые были определены в тексте на разные классы тематик, обнаруживать и классифицировать предопределённых связи между сущностями, которые распознаны в тексте и с помощью онтологического графа связывают классифицированные именованные сущности с соответствующими сущностями из открытой базы знаний; модуль решающей модели, выполнен с возможностью принимать на вход классифицированные тематики именованных сущностей, слабосвязанные тематики и слова с наибольшим весом и с помощью, обученной нейросетевой модели определять какая именно модель извлечения: именованных сущностей из набора моделей будет определять из текста именованные сущности; и модуль набора моделей извлечения именованных сущностей из текста запускает выбранную из набора модель, которая определяет именованные сущности, которые описывают определенные объекты.
[0019] В частном варианте семантическая структура из множества семантических структур представлена графом, включающим множество узлов, соответствующих множеству семантических классов, и множество дуг, соответствующих множеству семантических отношений.
[0020] В другом частном варианте стоп-слова выполнены в виде предлогов и вспомогательных частей речи, а также с использованием базы стоп-слов.
[0021] В другом частном варианте отношения между предложениями могут быть сильно связанные, это если тематики могут пересекаться и слабо связанные.
[0022] В другом частном варианте для классификации тематик используется библиотека с открытым кодом для тематического моделирования больших коллекций текстовых документов (BigARTM).
[0023] В другом частном варианте открытой базой знаний, может быть: DBpedia, Freebase, OpenCyc, Wikidata, YAGO, Wordnet.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0024] Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
Фиг. 1 иллюстрирует общий вид заявленной системы;
Фиг. 2 иллюстрирует общую схему вычислительного устройства.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0025] В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
[0026] Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
[0027] Настоящее изобретение направлено на создание системы определения именованных сущностей с динамическими параметрами.
[0028] Как представлено на Фиг. 1, заявленная система (100) включает связанные между модуль процессинга исходных текстов на естественном языке (110), модуль определения тематик именованных сущностей (120), модуль решающей модели (130) и модуль набора моделей извлечения именованных сущностей из текста (140).
[0029] Модуль процессинга исходных текстов на естественном языке (110) выполнен с возможностью приема текста на естественном языке, содержащего неразмеченные наборы предложений или размеченные наборы предложений, содержащие сущности определенного типа.
[0030] Ниже приведено два примера, как выглядит размеченный текст:
Первый пример:
«[PERSON Bill Gates] is one of the founders of [ORGANIZATION Microsoft], a company well-known in [LOCATION USA] and all over the world.» В первом примере в тексте распознаны именованные сущности (которыми являются слова и словосочетания) и проклассифицированы по предопределенным категориям, таким, как:
- личность - PERSON;
- организации - ORGANIZATION;
- географические объекты - LOCATION.
Второй пример:
[[Андрей] PER]] купил [10 [CNT]] деталей [Него [СОМ]]
Во втором примере в тексте распознаны именованные сущности (которыми являются слова) и проклассифицированы по предопределенным категориям, таким, как:
- личность - PERSON;
- количество - CNT;
- компания - СОМ.
[0030] Далее происходит анализ полученного текста, для того, чтобы найти те участков текста, в которых содержатся именованные сущности.
[0031] Для этого полученный текст разбивают на предложения, после чего осуществляют семантический анализ предложений, то есть определяет смысл этих предложений.
[0032] Семантическая структура из множества семантических структур представлена графом, включающим множество узлов, соответствующих множеству семантических классов, и множество дуг, соответствующих множеству семантических отношений. Семантический анализ может быть построен на базе элементов библиотеки iPavlov или StanfordNLP.
[0033] После чего выполняют лемматизацию и стемминг слов, при этом образуя массив слов из которого удаляются стоп-слова и пунктуации, группируют слова со схожим смысловым значением, присваивают вес каждому слову в зависимости от частоты встречаемости его в тексте и определяют именованные сущности из сгруппированных слов.
[0034] При выполнении этапа лемматизации, осуществляют приведение слов в тексте в их первоначальную словарную форму, например, бежала - бежать. Данный этап осуществляется с помощью словарей или с помощью интеграции правил языка в код - например, определения части речи, окончания и преобразовании окончания в нужное. [0035] При этом стоп-слова выполнены в виде предлогов и вспомогательных частей речи, а также с использованием базы стоп-слов
[0036] В процессе стэмминга происходит приведение слов к основе, а именно, отрезание окончания и формообразующего суффикса.
[0037] Группировка слов со схожим смысловым значением осуществляется с использованием метода word2vec. Обученный на поисковых запросах Word2Vec осуществляет кластеризацию слов по принципу их семантической близости, именно, выявляет семантическую близость слов, например, к чему семантически ближе слово Интернет— к компьютерным сетям или космическим пространства). После чего слова со схожим значением располагаются ближе друг к другу.
[0038] Для присвоения веса каждому слову используется функция tf-idf или ВМ25.
Функция TF-IDF (TF — частота слова, IDF — обратная частота документа) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употребления этого слова в документе и обратно пропорционален частоте употребления слова во всех документах коллекции.
Функция ВМ25 используется для упорядочивания слов в тексте по их релевантности, а именно по весу.
[0039] Модуль определения тематик именованных сущностей (120) выполнен с возможностью классифицировать именованные сущности, которые были определены в тексте на разные классы тематик, обнаруживать и классифицировать предопределённых связи между сущностями, которые распознаны в тексте и с помощью онтологического графа связывают классифицированные именованные сущности с соответствующими сущностями из открытой базы знаний.
[0040] Для классификации тематик используется библиотека с открытым кодом для тематического моделирования больших коллекций текстовых документов (BigARTM), можно также использовать метод k-средних (k-means) на векторах.
[0041] Далее с помощью онтологического графа связывают классифицированные именованные сущности с соответствующими сущностями из открытой базы знаний. Данный этап необходим для того чтобы расширять список сущностей и слов, подаваемых на вход решающей модели. Отношения могут быть разной степени связанности. Сильно связанные это когда тематики могут пересекаться - например, тематика - великие политики и великие военачальники. Слабо связанные это, например, виды слонов и виды бабочек. Степень связанности решается по дереву онтологий. Онтологический граф может быть построен на базе WordNet. Например слово саг - машина связано со словами auto, automobile, machine, motorcar (автомобиль, тачка).
[0042] Открытыми базами знаний, могут быть такими, как: DBpedia, Freebase, OpenCyc, Wikidata, YAGO, Wordnet
[0043] Модуль решающей модели (130), выполнен с возможностью принимать на вход классифицированные тематики именованных сущностей, слабосвязанные тематики и слова с наибольшим весом и с помощью, обученной нейросетевой модели например многослойной сверточной сети с функцией оптимизации softmax и 5 слоями нейронов определять какая именно модель извлечения именованных сущностей из набора моделей будет определять из текста именованные сущности.
[0044] Модуль набора моделей извлечения именованных сущностей из текста (140) запускает выбранную из набора модель, которая определяет именованные сущности, которые описывают определенные объекты.
[0045] На Фиг. 2 далее будет представлена общая схема компьютерного устройства (200), обеспечивающего обработку данных, необходимую для реализации заявленного решения.
[0046] В общем случае устройство (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну память (202), средство хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206).
[0047] Процессор (201) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (200) или функционала одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202).
В частности, процессор (201) может представлять собой микропроцессор с полным набором команд (CISC), микропроцессор с сокращенным набором команд (RISC), микропроцессор с командными словами сверхбольшой длины (VLIW), процессор, реализующий другой набор команд, или процессоры, реализующие комбинацию наборов команд. Процессор (201) также может представлять собой одно или несколько вычислительных устройств специального назначения, например, заказную интегральную микросхему (ASIC), программируемую пользователем вентильную матрицу (FPGA), процессор цифровых сигналов (DSP), сетевой процессор и т.п. Процессор (201) настроен на выполнение команд для осуществления рассмотренных в настоящем документе операций и функций.
[0048] Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
[0049] Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки транзакционных запросов (логов), идентификаторов пользователей и т.п.
[0050] Интерфейсы (204) представляют собой стандартные средства для подключения, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.
[0051] Выбор интерфейсов (204) зависит от конкретного исполнения устройства (200), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
[0052] В качестве средств В/В данных (205) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
[0053] Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi- Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (205) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
[0054] Компоненты устройства (200) сопряжены посредством общей шины передачи данных (210).
[0055] В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники. [0056] Некоторые части описания предпочтительных вариантов реализации представлены в виде алгоритмов и символического представления операций с битами данных в памяти компьютера. Такие описания и представления алгоритмов представляют собой средства, используемые специалистами в области обработки данных, чтобы наиболее эффективно передавать сущность своей работы другим специалистам в данной области. В настоящем документе и в целом алгоритмом называется самосогласованная последовательность операций, приводящих к требуемому результату. Операции требуют физических манипуляций с физическими величинами. Обычно, хотя и не обязательно, эти величины принимают форму электрических или магнитных сигналов, которые можно хранить, передавать, комбинировать, сравнивать и подвергать другим манипуляциям. Оказалось, что прежде всего для обычного использования удобно описывать эти сигналы в виде битов, значений, элементов, символов, членов, цифр и т.д.
[0057] Однако следует иметь в виду, что все эти и подобные термины должны быть связаны с соответствующими физическими величинами, и что они представляют собой просто удобные метки, применяемые к этим величинам. Если иное специально и недвусмысленно не указано в нижеследующем обсуждении, следует принимать, что везде по тексту такие термины как "определение", "вычисление", "расчет", "вычисление", "получение", "установление", "изменение" и т.п., относятся к действиям и процессам вычислительного устройства или аналогичного электронного вычислительного устройства, которое работает с данными и преобразует данные, представленные в виде физических (например, электронных) величин в регистрах и памяти вычислительного устройства, в другие данные, аналогичным образом представленные в виде физических величин в памяти или регистрах вычислительного устройства, либо других подобных устройствах хранения, передачи или отображения информации.
[0058] Следует понимать, что вышеприведенное описание носит иллюстративный, а не ограничительный характер. Различные другие варианты осуществления станут очевидны специалистам в данной области техники после прочтения и понимания приведенного выше описания. Поэтому объем раскрытия должен определяться со ссылкой на прилагаемую формулу изобретения наряду с полным объемом эквивалентов, на которые такие требования предоставляют право.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Система определения именованных сущностей с динамическими параметрами, содержащая: модуль процессинга исходных текстов на естественном языке, модуль определения тематик именованных сущностей, модуль решающей модели и модуль набора моделей извлечения именованных сущностей из текста, при этом модуль процессинга исходных текстов на естественном языке, выполнен с возможностью:
- приема текста на естественном языке, содержащего неразмеченные наборы предложений или размеченные наборы предложений, содержащие сущности определенного типа;
- анализа полученного текста, для нахождения участков текста, содержащих именованные сущности, а именно: разбивают полученный текст на предложения, осуществляют семантический анализ предложений, после чего выполняют лемматизацию и стемминг слов, при этом образуя массив слов из которого удаляются стоп-слова и пунктуации, группируют слова со схожим смысловым значением, присваивают вес каждому слову в зависимости от частоты встречаемости его в тексте и определяют именованные сущности из сгруппированных слов; модуль определения тематик именованных сущностей, выполнен с возможностью: классифицировать именованные сущности, которые были определены в тексте на разные классы тематик, обнаруживать и классифицировать предопределённых связи между сущностями, которые распознаны в тексте и с помощью онтологического графа связывают классифицированные именованные сущности с соответствующими сущностями из открытой базы знаний; модуль решающей модели, выполнен с возможностью принимать на вход классифицированные тематики именованных сущностей, слабосвязанные тематики и слова с наибольшим весом и с помощью, обученной нейросетевой модели определять какая именно модель извлечения именованных сущностей из набора моделей будет определять из текста именованные сущности; и модуль набора моделей извлечения именованных сущностей из текста запускает выбранную из набора модель, которая определяет именованные сущности, которые описывают определенные объекты.
2. Система по п.1, характеризующаяся тем, что семантическая структура из множества семантических структур представлена графом, включающим множество узлов, соответствующих множеству семантических классов, и множество дуг, соответствующих множеству семантических отношений.
3. Система по п.1, характеризующаяся тем, что стоп-слова выполнены в виде предлогов и вспомогательных частей речи, а также с использованием базы стоп-слов.
4. Система по п.1, характеризующаяся тем, что для присвоения веса каждому слову используется функция tf-idf или ВМ25.
5. Система по п.1, характеризующаяся тем, что отношения между предложениями могут быть сильно связанные, это если тематики могут пересекаться и слабо связанные.
6. Система по п.1, характеризующаяся тем, что для классификации тематик используется библиотека с открытым кодом для тематического моделирования больших коллекций текстовых документов (BigARTM).
7. Система по п.1, характеризующаяся тем, что открытой базой знаний, может быть: DBpedia, Freebase, OpenCyc, Wikidata, YAGO, Wordnet.
PCT/RU2018/000712 2018-10-30 2018-10-30 Система определения именованных сущностей с динамическими параметрами Ceased WO2020091618A1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/RU2018/000712 WO2020091618A1 (ru) 2018-10-30 2018-10-30 Система определения именованных сущностей с динамическими параметрами
EP18938933.1A EP3876137A4 (en) 2018-10-30 2018-10-30 SYSTEM FOR IDENTIFICATION OF NAMED UNITS WITH DYNAMIC PARAMETERS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2018/000712 WO2020091618A1 (ru) 2018-10-30 2018-10-30 Система определения именованных сущностей с динамическими параметрами

Publications (1)

Publication Number Publication Date
WO2020091618A1 true WO2020091618A1 (ru) 2020-05-07

Family

ID=70462662

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2018/000712 Ceased WO2020091618A1 (ru) 2018-10-30 2018-10-30 Система определения именованных сущностей с динамическими параметрами

Country Status (2)

Country Link
EP (1) EP3876137A4 (ru)
WO (1) WO2020091618A1 (ru)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666379A (zh) * 2020-06-11 2020-09-15 腾讯科技（深圳）有限公司 一种事件元素提取方法和装置
CN112559739A (zh) * 2020-12-01 2021-03-26 广东电网有限责任公司广州供电局 电力设备绝缘状态数据处理方法
CN112699249A (zh) * 2020-12-31 2021-04-23 上海浦东发展银行股份有限公司 基于知识图谱的信息处理方法、装置、设备及存储介质
CN113032586A (zh) * 2021-03-19 2021-06-25 京东数字科技控股股份有限公司 对文本中的时间信息进行提取的方法、装置及电子设备
CN113220878A (zh) * 2021-05-06 2021-08-06 西安电子科技大学 一种基于知识图谱的ocr识别结果分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144609A1 (en) 2007-10-17 2009-06-04 Jisheng Liang NLP-based entity recognition and disambiguation
US20140195884A1 (en) 2012-06-11 2014-07-10 International Business Machines Corporation System and method for automatically detecting and interactively displaying information about entities, activities, and events from multiple-modality natural language sources
US9135238B2 (en) * 2006-03-31 2015-09-15 Google Inc. Disambiguation of named entities
US9619457B1 (en) 2014-06-06 2017-04-11 Google Inc. Techniques for automatically identifying salient entities in documents
RU2619193C1 (ru) * 2016-06-17 2017-05-12 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Многоэтапное распознавание именованных сущностей в текстах на естественном языке на основе морфологических и семантических признаков
RU2636098C1 (ru) * 2016-10-26 2017-11-20 Общество с ограниченной ответственностью "Аби Продакшн" Использование глубинного семантического анализа текстов на естественном языке для создания обучающих выборок в методах машинного обучения
RU2665239C2 (ru) * 2014-01-15 2018-08-28 Общество с ограниченной ответственностью "Аби Продакшн" Автоматическое извлечение именованных сущностей из текста

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135238B2 (en) * 2006-03-31 2015-09-15 Google Inc. Disambiguation of named entities
US20090144609A1 (en) 2007-10-17 2009-06-04 Jisheng Liang NLP-based entity recognition and disambiguation
US20140195884A1 (en) 2012-06-11 2014-07-10 International Business Machines Corporation System and method for automatically detecting and interactively displaying information about entities, activities, and events from multiple-modality natural language sources
RU2665239C2 (ru) * 2014-01-15 2018-08-28 Общество с ограниченной ответственностью "Аби Продакшн" Автоматическое извлечение именованных сущностей из текста
US9619457B1 (en) 2014-06-06 2017-04-11 Google Inc. Techniques for automatically identifying salient entities in documents
RU2619193C1 (ru) * 2016-06-17 2017-05-12 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Многоэтапное распознавание именованных сущностей в текстах на естественном языке на основе морфологических и семантических признаков
RU2636098C1 (ru) * 2016-10-26 2017-11-20 Общество с ограниченной ответственностью "Аби Продакшн" Использование глубинного семантического анализа текстов на естественном языке для создания обучающих выборок в методах машинного обучения

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3876137A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666379A (zh) * 2020-06-11 2020-09-15 腾讯科技（深圳）有限公司 一种事件元素提取方法和装置
CN111666379B (zh) * 2020-06-11 2023-09-22 腾讯科技（深圳）有限公司 一种事件元素提取方法和装置
CN112559739A (zh) * 2020-12-01 2021-03-26 广东电网有限责任公司广州供电局 电力设备绝缘状态数据处理方法
CN112699249A (zh) * 2020-12-31 2021-04-23 上海浦东发展银行股份有限公司 基于知识图谱的信息处理方法、装置、设备及存储介质
CN112699249B (zh) * 2020-12-31 2022-11-15 上海浦东发展银行股份有限公司 基于知识图谱的信息处理方法、装置、设备及存储介质
CN113032586A (zh) * 2021-03-19 2021-06-25 京东数字科技控股股份有限公司 对文本中的时间信息进行提取的方法、装置及电子设备
CN113032586B (zh) * 2021-03-19 2023-11-03 京东科技控股股份有限公司 对文本中的时间信息进行提取的方法、装置及电子设备
CN113220878A (zh) * 2021-05-06 2021-08-06 西安电子科技大学 一种基于知识图谱的ocr识别结果分类方法

Also Published As

Publication number Publication date
EP3876137A4 (en) 2021-11-03
EP3876137A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
Chen et al. A comparative study of automated legal text classification using random forests and deep learning
Arora et al. Character level embedding with deep convolutional neural network for text normalization of unstructured data for Twitter sentiment analysis
Christian et al. Text based personality prediction from multiple social media data sources using pre-trained language model and model averaging
Abro et al. Natural language processing challenges and issues: A literature review
Dobson Interpretable Outputs: Criteria for Machine Learning in the Humanities.
Majeed et al. Deep-EmoRU: mining emotions from roman urdu text using deep learning ensemble
Almiman et al. Deep neural network approach for Arabic community question answering
EP3876137A1 (en) System for identifying named entities with dynamic parameters
Tun et al. A large-scale sentiment analysis using political tweets
Jayasudha et al. A survey on sentimental analysis of student reviews using natural language processing (NLP) and text mining
Castillo et al. Text analysis using different graph-based representations
Patil et al. Hate speech detection using deep learning and text analysis
Amjad et al. Survey of fake news datasets and detection methods in european and asian languages
Rahman et al. A dynamic strategy for classifying sentiment from Bengali text by utilizing Word2vector model
CN115809334A (zh) 事件关联性分类模型的训练方法、文本处理方法及装置
Kavitha et al. A review on machine learning techniques for text classification
Ribeiro et al. Discovering IMRaD structure with different classifiers
CN113361252A (zh) 基于多模态特征和情感词典的文本抑郁倾向检测系统
Panthum et al. Generating functional requirements based on classification of mobile application user reviews
Das et al. Analysis of bangla transformation of sentences using machine learning
Cervero Use of lexical and psycho-emotional information to detect Hate Speech Spreaders on Twitter
Gao et al. Exploiting linked open data to uncover entity types
Kuttiyapillai et al. Improved text analysis approach for predicting effects of nutrient on human health using machine learning techniques
Henriquez et al. Aspect Extraction for Opinion Mining with a Semantic Model.
Dhanya et al. Comparative performance of machine learning algorithms in detecting offensive speech in malayalam-english code-mixed data

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018938933

Country of ref document: EP

Effective date: 20210531

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18938933

Country of ref document: EP

Kind code of ref document: A1