Mproving knowledge management in an organization with NLP models

Abstract

In recent years, it has become prevalent for software development to be held from different places in different time zones. In such a setup, to manage projects efficiently it is crucial to pay special attention to knowledge management inside the organization. The purpose of the article is to provide suggestions for improving knowledge management in the organization using NLP models. In this paper, we use a hybrid approach to build a chatbot integrated into a company’s messaging system, so employees can use it almost the same way as if they ask a question to their colleagues. Questions are processed by the proposed framework, and the answer is posted next to the message of the question. While companies often have a lot of documentation in different kinds of wikis and documents, it may be challenging to find an answer to a question on time. Often, employees have to wait hours to get help from colleagues in other time zones. Having an intelligent chatbot inside an organization capable of answering questions using internal docsas a source could be beneficial. In this paper, we proposed an approach to building an intelligent chatbot, utilizing pre-build NLP models for efficient retrieval of documents, similar to the employee’s query, and further extracting answersfrom these documents. We combine the Sentence BERT document retrieval model with the RoBERTa-based answer extraction model. Apache Beam project wiki was used as an example of the company’s internal wiki. The proposed approach was evaluated on a test dataset containing 63 question-answer pairs in SQuAD format, and showed good performance, with F1 and Exact Match scores being ~0.73 and ~0.53 respectively. Thus, enterprises can use the same technique to build internal chatbots to facilitate knowledge managemensОстаннім часом розробка програмного забезпечення дедалі частіше відбувається за участі команд, розподілених по різних місцях та часових поясах. За таких умов, для ефективного управління проектами вкрай важливо приділяти особливу увагу управлінню знаннями всередині організації. Метою статті є надання пропозицій щодо вдосконалення управління знаннями в організації за допомогою NLP моделей. У цій статті ми використовуємо гібридний підхід для створення чат-бота, інтегрованого в систему обміну повідомленнями компанії, щоб співробітники могли використовувати його майже так само, як якщо б вони ставили запитання своїм колегам. Питання опрацьовуються запропонованим фреймворком, а відповідь розміщується поруч із повідомленням запитання. Незважаючи на те, що компанії зазвичай мають досить багато документації в різноманітних wiki-сторінках та документах, знайти вчасно відповідь на запитання буває досить складно. Часто співробітникам доводиться годинами чекати, щоб отримати допомогу від колег, що працюють в інших часових зонах. Для організації може бути корисним використання інтелектуального чат-бота, здатного відповідати на запитання, використовуючи внутрішню документацію як джерело. У цій статті ми пропонуємо підхід до створення чат-бота, що використовує попередньо створені NLP моделі для пошуку документів, релевантних запиту співробітника, та подальшого вилучення відповідей із цих документів. Запропоновано поєднуати модель пошуку документів Sentence BERT із моделлю вилучення відповідей на основі моделі RoBERTa. Документація проекту Apache Beam була використана як приклад внутрішньої документації компанії. Запропонований підхід було оцінено на тестовому наборі даних, що містив 63 пари запитань-відповідей у ​​форматі SQuAD, і показав хорошу продуктивність, з оцінками F1 та Exact Match ~ 0,73 та ~ 0,53 відповідно. Таким чином, підприємства можуть використовувати схожий підхід для створення внутрішніх чат-ботів для полегшення управління знаннями.