ПРОЕКТ

Программное обеспечение базы знаний на базе ИИ с указанием источников

Разработка индивидуального программного обеспечения, Загрузка закрытых документов, Вопросы и ответы ИИ по документам, Семантический поиск, Векторное извлечение, Указание источников, Анализ документов, Аналитика

  • Отрасль: Юридические услуги
  • Италия Местоположение: Италия
  • Срок разработки: 16 недели
  • Технологии: Python, JavaScript / TypeScript (Node.js)
4+ месяца

Этот клиент - юридическая фирма, которая тратит много времени на поиск надежных ответов в конфиденциальных документах. Программное обеспечение обрабатывает закрытые документы и файлы из облачных хранилищ, а затем предоставляет ответы на естественном языке на основе базы знаний фирмы. Указание источников, названия документов и ссылки на страницы показывают, откуда взят каждый ответ. Платформа также поддерживает анализ документов, извлечение структурированных данных, управление доступом и мониторинг использования.

Краткое описание

Проблема

Юридическая фирма тратит время на извлечение и проверку конфиденциальных документов, прежде чем отвечать на юридические вопросы.

Решение

Решением стала закрытая ИИ-платформа для вопросов и ответов по документам с семантическим извлечением, указанием источников, анализом и контролируемым доступом.

Результат

Платформа создана для сокращения ручной работы с документами и необоснованных ответов при сохранении видимых доказательств.

История клиента

Клиент - юридическая фирма из Италии. Она работает с конфиденциальными юридическими документами и корпоративными данными, включая договоры, материалы дел и судебные документы.

Поиск нужных фрагментов и проверка документов занимают время. Фирме нужны ответы, которые можно отследить до предоставленных файлов.

Запрос был простым: обеспечить функцию вопросов и ответов на естественном языке на основе закрытых документов, с указанием источников и анализом документов.

Решение создавалось как централизованная база знаний с контролируемым доступом, загрузкой документов, векторным извлечением и ответами с указанием источников. Инструменты анализа и администрирования были созданы как отдельные модули.

Клиент хотел

  1. Отвечать на вопросы, используя предоставленные документы и данные организации
  2. Показывать указание источников и сокращать количество необоснованных ответов
  3. Поддерживать семантический, векторный, гибридный и инкрементальный поиск
  4. Извлекать, сравнивать, обобщать, классифицировать и отображать данные документов в отчетах

Почему готовое программное обеспечение не подошло

Готовые решения охватывали юридических ассистентов и аналитику юридических данных, однако их описания не объединяли закрытое содержимое фирмы, необходимые доказательства, загрузку и анализ документов в одной индивидуальной системе. Решение было создано с контролируемым размещением и правилами доступа. Оно также учитывало рабочий процесс фирмы с документами и потребности API.

Обзор проекта

Решение создано вокруг централизованной базы знаний. Пользователи добавляют юридические файлы и подключенные источники, а статус обработки и контроль доступа обеспечивают прозрачность коллекций и ограниченный доступ.

Для обработки различных источников документов платформа извлекает содержимое из PDF, файлов Word и электронных таблиц. Она также обрабатывает сканированные документы, веб-сайты, содержимое Google Drive и Dropbox.

Содержимое разделяется на фрагменты, преобразуется в векторные представления и сохраняется для последующего извлечения.

Среда вопросов и ответов объединяет семантический или гибридный поиск с ответом, сгенерированным ИИ. Ссылки на страницы и выделенные фрагменты обеспечивают близость доказательств к исходному тексту.

Отдельная среда анализа отображает пункты договоров, даты и стороны. Она также показывает обязательства, риски и сводные данные.

Результаты сравнений и анализа пробелов помогают компании проверять содержимое документов на соответствие эталонным стандартам.

Администрирование охватывает пользователей, роли и разрешения. Оно также включает журналы разговоров и аудиторские действия.

Платформа предоставляет API для обработки и извлечения документов. Модульная структура позволяет добавлять формы, автоматизацию, интеграции и функции анализа.

Ключевые реализованные функции

  • Закрытая база знаний юридических документов
  • Загрузка документов и фильтры источников
  • Вопросы и ответы ИИ по документам
  • Семантическое, векторное, гибридное и инкрементальное извлечение
  • Указание источников со ссылками на страницы
  • Выделенные подтверждающие фрагменты
  • Анализ документов и пунктов договоров
  • Извлечение структурированных полей
  • Сравнение и анализ пробелов
  • Ролевой доступ и аудиторские журналы

Можно добавить

+ Ассистент базы знаний для клиентов + Ассистент по знаниям о продуктах и поддержке + Дополнительные источники облачных хранилищ + Индивидуальные отчеты + Дополнительная автоматизация работы с документами

Кому еще может быть полезно это решение

У этих компаний похожая задача поиска документов, поэтому то же решение можно адаптировать под их содержимое и правила доступа.

Организация по обеспечению соответствия требованиям

Задача Она проверяет нормативные документы и сравнивает их с эталонными стандартами.
Как помогает решение Решение находит нужные фрагменты, показывает указание источников и отображает структурированные выводы и анализ пробелов.

Медицинская организация

Задача Она ищет в закрытых документах и анализирует информацию в регулируемых материалах.
Как помогает решение Решение объединяет контролируемый доступ, ответы с указанием источников, извлечение данных документов и доступную для поиска базу знаний.

Команда корпоративной поддержки

Задача Ей нужны ответы из закрытых знаний о продуктах, поддержке, продажах или партнерах.
Как помогает решение Решение превращает файлы организации в доступного для поиска ассистента с ответами, основанными на доказательствах.

Технологический стек

Python

Обработка документов и API

Python обеспечивает извлечение и обработку данных документов, а также API приложений.

JavaScript / TypeScript (Node.js)

Интерфейс и сервисы извлечения

JavaScript и TypeScript обеспечивают интерфейс приложения, интеграции и сервисы извлечения.

pymupdf

Извлечение содержимого PDF

pymupdf (библиотека Python для извлечения и обработки PDF) считывает содержимое PDF для базы знаний.

mammoth

Чтение документов Word

mammoth (библиотека, преобразующая файлы DOCX в читаемый HTML или Markdown) подготавливает содержимое Word для поиска.

langchain

Объединение компонентов RAG

langchain (набор инструментов для объединения языковых моделей, промптов, эмбеддингов и векторных хранилищ) поддерживает ответы с дополнением извлеченными данными.

pgvector

Хранение векторных эмбеддингов

pgvector (поддержка векторного поиска в PostgreSQL) хранит представления документов для семантического извлечения.

qdrant

Векторный поиск документов

qdrant (клиент векторного поиска) извлекает фрагменты по семантическому сходству.

PDF, DOCX, XLSX, CSV

Обработка исходных файлов

Платформа обрабатывает PDF, файлы Word, электронные таблицы и CSV-файлы как источники документов.

Интеграции

Google Drive

Google Drive предоставляет документы для базы знаний через выбор файлов или подключение к хранилищу.

Dropbox

Dropbox предоставляет закрытые файлы для загрузки и извлечения.

PostgreSQL

PostgreSQL хранит записи приложения и работает вместе с pgvector для хранения эмбеддингов документов.

Результат

Доступная для поиска база знаний объединяет источники в одном месте

Первый экран предоставляет фирме единое место для добавления закрытых файлов и просмотра доступной для поиска коллекции. Контроль доступа обеспечивает соответствие видимости источников правилам фирмы.

На экране отображается статус обработки документов и подключенных источников.

Как это работает

  1. Платформа получает содержимое PDF, Word, DOCX, электронных таблиц, сканированных документов, веб-сайтов, Google Drive и Dropbox.
  2. Библиотеки обработки документов извлекают текст и подготавливают исходные фрагменты для загрузки.
  3. База знаний отображает документы, типы источников, типы файлов, статус обработки и контроль доступа.
  • Централизованная коллекция закрытых документов
  • Фильтры источников и типов файлов
  • Контролируемый доступ к источникам знаний
Совет: Первая рабочая версия проверяется на типичных файлах клиента, чтобы правила и настройки соответствовали стандартам фирмы.
База знаний и загрузка документов

База знаний и загрузка документов

Функции, доступные на этом экране
Загрузить документы Загрузить документы рабочего процесса

Ответы с указанием источников упрощают проверку результатов поиска по документам

Экран вопросов и ответов предоставляет ответ на естественном языке на основе документов, предоставленных фирмой. Указание источников связывает ответ с исходными файлами, страницами и выделенными фрагментами.

История чата сохраняет предыдущие вопросы и ответы для дальнейшего изучения.

Как это работает

  1. Платформа получает вопрос пользователя и извлекает соответствующие разделы документов.
  2. ИИ генерирует ответ на основе извлеченных разделов и данных организации.
  3. На экране отображается ответ с указанием источников, названиями документов, ссылками на страницы и выделенными фрагментами.
  • Ответы ИИ на основе источников
  • Ссылки на документы и страницы
  • Выделенные подтверждающие фрагменты
Примечание: Ответ остается связанным с исходными материалами, а не превращается в необоснованный ответ без доказательств.
Вопросы и ответы по документам с указанием источников

Вопросы и ответы по документам с указанием источников

Функции, доступные на этом экране
Вопросы и ответы ИИ по документам Извлечь соответствующие разделы документов Указание источников в ответах

Статус извлечения показывает, как работает поиск по документам

Техническая среда делает загрузку и извлечение прозрачными для ответственных сотрудников платформы. Она отображает фрагменты документов, эмбеддинги, результаты поиска и статус API.

В зависимости от настроек извлечения можно использовать семантический, векторный, гибридный или инкрементальный поиск.

Как это работает

  1. Очередь загрузки подготавливает фрагменты документов и генерирует векторные эмбеддинги.
  2. Векторное хранилище регистрирует эмбеддинги и возвращает результаты семантического или гибридного поиска.
  3. Статус API показывает состояние извлечения документов.
  • Статус эмбеддингов
  • Статус векторного хранилища
  • Видимость режима поиска
Семантическое извлечение и статус эмбеддингов

Семантическое извлечение и статус эмбеддингов

Функции, доступные на этом экране
Сгенерировать эмбеддинги Сохранить эмбеддинги Создать конвейеры RAG

Анализ документов превращает фрагменты в понятные выводы

Среда анализа отображает структурированную информацию из юридических документов, включая даты, стороны и обязательства. Она также показывает риски и пункты договоров.

Панель сводки, режим сравнения и результаты анализа пробелов помогают фирме проверять содержимое документов на соответствие эталонным стандартам.

Как это работает

  1. Среда отображает извлеченные даты, стороны, обязательства, риски и пункты договоров.
  2. Панель сводки показывает краткое содержание документов, а в режиме сравнения содержимое документов отображается вместе.
  3. Результаты анализа пробелов сравнивают информацию документов с эталонными стандартами.
  • Структурированные поля
  • Список пунктов договоров
  • Сравнение и анализ пробелов
Среда анализа документов

Среда анализа документов

Администрирование делает доступ и действия прозрачными

Экран администрирования предоставляет фирме контроль над пользователями, ролями, разрешениями источников и действиями платформы. Журналы, отзывы и отчеты об ошибках поддерживают постоянный мониторинг.

Аналитика использования отображается рядом с историей разговоров и аудиторским журналом.

Как это работает

  1. Платформа учитывает пользователей, роли и разрешения источников знаний.
  2. В представлении администрирования отображаются история разговоров, аналитика использования, отзывы и отчеты об ошибках.
  3. Аудиторский журнал регистрирует соответствующие действия платформы для последующей проверки.
  • Управление пользователями и ролями
  • Журналы разговоров
  • Аудиторский журнал
Администрирование и аналитика использования

Администрирование и аналитика использования

Что обеспечивает решение

С помощью этого решения юридическая фирма может:

  • Искать в закрытых юридических документах с помощью вопросов на естественном языке
  • Проверять ответы вместе с указанием источников и выделенными фрагментами
  • Использовать семантическое, векторное, гибридное или инкрементальное извлечение
  • Извлекать структурированную юридическую информацию для проверки
  • Сравнивать документы с эталонными стандартами
  • Управлять доступом, разговорами и аудиторскими действиями

Могут ли готовые системы выполнить эту работу?

До разработки задача сравнивалась с готовыми продуктами на основе их собственных описаний.

Что нужно клиенту Юридические ИИ-ассистенты AI Legal Assistant, Harvey AI, Clio Work Платформы юридических данных Relativity, Rev, DISCO Platform Системы юридических рабочих процессов Filevine, Eve Legal, 8am DocketWise Индивидуальное решение
Отвечать на основе предоставленных документов частично частично
Показывать отслеживаемые указания источников — — —
Поддерживать семантический и гибридный поиск — частично —
Извлекать и сравнивать данные документов —
Соответствовать правилам клиента: этапам, ролям и отчетам частично частично частично
Все шаги в одном месте — — —
Без ручных действий между программами частично — частично

На основе публичных описаний продуктов и их категорий.

Необходимые компоненты существуют в готовых юридических ассистентах, платформах юридических данных и системах юридических рабочих процессов. Готового продукта может быть достаточно, если требуется только одна часть задачи.

Этому клиенту требовалось собственное программное обеспечение, поскольку источники документов, указание источников, анализ, правила доступа и методы извлечения должны были работать в одном процессе, а не быть разделены между отдельными продуктами. Также требовалось контролируемое соединение между источниками, поиском, ответами и анализом.

В заключение

В итоге решение было создано для сокращения ручной работы между закрытым юридическим документом и отслеживаемым ответом.

ЧАСТЫЕ ВОПРОСЫ

Думаете о создании похожей системы? Эти ответы объясняют основные решения для закрытого поиска по документам и ответов ИИ с указанием источников.