Сибирь AI

Документация Сибирь.Зрение 0.1.0

Описание функциональных характеристик программы для ЭВМ, информация, необходимая для установки, информация, необходимая для эксплуатации, и описание процессов, обеспечивающих поддержание жизненного цикла программного обеспечения. Документы размещены в открытом доступе, регистрация не требуется.

Подготовлено правообладателем — ООО «ФИИ», ИНН 5402076457. Редакция от .

31файл, 2 915 строк Python 3.12язык реализации 0.1.0версия экземпляра
Функциональные характеристики Установка Эксплуатация Жизненный цикл
Часть 1

Описание функциональных характеристик

Программа для ЭВМ «Сибирь.Зрение» (Siberia.Zrenie), версия 0.1.0. Правообладатель — ООО «ФИИ».

ОПИСАНИЕ ФУНКЦИОНАЛЬНЫХ ХАРАКТЕРИСТИК

программы для ЭВМ «Сибирь.Зрение», версия 0.1.0

Правообладатель: ООО «Финансовый искусственный интеллект», ОГРН 1235400001870.

1. Назначение. Программа предназначена для распознавания документов и извлечения из них реквизитов. Развертывается в инфраструктуре эксплуатанта. Программа не обращается к внешним сервисам распознавания и не передает обрабатываемые материалы за пределы контура эксплуатанта, работа в закрытом контуре без доступа к сети «Интернет» предусмотрена и является штатным режимом.

2. Функциональные возможности.

2.1. Прием изображений и файлов формата PDF через программный интерфейс с ограничением размера загружаемого материала.

2.2. Предобработка изображения: приведение к градациям серого, выравнивание, определение ориентации листа с оценкой достоверности поворота.

2.3. Растеризация страниц документа с настраиваемым разрешением и ограничением числа страниц.

2.4. Распознавание текста подключаемым распознавателем с сохранением координат слов, построчной разметки и оценок достоверности по каждому слову. Если документ содержит пригодный текстовый слой, предпочтение отдается ему.

2.5. Извлечение полей документа по шаблонам, описанным в декларативной форме и хранимым отдельно от программы. Шаблон задает искомое поле, способ его поиска и способ проверки.

2.6. Проверка извлеченных реквизитов контрольными разрядами: идентификационный номер налогоплательщика, код причины постановки на учет, банковский идентификационный код, номер счета. Проверка ведется контрольными разрядами, а не длиной строки.

2.7. Нормализация числовых и денежных величин, включая запись суммы прописью.

2.8. Раздельное хранение материалов по заказчикам с проверкой идентификатора заказчика до обращения к файловой системе.

2.9. Разграничение доступа по ключам с разделением прав администратора и заказчика.

2.10. Автоматическое удаление исходных материалов по истечении установленного срока хранения, с режимом предварительного осмотра без удаления.

2.11. Программный интерфейс управления с автоматически формируемым описанием.

3. Отнесение к сфере искусственного интеллекта. Программа выполняет распознавание текста на изображении документа и извлечение из него значений реквизитов по формализованным шаблонам, то есть преобразует изображение в структурированные данные без участия оператора. По этому признаку программа относится к сфере искусственного интеллекта.

4. Отличительные особенности. При недоступности распознавателя или неверной настройке программа возвращает названную ошибку и ненулевой код завершения, а не пустой результат. Шаблоны извлечения отделены от программы, что позволяет изменять состав извлекаемых полей без изменения программы. Обработка персональных данных ограничена сроком хранения, задаваемым эксплуатантом.

5. Технические сведения. Язык программирования Python версии не ниже 3.11. Хранение сведений о заказчиках в системе управления базами данных PostgreSQL. Распознавание текста выполняется подключаемым распознавателем через стандартные потоки ввода и вывода. Операционная система Linux, включая Astra Linux и ALT Linux. Тип ЭВМ: IBM PC-совместимый компьютер, серверное оборудование.

Генеральный директор ООО «ФИИ» ______________ / Виноградов В. Г. /

М. П.

Часть 2

Информация, необходимая для установки

Экземпляр поставляется архивом по лицензионному договору вместе с контрольной суммой SHA-256.

ИНСТРУКЦИЯ ПО УСТАНОВКЕ И ЭКСПЛУАТАЦИИ

экземпляра программы для ЭВМ «Сибирь.Зрение», версия 0.1.0

Правообладатель: ООО «Финансовый искусственный интеллект», ОГРН 1235400001870.

Экземпляр программы: siberia_zrenie-0.1.0-py3-none-any.whl, объем 64 852 байта, SHA-256 58d294755e707e10ec13ae86d6095a3bd7bfac6cf87cb2526245977ed735d6b1.

Часть I. Установка экземпляра

1. Требования к среде.

  • Python версии не ниже 3.11.
  • PostgreSQL версии не ниже 16 для промышленной установки. Для осмотра экземпляра база не требуется: службу можно поднять и посмотреть состав, не создавая схему.
  • Распознаватель текста Tesseract с языковыми данными rus и eng, если требуется распознавание. При его отсутствии программа запускается и отвечает названной ошибкой, а не пустым результатом.
  • Операционная система Linux, включая Astra Linux и ALT Linux.

2. Установка.


      python -m venv /opt/zrenie/venv
      /opt/zrenie/venv/bin/pip install siberia_zrenie-0.1.0-py3-none-any.whl

Зависимости устанавливаются автоматически. Перечень компонентов третьих лиц и их лицензий приведен в файле LICENSE-THIRD-PARTY.md внутри пакета.

3. Настройка. Обязательны две настройки:


      SECRET_KEY=<не короче 32 знаков>
      API_ADMIN_KEY=<не короче 24 знаков>

Для промышленной установки задаются также:


      DATABASE_URL=postgresql+asyncpg://пользователь:пароль@хост:5432/база
      TESSERACT_CMD=/usr/bin/tesseract
      TESSDATA_PREFIX=/usr/share/tesseract-ocr/5/tessdata
      DATA_DIR=/var/lib/zrenie
      DOCUMENT_TEMPLATES_DIR=/etc/zrenie/templates

Настройки читаются из окружения и из файла .env рядом со службой.

4. Создание схемы и запуск.


      siberia-zrenie shema
      siberia-zrenie sluzhba --host 0.0.0.0 --port 8080

Первая команда создает таблицы продукта и печатает их список, вторая поднимает службу.

5. Проверка установки.


      curl http://127.0.0.1:8080/health   ->  {"status":"ok"}
      curl http://127.0.0.1:8080/about    ->  {"product":"Сибирь.Зрение","version":"0.1.0"}

Полный состав программного интерфейса доступен по адресам /docs и /openapi.json.

Часть II. Эксплуатация экземпляра

6. Роли и доступ. Доступ к интерфейсу выполняется по ключу в заголовке X-API-Key. Предусмотрены две роли. Администратор предъявляет ключ из настройки API_ADMIN_KEY и имеет полный доступ. Заказчик предъявляет выданный ему ключ и видит только свои материалы. Разделение обеспечивается тем, что файлы хранятся в каталоге заказчика, а идентификатор заказчика проверяется до обращения к файловой системе.

7. Шаблоны извлечения реквизитов. Хранятся в каталоге DOCUMENT_TEMPLATES_DIR в формате YAML. Шаблон описывает, где в документе искать поле и как его проверить. Изменение шаблонов не требует изменения программы.

8. Обработка документа. Заказчик передает изображение или файл PDF через программный интерфейс. Программа выполняет предобработку, распознавание и извлечение реквизитов, возвращает распознанный текст и извлеченные поля с оценками достоверности.

9. Срок хранения и удаление.


      siberia-zrenie retenciya --suho
      siberia-zrenie retenciya

Первая команда считает, что будет удалено, и ничего не трогает. Вторая удаляет. Обе печатают отчет: сколько просмотрено, сколько удалено, сколько освобождено и каков возраст старшего из оставленных документов. При неверной настройке, нулевом сроке хранения, отсутствующем каталоге данных или материале вне подкаталога документов заказчика команда возвращает названную ошибку и код завершения 3, а не ноль удаленных.

10. Лицензия. Статус лицензии виден в ответе /about. При отсутствии файла лицензии программа работает в демонстрационном режиме с уменьшенными пределами, а не отказывает в работе.

Генеральный директор ООО «ФИИ» ______________ / Виноградов В. Г. /

М. П.

Часть 3

Информация, необходимая для эксплуатации

Ниже приведена инструкция по установке и эксплуатации экземпляра целиком.

ИНСТРУКЦИЯ ПО УСТАНОВКЕ И ЭКСПЛУАТАЦИИ

экземпляра программы для ЭВМ «Сибирь.Зрение», версия 0.1.0

Правообладатель: ООО «Финансовый искусственный интеллект», ОГРН 1235400001870.

Экземпляр программы: siberia_zrenie-0.1.0-py3-none-any.whl, объем 64 852 байта, SHA-256 58d294755e707e10ec13ae86d6095a3bd7bfac6cf87cb2526245977ed735d6b1.

Часть I. Установка экземпляра

1. Требования к среде.

  • Python версии не ниже 3.11.
  • PostgreSQL версии не ниже 16 для промышленной установки. Для осмотра экземпляра база не требуется: службу можно поднять и посмотреть состав, не создавая схему.
  • Распознаватель текста Tesseract с языковыми данными rus и eng, если требуется распознавание. При его отсутствии программа запускается и отвечает названной ошибкой, а не пустым результатом.
  • Операционная система Linux, включая Astra Linux и ALT Linux.

2. Установка.


      python -m venv /opt/zrenie/venv
      /opt/zrenie/venv/bin/pip install siberia_zrenie-0.1.0-py3-none-any.whl

Зависимости устанавливаются автоматически. Перечень компонентов третьих лиц и их лицензий приведен в файле LICENSE-THIRD-PARTY.md внутри пакета.

3. Настройка. Обязательны две настройки:


      SECRET_KEY=<не короче 32 знаков>
      API_ADMIN_KEY=<не короче 24 знаков>

Для промышленной установки задаются также:


      DATABASE_URL=postgresql+asyncpg://пользователь:пароль@хост:5432/база
      TESSERACT_CMD=/usr/bin/tesseract
      TESSDATA_PREFIX=/usr/share/tesseract-ocr/5/tessdata
      DATA_DIR=/var/lib/zrenie
      DOCUMENT_TEMPLATES_DIR=/etc/zrenie/templates

Настройки читаются из окружения и из файла .env рядом со службой.

4. Создание схемы и запуск.


      siberia-zrenie shema
      siberia-zrenie sluzhba --host 0.0.0.0 --port 8080

Первая команда создает таблицы продукта и печатает их список, вторая поднимает службу.

5. Проверка установки.


      curl http://127.0.0.1:8080/health   ->  {"status":"ok"}
      curl http://127.0.0.1:8080/about    ->  {"product":"Сибирь.Зрение","version":"0.1.0"}

Полный состав программного интерфейса доступен по адресам /docs и /openapi.json.

Часть II. Эксплуатация экземпляра

6. Роли и доступ. Доступ к интерфейсу выполняется по ключу в заголовке X-API-Key. Предусмотрены две роли. Администратор предъявляет ключ из настройки API_ADMIN_KEY и имеет полный доступ. Заказчик предъявляет выданный ему ключ и видит только свои материалы. Разделение обеспечивается тем, что файлы хранятся в каталоге заказчика, а идентификатор заказчика проверяется до обращения к файловой системе.

7. Шаблоны извлечения реквизитов. Хранятся в каталоге DOCUMENT_TEMPLATES_DIR в формате YAML. Шаблон описывает, где в документе искать поле и как его проверить. Изменение шаблонов не требует изменения программы.

8. Обработка документа. Заказчик передает изображение или файл PDF через программный интерфейс. Программа выполняет предобработку, распознавание и извлечение реквизитов, возвращает распознанный текст и извлеченные поля с оценками достоверности.

9. Срок хранения и удаление.


      siberia-zrenie retenciya --suho
      siberia-zrenie retenciya

Первая команда считает, что будет удалено, и ничего не трогает. Вторая удаляет. Обе печатают отчет: сколько просмотрено, сколько удалено, сколько освобождено и каков возраст старшего из оставленных документов. При неверной настройке, нулевом сроке хранения, отсутствующем каталоге данных или материале вне подкаталога документов заказчика команда возвращает названную ошибку и код завершения 3, а не ноль удаленных.

10. Лицензия. Статус лицензии виден в ответе /about. При отсутствии файла лицензии программа работает в демонстрационном режиме с уменьшенными пределами, а не отказывает в работе.

Генеральный директор ООО «ФИИ» ______________ / Виноградов В. Г. /

М. П.

Часть 4

Процессы, обеспечивающие поддержание жизненного цикла

Устранение неисправностей, совершенствование программы и сведения о персонале, необходимом для обеспечения такой поддержки.

ОПИСАНИЕ ПРОЦЕССОВ,

обеспечивающих поддержание жизненного цикла программы для ЭВМ «Сибирь.Зрение»

Правообладатель: ООО «Финансовый искусственный интеллект», ОГРН 1235400001870.

1. Хранение исходного кода. Исходный код Программы хранится в репозитории системы контроля версий GitFlic, размещенном в юрисдикции Российской Федерации, в отдельной ветви разработки Программы. Иностранные сервисы размещения исходного кода, сборки и распространения не используются.

2. Персонал. Разработку, приемку, сборку и сопровождение Программы обеспечивает правообладатель силами работника Общества на территории Российской Федерации.

3. Порядок внесения изменений. Приемка изменения фиксируется до его внесения. Каждое изменение сопровождается проверкой, которая до внесения изменения давала отрицательный результат, а после внесения дает положительный. Проверка, которая ни при каком входе не давала отрицательного результата, приемкой не считается.

4. Автоматизированные проверки. Поставка сопровождается набором автоматизированных проверок. В их числе: запуск продукта при физически отсутствующем диалоговом ядре, сверка состава таблиц базы данных с закрытым перечнем в обе стороны, сверка состава маршрутов со схемой программного интерфейса, проверка отсутствия в настройках полей телефонии, речевых сервисов и базы знаний, разбор денежных сумм и проверка реквизитов, поведение при отсутствующем распознавателе, удаление по сроку хранения с отказом при неверной настройке. У каждой проверки есть отрицательный контроль.

5. Сборка поставки. Дистрибутив собирается закрепленным по составу и порядку способом. Контрольная сумма экземпляра фиксируется и не изменяется от сборки к сборке при неизменном исходном коде. Обязательным шагом приемки поставки является установка в чистое окружение, где сопутствующая платформа физически отсутствует.

6. Сопровождение. Выявленные дефекты и их разбор ведутся в репозитории. Причина дефекта устраняется как класс, а не как отдельный случай.

7. Обновление. Функций принудительного обновления и управления Программой с территории иностранных государств Программа не содержит. Исправления оформляются выпуском новой версии.

Генеральный директор ООО «ФИИ» ______________ / Виноградов В. Г. /

М. П.