Документация
Сибирь.Аудит 1.2.0

Описание функциональных характеристик

Программа для ЭВМ «Сибирь.Аудит» (Siberia Audit), версия 1.2.0. Правообладатель - ООО «ФИИ».

1. Общие сведения

2. Назначение и область применения

Программа предназначена для автоматизированного технического аудита веб-сайтов и подготовки рекомендаций по устранению выявленных дефектов.

Область применения — деятельность организаций, эксплуатирующих корпоративные сайты и информационные ресурсы: контроль технического состояния ресурса, проверка корректности структурированных данных, оценка доступности и адаптивности интерфейса, контроль корректности карты перенаправлений при переносе ресурса, оценка готовности ресурса к обработке автоматическими системами поиска на основе искусственного интеллекта.

Ключевая особенность программы — детерминированность. Все оценки, баллы и вердикты вычисляются по кодифицированным правилам с версионированием их набора. Программа не использует генеративные модели для формирования оценок и не обращается к внешним сервисам: анализируется только содержимое проверяемого ресурса. Каждая находка сопровождается сведениями о происхождении: источник, примененное правило, версия набора правил.

3. Функциональные характеристики

3.1. Технический аудит страницы.

Загрузка и разбор страницы, выполнение набора из 31 детерминированной проверки, вычисление итогового балла по формуле «100 минус сумма весов выявленных дефектов» с нижней границей 0. Недоступность ресурса (коды ответа 4xx, 5xx) устанавливает балл 0. Страница, вернувшая успешный код при пустом содержимом, помечается признаком необходимости повторной загрузки, а не признается страницей без заголовка. Проверяются доступность, индексируемость, канонические адреса, заголовки и описания, иерархия заголовков, объем содержания, язык и кодировка, защищенное соединение, смешанное содержимое, языковые соответствия и заголовки доверия.

3.2. Аудит структурированных данных.

Проверка разметки в формате JSON-LD: выявление синтаксически некорректной разметки с указанием проблемного фрагмента, обнаружение неинтерпретированных служебных конструкций, проверка корректности заполнения по типам сущностей, агрегирование результатов по ресурсу с определением наиболее проблемных страниц и инвентаризацией используемых типов.

3.3. Аудит интерфейса и адаптивности.

Проверки доступности интерфейса (поля без подписей, ссылки и кнопки без доступного имени, нарушение иерархии заголовков, блокировка масштабирования), проверки адаптивности (фиксированные размеры, мелкий шрифт, отсутствие отложенной загрузки изображений) и проверка контрастности в объеме объявленных на элементе значений цвета и фона. Формируется двуязычное описание выявленных дефектов.

3.4. Анализ отображаемой структуры документа.

Проверки над итоговой структурой документа: выявление содержимого, недоступного без исполнения сценариев, пустой первой видимой области, горизонтального переполнения, скрытого текста, изображений без объявленных размеров, ресурсов, блокирующих отображение.

3.5. Оценка готовности к системам поиска на основе искусственного интеллекта.

Оценка пригодности содержания страницы для цитирования автоматическими системами: полнота и структурированность изложения, актуальность сведений, глубина структурированной разметки, наличие признаков экспертности и подтверждаемости утверждений.

3.6. Анализ признаков содержания и локальной релевантности.

Проверка содержания на соответствие заданным требованиям к полноте и достоверности, выявление недостающих смысловых блоков, оценка признаков локальной релевантности и коммерческих признаков страницы.

3.7. Проверка требований к содержанию.

Выявление в содержании страницы утверждений, не допускаемых требованиями к рекламной и информационной деятельности, а также утверждений, не подкрепленных проверяемыми сведениями.

3.8. Аудит карты перенаправлений.

Сверка карты перенаправлений с фактически используемыми адресами: выявление адресов, приводящих к ошибке после переноса ресурса, с сортировкой по значимости; выявление цепочек перенаправлений, конфликтующих правил, циклов и правил, ведущих на несуществующие адреса.

3.9. Программный интерфейс.

Предоставление результатов через программный интерфейс по протоколу HTTP: сокращенный отчет (итоговый балл и приоритетные рекомендации) и полный отчет (все находки с доказательствами, версией набора правил, методом расчета балла и результатом проверки правил индексирования). Реализованы защита от обращения к внутренним сетевым ресурсам, ограничение частоты обращений, ограничение числа одновременных обработок и кэширование результатов.

3.10. Семантическая оценка содержания.

Программа сравнивает тексты по смыслу, а не по совпадению слов. Для этого фрагменты документа переводятся в числовые векторы нейросетевой моделью, и близость вычисляется между векторами. Оценок три: отвечает ли начало раздела на вопрос своего заголовка, повторяет ли документ сам себя и чем материал отличается от эталонных текстов по теме. Каждая оценка возвращается вместе с признаком того, чем она получена: моделью или запасным лексическим способом.

4. Ограничения применимости

4.1. Загрузка страниц выполняется без исполнения сценариев на стороне клиента. Для ресурсов, содержание которых формируется средствами браузера, проверки, относящиеся к объему и структуре содержания (в частности, оценка объема текста и наличия заголовка первого уровня), дают заниженный результат. Достоверными для таких ресурсов остаются проверки заголовков ответа, мета-тегов, правил индексирования, перенаправлений и структурированных данных.

4.2. Программа не изменяет проверяемый ресурс и не публикует исправления: результатом работы являются выявленные дефекты и рекомендации.

4.3. Программа не измеряет позиции ресурса в поисковых системах и не использует сведения из внешних источников данных.

4.4. Оценки формируются исключительно по кодифицированным правилам. Дефект, не описанный правилом действующего набора, не выявляется.

4.5. Указанные ограничения обусловлены принятым при разработке решением обеспечить автономность программы и воспроизводимость ее оценок.

5. Технические характеристики

6. Сведения о компонентах

6.1. Программа использует библиотеки с открытым исходным кодом, распространяемые на условиях свободных лицензий (MIT, BSD-3-Clause, Apache-2.0, MPL-2.0, PSF-2.0): средства разбора разметки, средства выполнения сетевых запросов, средства валидации данных, средства ведения журналов и средства реализации программного интерфейса. Полный перечень с версиями и условиями лицензий приведен в отдельном документе.

6.2. Программа не содержит иностранных проприетарных компонентов, использование которых требует получения лицензий у иностранных лиц.

6.3. Программа не осуществляет обращений к внешним сервисам обработки данных, не требует подключения к внешним программным интерфейсам и не имеет функций принудительного обновления или управления, осуществляемых с территории иностранных государств.

6.4. Автономность подтверждена контрольным прогоном на изолированном стенде при программно заблокированной возможности установления сетевых соединений: все компоненты успешно загружены и выполнены, попыток обращения к внешним ресурсам не зафиксировано.

7. Сведения об обработке персональных данных

7.1. Программа не предназначена для обработки персональных данных. Обрабатываются исключительно общедоступные сведения, размещенные на проверяемом ресурсе.

7.2. Хранение и передача персональных данных граждан Российской Федерации за пределы Российской Федерации программой не осуществляются.

8. Отнесение к сфере искусственного интеллекта

8.1. Программа относится к сфере искусственного интеллекта. Основанием является реализованный в ней метод вывода: программа представляет собой экспертную систему, построенную на версионируемой базе знаний — кодифицированном наборе правил с весами, — и формирует вердикты и итоговую оценку путем применения этих правил к разобранному представлению проверяемого документа. Экспертные системы и системы, основанные на знаниях, относятся к технологиям искусственного интеллекта в соответствии с Национальной стратегией развития искусственного интеллекта, утвержденной Указом Президента Российской Федерации от 10.10.2019 № 490.

8.2. Программа выполняет задачу, результат которой сопоставим с результатом интеллектуальной деятельности специалиста: выявление дефектов веб-ресурса, их квалификация по значимости и формирование рекомендаций по устранению. Заключение выносится автоматически, без участия человека.

8.3. Отдельные функции программы имеют предметной областью системы искусственного интеллекта: оценка пригодности содержания для цитирования автоматическими системами поиска на основе искусственного интеллекта (пункт 3.5) и проверка условий доступа таких систем к проверяемому ресурсу.

8.4. Метод вывода является детерминированным. Генеративные языковые модели к формированию оценок не привлекаются. Детерминированность выбрана осознанно: она обеспечивает воспроизводимость результата и прослеживаемость каждого вердикта до конкретного правила и версии их набора, что необходимо для применения результатов в контрольных и приемочных процедурах. Отсутствие генеративных моделей не выводит программу за пределы сферы искусственного интеллекта: оно характеризует способ реализации, а не предметную область.

8.5. Обучение моделей машинного обучения в составе программы не производится, обращений к внешним сервисам обработки данных не выполняется.

8.6. В редакции 1.2.0 в состав программы включена подсистема семантических оценок и обученная модель представления текста (пункт 3.10). Модель применяется к разбору проверяемого документа и не является генеративной: она не порождает текст, а сопоставляет имеющийся. Сказанное в пунктах 8.4 и 8.5 сохраняет силу: вердикты правил остаются детерминированными, обучение моделей в составе программы не производится, обращений к внешним сервисам не выполняется.

9. Техническая поддержка

9.1. Техническая поддержка осуществляется правообладателем — ООО «ФИИ» — на территории Российской Федерации силами сотрудников общества. Передача обращений третьим лицам и за пределы Российской Федерации не осуществляется.

9.2. Канал обращений: электронная почта support@siberia-ai.ru, телефон +7 (383) 288-82-82. Режим работы — рабочие дни с 9:00 до 18:00 (UTC+7). Срок реакции — не более одного рабочего дня.

9.3. Сведения о технической поддержке размещены на официальном сайте правообладателя https://siberia-ai.ru.

9.4. Гарантийные обязательства и порядок обновления определяются лицензионным договором.

Информация, необходимая для установки экземпляра

Экземпляр поставляется архивом по лицензионному договору вместе с контрольной суммой SHA-256. Обученная модель входит в архив, отдельно ее скачивать не требуется.

1. Состав экземпляра

В архив входит исходный текст программы на языке Python и каталог sibir_audit/models с обученной моделью представления текста и словарем токенизатора. Модель занимает 117 142 976 байт и загружается программой с файловой системы. Отдельно скачивать ее не требуется.

2. Проверка экземпляра перед установкой

Перед распаковкой сверьте контрольную сумму полученного архива с указанной в разделе 1. Несовпадение означает, что файл поврежден или подменен, и установку продолжать нельзя.

sha256sum sibir-audit-1.2.0.zip

В операционной системе Windows та же проверка выполняется командой:

certutil -hashfile sibir-audit-1.2.0.zip SHA256

3. Требования к среде

Средства виртуализации, контейнеризации, отдельный веб-сервер и система управления базами данных не требуются. Связь с правообладателем для работы программы не нужна.

4. Установка

4.1. Распаковать архив в каталог эксплуатанта.

unzip sibir-audit-1.2.0.zip -d sibir-audit

4.2. Создать изолированное окружение и установить зависимости, перечисленные в файле pyproject.toml.

python3 -m venv .venv && . .venv/bin/activate
pip install -e sibir-audit

4.3. Убедиться, что каталог sibir_audit/models распакован вместе с исходным текстом. Без него программа продолжит работать, но семантические оценки будут считаться запасным лексическим способом, о чем программа сообщит признаком основания оценки.

5. Запуск

Программный интерфейс поднимается штатным сервером приложений:

uvicorn sibir_audit.public_audit:app --host 127.0.0.1 --port 8080

Проверка одной страницы выполняется обращением к интерфейсу:

curl -X POST http://localhost:8080/check -H "Content-Type: application/json" -d '{"url": "https://example.org/"}'

Экземпляр для экспертной проверки: sibir-audit-1.2.0.zip, SHA-256 3a0913d4c46a482730bcd19689e1c4756692617e8d59f4dfefcc14ba3752e8f6.

Информация, необходимая для эксплуатации экземпляра

Порядок работы, прекращение работы и техническая поддержка.

6. Эксплуатация

6.1. Результат проверки возвращается в виде структуры с перечнем выявленных дефектов, их значимостью, сведениями о происхождении каждого вывода и рекомендацией по устранению.

6.2. Пороги принятия решений в программу не заложены и настраиваются эксплуатирующей организацией под свои задачи.

6.3. Журнал работы ведется в стандартный поток вывода и может быть перенаправлен средствами операционной системы.

6.4. Обновление выполняется заменой каталога программы на новую редакцию с предварительной проверкой контрольной суммы по разделу 2.

7. Прекращение работы и удаление

Работа прекращается остановкой процесса сервера. Удаление выполняется удалением каталога программы и изолированного окружения. Данные эксплуатанта программа за пределы его контура не передает.

8. Техническая поддержка

Обращения принимаются по адресу info@siberia-ai.ru. Порядок и сроки поддержки определяются лицензионным договором.

Условия предоставления прав использования: Лицензионная политика ООО «ФИИ» и приложение № 1 с тарифными позициями «Сибирь.Аудит».

Процессы, обеспечивающие поддержание жизненного цикла

Устранение неисправностей, выявленных в ходе эксплуатации, совершенствование программного обеспечения и сведения о персонале, необходимом для обеспечения такой поддержки.

1. Общие сведения

1.1. Настоящий документ описывает процессы, обеспечивающие поддержание жизненного цикла программы для ЭВМ «Сибирь.Аудит», в том числе устранение неисправностей, выявленных в ходе эксплуатации, совершенствование программы, а также сведения о персонале, необходимом для обеспечения такой поддержки.

1.2. Все процессы, предусмотренные настоящим документом, выполняются правообладателем — ООО «ФИИ» — на территории Российской Федерации силами работников общества. Передача обращений и сведений третьим лицам и за пределы Российской Федерации не осуществляется.

1.3. Действующая редакция настоящего документа размещается на официальном сайте правообладателя и доступна без ограничений и без регистрации.

2. Состав процессов жизненного цикла

2.1. Поддержание жизненного цикла программы обеспечивается совокупностью процессов:

— прием и регистрация обращений пользователей;

— диагностика и устранение неисправностей, выявленных в ходе эксплуатации;

— совершенствование программы, включая актуализацию набора правил;

— сборка, проверка и выпуск версий, предоставление обновлений лицензиатам;

— консультирование пользователей по вопросам эксплуатации;

— ведение учета обращений и выпущенных версий.

2.2. Гарантийное обслуживание, техническая поддержка и модификация исходного текста программы осуществляются правообладателем. Привлечение иностранных юридических лиц и иностранных граждан к выполнению указанных процессов не осуществляется.

3. Прием обращений

3.1. Обращение регистрируется в журнале обращений с присвоением номера и указанием даты поступления, версии программы, описания ситуации и способа связи с заявителем.

3.2. Заявителю сообщается регистрационный номер обращения и предварительная классификация в срок, не превышающий срока реакции.

3.3. Обращения, не относящиеся к работе программы (вопросы эксплуатации, консультации по применению), обрабатываются в том же порядке и завершаются письменным разъяснением.

4. Устранение неисправностей

4.1. Неисправностью признается несоответствие фактического поведения программы описанию функциональных характеристик действующей версии.

4.2. Обращения классифицируются по степени влияния на эксплуатацию:

Конкретные сроки устранения по обращению сообщаются заявителю после установления причины неисправности и зависят от ее характера. Обязательства по срокам могут быть приняты Обществом в лицензионном договоре с конкретным лицензиатом.

4.3. Порядок устранения: регистрация обращения — воспроизведение ситуации на стенде правообладателя — установление причины — внесение изменений в исходный текст программы — проверка исправления, включая регрессионную проверку ранее выявленных дефектов — выпуск версии — уведомление заявителя.

4.4. Если причина неисправности находится в компоненте с открытым исходным кодом, входящем в состав программы, устранение производится обновлением версии такого компонента либо изменением порядка его использования. Перечень компонентов и условия их лицензий приведены в отдельном документе.

4.5. Если воспроизвести ситуацию не удалось, заявителю направляется мотивированный ответ с указанием выполненных проверок и перечнем сведений, необходимых для продолжения диагностики.

5. Совершенствование программы

5.1. Источниками изменений являются: обращения лицензиатов, изменения открытых стандартов и рекомендаций, применяемых при проверках (разметка структурированных данных, правила индексирования, требования доступности интерфейса), а также собственные исследования правообладателя.

5.2. Проверки программы выполняются по кодифицированным правилам, объединенным в версионированный набор. Изменение состава или весов правил влечет присвоение набору нового обозначения в формате «ГГГГ.ММ». Обозначение набора правил указывается в каждом отчете программы, что обеспечивает сопоставимость результатов, полученных в разное время.

5.3. Версии программы нумеруются двумя числами. Увеличение первого числа обозначает изменения, нарушающие совместимость программного интерфейса; увеличение второго — расширение функциональности и исправления, совместимость сохраняющие.

5.4. Перед выпуском версии выполняются автоматизированные проверки, воспроизводимая сборка дистрибутива по сборочному скрипту и вычисление контрольной суммы дистрибутива по алгоритму SHA-256. Контрольная сумма сообщается лицензиатам вместе с дистрибутивом.

5.5. Программа не содержит функций принудительного обновления и не выполняет обращений к внешним сервисам. Решение об установке новой версии принимает лицензиат.

6. Предоставление обновлений

6.1. При использовании программы по подписке обновление выполняется правообладателем на экземпляре, размещенном у правообладателя; действий со стороны лицензиата не требуется.

6.2. При развертывании программы в инфраструктуре лицензиата обновление предоставляется в виде дистрибутива с контрольной суммой и перечнем изменений. Порядок установки приведен в документации, содержащей информацию, необходимую для установки и эксплуатации программы.

6.3. Обновления, ограничивающие или прекращающие работу программы, а также обновления, инициируемые с территории иностранных государств, не предусмотрены и технически не реализованы.

7. Персонал

7.1. Процессы, предусмотренные настоящим документом, обеспечивает работник правообладателя — генеральный директор, являющийся автором программы. В его обязанности входят прием и разбор обращений, диагностика, внесение изменений в исходный текст, сборка и выпуск версий, ведение документации.

7.2. Требуемая квалификация: владение языком программирования Python версии не ниже 3.12, знание протокола HTTP и форматов представления структурированных данных, знание применяемых при проверках открытых стандартов, навыки работы с системой контроля версий и средствами автоматизированного тестирования.

7.3. Численность персонала соответствует объему программы (70 файлов, 15 425 строк исходного текста) и текущему числу лицензиатов. При увеличении числа лицензиатов предусмотрено выделение отдельных ролей — разработчик и инженер технической поддержки — с сохранением требований пункта 1.2 настоящего документа.

7.4. Привлечение к поддержке иностранных юридических лиц, иностранных граждан и лиц без гражданства не осуществляется.

8. Учет и хранение

8.1. Исходный текст программы хранится правообладателем в системе контроля версий с сохранением истории изменений; выпущенные дистрибутивы хранятся вместе с контрольными суммами.

8.2. Правообладатель ведет журнал обращений и перечень выпущенных версий с указанием даты выпуска, состава изменений и обозначения набора правил.

8.3. Сведения, поступающие в обращениях, используются исключительно для устранения неисправностей и совершенствования программы.

9. Заключительные положения

9.1. Настоящий документ подлежит актуализации при изменении порядка технической поддержки, каналов обращений или состава персонала.

9.2. Гарантийные обязательства правообладателя и порядок предоставления обновлений в части, не урегулированной настоящим документом, определяются лицензионным договором.