Сибирь AI

Как мы проверяем
свою работу

Мы не считаем сделанным то, что не падало на контрольном примере. Здесь описано, как устроена проверка программ и сайта.

Обновлено .

Правило, из которого все остальное

Изменение засчитывается, только если есть проверка, которая падала до правки. Не «тесты зеленые», а показанный вход, на котором проверка краснеет.

Посев: проверяем сами проверки

Отчет «проверено сорок, подтвердилось сорок, расхождений ноль» заполнить проще, чем проверить. Поэтому в собственные проверки мы подсаживаем известные поломки и смотрим, сколько поймается.

Проверка, которая не краснеет на сломанном коде, не проверяет ничего.

Своя программа, проверенная только собой, ничего не доказывает: так проверяется согласованность двух своих ошибок. Поэтому результат сверяем с независимой реализацией, где она есть.

Проверяем там, где потребитель

Правка в репозитории не на сайте, пока не выложена. Поэтому после выкладки проверки гоняются по рабочему сайту, а не только по копии на диске, и копия отдельно сверяется с сайтом побайтно.

Зеленое и красное проверяем на честность

Молчание неотличимо от успеха, и это самый частый способ обмануть себя.

Упасть может проверка, а не предмет. Прежде чем чинить, устанавливаем, что именно сломалось.

Снимок до и после

Автоматика не видит, что элемент стал невидимым. Разметка правильная, цвета из переменных оформления, проверки зеленые, а на экране неверно.

Так нашлось, что при печати страницы четыре листа из семи выходили пустыми: разделы появлялись по прокрутке, а до нижних человек не долистывает перед тем, как нажать печать.

Числа, а не слова

На сегодня по сайту работают:

  • Проверка готовности страниц, четырнадцать признаков, с посевом на каждый.
  • Проверка карты сайта против самого сайта.
  • Проверка того, что у страницы один адрес, а не несколько.
  • Замер попарной схожести страниц между собой.
  • Приемка кеша и сжатия по заголовкам, которые видит браузер.

Каждый набор запускается одной командой и печатает результат по каждому случаю.

Как проверить нас самим

Контрольные суммы программ и порядок сверки поставки описаны в проверочном комплекте. Документация к каждой программе собрана в меню «Документация».

Техническую проверку своей страницы можно запустить на странице проверки: ее делает та же программа Сибирь.Аудит, что ставится у заказчика.

Чего мы не проверяем

Этот раздел обязателен. Пустой список непроверенного означает, что о проверке не думали.

  • Файрфокс. В нашей среде он не запускается, и обходить это ограничение мы не стали.
  • Настоящий Сафари на айфоне. Движок на стенде это не то же самое, и мы на этом уже один раз споткнулись.
  • Браузеры старше трех лет. Проверок на них нет.
  • Экранный диктор. Проверка была глазами, а не читалкой.