«Нарушений не найдено» ещё не значит, что их нет: как проверить саму проверку

Пустой отчёт бывает у двух проверок: у той, что посмотрела и ничего не нашла, и у той, что не смогла посмотреть. Снаружи они выглядят одинаково.

Отчёт без находок

Подрядчик присылает аудит рекламы: нарушений нет. Сервис проверки контрагента отвечает: рисков не найдено. Отчёт по кабинету показывает ноль проблемных кампаний. Собственник выдыхает и идёт заниматься другим.

С июня по август я строил такие проверки. В компании IT-консалтинга, где я руководил маркетингом, рекламные кабинеты вели несколько подразделений, и раз в месяц их проверяли по рубрике из 21 критерия. Проверку делали AI-агенты, результаты шли в таблицу, а по ней подводили итоги месяца. Ошибка в такой проверке стоила дорого: по её выводам принимали решения о работе подразделений.

Пороги считала программа, а не ИИ «на глаз»: из 21 критерия 16 считались программой, 3 доверили ИИ, 1 остался ручным. Пороги мы сверили с записями живых аудиторов за 2025–2026 годы, и они совпали. Разошлись в одном: живые аудиторы смягчали вывод, если у кампании хорошая конверсия. Это мы оставили решать человеку. Минимум данных тоже взяли из их практики: меньше 20 кликов — выводов не делаем, статистики мало.

Казалось бы, всё продумано. Но летом 2026 года проверка трижды ошиблась одинаково, и один раз мы поймали это до отчёта.

Три случая, где «пусто» означало «не посмотрели»

Случай первый: ложные обвинения. Один критерий проверял, настроены ли в кампаниях корректировки ставок. Запрос к рекламной системе требовал обязательный параметр, без него каждый запрос падал с ошибкой. Ошибка честно лежала в служебном поле ответа, которое никто не читал. Проверка видела пустой ответ и делала вывод «корректировок нет», то есть нарушение. Этот критерий ошибался в 100% случаев. Когда в августе разобрались, из отчёта ушли 34 ложные находки за месяц, а прежний прогон на 144 находки пришлось признать недостоверным.

В том же прогоне всплыла ещё одна ошибка: подразделение определялось по приставке в названии кампании, а одну и ту же приставку использовали два разных кабинета. В результате у одного подразделения вместо 46 находок числилось 130. Представьте разговор об итогах месяца по такой таблице.

Случай второй: «кабинет пуст». Один кабинет проверка дважды признала пустым. Кампаний нет, проверять нечего. На деле весь кабинет был на типе кампаний, который рекламная система просто не отдаёт через стандартный список. Эти кампании видны только в отчётах о расходе, и расход был живой, весь год. Деньги тратились, а проверка считала, что тратить нечему.

Случай третий: здоровый снимок из 5 кампаний. Для настроек, которые не отдаются автоматически, мы собрали инструмент, читающий их прямо из интерфейса кабинета. При обрыве связи этот инструмент успевал прочитать 5 кампаний из 58 и объявлял снимок полным. Эту ошибку поймала проверка кода, до того как она попала в отчёт. После починки инструмент разобрал 58 кампаний из 58, а сверка с ручной выгрузкой дала 406 совпавших значений из 406.

Почему так бывает

Во всех трёх случаях проверка не падала и не жаловалась. Она получала пустоту и превращала её в вывод: «нарушение», «кабинета нет», «снимок готов». Сломаться и замолчать для такого инструмента не самое страшное. Страшнее, когда он спокойно выдаёт уверенные выводы на пустом месте.

Есть и вторая причина, более человеческая. В начале лета мы проверяли другого агента, который собирал досье на контрагента. Прогнали его на 6 юрлицах и 1 ИП: базовая карточка сходилась примерно в 95% случаев, по нашей оценке. А блок проверки рисков (банкротства, приставы, суды) не работал вообще, и до этого прогона проверить его было не на чем: в тестовом наборе не оказалось ни одной проблемной компании. Проверка выглядела готовой ровно потому, что её гоняли на удобных примерах.

Что мы изменили

1. Пустота перестала означать чистоту. Если у кампании, которая реально крутилась, пустое важное поле, это считается подозрением на поломку, а не находкой. Если таких полей больше 20%, весь снимок помечается как негодный.
2. Ошибки идут в отчёт. Если запрос не прошёл, в отчёте появляется пометка, что этот пункт проверить не удалось, а не «нарушений нет».
3. «Кабинет пуст» больше нельзя утверждать по списку кампаний. Только по отчёту о расходе: если деньги тратились, значит, есть что проверять.
4. Проверку проверяют на известной проблеме. Пример того, как это выглядит, у нас был ещё в июле: тот же набор проверок перенесли на кабинет другой компании, и первый же прогон дал 17 находок. Среди них критичная: объявление вело на несуществующую страницу бронирования, и именно поэтому онлайн-бронь там была нулевой.

Как проверить свою проверку

Не важно, кто проверяет вашу рекламу: подрядчик, отдел или сервис. Эти вопросы можно задать на одной встрече.

1. Попросите показать случай, где проверка нашла проблему. Лучше подложите известную вам проблему сами: остановленную кампанию с расходом, ссылку на несуществующую страницу. Если проверка её не увидела, её «нарушений нет» ничего не стоит.
2. Спросите, что происходит, когда данные не загрузились. Правильный ответ: в отчёте появляется строка «не удалось проверить». Неправильный ответ: «такого не бывает».
3. Сверьте охват. Сколько кампаний в отчёте проверки и сколько кампаний с расходом в кабинете за тот же месяц. Если в отчёте 5, а тратили 58, это не аудит.
4. Сверьте «пусто» с деньгами. Если проверка говорит, что проблем нет или кампаний нет, посмотрите расход за тот же период. Расход без кампаний в отчёте означает, что часть кабинета проверка не видит.
5. Узнайте, кто ставит пороги. Если от выводов зависят деньги (оплата подрядчику, его смена), пороги должны быть записаны и одинаковы каждый месяц, а не определяться «на глаз» каждый раз заново.

Если хотите, чтобы на эти вопросы кто-то ответил за вас, оставьте заявку на бесплатный разбор: посмотрю сайт, рекламу и приём заявок и покажу три находки на созвоне.

Главный вывод

Собрать автоматическую проверку несложно. Дорого другое: заранее договориться, что именно считать проблемой, и потом честно проверить, что проверка умеет её находить. Отчёт без находок полезен только тогда, когда вы знаете, что та же проверка на прошлой неделе находила настоящую проблему.