Как тестировать пять вариантов креатива и не убить бюджет на установы

Сколько креативов тестировать за один раз

Самая частая ошибка — запустить десять креативов с бюджетом 50 долларов на каждый и надеяться, что алгоритм сам найдёт победителя. Так не работает. При малом количестве показов разница в CTR и CVR между вариантами почти всегда попадает в шум. Вы получаете рейтинг, в котором первый и второй места поменялись бы местами при повторном запуске.

Правило, которое мы используем на старте кампании: одновременно тестировать не больше пяти креативов. Это число не взято из воздуха — оно позволяет выделить на каждый вариант достаточно показов для初步 сравнения и при этом не распылить бюджет. Если дневной бюджет кампании — 500 долларов, пять креативов получают по 100 долларов в день. Этого достаточно, чтобы через 2–3 дня увидеть разницу в CTR и стоимости за тысячу показов. Для выводов о CVR и стоимости установки нужно больше времени — обычно 4–7 дней в зависимости от объёма трафика.

Если бюджет меньше 200 долларов в день, сокращайте количество вариантов до трёх. Лучше получить надёжный сигнал по трём креативам, чем ненадёжный по пяти.

Что сравнивать на каждом этапе

Тестирование креатива — это не один тест, а последовательность из трёх. Каждый отвечает на свой вопрос.

Первый тест — кликабельность. Показывает, привлекает ли креатив внимание в ленте. Метрика: CTR. Порог: на 30–40% выше среднего по аккаунту или по платформе. Креативы, которые не прошли этот порог, отключаем — нет смысла платить за показы, которые не превращаются в клики.

Второй тест — конверсия. Показывает, доводит ли креатив зрителя до целевого действия. Метрика: CVR после клика. Здесь важно смотреть не только на installs, но и на события внутри приложения — регистрацию, первый эпизод, покупку. Креатив с высоким CTR и низким CVR часто означает, что обещание на креативе не соответствует тому, что пользователь видит после установки.

Третий тест — масштабируемость. Показывает, как креатив ведёт себя при увеличении бюджета и аудитории. Метрика: CAC при 3x и 5x от стартового бюджета. Креатив, который давал 2 доллара за установку при 100 долларах в день, может скатиться до 6 долларов при 500. Это не значит, что он плохой — это значит, что его выжимаемость ограничена.

Как распределить бюджет между вариантами

Есть два подхода, и оба имеют право на жизнь, но работают в разных ситуациях.

Равное распределение. Каждый креатив получает одинаковую долю бюджета. Подходит, когда все варианты сделаны по одному брифу и вы не знаете, какой сработает. Это самый чистый способ сравнения, потому что алгоритм не успевает перераспределить показы в пользу одного варианта.

Динамическое распределение. Алгоритм платформы сам перераспределяет бюджет в пользу креатива с лучшим результатом по выбранной метрике. Подходит для второго и третьего теста, когда вы уже отсеяли явных неудачников и хотите быстрее найти лидера. Но на самом первом тесте динамическое распределение опасно: алгоритм может слишком рано сделать ставку на вариант, который случайно получил пару дешёвых установок в первый час.

Наш подход: первый тест — равное распределение, ручное отключение явных неудачников через 48 часов. Второй тест — динамическое распределение среди оставшихся 2–3 вариантов. Третий тест — ручное управление бюджетом лидера с постепенным увеличением.

Когда убивать креатив

Отключать креативы трудно, особенно если их сделал кто-то из команды. Но удержание слабого креатива в активной кампании — это прямой убыток: он забирает показы у более сильных вариантов и портит средний CAC.

Сигналы к отключению:

• CTR ниже 60% от лидера после 48 часов и 5000 показов.
• CPM выше среднего по кампании на 25% и не снижается.
• CVR после 100 кликов — ноль или в два раза ниже лидера.
• Частота показов по этому креативу выше 3, а CTR падает от показа к показу.

Если креатив не проходит хотя бы один из этих порогов, отключайте его. Не ждите, пока он «разгонится». Креативы, которые не показали результат в первые 48 часов при достаточном объёме показов, почти никогда не становятся лидерами на масштабе.

Ловушка раннего вывода

Самая дорогая ошибка — сделать вывод по данным первого дня. В первый день после запуска алгоритм платформы только собирает данные об аудитории. CPM нестабилен, показы могут идти не той аудитории, которую вы планировали. Креатив, который выглядит ужасно в первые 12 часов, может выйти в лидеры на третий день.

Минимальный срок для первого вывода — 48 часов и не менее 3000 показов на каждый креатив. Если показов меньше, подождите ещё. Если бюджет не позволяет набрать 3000 показов за 48 часов, значит, вы тестируете слишком много вариантов или на слишком узкой аудитории.

Как читать разницу между CTR и CVR

Креатив с высоким CTR и низким CVR — это не плохой креатив. Это креатив с неверным обещанием. Он привлекает клики, но зрители не находят того, что ожидали, и уходят. Проблема не в визуале, а в разрыве между креативом и продуктом.

Решение: проверьте, что именно вы показываете в первые секунды после клика. Если креатив обещает комедийный момент, а пользователь попадает на экран регистрации — разрыв очевиден. Если креатив показывает конкретного персонажа, а на посадочном экране его нет — тот же эффект.

Креатив с низким CTR и высоким CVR — обычно нишевый креатив. Он привлекает мало людей, но тех, кто кликает, конвертирует хорошо. Такие креативы полезны для точечного таргетинга, но не подходят для масштабирования. Оставьте их в кампании как вспомогательные, но не делайте на них ставку при росте бюджета.

Идеальный креатив — средний CTR и высокий CVR. Он не обязательно выигрывает по кликабельности, но приносит дешёвые установки, потому что зрители, которые кликают, доводят дело до конца.

Сколько креативов нужно в постоянной ротации

После завершения тестирования и выбора 1–2 лидеров работа не заканчивается. Креативы устают — это факт, с которым ничего не сделать. Усталость проявляется в постепенном росте CPM и снижении CTR при увеличении частоты показов.

Здоровая ротация для мобильной кампании среднего масштаба — 3–5 активных креативов одновременно. Не один, потому что алгоритм работает лучше с выбором. Не десять, потому что бюджет распыляется. При этом в запасе должно быть ещё 2–3 готовых креатива, которые запускаются, когда действующие начинают показывать признаки усталости.

Признаки усталости: CTR падает на 15–20% от пика при том же объёме показов, CPM растёт, частота превышает 4. При появлении двух из трёх — запускайте следующий креатив из запаса и постепенно снижайте бюджет на устающий.

Что делать с креативами, которые не прошли тест

Не удаляйте их. Креатив, который не сработал на одной аудитории, может сработать на другой. Креатив, который не показал результат в одной гео, иногда работает в соседнем рынке с другим культурным контекстом.

Мы храним все креативы с пометками: дата теста, аудитория, гео, результат, причина отключения. Раз в квартал пересматриваем архив и иногда находим кандидатов для повторного теста на новом рынке или в новом формате размещения. Около 15% креативов, проваливших первый тест, получают второй шанс — и примерно треть из них во второй раз работает.