Кочнев Кирилл, Руководитель продуктовой аналитики, HeadHunter.
Информация о компании: *HeadHunter (hh.ru) — высоконагруженный классифайд и крупнейшая онлайн-рекрутинг платформа в России, лидер в разработке HR-tech решений и сервисов.
Мы помогаем миллионам соискателей найти работу мечты, а компаниям привлечь лучших специалистов и делаем этот процесс удобным для каждого пользователя.*
HeadHunter - популярнейший сервис по поиску работы соискателем, а также поиска сотрудников работодателями.
Один из ключевых элементов сервиса — поисковое ядро, которое по запросу пользователя подбирает ему отранжированный список вакансий. Пользователь может перейти в каждую вакансию на странице поисковой выдачи (SERP) и откликнуться на неё.
Мы в HeadHunter решили не отставать от времени и внедрить современные решения. У каждой вакансии на serp’е отображается краткое описание и логотип, который указывает компания-работодателя. Мы хотим попробовать заменить описание и логотип на автоматически сгенерированные с помощью нейронных сетей (типа ChatGPT и Midjourney), тем самым повысив привлекательность вакансии и увеличить количество откликов на нее.
Как data-driven компания, мы не запустим такую функцию без тестирования и выкатим её через A/B-тест.
Ваша задача — выбрать методологию и дизайн такого теста. Для этого нужно определить объект тестирования и принцип разделения на группы, а также рассчитать, какой эффект мы сможем статистически значимо отследить.
В качестве целевой метрики в А/В используйте долю вакансий, у которых данный скор меньше определенного числа (пусть будет 3).