Развенчание мифов о SEO при помощи экспериментов

Развенчание мифов о SEO при помощи экспериментов

Развенчание мифов о SEO при помощи экспериментов

Поисковая оптимизация (SEO) является одним из важнейших драйверов роста Pinterest. Однако при нашем масштабе выигрышные стратегии удавалось найти далеко не всегда. Обычно, занимаясь SEO, специалисты просто пробуют разные стратегии и надеются на лучшее. В один день трафика может быть много, а в другой – мало, и вы не имеете никакого понятия почему, поэтому люди зачастую думают, что SEO – это не наука, а что-то сродни магии.

Наша SEO-цель заключается в том, чтобы помочь миллиардам пользователей найти Pinterest и обнаружить в нем ценный инструмент для визуальных закладок. За все время мы нашли лишь один способ проверки того, положительно ли эффекты влияют на поведение пользователя – тест A/B. К сожалению, у нас нет аналогичных инструментов для изучения того, как ведет себя поисковая машина, поэтому мы создали экспериментальную площадку, которую используем для того, чтобы превращать «магию» в объективную науку.

Создание экспериментальной площадки

Работая над этой площадкой, мы хотели создать такой исследовательский инструмент, который позволил бы измерить суммарный эффект от того, как любые изменения контента влияют на SEO и, что важнее, на рост количества пользователей.

Наш экспериментальный инструмент состоит из трех независимых компонентов:

  1. Начальная настройка, в процессе которой формулируется эксперимент и определяются диапазоны групп
  2. Ежедневная работа по расчету трафика, который приходит на страницы (мы измеряем трафик количеством уникальных сессий, которые упоминаются поисковыми системами в отношении страниц Pinterest)
  3. Вывод результатов
вывод результатов

Рисунок 1

В отличие от A/B экспериментов, в которых, как правило, сегментируются пользователи, в нашем эксперименте сегментируются страницы. Например, можно сделать эксперимент, где 50% страниц будут обозначены как enabled (эти страницы войдут в экспериментальную группу, т.е. в группу, которая будет претерпевать изменения), а другие 50% – как control (эти страницы войдут в контрольную группу, т.е. она не будет претерпевать никаких изменений и станет примером для сравнения), и страница будет попадать в какую-либо их этих групп в зависимости от своего URL:

‘enabled’ if hash(experiment_name + page_url) in enabled_group_range

‘control’ if hash(experiment_name + page_url) in control_group_range

Объединение URL страницы с названием эксперимента обеспечивает равномерное распространение страниц по экспериментальным группам и позволяет одновременно запускать несколько экспериментов с группами разных размеров.

Запустив эксперимент, мы можем, сравнивая трафик, определить эффективность каждой группы.

начало эксперимента и сравнение результата

Рисунок 2, начало эксперимента и сравнение результатов

Как видно на рисунке 2, трафик между двумя группами не был одинаков даже до эксперимента: экспериментальная группа получала больше трафика, чем контрольная. Дело в том, что одни страницы могут быть популярнее других, поэтому разница в трафике между группами все равно может остаться прежней независимо то того, как мы распределяем страницы. Чтобы сгладить отклонения и недельные колебания, мы перенесли эти данные на новый график, где показана разница между двумя группами (рис. 3). Теперь видно, что после запуска эксперимента трафик в экспериментальной группе пошел вверх.

Рисунок 3

Рисунок 3

Чтобы измерить эффект от изменений, мы можем сравнить среднее значение разницы до и после начала эксперимента. Расстояние между двумя пунктирными линиями на рисунке 3 – это и есть средний рост/спад в данном эксперименте.

Чему мы научились

SEO можно делать множеством разных способов, включая карты сайтов, линкбилдинг, оптимизацию дизайна под поисковые машины и т.д. Наилучшая стратегия будет отличатся в зависимости от продукта, страницы или времени года. Определение того, что работает лучше всего, и помогает нам двигаться быстрее даже с ограниченными ресурсами. Проводя огромное количество экспериментов, мы понимаем, что многие известные стратегии для нас не работают, а те, в которых мы уверены не были, работают как часы.

К примеру, однажды мы заметили, что сервис Google Webmaster Tool находит слишком много повторяющихся тегов заголовка на страницах наших «досок». Теги заголовка на них создавались по принципу «{board_name} on Pinterest», а на сайте было много «досок», созданных разными пользователями с одними и теми же именами. Известно, что тег Title – это очень важный фактор для SEO, поэтому мы решили посмотреть, приведет ли уникализация этих тегов к увеличению трафика. Мы запустили эксперимент, в котором сократили количество повторяющихся тегов заголовка – к примеру, «{board_name} on Pinterest | ({number} Pins)» – но в итоге не обнаружили статистически значимой разницы в трафике между двумя группами.

Хорошо, а что работает для Pinterest? Pinterest битком набит десятками миллиардов пинов, однако текстовых описаний может не хватать. Мы посчитали, что эту проблему можно решить, если обеспечить наши страницы достаточно хорошим текстом, и начали с самого простого. Пины добавляются большим количеством разных пользователей, и некоторые из них более описательны, чем другие. Мы выбирали наилучшее описание из пинов к одной и той же картинке, а затем показывали его вдобавок к уже существующему описанию. Результаты эксперимента были гораздо лучше, чем мы ожидали (помните рис. 3?), что побудило нас плотнее заняться текстовыми описаниями, для чего мы воспользовались разного рода изощренными технологиями вроде визуального анализа. Серия последующих экспериментов показала 30-процентное увеличение трафика в прошлом году.

Принятие решений на основе полученных данных

В большинстве случаев эффект от изменений проявлялся не позднее двух дней от начала эксперимента, а разница в трафике между группами продолжала расти еще неделю-две. Благодаря этому мы знаем, когда эксперимент можно считать успешным, и они не длятся больше, чем нужно, но также это помогает нам сворачивать неудачные эксперименты как можно раньше. Однако это знание – результат горького опыта.

Рисунок 4

Рисунок 4

Рисунок 4 показывает результаты эксперимента, в котором мы тестировали рендеринг JavaScript, с помощью которого пытались повысить веб-эффективность страниц. Целью эксперимента было убедиться, что эти изменения не будут влиять на SEO негативно. На второй день мы заметили снижение трафика, но решили подождать еще пару дней, посчитав, что сканерам нужно время, чтобы настроиться. К сожалению, трафик так и не вернулся к прежним показателям, и мы завершили эксперимент, но слишком поздно. Страницам из экспериментальной группы потребовался почти месяц, чтобы оправиться от падения трафика. Досадно, но зато теперь мы знали, какие решения нужно принимать в похожих случаях.  Кроме того, мы поняли важность запуска экспериментов на проектах без SEO – с их помощью мы можем определить, оказывают ли экспериментальные изменения на SEO негативный эффект или нет, не рискуя негативными последствиями.

И хотя описанный выше эксперимент закончился провалом, он все же помог нам тем, что предотвратил сильный спад трафика без известной на то причины. Как правило, мы проводим SEO-эксперименты для любых значительных изменений на страницах. В частности, серьезные перестройки в разбивке страницы, модификации в тегах заголовков, новая форма регистрации и рендеринг контента через JavaScript должны быть обязательно протестированы на экспериментальной SEO-площадке.

Что дальше?

Расширение охвата наших SEO-экспериментов находится пока на ранней стадии. Мы планируем улучшить имеющуюся площадку в целях обеспечения более продвинутой сегментации и фильтрации, которые пригодятся для соответствия требованиям различных экспериментов.

Если у вас есть интересные идеи по SEO ориентированной аналитике — ждем комментариев.

Источник: The official Pinterest engineering blog. Demystifying SEO with experiments

About the Author
Nikita Sawinyh

Занимаюсь SEO с 2006 года. Сейчас специализируюсь на продвижении многостраничных проектов. Основатель и руководитель sawinyh.ru

comments powered by Disqus