Краулинговый бюджет и его оптимизация

Краулинговый бюджет и его оптимизация

Оптимизация краулингового бюджета (оптимизация индексирования сайта роботами ПС) должна быть приоритетом каждого большого сайта, желающего улучшить свои позиции с точки зрения SEO. Отслеживая и направляя движения Googlebot, вы легко можете получить преимущество над конкурентами.

В последнее время наблюдается такая тенденция: если страница сразу не попадает в индекс, то в дальнейшем она не сможет достаточно хорошо ранжироваться. Опытным путем было доказано, что если страница была проиндексирована в течении 14 дней, она несла наибольший трафик и лучше ранжировалась при прочих равных.

Внутренние ссылки

Распределение ссылочной массы по сайту крайне важно! Конечно, внутренние ссылки должны продвигать наиболее важные страницы вашего сайта, но так же они должны помогать поисковым роботам добираться до всех страниц сайта в минимальное число кликов. Отчет о внутренних ссылках в Google Webmaster Tools — это один из самых простых способов определить, какие страницы считаются самыми важными (на основе вашей внутренней ссылочной структуры).

google-internal-links-report

Если в верхней части таблицы у вас отображены не самые важные страницы вашего сайта, то имеются проблемы с правильной структурой и перелинковкой сайта. Очень часто такие проблемы появляются у блогов, когда самыми «сильными» страницами становятся главная и категории. Проведя правильную оптимизацию, можно уменьшить частоту сканирования страниц сайта, уменьшить нагрузку на сервер с сайтом и улучшить индексацию нового материала. Так же следует учесть, что при правильном перераспределении веса можно получить дополнительный трафик за счет улучшения позиций сайта в ПС.

Очень эффективными в данном плане становятся обычные HTML карты сайта, отражающие все страницы сайта (по рубрикам, датам, алфавиту и т.д.). Так же в Google Webmaster Tools можно найти информацию и о том, сколько страниц было обработано в конкретный день.

Чеклист или конкретные действия

  • Использование HTTP заголовков if modifed/last modified существенно улучшит ситуацию. Нужно отдавать 304 ответ сервера при запросе к страницам, которые не претерпели изменения с последнего обращения робота, тогда ему не придется заново ее сканировать, а он просто пропустит ее и пойдет дальше;
  • Наличие XML и HTML карта сайта. Не ограничивайтесь созданием лишь xml карт, информация оттуда может не использоваться поисковыми системами, ведь ее очень просто подделать;
  • Правильная настройка работы с XML картой сайта (обновление, разбиение разных категорий контента в расстановка приоритетов, пинг новых записей в ПС);
  • Правильная настройка Robots.txt и использование rel=canonical очень важны — избавляемся от всего мусора в индексе: страницы пагаинации, фильтрации, прочие явно низкокачественные страницы. Это простое действие оказывает очень важное влияние на индексирование сайта и краулинговый бюджет;
  • Оптимизация внутренней ссылочной массы и перелинковки;

Итоги и выводы

Использование 304 If-Modified-Since HTTP заголовка может в значительной степени сэкономить и оптимизировать ваш краулинговый бюджет.

После установки и настройки, можно незначительно изменить ключевые страницы сайта, дабы они получили приоритет над менее важными. Так же обновление страниц можно проводить периодически, для поддержания их актуальности в ПС.

 

About the Author
Nikita Sawinyh

Занимаюсь SEO с 2006 года. Сейчас специализируюсь на продвижении многостраничных проектов. Основатель и руководитель sawinyh.ru

comments powered by Disqus