Корпоративное SEO играет по другим правилам.

Стратегии, которые могут работать для небольших или нишевых веб-сайтов, не всегда будут работать в больших масштабах.

Так что же может произойти, когда корпоративная поисковая оптимизация станет слишком большой?

В этой статье я приведу три реальных примера. Затем вы узнаете о потенциальном противоядии для более эффективного управления SEO в масштабе.

Дилемма индексации

Небольшие сайты, как правило, увеличиваются на одну страницу за раз, используя ключевые слова в качестве строительных блоков стратегии SEO.

Большие сайты часто используют более сложные подходы, в значительной степени опираясь на системы, правила и автоматизацию.

Очень важно согласовать SEO с бизнес-целями. Измерение успеха SEO на основе рейтинга ключевых слов или трафика приводит к негативным последствиям из-за чрезмерной индексации.

Волшебной формулы для определения оптимального количества проиндексированных URL не существует. Google не устанавливает верхний предел.

Однако хорошей отправной точкой является рассмотрение общего состояния воронки SEO. Если сайт…

Отправляет десятки или сотни миллионов или даже миллиарды URL-адресов в Google

Рейтинг только для нескольких миллионов ключевых слов

Получается посещение несколько тысяч страниц

Преобразует долю из них (если они вообще есть)

…тогда это хороший признак того, что вам нужно решить некоторые серьезные проблемы со здоровьем SEO.

Устранение любых проблем с гигиеной сайта сейчас должно предотвратить еще большие проблемы с поисковой оптимизацией в будущем.

Давайте рассмотрим три реальных примера корпоративной поисковой оптимизации, которые иллюстрируют, почему это так важно.

Случай 1. Последствия чрезмерного индексирования низкокачественного контента

Ресурсы Google для сканирования и обработки веб-страниц ограничены. Они отдают приоритет контенту, который ценен для пользователей.

Google может сканировать, но не индексировать страницы, которые он считает недостаточными, повторяющимися или некачественными.

Если это всего несколько страниц, это не проблема. Но если это широко распространено, Google может игнорировать целые типы страниц или большую часть контента сайта.

В одном случае торговая площадка электронной коммерции обнаружила, что выборочное сканирование и индексирование повлияли на десятки миллионов страниц со списками.

После сканирования миллионов тонких, почти дублирующихся страниц со списками и отказа от их индексации, Google в конечном итоге полностью сократил сканирование веб-сайта, оставив многие из них в подвешенном состоянии «Обнаружено – в настоящее время не проиндексировано».

Эта торговая площадка в значительной степени полагалась на поисковые системы для продвижения новых предложений пользователям. Новый контент больше не обнаруживался, что создавало серьезную проблему для бизнеса.

Были предприняты некоторые незамедлительные меры, такие как улучшение внутренних ссылок и развертывание динамических карт сайта в формате XML. В конечном итоге эти попытки оказались тщетными.

Настоящее решение требовало контроля объема и качества индексируемого контента.

Случай 2. Непредвиденные последствия прекращения сканирования

После остановки сканирования нежелательный контент останется в индексе Google, даже если он был изменен, перенаправлен или удален.

Многие веб-сайты используют переадресацию вместо ошибки 404 для удаленного контента, чтобы сохранить авторитет. Эта тактика может выжимать дополнительный трафик со страниц-призраков на месяцы, если не на годы.

Однако иногда это может привести к ужасным ошибкам.

Например, известная международная торговая площадка, торгующая изделиями ручной работы, случайно раскрыла личную информацию продавцов (например, имя, адрес, адрес электронной почты, номер телефона) на локализованных версиях своих страниц с объявлениями. Некоторые из этих страниц были проиндексированы и помещены в кэш Google, в результате чего в результатах поиска отображалась личная информация (PII), что ставило под угрозу безопасность и конфиденциальность пользователей.

Поскольку Google не сканировал эти страницы повторно, их удаление или обновление не приведет к исключению их из индекса. Даже через несколько месяцев после удаления кешированный контент и персональные данные пользователей продолжали существовать в индексе Google.

В такой ситуации торговая площадка должна была исправить ошибки и работать напрямую с Google, чтобы удалить конфиденциальный контент из Поиска.

Пример 3: Риски чрезмерной индексации страниц результатов поиска

Неконтролируемое индексирование больших объемов тонких страниц низкого качества может иметь неприятные последствия. А как насчет индексации страниц результатов поиска?

Google не одобряет индексирование результатов внутреннего поиска, и многие опытные оптимизаторы настоятельно не рекомендуют использовать эту тактику. Тем не менее, многие крупные сайты в значительной степени полагаются на внутренний поиск в качестве основного драйвера SEO, что часто приносит значительную прибыль.

Если показатели вовлеченности пользователей, впечатления от страницы и качество контента достаточно высоки, Google может закрыть на это глаза. На самом деле, есть достаточно доказательств того, что Google может даже предпочесть высококачественную внутреннюю страницу результатов поиска тонкой странице со списком.

Однако и эта стратегия может пойти не так.

Однажды я видел, как местный аукционный сайт за одну ночь потерял значительную часть своего рейтинга поисковых страниц и более трети своего SEO-трафика.

Правило 20/80 применяется в том смысле, что небольшая часть заглавных терминов отвечает за большинство посещений поисковыми системами проиндексированных результатов поиска. Тем не менее, часто именно длинный хвост составляет львиную долю объема URL-адресов и может похвастаться одними из самых высоких коэффициентов конверсии.

В результате лишь немногие сайты, использующие эту тактику, устанавливают жесткие ограничения или правила на индексирование поисковых страниц.

Это создает две основные проблемы:

Любой поисковый запрос может сгенерировать действительную страницу, а это означает, что бесконечное количество страниц может быть создано автоматически.

Все они индексируются в Google.

В случае с площадкой объявлений, которая монетизировала свои поисковые страницы с помощью сторонних объявлений, эта уязвимость успешно использовалась с помощью рекламного арбитража:

Было создано огромное количество поисковых URL для сомнительных, взрослых и совершенно незаконных терминов.

Несмотря на то, что эти автоматически созданные страницы не возвращали реальных результатов инвентаризации, на них размещалась сторонняя реклама, и они были оптимизированы для ранжирования по запрошенным поисковым запросам с помощью шаблона страницы и метаданных.

На эти страницы были созданы обратные ссылки с некачественных форумов, чтобы их могли обнаружить и просканировать боты.

Пользователи, которые попадали на эти страницы из Google, нажимали на сторонние объявления и переходили на некачественные сайты, которые были им предназначены.

К моменту обнаружения схемы общая репутация сайта была подорвана. Кроме того, компания подверглась нескольким штрафам и значительно снизила эффективность поисковой оптимизации.

Управляемое индексирование

Как можно было избежать этих проблем?

Один из лучших способов добиться успеха в поисковой оптимизации для крупных корпоративных сайтов – это уменьшить масштаб с помощью управляемого индексирования.

Для сайта с десятками или сотнями миллионов страниц крайне важно перейти от подхода, ориентированного на ключевые слова, к подходу, основанному на данных, правилах и автоматизации.

Индексирование на основе данных

Одним из существенных преимуществ крупных сайтов является большое количество данных внутреннего поиска, которыми они располагают.

Вместо того, чтобы полагаться на внешние инструменты, они могут использовать эти данные для детального изучения регионального и сезонного поискового спроса и тенденций.

Эти данные, сопоставленные с существующим инвентарем контента, могут предоставить надежное руководство по тому, какой контент индексировать, а также когда и где это делать.

Дедупликация и консолидация

Небольшое количество авторитетных URL с высоким рейтингом гораздо более ценно, чем большое количество страниц, разбросанных по первой сотне.

Полезно объединять похожие страницы, используя канонические, используя для этого правила и автоматизацию. Некоторые страницы могут быть объединены на основе оценок сходства, другие — сгруппированы вместе, если они в совокупности ранжируются по схожим запросам.

Главное здесь — экспериментировать. Со временем меняйте логику и пересматривайте пороговые значения.

Очистка тонких и пустых содержательных страниц

При наличии больших объемов тонкие и пустые страницы могут нанести значительный ущерб гигиене и производительности сайта.

Если улучшить их с помощью ценного контента или консолидировать слишком сложно, их следует не индексировать или даже запретить.

Сократите бесконечные пробелы с помощью robots.txt

Спустя пятнадцать лет после того, как Google впервые написал о «бесконечных пробелах», проблема чрезмерного индексирования фильтров, сортировки и других комбинаций параметров по-прежнему беспокоит многие сайты электронной коммерции.

В крайних случаях поисковые роботы могут привести к сбою серверов при попытке пройти по этим ссылкам. К счастью, это можно легко решить с помощью файла robots.txt.

Визуализация на стороне клиента

Можно использовать отрисовку на стороне клиента для определенных компонентов на странице, которые вы не хотите индексировать поисковыми системами. Рассмотрите это внимательно.

Более того, эти компоненты должны быть недоступны для не вошедших в систему пользователей.

Ставки резко возрастают по мере увеличения масштаба

Хотя SEO часто воспринимается как «бесплатный» источник трафика, это несколько вводит в заблуждение. Размещение и обслуживание контента стоит денег.

Затраты на один URL могут быть незначительными, но как только масштаб достигает сотен миллионов или миллиардов страниц, гроши начинают складываться в реальные цифры.

Хотя окупаемость инвестиций в поисковую оптимизацию сложно измерить, сэкономленная копейка — это сделанная копейка, а экономия средств за счет управляемого сканирования и индексирования должна быть одним из факторов при рассмотрении стратегий индексирования для больших сайтов.

Прагматичный подход к поисковой оптимизации – хорошо управляемое сканирование и индексирование, основанное на данных, правилах и автоматизации – может защитить крупные веб-сайты от дорогостоящих ошибок.

Запись Как повысить эффективность сканирования и индексирования на уровне предприятия впервые появилась на сайте Search Engine Land.

Анонсы наших новых статей в Телеграме

Read More