Поиск сложен, как писал Сет Годин в 2005 году.

Я имею в виду, если мы думаем, что SEO — это сложно (а это так), представьте, что вы пытаетесь создать поисковую систему в мире, где:

Пользователи сильно различаются, и их предпочтения со временем меняются.

Технологии поиска, к которым они получают доступ, совершенствуются с каждым днем.

Конкуренты постоянно наступают вам на пятки.

Кроме того, вы также имеете дело с надоедливыми SEO-специалистами, пытающимися обманывать ваш алгоритм и получить представление о том, как лучше всего оптимизировать его для посетителей.

Это значительно усложнит задачу.

А теперь представьте, что основные технологии, на которые вам нужно опираться для продвижения, имеют свои ограничения и, что еще хуже, огромные затраты.

Что ж, если вы один из авторов недавно опубликованной статьи «Взвешивание терминов сквозного запроса», вы видите в этом возможность проявить себя.

Что такое сквозное взвешивание терминов запроса?

Взвешивание терминов сквозного запроса — это метод, при котором вес каждого термина в запросе определяется как часть общей модели без использования запрограммированных вручную или традиционных схем взвешивания терминов или других независимых моделей.

р>

На что это похоже?

Здесь мы видим иллюстрацию одного из ключевых отличий модели, изложенной в статье (в частности, рис. 1).

В правой части стандартной модели (2) мы видим то же, что и предлагаемую модель (4), которая представляет собой корпус (полный набор документов в индексе), ведущий к документам, ведущим к условия.

Это иллюстрирует реальную иерархию в системе, но вы можете представить ее наоборот, сверху вниз. У нас есть условия. Ищем документы с этими условиями. Эти документы входят в состав всех известных нам документов.

Внизу слева (1) в стандартной архитектуре поиска информации (IR) вы заметите, что уровень BERT отсутствует. Запрос, использованный на иллюстрации (кроссовки Nike), поступает в систему, веса вычисляются независимо от модели и передаются в нее.

На иллюстрации веса распределяются одинаково между тремя словами в запросе. Однако так не должно быть. Это просто стандартная и хорошая иллюстрация.

Важно понимать, что веса назначаются вне модели и вводятся в нее вместе с запросом. Мы сейчас объясним, почему это важно.

Если мы посмотрим на версию термина с весом справа, вы увидите, что запрос «кроссовки Nike» вводит BERT (Term Weighting BERT или, если быть точным, TW-BERT), который используется для присвоения веса, которые лучше всего применить к этому запросу.

Оттуда все идет по одинаковому пути для обоих: применяется функция оценки и документы ранжируются. Но в новой модели есть последний ключевой шаг, в котором и заключается вся суть: расчет потерь в рейтинге.

Этот расчет, о котором я говорил выше, делает веса, определяемые в модели, очень важными. Чтобы лучше это понять, давайте немного отвлечемся и обсудим функции потерь. Это важно, чтобы действительно понять, что здесь происходит.

Что такое функция потерь?

В машинном обучении функция потерь — это, по сути, расчет того, насколько ошибочна система, пытаясь научиться приближаться к нулевым потерям, насколько это возможно.

В качестве примера возьмем модель, предназначенную для определения цен на жилье. Если вы ввели все статистические данные о своем доме и получили значение 250 000 долларов США, но ваш дом был продан за 260 000 долларов США, разница будет считаться убытком (это абсолютное значение).

На большом количестве примеров модель учат минимизировать потери, присваивая разные веса заданным параметрам до тех пор, пока не будет получен наилучший результат. В этом случае параметр может включать в себя такие параметры, как квадратные футы, количество спален, размер двора, близость к школе и т. д.

Теперь вернемся к взвешиванию терминов запроса

Оглядываясь назад на два приведенных выше примера, нам нужно сосредоточиться на наличии модели BERT, которая обеспечивает взвешивание условий в нижней части воронки расчета потерь в рейтинге.

Иными словами, в традиционных моделях взвешивание терминов выполнялось независимо от самой модели и, следовательно, не могло реагировать на эффективность всей модели. Он не мог научиться улучшать веса.

В предлагаемой системе это меняется. Взвешивание выполняется изнутри самой модели, и, таким образом, поскольку модель стремится улучшить свою производительность и уменьшить функцию потерь, у нее есть эти дополнительные циферблаты, которые можно включить, внося в уравнение взвешивание членов. Буквально.

нграммы

TW-BERT предназначен не для работы со словами, а для работы с нграммами.

Авторы статьи хорошо иллюстрируют, почему они используют нграммы вместо слов, когда указывают, что в запросе «кроссовки Nike», если вы просто взвешиваете слова, то страница с упоминаниями слов Nike, Running и Shoes может иметь хороший рейтинг, даже если речь идет о «носках для бега Nike» и «обувях для скейтбординга».

Традиционные методы IR используют статистику запросов и статистику документов и могут обнаруживать страницы с этой или похожими проблемами. Прошлые попытки решить эту проблему были сосредоточены на совместном возникновении и упорядочении.

В этой модели нграммы имеют такой же вес, как слова в нашем предыдущем примере, поэтому в итоге мы получаем что-то вроде:

Слева мы видим, как запрос будет взвешиваться в виде униграмм (нграмм из 1 слова), а справа — биграмм (нграмм из 2 слов).

Система, поскольку в нее встроено взвешивание, может обучаться на всех перестановках, чтобы определить лучшие нграммы, а также подходящий вес для каждой, а не полагаться только на статистику, такую ​​​​как частота.

Нулевой выстрел

Важной особенностью этой модели является ее производительность в задачах с нулевой скоростью. Авторы протестировали:

Набор данных MS MARCO – набор данных Microsoft для ранжирования документов и отрывков.

Набор данных TREC-COVID: статьи и исследования по COVID

Robust04 – Новостные статьи

Общее ядро – образовательные статьи и сообщения в блогах.

У них было лишь небольшое количество оценочных запросов, и они не использовали ни одного для точной настройки, что делало этот тест нулевым, поскольку модель не была обучена ранжировать документы конкретно в этих доменах. Результаты были следующими:

Он превосходил большинство задач и лучше всего работал при более коротких запросах (от 1 до 10 слов).

И это легко и просто!

Хорошо, возможно, это слишком упрощает, но авторы пишут:

«Согласование TW-BERT с оценщиками поисковых систем сводит к минимуму изменения, необходимые для интеграции его в существующие производственные приложения, тогда как существующие методы поиска на основе глубокого обучения потребуют дальнейшей оптимизации инфраструктуры и требований к оборудованию. Изученные веса могут быть легко использованы стандартными лексическими методами извлечения и другими методами поиска, такими как расширение запроса».

Поскольку TW-BERT предназначен для интеграции в текущую систему, интеграция намного проще и дешевле, чем другие варианты.

Что все это значит для вас

При использовании моделей машинного обучения трудно предсказать, что вы, как SEO-специалист, можете с этим сделать (кроме видимых развертываний, таких как Bard или ChatGPT).

Несомненно, будет использована модификация этой модели из-за ее улучшений и простоты развертывания (при условии, что утверждения точны).

Тем не менее, это улучшение качества жизни в Google, которое улучшит рейтинг и результаты с нулевым результатом при небольших затратах.

Все, на что мы действительно можем рассчитывать, — это то, что в случае реализации мы получим более надежные результаты. И это хорошая новость для профессионалов SEO.

Анонсы наших новых статей в Телеграме

Read More