BERT – это крупнейшая нейросеть, разработанная компанией Google

BERT - это нейронная сеть, которую разработала Google в 2018 году, и она уже доказала свою эффективность во многих практических задачах.

Эта технология позволяет анализировать тексты, отвечать на вопросы, создавать переводчики, выявлять спам, создавать системы предиктивного ввода текста и выполнять множество других задач.

В октябре 2019 года Google добавила нейронную сеть BERT в ядро алгоритмов поиска для английского языка, а затем расширила её использование для более чем 70 языков в декабре.

Это обновление поисковой системы получило название BERT и затронуло около 10% всех запросов, что является огромным успехом.

Задача научить компьютеры понимать естественный язык так же, как это делает человек, является крайне сложной и интересной. Язык обладает множеством нюансов, которые даже для людей могут быть трудными для понимания.

Информатика имеет целый подраздел, называемый Natural Language Processing (NLP), который занимается обработкой естественного языка. NLP использует алгоритмы машинного обучения для обработки текста и речи.

В настоящее время, у большинства из нас есть смартфоны с функцией распознавания речи, которая также использует NLP. Кроме того, многие люди используют ноутбуки и компьютеры со встроенной в ОС функцией распознавания речи.

В 2018 году Google представил новейшую нейронную сеть BERT (Bidirectional Encoder Representations from Transformers). BERT использует метод трансферного обучения (Transfer learning), который позволяет компаниям адаптировать основную языковую модель под свои конкретные задачи.

Это означает, что обучение нейронной сети происходит в два этапа. Сначала она обучается на огромном корпусе в миллиарды слов (pre-training), а затем быстро дообучается под разные задачи.

Ранее для обучения нейронных сетей использовалось векторное представление слов, которое описывало связи между словами в виде цифр.

Однако, нейронная сеть, которая проходила обучение на векторном словаре, не понимала смысл слов. Для неё предложения «человек укусил собаку» и «собака укусила человека» были идентичными.

Google разработала новую систему претренинга, которая обеспечивает нейросети более богатыми правилами, включая не только словарь, но и синтаксис с контекстом.

Для этого исследователи начали обучать нейросети на более общей задаче языкового моделирования, используя миллиарды слов, расставленных в грамматически корректные предложения. Затем нейросеть может самостоятельно предсказывать следующее слово в тексте.

BERT состоит из трех важных компонентов. Во-первых, это претренированная языковая модель. Во-вторых, возможность определить, какие особенности предложения являются наиболее важными.

И, в-третьих, в отличие от других языковых моделей, которые обрабатывают текст слева направо, BERT читает текст справа налево и слева направо одновременно. Он также обучается предсказывать слова, которые случайным образом были исключены из предложений.

Каждый из этих компонентов - глубокая модель языка с претренингом, внимание и двунаправленность - уже существовал до появления BERT.

Однако Google объединила их вместе таким успешным образом, что BERT стал более эффективным и точным, чем другие языковые модели, созданные ранее. Алгоритм был выпущен в конце 2018 года и с тех пор успешно применяется в различных приложениях и сервисах.

В 2019 году Google выпустил обновление ядра своего поискового алгоритма под названием BERT. Теперь этот алгоритм включает нейросеть с таким же названием. По словам Google, это самое крупное обновление ядра с момента появления RankBrain.

Несмотря на то, что Google утверждает, что обновление затронуло 10% всех поисковых запросов, многие веб-мастера не заметили изменений в трафике своих сайтов после внедрения нового алгоритма.

Чтобы понять, почему это произошло, нужно рассмотреть, как работает BERT и какие запросы на него влияют.

Типичный веб-мастер обычно фокусируется на коротких запросах (1-3 слова), таких как СЧ или ВЧ запросы. BERT же способен обрабатывать длинные запросы, именно на такие запросы он и нацелен. Поэтому большинство веб-мастеров еще не заметили изменений в выдаче.

BERT лучше всего работает с НЧ и микро-НЧ запросами, то есть с длинным хвостом запросов.

Это может заметить дорвейщик, который заметит резкие колебания трафика, или веб-мастер, который работает с 3-5-словными запросами, что является характерным для продуктовых партнерок, таких как Amazon.

Но стоит понимать, что BERT не является фактором ранжирования и непосредственно на ранжирование страниц она не влияет.

Тем не менее, благодаря этой нейросети Google лучше понимает запросы пользователей и их интент, что в конечном итоге может повлиять на трафик сайта после дальнейшего обучения нейросети.

Если вы не заметили значительных изменений в выдаче, это не означает, что их не было. Возможно, вы просто не искали их.

Как обнаружить поисковые запросы, на которые повлиял BERT, и как провести оптимизацию сайта с учетом алгоритма. Поиск поисковых запросов, на которые оказал влияние алгоритм BERT, может быть проведен стандартно с помощью Google Analytics или Google Search Console.

Даты выпуска алгоритма известны, и для англоязычных сайтов это было 21 октября 2019 года, а для русскоязычных - 9 декабря. Необходимо сравнить этот период с предыдущим, длиной 3-4 недели.

Используя каналы Google, мы можем построить разрез по ключевым словам и найти запросы, которые не имели показов в новом периоде, но существовали в предыдущем. Это поможет нам найти потерянные запросы и узнать, как Google теперь осмысляет контент.

Если мы добавляем контент в указанный период, мы должны исключить запросы, которые соответствуют ему, из нашего анализа. Получив список запросов, мы можем приступить к оптимизации нашего сайта.

Сотрудники Google заявили, что оптимизация под BERT практически невозможна, и это подтверждают Дэнни Салливан и Джон Мюллер.

Однако, мы можем улучшить или восстановить позиции запросов путем традиционной оптимизации контента, чтобы убедиться, что текст естественный вместо того, чтобы использовать как можно больше ключевых слов.

Для оптимизации под алгоритм BERT нужно проанализировать набор данных по приобретенным и потерянным ключевым словам и провести дополнительную оптимизацию контента, чтобы улучшить или восстановить позиции запросов.

Это может быть достигнуто путем редактирования контента и скрупулезной переформулировки предложений, добавления нескольких предлогов, вместо добавления поисковых запросов.

Получение хороших результатов в SERP зависит от того, насколько хорошо вы понимаете интент поискового запроса. Обновление BERT помогает Google понять семантику фраз и слов, учитывая контекст поиска.

Это означает, что если ваш сайт ранее ранжировался по длинным фразам и ключевым словам, но потерял позиции после обновления BERT, значит ваш контент не соответствовал интенту пользователя.

Для восстановления позиций вам необходимо уделить больше внимания контенту и улучшить его качество, чтобы он отвечал на поисковые запросы и соответствовал интенту.

Это означает, что вы должны уделить время изучению того, что написано на сайтах ваших конкурентов и как они уделяют внимание определенным акцентам в своих текстах.

Используйте лучшие практики конкурентов, чтобы улучшить свой контент и сделать его более ценным для пользователей. Кроме того, стоит искать способы ответить на конкретные запросы лучше, чем делают это ваши конкуренты.

Еще одна важная составляющая успеха в SERP – это использование структурированной SILO-архитектуры для информационных сайтов. Эта структура позволяет создавать изолированные кластеры запросов, которые более точно отвечают на частые запросы путем наличия множества «поддерживающих» страниц.

В результате, кластеры запросов становятся более сильными, и ваш сайт может получить свою долю трафика из НЧ запросов.

Компания Google считает, что внедрение нейросети BERT в ядро алгоритмов поиска будет способствовать лучшему пониманию естественно заданных запросов пользователей.

Новая технология будет постоянно обучаться, в том числе и благодаря работе асессоров, контролирующих качество органической выдачи.

В рамках этой технологии Google также разрабатывает специальный пре-тренинг, который значительно улучшит показатели русскоязычной модели.

Необходимо следить за изменениями и обновлениями, чтобы эффективно оптимизировать свой сайт и улучшить позиции в поисковой выдаче.

Стоит обращать внимание на правильную литературу и понимать принципы работы алгоритма, чтобы справиться с новыми вызовами и оставаться на плаву в поисковой оптимизации.