Перейти к содержимому
100CTR

Другое

Удаление морфологических дублей ключевых слов

Найдите и удалите неявные дубли: «купить кроссовки» и «кроссовок купить» — одна фраза. Лемматизатор ключевых слов онлайн, бесплатно.

БесплатноРаботает в браузереБез регистрации — до 1 000 строк

На входе
Список фраз
На выходе
Список без фраз, отличающихся только формой слов
Для чего
Не держать в кампании дубли вроде «купить кроссовки» и «кроссовок купить»
Без регистрации — до 1 000 строк за запуск0 строк

Результат появится здесь после запуска.

Что такое морфологические дубли ключевых слов

Морфологические дубли — это ключевые фразы, которые состоят из одних и тех же слов, но записаны в разных словоформах или в другом порядке: «купить окна», «окно купить», «окна купить». Для человека это три строки, а для Яндекс Директа фактически одна и та же фраза: без операторов Директ и так учитывает все формы слова и любой порядок слов в запросе.

Инструмент удаления морфологических дублей ключевых слов приводит каждое слово фразы к основе (стеммер Snowball для русского языка), убирает знаки препинания и операторы, сортирует основы и получает «подпись» фразы. Первая фраза с такой подписью остаётся в списке, все следующие считаются дублями и удаляются. Вы видите и очищенный список, и перечень удалённых строк с указанием, дублем какой фразы оказалась каждая.

Всё работает в браузере: вставьте список, нажмите кнопку и скопируйте результат. Без регистрации можно обработать до 1 000 фраз за раз, после бесплатной регистрации ограничение снимается до 10 000 строк.

Как пользоваться

  1. Вставьте список фраз

    Одна ключевая фраза на строку. Подойдёт выгрузка из WordStat, из таблицы или из файла кампании.

  2. Запустите очистку

    Инструмент вычислит подпись каждой фразы по основам слов и найдёт строки с одинаковым набором основ.

  3. Проверьте удалённые дубли

    Рядом с каждой удалённой строкой показана фраза, которую она дублирует. Если сохранить нужно другой вариант, поставьте его выше в исходном списке и запустите очистку снова.

  4. Скопируйте чистый список

    Перенесите результат в кластеризацию, в Генератор Директ или сразу в файл для Директ Коммандера.

Примеры

Разные формы и порядок слов

Исходные данные

купить окна
окно купить
окна купить
пластиковые окна цена
цена пластикового окна
окна пвх
пвх окно

Результат

Оставлено:
купить окна
пластиковые окна цена
окна пвх

Удалено:
окно купить → дубль «купить окна»
окна купить → дубль «купить окна»
цена пластикового окна → дубль «пластиковые окна цена»
пвх окно → дубль «окна пвх»

Сохраняется та фраза, которая стоит в списке первой. Поэтому удобно заранее отсортировать список по частотности: тогда в результате останутся самые популярные формулировки.

Фразы с операторами

Исходные данные

ремонт ноутбуков
"ремонт ноутбука"
!ремонт !ноутбуков
ремонт ноутбуков asus

Результат

Оставлено:
ремонт ноутбуков
ремонт ноутбуков asus

Удалено:
"ремонт ноутбука" → дубль «ремонт ноутбуков»
!ремонт !ноутбуков → дубль «ремонт ноутбуков»

Операторы при сравнении не учитываются. Если вы намеренно держите в кампании одну фразу с разными типами соответствия, сначала уберите дубли, а операторы расставьте потом.

Зачем удалять морфологические дубли в Яндекс Директе

Когда в кампании несколько фраз отличаются только формой слов, Директу приходится выбирать, какая из них сработает на запрос. Статистика при этом размазывается по нескольким строкам: сложнее понять, какая формулировка приносит заявки, сложнее управлять ставками и минус-словами. Сам Директ тоже может пометить такие фразы как дубли при загрузке.

Дубли раздувают и семантическое ядро на этапе подготовки. После сбора из WordStat, парсинга подсказок и перемножения слов в комбинаторе в списке легко оказываются десятки вариантов одного и того же запроса. Чем раньше вы их уберёте, тем точнее будет группировка и тем меньше лишних объявлений придётся писать.

Как инструмент сравнивает фразы

Для каждой фразы строится набор основ слов. Стеммер отбрасывает окончания и суффиксы словоизменения, поэтому «окна», «окно» и «окнами» дают одну основу. Затем основы сортируются, а знаки препинания и операторы Директа (+, !, кавычки, квадратные скобки) отбрасываются. Две фразы с одинаковым набором основ считаются дублями независимо от порядка слов.

  • «купить окна» и «окна купить» — дубли: одинаковые слова, другой порядок.
  • «пластиковые окна цена» и «цена пластикового окна» — дубли: другие формы тех же слов.
  • «купить окна» и «купить окна пвх» — не дубли: во второй фразе есть дополнительное слово.
  • «ремонт ноутбуков» и "ремонт ноутбука" — дубли: кавычки не учитываются.

Стеммер работает по правилам, а не по словарю, поэтому слова с чередованием или разными корнями в формах («человек» и «люди») он не объединит. Такие случаи редки, но при ручной проверке результата на них стоит обратить внимание.

Типичные ошибки при чистке семантики

  • Удаление дублей после расстановки операторов. Если в списке есть "купить окна" и [купить окна] как осознанные варианты, инструмент оставит только первый. Чистите ядро до того, как зафиксировать типы соответствия.
  • Неудачный порядок списка. Остаётся первая встреченная фраза. Если важна конкретная формулировка, например для подстановки в заголовок, поставьте её выше.
  • Путаница с вложенными фразами. Фразы вида «купить окна» и «купить окна недорого» не дубли, а разные запросы. Для разведения таких фраз между собой нужна кросс-минусовка.
  • Ручная чистка на глаз. В списке на несколько тысяч строк дубли в другом порядке слов почти невозможно найти сортировкой по алфавиту.

Что делать с результатом дальше

Очищенный список удобно сразу разбить на группы: кластеризация запросов объединит фразы с общими словами, а в Генераторе Директ для каждой группы можно собрать объявления с подстановкой ключа и выгрузить файл для Директ Коммандера.

Перед загрузкой в Директ полезно прогнать фразы через проверку ключевых фраз: она найдёт фразы длиннее 7 слов, слишком длинные слова и ошибки в операторах. Если нужно ещё привести регистр или убрать спецсимволы, воспользуйтесь обработкой списка фраз.

Частые вопросы

Чем морфологические дубли отличаются от обычных?

Обычные дубли — это полностью одинаковые строки. Морфологические совпадают по набору слов, но различаются формой слов или порядком: «окно купить» и «купить окна».

Какая фраза остаётся, а какая удаляется?

Остаётся первая фраза с данным набором основ, все последующие удаляются. Чтобы сохранить нужную формулировку, поставьте её выше в исходном списке.

Учитываются ли операторы Директа?

Нет, операторы +, !, кавычки и квадратные скобки при сравнении отбрасываются. Поэтому чистить список лучше до того, как вы расставите типы соответствия.

Нужно ли удалять дубли, если Директ сам учитывает словоформы?

Да. Именно потому, что Директ без операторов учитывает все формы и порядок слов, такие фразы конкурируют между собой и дробят статистику. Одна фраза вместо нескольких проще в управлении.

Сколько фраз можно обработать?

Без регистрации — до 1 000 строк за один запуск. После бесплатной регистрации — до 10 000 строк.

Отправляются ли мои фразы на сервер?

Нет, обработка выполняется в браузере на вашем устройстве.

Работает ли инструмент с английскими фразами?

Основной сценарий — русские ключевые фразы. Латинские слова (названия брендов и моделей) сравниваются как есть, поэтому разные написания одного бренда могут не объединиться.

Похожие инструменты

Соберите всю кампанию за один проход

В проекте 100CTR фразы группируются автоматически, в каждую группу пишутся объявления с подстановкой ключа, а результат выгружается файлом для Директ Коммандера.

Как это работает