Частотность слов в списке фраз и базовые фразы

Что такое базовые фразы

Базовая фраза — это сочетание из одного, двух или трёх слов, которое входит в заданное число фраз списка или больше. Слова сравниваются в любом порядке, с учётом словоформ, если включена морфология; предлоги и союзы не учитываются. Фраза «купить пластиковое окно в москве» входит в базовые фразы «окна», «пластиковые окна» и «купить пластиковые окна».

Если более длинная базовая фраза покрывает ровно те же фразы, что и короткая, остаётся только длинная. Когда «ремонт» встречается только в сочетании с «окна», вы увидите «ремонт окна», а не отдельно «ремонт» с тем же набором фраз.

Пометка «Эта фраза есть в списке» означает, что в списке есть фраза ровно из этих слов. Обычно это маркер будущей группы: короткая частотная фраза, вокруг которой собраны хвосты.

Как использовать частотность слов

• Найти мусор. Редкие и чужие слова в конце таблицы — «бесплатно», «своими руками», «реферат», названия чужих брендов — готовые минус-слова. Отметьте их и нажмите «Копировать как минус-слова».
• Понять структуру семантики. Слова с наибольшей долей — это товар и его главные характеристики, следующие по частоте — коммерческие и гео-уточнения.
• Найти маркеры групп. Слова, которые встречаются в заметной, но не подавляющей доле фраз, — хорошие опорные слова для кластеризации по выбранным словам.
• Собрать «кирпичики» для комбинатора. Частые действия, товары и уточнения из таблицы — готовые столбцы для перемножения.

Морфология и стоп-слова

С морфологией слова приводятся к основе: «окна», «окно», «окнами» и «пластиковые», «пластиковое», «пластикового» считаются по одному разу на фразу. В таблице показывается самая частая форма, остальные — мелким шрифтом под ней.

Без морфологии каждая форма считается отдельно. Это полезно, когда форма важна: например, чтобы понять, сколько запросов задано во множественном числе.

Предлоги, союзы и частицы — «в», «на», «для», «и», «или», «как» — по умолчанию не считаются: они есть почти в каждой второй фразе и забивают верх таблицы. Если служебные слова важны, например «с» и «без» в запросах про товар, снимите галочку.

Что показывают столбцы

• Фраз — в скольких фразах списка есть слово. Если слово повторяется в одной фразе дважды, фраза считается один раз.
• Доля фраз — то же число в процентах от всего списка.
• Вхождений — сколько раз слово встретилось всего, с повторами.
• Частотность — сумма частотностей фраз со словом, если частотность была во входных данных. По ней видно вес слова в спросе, а не только в числе фраз.

Куда отправить результат

Кнопка «Отправить в…» передаёт список в другой инструмент и открывает его: весь список фраз — в минусатор, чтобы собрать минус-слова, или в сравнение списков, базовые фразы — в сравнение списков, например чтобы найти ядра, которых нет у конкурента.

Для разбивки на группы скопируйте фразы в кластеризацию, а базовые фразы с пометкой «есть в списке» используйте как названия групп.