Удалить дубли строк

Зачем удалять дубли строк

Дубль строки — строка, которая уже встречалась в тексте или списке. Повторы появляются, когда списки собирают из нескольких источников: запросы из Вордстата, Key Collector и подсказок, почтовые адреса из разных форм, адреса страниц из sitemap и выгрузки Вебмастера, товары из двух прайсов.

Лишние строки мешают работе. Запрос, добавленный в Яндекс Директ дважды, конкурирует сам с собой; письмо по списку с повторами придёт человеку два раза; в отчёте одна и та же страница посчитается дважды; импорт товаров создаст копии карточек.

Самые коварные повторы глазом не видны: «Купить диван» и «купить диван», строка с пробелом в конце, «ёлка» и «елка», адрес с www и без. Инструмент находит и такие дубли, удаляет их за секунду и показывает, какие строки повторялись и сколько раз.

Что умеет инструмент

• Пять режимов. Удалить повторы и оставить первую строку или последнюю; удалить только повторы, которые идут подряд; убрать все строки, у которых есть повторы, и оставить только уникальные; наоборот, оставить только повторяющиеся строки — по одному разу.
• Что считать одинаковым. Без учёта регистра (включено сразу), без пробелов по краям, двойных и невидимых пробелов (включено сразу), «ё» как «е», без знаков препинания, без учёта порядка слов — «купить диван» и «диван купить» станут одной строкой. Сама строка в результате не меняется: настройки влияют только на сравнение.
• Адреса сайтов. По галочке https://www.example.ru/page/ и example.ru/page считаются одним адресом: без протокола, www и слеша в конце.
• Столбец выгрузки. Таблицу из Excel, Вордстата или CSV можно сравнивать по одному столбцу — например, по запросу, а частоту оставить рядом. Разделитель — табуляция, точка с запятой или запятая — определяется сам.
• Какие строки повторялись. Список под итогом: сколько раз встретилась строка и в каких строках исходного текста, сначала самые частые. Его видно в любом режиме.
• Результат. Порядок — как в тексте, по алфавиту или сначала самые частые; число повторов можно поставить перед строкой через табуляцию — при вставке в Excel оно встанет в отдельный столбец. Файл .txt или .csv до 20 МБ открывается в UTF-8 или Windows-1251, переносы строк — как в исходнике, Windows или LF.

Как удалить повторяющиеся строки

1. Вставьте список в поле, перетащите файл .txt или .csv или нажмите «Вставить пример».
2. Выберите, что удалить: повторы с первой или последней строкой, только повторы подряд, все строки с повторами.
3. Отметьте, что считать одинаковым: регистр, пробелы, «ё», знаки, порядок слов, адреса, столбец.
4. Проверьте список «Какие строки повторялись» и нажмите «Скопировать» или «Скачать .txt».

Как не потерять нужное

• Повторы остались — строки отличаются тем, что сравнение учитывает: знаком в конце, порядком слов, «ё». Включите нужную галочку и посмотрите на список повторов.
• Склеились разные строки — без знаков и без порядка слов «диван-кровать» и «кровать диван» станут одним запросом. Для семантики это обычно нужно, для текста — нет: смотрите список повторов перед копированием.
• Пустые строки на месте — пустые строки повторами не считаются, чтобы не склеить абзацы. Уберите их галочкой «Удалить пустые строки» или отдельным инструментом.
• В режиме «только уникальные» пропало много строк — так и задумано: удаляется каждая строка, у которой есть хоть один повтор, вместе с первой.

Список запросов дальше удобно отсортировать, почистить от операторов и минус-слов чисткой семантики, а текст — освободить от лишних пробелов.