Дубли — это одна физическая позиция, заведённая в справочнике несколько раз. Точные совпадения находятся сравнением после нормализации: приведение регистра, удаление лишних пробелов и знаков. Семантические сложнее — сокращения, перестановка слов, бренд вместо описания, транслитерация, опечатки.
Последствия выходят за рамки порядка в справочнике. Остатки задваиваются, и склад показывает наличие там, где его нет. Объём закупки дробится, и вместо одной сильной позиции на переговорах получаются две слабые. Анализ цен искажается: сравнение идёт между карточками, а не между товарами.
Отдельно опасны дубли с разными единицами измерения — когда та же позиция заведена в штуках и в метрах. Это ломает списание, делает цены несопоставимыми и завышает остаток. Такие пары нельзя объединять автоматически: нужен коэффициент пересчёта и проверка человеком.
Разумный порядок работы — не удалять, а помечать. Автоматика предлагает группы кандидатов с уровнем уверенности, решение по спорным принимает закупщик или технолог.