Сначала определите, что вы считаете
База юридических лиц, список торговых точек и перечень брендов отвечают на разные вопросы. Один бренд может объединять несколько организаций, а одна организация иметь несколько адресов работы. Если смешать эти уровни, итоговое число будет трудно объяснить. Запишите правило одной строкой: например, одна запись соответствует одному юридическому лицу. Если нужны адреса подразделений, их можно хранить отдельно и связывать с основной записью. Для задачи оценки числа магазинов правило будет другим. Выбор единицы учёта зависит от вопроса, а не от того, сколько строк оказалось в исходном файле.
Название помогает искать, но не гарантирует совпадение
Разные написания одного названия могут возникнуть из-за сокращений, пробелов и кавычек. Однако одинаковое название ещё не доказывает, что перед вами одна организация. Автоматическое объединение только по тексту способно ошибочно склеить разные записи. Для российских юридических лиц полезно сопоставлять проверенные идентификаторы, например ИНН или ОГРН, с официальными сведениями. Если идентификатор отсутствует или выглядит сомнительно, запись требует проверки. Не заполняйте его предположением на основании похожего адреса. Неполные данные лучше явно отметить, чем создавать видимость уверенного соответствия.
Дубль, подразделение и изменение данных различаются
Представим пять вымышленных строк. Две относятся к организации А и повторяют друг друга. Третья содержит другой адрес подразделения той же организации А. Четвёртая относится к организации Б. Пятая имеет похожее название, но не содержит достаточных признаков для сопоставления. При учёте юридических лиц здесь подтверждены две организации и одна неразобранная запись. При учёте точек присутствия понадобится отдельно проверить адреса и их назначение. Нельзя просто удалить все повторяющиеся названия: так можно потерять полезные сведения о подразделении. Исходную запись стоит сохранить, а результат проверки записать отдельно.
Актуальность должна иметь дату и источник
Фраза о свежей базе мало что говорит без даты проверки конкретных сведений. Наименование, статус организации и контактный адрес могут проверяться в разное время и по разным источникам. Полезно сохранять происхождение значения, а не только дату получения всего файла. Официальные сервисы ФНС позволяют получать сведения о юридических лицах и индивидуальных предпринимателях. Справочник компаний может содержать дополнительные данные, но их назначение и актуальность нужно оценивать отдельно. Наличие записи в реестре не подтверждает автоматически каждую строку коммерческого каталога. При расхождении не стирайте старое значение без следа: отметьте, что и на каком основании уточнено.
Попробуйте на практике
Разберите небольшой вымышленный список организаций без реальных адресов, телефонов и персональных данных.
- Составьте пять строк: две одинаковые записи организации А, её подразделение, организацию Б и неопределённую запись с похожим названием.
- Укажите единицу учёта: юридическое лицо. Добавьте отдельное поле для подразделения, чтобы не смешивать разные уровни.
- Отметьте подтверждённый дубль, отдельное подразделение и запись, требующую проверки. Не объединяйте последнюю только по сходству названия.
- Для каждой строки добавьте учебные поля источника и даты проверки. Если данных нет, так и запишите, не придумывая подтверждение.
- Сформулируйте итог: две установленные организации, сведения о подразделении и одна неразобранная запись. Сохраните исходный список отдельно от результата.
Как проверить результат. Вы можете объяснить разницу между числом строк и числом организаций. Дубли не смешаны с подразделениями, неопределённость сохранена, а каждое уточнение имеет понятное основание.
Частые вопросы
Можно ли сначала удалить повторы, а потом разбираться?
Лучше сохранить исходные данные и сначала определить правила сопоставления. Иначе вместе с повтором легко потерять историю изменения или отдельный адрес подразделения.
Достаточно ли проверить несколько первых строк?
Такая проверка показывает отдельные проблемы, но не подтверждает качество всего массива. Для вывода о базе нужно заранее определить более содержательный способ проверки и учитывать разные типы записей.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.