Ako odstrániť duplicity v zákazníckych dátach bez straty histórie

Prečo v zákazníckych dátach vznikajú duplicity?

Duplicity v zákazníckych dátach majú zvyčajne procesnú príčinu. Najčastejšie vznikajú vtedy, keď sa ten istý kontakt vytvára na viacerých miestach, chýba jeden spoľahlivý identifikátor a ručné úpravy nemajú jasné pravidlá. Problém preto spravidla nie je v jednotlivcovi, ale v nastavení procesu.

Vo firmách sa duplicity objavujú najmä v tomto poradí pravdepodobnosti:

1. Viac vstupných miest pre ten istý kontakt
   Lead príde z webového formulára, obchodník ho založí ručne do CRM, marketing importuje zoznam z kampane a účtovníctvo používa vlastný adresár.

2. Chýba jednoznačný identifikátor
   Raz sa porovnáva podľa názvu firmy, inokedy podľa e-mailu a inokedy podľa telefónu. Systém potom nevie spoľahlivo rozhodnúť, či ide o ten istý záznam.

3. Nejednotný formát údajov
   Ján Novák a Jan Novak, +421 900 123 456 a 0900 123 456, ABC s.r.o. a ABC sú pre človeka podobné, no tabuľka alebo CRM ich nemusí vždy vyhodnotiť rovnako.

4. Systémy medzi sebou nekomunikujú
   Ak sa CRM, web, e-shop alebo fakturačný systém neprepájajú, rovnaké dáta sa prenášajú ručne a vznikajú ďalšie kópie.

5. Nie sú nastavené pravidlá zlúčenia a vlastníctva dát
   Tím nevie, ktorý záznam je hlavný, čo sa má pri konflikte ponechať a kto zodpovedá za kvalitu databázy.

Pri zákazníckych dátach je potrebné vnímať duplicitu širšie než ako 2 rovnaké riadky. Často ide o 2 či 3 čiastočne odlišné záznamy tej istej firmy alebo osoby, pričom každý obsahuje inú časť pravdy. Preto duplicity neriešte iba mazaním, ale najprv pochopte, prečo vznikajú.

Ako zistíte, odkiaľ duplicity prichádzajú?

Zdroj duplicít určíte tak, že sledujete nielen duplicitné kontakty, ale aj cestu, ktorou sa do firmy dostali. Najrýchlejšie funguje mapovanie symptómov na príčiny: čo sa opakuje, v ktorom systéme sa to objavuje a po akej udalosti záznam vznikol.

Najpraktickejší je jednoduchý diagnostický prehľad:

Symptóm	Pravdepodobná príčina	Čo skontrolovať ako prvé
Rovnaký e-mail sa v CRM nachádza viackrát	Ručné zakladanie alebo import bez kontroly duplicít	Históriu vytvorenia záznamu, zdroj leadu, používateľa
Tá istá firma je raz s IČO a raz bez IČO	Chýbajú povinné polia alebo rozdielne formuláre	Povinné polia na webe a v CRM
Telefónne čísla majú rôzne formáty	Nejednotný zápis a chýbajúca normalizácia	Formát pri importe a ukladaní
Marketing má iný počet kontaktov než obchod	Oddelené databázy alebo zlé synchronizácie	Tok dát medzi nástrojmi
Reporty v CRM a účtovníctve nesedia	Rozdielne identifikátory medzi systémami	Prepojenie zákazníka medzi CRM a fakturáciou
Po kampani prudko stúpol počet kontaktov, ale nie počet reálnych firiem	Duplicitný zber leadov z formulárov a kampaní	Zdrojové formuláre, importy CSV, automatické sync procesy

V tejto fáze sa oplatí preveriť aj širší dátový tok. Ak každý tím pracuje s iným zoznamom, prvým signálom býva chýbajúca centralizácia firemných dát. Ak sa nezhodujú zákazníci medzi obchodom a fakturáciou, problém často nevzniká v kontaktoch, ale v slabom prepojení CRM a účtovného systému.

Výstupom diagnostiky nemá byť iba zoznam chybných riadkov. Potrebujete vedieť aj to, ktorý proces duplicity vyrába, aby ste ich po vyčistení nevytvárali znova.

Ako odstránite duplicity rýchlo vlastnými silami?

Na rýchle interné čistenie použite 4 kroky: vytvorte kópiu dát, zjednoťte formát, určte hlavný identifikátor a až potom hľadajte zhodu. Pri menšej alebo stredne veľkej databáze je to bezpečný postup, pretože najprv odhalíte skutočné duplicity a až následne rozhodnete, čo zmazať a čo zlúčiť.

Postupujte v tomto poradí:

1. Vytvorte pracovnú kópiu databázy
   Nikdy nečistite jedinú produkčnú verziu. Exportujte kontakty do samostatného súboru alebo testovacieho prostredia.

2. Zjednoťte formát polí
   Pred porovnávaním upravte aspoň tieto polia:

   • e-mail na jednotný zápis,
   • telefón do jedného formátu vrátane predvoľby,
   • názov firmy bez zbytočných medzier a variantov typu s.r.o. vs sro,
   • meno a priezvisko do samostatných polí, ak sú dnes v jednom stĺpci.

3. Vyberte primárny identifikátor podľa typu kontaktu

   Typ záznamu	Najspoľahlivejší kľúč	Poznámka
   Firma	IČO	Najlepšie na presné párovanie firiem
   Osobný kontakt	E-mail	Funguje, ak je vyplnený konzistentne
   Kontakt bez e-mailu	Telefón + meno alebo firma	Vhodné skôr na podozrenie než automatické mazanie
   Historické dáta	Kombinácia viacerých polí	Vyžaduje ručnú kontrolu

4. Najprv duplicity len označte, potom čistite
   V Exceli je bezpečnejšie najprv zvýrazniť duplicitné hodnoty a skontrolovať ich. Až potom použite odstránenie duplicít podľa konkrétnych stĺpcov. Microsoft pri tomto postupe zároveň upozorňuje, že odstránenie je trvalé a pred zásahom je vhodné pracovať s kópiou dát Microsoft Support.

5. Rozdeľte nález na dve skupiny

   • presná duplicita: rovnaký kontakt, rovnaké polia, jeden záznam môže ísť preč,
   • pravdepodobná duplicita: rovnaký zákazník, ale každý záznam obsahuje inú časť údajov, tu ešte nemažte.

Rýchle čistenie vlastnými silami funguje pri jednorazovom uprataní exportu. Prestáva stačiť vtedy, keď sa nové duplicity tvoria každý týždeň cez formuláre, importy a manuálne zakladanie. V takom prípade už neriešite kvalitu jedného súboru, ale kvalitu celého procesu.

Ako zlúčite duplicitné záznamy bez straty histórie a dôležitých údajov?

Duplicitné záznamy nemažte naslepo. Ak každý z nich obsahuje inú časť informácií, správny postup je zlúčenie do jedného hlavného záznamu podľa vopred určených pravidiel. Cieľom nie je menší počet riadkov, ale jeden spoľahlivý profil zákazníka s históriou, obchodnými aktivitami a väzbami na ďalšie procesy.

Vyberte hlavný záznam

Ako master záznam ponechajte ten, ktorý má:

• najviac vyplnených polí,
• aktuálnejšiu aktivitu,
• priradeného obchodníka alebo väzby na obchodné prípady,
• správne identifikátory, napríklad IČO alebo overený e-mail.

Určte prioritu pre každé pole

Nie každé pole má pochádzať z rovnakého zdroja. Napríklad:

• názov firmy z oficiálneho firemného záznamu,
• e-mail z naposledy overenej komunikácie,
• telefón z posledného úspešného kontaktu,
• poznámky, štítky a história zo všetkých relevantných záznamov.

Skontrolujte väzby mimo kontaktu

Pred zlúčením overte, či sa na záznam viažu:

• obchodné príležitosti,
• zákazky,
• servisné požiadavky,
• faktúry alebo objednávky,
• marketingové súhlasy a segmentácia.

Zapisujte si merge pravidlá

Ak raz rozhodnete, že pri konflikte má prednosť IČO pred názvom firmy alebo novší e-mail pred starším, nenechávajte pravidlo iba v hlave jedného človeka. Spíšte ho a používajte rovnako pri každom ďalšom čistení.

Najväčšia chyba pri zlúčení nastáva vtedy, keď firma odstráni druhý záznam, ale stratí časť histórie alebo väzby na ďalší systém. Databáza potom vyzerá čistejšie, no obchodne je slabšia. Dobrý výsledok nie je 1 riadok namiesto 2, ale 1 riadok, ktorý skutočne reprezentuje kompletného zákazníka.

Kedy už nestačí Excel a oplatí sa CRM alebo automatizácia na mieru?

Excel stačí na jednorazové upratanie menšej databázy. Ak sa duplicity vracajú z webu, marketingu, obchodu, e-shopu alebo účtovníctva, problém už nie je v tabuľke, ale v architektúre dát. Vtedy sa oplatí riešenie, ktoré kontroluje duplicity pri vzniku záznamu, nie až pri neskorom manuálnom čistení.

Profesionálne riešenie dáva zmysel najmä vtedy, keď sa u vás deje aspoň jedno z tohto:

• kontakty vznikajú z viacerých kanálov súčasne,
• obchodníci zakladajú firmy a osoby ručne bez validácie,
• CRM a ďalšie systémy používajú rozdielne identifikátory,
• pravidelne importujete CSV alebo dáta z kampaní,
• databáza rastie rýchlejšie než ju tím stíha čistiť.

V takom prípade je rozumnejšie nastaviť CRM na mieru, ktoré pracuje s vašimi procesmi, nie proti nim. Pre firmy to typicky znamená:

1. jeden zákaznícky model pre obchod, marketing a operatívu,
2. validáciu polí už pri vytvorení záznamu,
3. kontrolu duplicitného e-mailu, telefónu alebo IČO pri ukladaní,
4. pravidlá na automatické zlúčenie alebo označenie podozrivých zhôd,
5. auditnú stopu, kto a prečo záznam vytvoril alebo spojil.

Ak sa duplicity rodia hlavne pri prepisovaní údajov medzi nástrojmi, riešením bývajú aj automatizačné riešenia, ktoré prenášajú dáta bez ručného kopírovania. Práve tu vieme v BeCode postaviť kombináciu CRM, webových formulárov, integrácií a AI automatizácií tak, aby dáta vznikli raz, overili sa hneď na vstupe a ďalej sa už bezpečne používali.

Najväčšou výhodou profesionálneho riešenia nie je jednorazové vyčistenie starých chýb. Výhodou je to, že nové chyby prestanú vznikať v takom objeme.

Ako zabránite tomu, aby sa duplicity vracali?

Prevencia duplicít stojí na jednoduchom princípe: zákaznícky záznam má vznikať raz, kontrolovane a v rovnakom formáte, bez ručného prepisovania medzi systémami. Keď nastavíte vstupné validácie, jasné identifikátory a pravidelný audit, databáza sa prestane kaziť rýchlejšie, než ju tím stíha opravovať.

Použite tento krátky checklist:

• Vyberte jeden hlavný identifikátor pre firmy aj pre osoby. Ideálne IČO pre firmu a e-mail pre osobný kontakt.
• Nastavte povinné polia tam, kde kontakt vzniká. Ak chýba kľúčový údaj, záznam nemá postúpiť ďalej.
• Overujte duplicitu pri ukladaní nového kontaktu, nie až pri mesačnom čistení.
• Zjednoťte vstupné formuláre a importy. Dobré výsledky prináša už správne nastavený automatizovaný zber leadov z webu.
• Pravidelne kontrolujte nové záznamy. Pri rýchlo rastúcich databázach týždenne, pri stabilnejších minimálne raz za mesiac.
• Určte vlastníka kvality dát. Niekto vo firme musí mať zodpovednosť za pravidlá, audit a prioritizáciu opráv.
• Zahrňte deduplikačné pravidlá už do návrhu systému. Ak pripravujete nové CRM, pomáha myslieť na to už pri implementácii CRM systému.

Ak má firma prevenciu nastavenú dobre, čistenie databázy sa z krízovej aktivity mení na rutinnú kontrolu. To je cieľ: menej ručných zásahov, presnejšie reporty a viac dôvery v dáta, s ktorými pracuje obchod aj marketing.

Ak už vidíte, že duplicity nevznikajú v jednom súbore, ale v celom dátovom toku medzi CRM, formulármi, obchodom a fakturáciou, v BeCode vám vieme navrhnúť firemné CRM postavené okolo vašich procesov, aby sa kontakty vytvárali, kontrolovali a prepájali správne od začiatku.

Časté otázky

Stačí na hľadanie duplicít len e-mailová adresa?

Samotný e-mail často nestačí. Pri osobných kontaktoch býva najlepším prvým filtrom, no pri firmách ho treba doplniť aspoň o IČO, telefón alebo názov firmy. Ak časť databázy e-mail vôbec neobsahuje, spoľahlivejší je kombinovaný kľúč podľa typu záznamu a zdroja dát.

Dá sa problém s duplicitami vyriešiť aj bez výmeny celého CRM?

Áno, ak je problém najmä vo formáte dát, importoch alebo formulároch, často pomôže nastavenie validačných pravidiel, integrácií a kontrol pri ukladaní. Výmena celého CRM je potrebná až vtedy, keď súčasný systém nevie podporiť vaše procesy, identifikátory a pravidlá zlúčenia záznamov.

Ktoré polia sa oplatí validovať ako prvé?

Najskôr validujte polia, podľa ktorých zákazníka najčastejšie identifikujete a prepájate medzi systémami. Pri firmách ide najmä o IČO a názov firmy, pri osobách o e-mail a telefón. Hneď potom riešte povinné zdroje leadov a vlastníka záznamu, aby ste vedeli, odkiaľ kontakt prišiel.