PROJEKTS

Vietņu skrāpēšana strukturētu kontaktu datu iegūšanai

Pielāgota programmatūras izstrāde, Vietņu datu skrāpēšana, Kontaktu datu ieguve, Atkārtoti lietojama skrāpera izstrāde, Datu tīrīšana un validācija, CSV un Excel eksports, JSON eksports, CRM gatavi dati

  • Nozare: Tirgus izpēte
  • Horvātija Atrašanās vieta: Horvātija
  • Izstrādes laiks: 10 nedēļas
  • Tehnoloģijas: Python, JavaScript / TypeScript (Node.js)
3 mēneši

Šis klients daudz laika velta kontaktinformācijas un uzņēmumu datu apkopošanai no uzņēmumu vietnēm, publiskām datubāzēm un tiešsaistes katalogiem. Programmatūra ir pielāgots vietņu skrāpēšanas risinājums, kas izmanto avotu URL un atlasītos laukus. Tā iegūst kontaktu ierakstus, tos tīra un validē, pēc tam tirgus izpētes komandai nodod sakārtotus failus. Atkārtoti lietojama datu ieguve samazina atkarību no manuālas ievades.

Kopsavilkums

Problēma

Klients kontaktinformāciju apkopo un pārbauda manuāli.

Risinājums

Risinājums kļuva par atkārtoti lietojamu skrāperi noteiktu vietņu datu iegūšanai, tīrīšanai, validēšanai un sakārtošanai.

Rezultāts

Programmatūra palīdz samazināt manuālu datu apkopošanu un atkārtotu darbu tirgus izpētes procesos.

Klienta stāsts

Klients ir tirgus izpētes uzņēmums no Horvātijas. Tas apkopo uzņēmumu nosaukumus, e-pasta adreses un tālruņu numurus no uzņēmumu vietnēm, publiskām datubāzēm un tiešsaistes katalogiem.

Datu kopā ietilpst arī fiziskās adreses un cita uzņēmējdarbības informācija.

Komanda sagatavo kontaktinformāciju tirgus analīzei, biznesa attīstībai, telefonpārdošanai un importēšanai CRM sistēmā. Manuāla apkopošana, atkārtotas pārbaudes un dublikāti patērē laiku un rada papildu darbu.

Pieprasījums bija vienkāršs: iegūt atlasītos kontaktu laukus no noteiktiem avotiem, vajadzības gadījumā atkārtot apkopošanu un nodrošināt tīrus, strukturētus failus.

Risinājums tika veidots ap avotu iestatīšanas ekrānu, izpildes pārraudzības rīku, datu tīrīšanas sadaļu un eksporta iestatījumiem. Ierakstus varēja pārskatīt pirms izmantošanas.

Klients vēlējās

  1. Iegūt kontaktu laukus no vietnēm, datubāzēm, katalogiem un tiešsaistes avotiem
  2. Palaist atkārtoti lietojamu skrāperi un saņemt tā pirmkodu vai piezīmju grāmatiņu
  3. Tīrīt, validēt, sakārtot un noņemt dublikātus no iegūtajiem ierakstiem
  4. Eksportēt strukturētus datus CSV, Excel, JSON vai kategorizētu darbgrāmatu formātā

Kāpēc nederēja gatava programmatūra

Gatavi datu ieguves rīki aptver tikai daļu uzdevuma, bet to apraksti neparedz klienta precīzos laukus, tīrīšanas noteikumus un izvades failus vienotā procesā. Bija nepieciešams pielāgots risinājums, kas apvieno atkārtotu skrāpēšanu ar validāciju, dublikātu noņemšanu, sakārtotām darbgrāmatām un atkārtoti lietojamu kodu.

Projekta pārskats

Risinājums tika izstrādāts, ņemot vērā klienta reālos avotus, laukus un noteikumus. Pirmajā ekrānā pirms palaišanas tiek definēti vietņu URL, kontaktu lauki un atkārtotas ieguves iestatījumi.

Lai apstrādātu datus no viena vai vairākiem avotiem, tika izveidots ieguves pārraudzības rīks. Vienuviet tas parāda izpildes statusu, avotu URL, iegūtos ierakstus un ielādes vai piekļuves piezīmes.

Pēc tam ieraksti tiek tīrīti un pārskatīti. Dublikātu sakritības, validācijas statuss, kontaktu lauki un kategorijas paliek redzamas, lai datu pārzinis varētu sagatavot konsekventu kontaktu sarakstu.

Pēdējais ekrāns tika izstrādāts praktiskai datu nodošanai. Tas eksportē sakārtotus ierakstus CSV, Excel vai JSON formātā un kopā ar failu saglabā iestatīšanas instrukcijas vai procesa piezīmes.

Skrāperis izmanto atkārtoti lietojamu kodu, ko var pielāgot klienta noteikumiem. Dokumentācija un apmācību materiāli palīdz patstāvīgi strādāt ar sistēmu.

Piegādātās galvenās funkcijas

  • Vietņu un avotu saraksta iestatīšana
  • Atlasīto kontaktu lauku ieguve
  • Atkārtoti lietojama un atkārtojama skrāpēšana
  • Ieguves izpildes pārraudzība
  • E-pasta adrešu un tālruņu numuru apkopošana
  • Ierakstu validācija un tīrīšana
  • Dublikātu noteikšana un noņemšana
  • Kontaktu datu kategorizācija
  • CSV, Excel un JSON eksports

Var pievienot

+ Atkārtotus Excel datubāzes atjauninājumus + E-pasta un domēnu pārbaudi + Uz atslēgvārdiem balstītu kategorizāciju + Uz datumiem balstītu kategorizāciju + Pirmkoda izskaidrojumu + Papildu skrāpēšanas metodes

Kas vēl var izmantot šo risinājumu

Šiem uzņēmumiem ir līdzīgs uzdevums, un to avotiem, laukiem un datu nodošanas noteikumiem var pielāgot to pašu risinājumu.

Biznesa pakalpojumu uzņēmums

Uzdevums Tas apkopo uzņēmumu un kontaktinformāciju no publiskām vietnēm un katalogiem.
Kā risinājums palīdz Risinājums iegūst atlasītos laukus, noņem dublikātus un sagatavo failus importēšanai CRM sistēmā vai biznesa attīstībai.
Biznesa pakalpojumi

Profesionālo pakalpojumu uzņēmums

Uzdevums Tas veido kontaktu sarakstus no uzņēmumu vietnēm un tiešsaistes avotiem.
Kā risinājums palīdz Risinājums apkopo e-pasta adreses, tālruņu numurus un uzņēmējdarbības informāciju strukturētos failos.
Profesionālie pakalpojumi

Tehnoloģiju steks

Python

Skrāpēšana un pārlūka automatizācija

Python nodrošina vietņu pārmeklēšanu, lapu parsēšanu un pārlūkā balstītu ieguvi.

JavaScript / TypeScript (Node.js)

Strukturētu failu apstrāde

JavaScript un TypeScript nodrošina strukturētu failu apstrādi.

Scrapy

Vietņu pārmeklēšana un skrāpēšana

Scrapy (ietvars vietņu pārmeklēšanai un skrāpēšanai) apkopo ierakstus no noteiktiem avotiem.

BeautifulSoup

HTML lapu parsēšana

BeautifulSoup (bibliotēka informācijas lasīšanai no tīmekļa lapām) parsē lapas saturu un atrod norādītos laukus.

selenium

Pārlūkā balstīta ieguve

selenium (rīks tīmekļa pārlūka vadībai) nodrošina ieguvi gadījumos, kad ielādei nepieciešams pārlūks.

csv-parse

CSV lasīšana un parsēšana

csv-parse (Node.js bibliotēka CSV failu lasīšanai) nolasa strukturētus CSV datus.

maatwebsite/excel

Excel un CSV eksports

maatwebsite/excel (Laravel pakotne Excel un CSV failiem) nodrošina sakārtotu izklājlapu nodošanu.

jsonify

JSON datu apstrāde

jsonify (JavaScript bibliotēka darbam ar JSON) apstrādā JSON ierakstus, nemainot globālos objektus.

CSV, Excel, JSON

Strukturētu datu nodošana

Šie formāti nodrošina sakārtotus kontaktu ierakstus analīzei, importēšanai CRM sistēmā un citiem uzņēmējdarbības mērķiem.

Integrācijas

CRM systems

Risinājums eksportē sakārtotus kontaktu ierakstus CRM importam piemērotos formātos.

Excel

Risinājums eksportē kategorizētus kontaktu datus un sakārtotas darbgrāmatas Excel failos.

CSV files

Risinājums lasa un raksta ar komatiem atdalītus kontaktu ierakstus strukturētai apmaiņai.

JSON files

Risinājums nodrošina strukturētus ierakstus JSON formātā sistēmām, kas izmanto šo formātu.

Email verification service

E-pasta verifikācijas pakalpojums pirms datu nodošanas var pārbaudīt e-pasta adreses un domēnus.

Rezultāts

Pirms apkopošanas iestatīt precīzus avotus un laukus

Pirmais ekrāns padara ieguves pieprasījumu konkrētu. Vietņu URL, avotu saraksti un atlasītie kontaktu lauki nosaka, ko skrāperis apkopo.

Kā tas darbojas

  1. Programmatūra saglabā norādītās vietnes un avotu sarakstus.
  2. Programmatūra saglabā atlasītos laukus, piemēram, e-pastu, tālruņa numuru un pasta adresi.
  3. Programmatūra saglabā atkārtotas ieguves iestatījumus turpmākām palaišanām.
  • E-pasta adreses un tālruņu numuri ir pieejami kā atsevišķi kontaktu lauki.
  • Atlasītajos laukos var iekļaut fiziskās adreses un uzņēmējdarbības informāciju.
Avota un lauku iestatīšana

Avota un lauku iestatīšana

Šī ekrāna funkcijas
Vietņu datu skrāpēšana E-pasta adrešu skrāpēšana Tālruņu numuru ieguve Fizisko adrešu ieguve

Skatīt ieguves progresu un apkopotos ierakstus

Ieguves pārraudzības rīks apvieno avotu URL, izpildes statusu un iegūtos ierakstus. Piekļuves brīdinājumi un ielādes piezīmes padara avotu darbību redzamu apkopošanas laikā.

Komanda pirms tīrīšanas posma skaidri redz no vienas vai vairākām vietnēm saņemtos ierakstus.

Kā tas darbojas

  1. Scrapy (ietvars vietņu pārmeklēšanai un skrāpēšanai) apkopo datus no sarakstā norādītajiem avotiem.
  2. BeautifulSoup (bibliotēka tīmekļa lapu parsēšanai) nolasa vietņu saturu un iegūst norādītos laukus.
  3. Programmatūra parāda izpildes statusu, avotu URL, iegūtos datus un ielādes vai piekļuves piezīmes.
  • Ieguve atbalsta vairākas lapas un vietnes.
  • Skrāperi var atkārtoti palaist ar atkārtoti lietojamiem noteikumiem.
Piezīme: Apkopošanas noteikumiem jāievēro vietņu darbība, platformu lietošanas noteikumi, privātuma likumi, GDPR un citas piemērojamās prasības.
Ieguves izpildes pārraudzība

Ieguves izpildes pārraudzība

Šī ekrāna funkcijas
Vietņu datu skrāpēšana Datu ieguve

Sagatavot tīrākus kontaktu ierakstus

Tīrīšanas ekrāns ļauj datu pārzinim vienuviet pārskatīt validācijas statusu, dublikātu sakritības un kategorijas. Pirms eksporta kontaktu ieraksti paliek sakārtoti.

Dublikātu indikatori palīdz nošķirt atkārtotus ierakstus no izmantojamā kontaktu saraksta, savukārt kategorijas sagatavo datus analīzei vai uzrunāšanai.

Kā tas darbojas

  1. Programmatūra kontaktu tabulā parāda e-pasta adreses, tālruņu numurus un pasta adreses.
  2. Programmatūra salīdzina ierakstus un parāda dublikātu sakritības un validācijas statusu.
  3. Programmatūra sakārtotiem kontaktu ierakstiem piešķir kategorijas.
  • Ierakstus var kategorizēt pēc datumiem vai atslēgvārdiem.
  • Datu dublikātu noņemšanas pakalpojums var palīdzēt novērst dublikātus.
Ierakstu tīrīšana un dublikātu noņemšana

Ierakstu tīrīšana un dublikātu noņemšana

Šī ekrāna funkcijas
Kontaktu datu sakārtošana Dublikātu novēršana Datu dublikātu noņemšanas pakalpojums Lielu datu kopu tīrīšana Datu kategorizācija Kontaktinformācijas ieguve

Nodot datus komandas izmantotajā formātā

Eksporta ekrāns pārvērš pārskatītos ierakstus praktiskā nodošanas paketē analīzei vai CRM importam. CSV, Excel un JSON nodrošina elastīgu nodošanu, nemainot avota laukus.

Iestatīšanas instrukcijas un procesa piezīmes paliek sasaistītas ar nodošanas iestatījumiem, palīdzot komandai saprast, kā darbojas ieguve.

Kā tas darbojas

  1. Programmatūra sagatavo sakārtotus kontaktu ierakstus CSV, Excel vai JSON izvadei.
  2. Programmatūra izveido izvēlētā formāta faila kopsavilkumu.
  3. Programmatūra nodrošina saites uz iestatīšanas instrukcijām vai procesa piezīmēm.
  • CSV faili nodrošina strukturētu apmaiņu.
  • Excel faili nodrošina kategorizētas darbgrāmatas.
  • JSON faili nodrošina datu izmantošanu starp sistēmām.
Eksporta un datu nodošanas iestatījumi

Eksporta un datu nodošanas iestatījumi

Šī ekrāna funkcijas
Uzņēmumu kontaktu sarakstu eksports Excel eksporta rīks CSV datu pārvaldība

Ko nodrošina risinājums

Ar šo risinājumu tirgus izpētes uzņēmums var:

  • Apkopot noteiktus kontaktu un uzņēmējdarbības laukus no definētiem tiešsaistes avotiem
  • Atkārtoti palaist ieguves noteikumus regulārai datu apkopošanai
  • Pirms nodošanas pārskatīt validācijas statusu un dublikātu sakritības
  • Sakārtot ierakstus pēc tādām kategorijām kā datumi vai atslēgvārdi
  • Eksportēt tīrus kontaktu datus analīzei un CRM importam
  • Uzturēt atkārtoti lietojamu kodu, iestatīšanas instrukcijas un procesa piezīmes

Vai gatavas sistēmas varētu paveikt šo darbu?

Pirms izstrādes uzdevums tika salīdzināts ar gataviem produktiem, balstoties uz to aprakstiem.

Kas nepieciešams klientam Tīmekļa skrāpēšanas API Zyte, Scrapfly, ScrapingBee Tīmekļa skrāpēšanas rīki Octoparse, Oxylabs Datu ieguves programmatūra Data Extraction Pielāgots risinājums
Iegūt kontaktu laukus no avotiem daļēji
Atkārtoti palaist skrāperi ar pirmkodu — daļēji daļēji
Tīrīt ierakstus un noņemt dublikātus — daļēji
Eksportēt strukturētus kontaktu failus
Atbilst klienta noteikumiem: posmiem, lomām, pārskatiem — — —
Visas darbības vienuviet — — —
Nav manuālu darbību starp programmām daļēji — daļēji

Pamatojoties uz produktu un to kategorijas publiskajiem aprakstiem.

Gatavie produkti nodrošina piekļuvi vietnēm, pārmeklēšanu, datu ieguvi un failu nodošanu, savukārt vispārīga datu ieguves programmatūra aptver plašāku datu izgūšanu.

Gatavs produkts ir pietiekams, ja uzdevumam nepieciešama tikai viena no šīm daļām. Šim klientam bija vajadzīga sava programmatūra, jo nepieciešamajiem laukiem, tīrīšanas noteikumiem, kategorijām, atkārtoti lietojamam kodam un eksportiem bija jādarbojas kopā vienuviet.

Produkti apraksta automatizētu apkopošanu, taču klienta pārskatīšanas, validācijas, dublikātu noņemšanas un datu nodošanas noteikumiem joprojām nepieciešams pielāgots process.

Noslēgumā

Noslēgumā risinājums tika izveidots, lai samazinātu manuālo darbu ceļā no publiskiem tiešsaistes avotiem līdz tīriem kontaktu failiem.

BUJ

Domājat par līdzīgas sistēmas izveidi? Izlasiet tālāk sniegtās atbildes, lai uzzinātu, kā kopā darbojas skrāpēšana, strukturēti eksporta faili un pielāgoti noteikumi.

Nepieciešams kas līdzīgs? Aprunāsimies
Vai pārlūkot citus projektus