Semalt Expert gir en guide til skraping av nettet med Javascript

Nettskraping kan være en utmerket kilde til kritiske data som brukes i beslutningsprosessen i enhver virksomhet. Derfor er det kjernen i dataanalysen, da det er den sikre måten å samle pålitelige data på. Men fordi mengden online innhold som er mulig å skrape alltid øker, kan det bli nesten umulig å skrape hver side manuelt. Dette krever automatisering.

Selv om det er mange verktøy der ute som er skreddersydd for forskjellige automatiserte skrapeprosjekter, er de fleste av dem premium og vil koste deg en formue. Det er her Puppeteer + Chrome + Node.JS kommer inn. Denne opplæringen vil guide deg gjennom prosessen slik at du automatisk kan skrape nettsteder.

Hvordan fungerer oppsettet?

Det er viktig å merke seg at det å ha litt kunnskap om JavaScript vil være nyttig i dette prosjektet. For det første må du få de ovennevnte tre programmene hver for seg. Puppeteer er et nodebibliotek som kan brukes til å kontrollere hodeløs Chrome. Hodeløs Chrome refererer til prosessen med å kjøre krom uten GUI, eller med andre ord uten å kjøre krom. Du må installere Node 8+ fra det offisielle nettstedet.

Etter å ha installert programmene er det på tide å lage et nytt prosjekt for å begynne å designe koden. Ideelt sett er det JavaScript-skraping ved at du vil bruke koden for å automatisere skrapeprosessen. For mer informasjon om Puppeteer, se dokumentasjonen, er det hundrevis av eksempler tilgjengelig for deg å leke med.

Hvordan automatisere skraping av JavaScript

Når du oppretter et nytt prosjekt, fortsetter du med å lage en fil (.js). På den første linjen må du hente frem dukkeavhengigheten som du hadde installert tidligere. Dette blir deretter fulgt av en primær funksjon "getPic ()" som vil inneholde all automatiseringskoden. Den tredje linjen påkaller funksjonen "getPic ()" for å kjøre den. Tatt i betraktning at getPic () -funksjonen er en "async" -funksjon, kan vi deretter bruke avventningsuttrykket som vil stoppe funksjonen mens vi venter på at "løftet" skal løses før vi går videre til neste kodelinje. Dette vil fungere som den primære automatiseringsfunksjonen.

Slik roper du opp hodeløst krom

Den neste kodelinjen: "const browser = venter på puppeteer.Launch ();" vil automatisk starte dukketeater og kjøre en forekomst av krom som setter den til vår nyopprettede "nettleser" -variabel. Fortsett med å lage en side som deretter blir brukt til å navigere til URL-en du vil skrape.

Slik skrap data

Puppeteer API lar deg leke med forskjellige innganger på nettstedet som klokkering, skjemautfylling og lesing av data. Du kan henvise til den for å få en nærmere oversikt over hvordan du kan automatisere prosessene. "Skrape ()" -funksjonen vil bli brukt til å legge inn skrapekoden vår. Fortsett med å kjøre noden scrape.js-funksjonen for å starte skrapeprosessen. Hele oppsettet skal deretter automatisk begynne å sende ut det nødvendige innholdet. Det er viktig å huske å gå gjennom koden din og sjekke at alt fungerer i henhold til designen for å unngå å få feil underveis.