Skrapa webbplatser efter värdefull data med Scrapestack API

click fraud protection

Det finns många bra sätt att hitta information på internet. Ändå finns det en del information som är svårare att hitta, särskilt om du letar efter mycket specifika saker. Webbskrapningstjänster är ett utmärkt verktyg för detta. Skrapstack är ett API som låter dig hantera din egen webbskrapning.

En webbskrapa är ett verktyg som besöker en webbplats och tar en kopia av en viss typ av data. Istället för att du går igenom allt manuellt, ge bara skrapardata att leta efter så kommer den att göra allt arbete. Scrapestack är kraftfullare än de kostnadsfria webbplatsskraporna där ute. Det ger bättre säkerhet, bättre tillförlitlighet och en top-of-line-server.

Komma igång

Komma igång med Skrapstack är väldigt enkelt. Först måste du skapa ett konto. När du har ett konto får du en API-nyckel. Detta är vad du kommer att använda för att komma åt API, inte överraskande. Du kan sedan använda måladressen för att skrapa data från vilken webbplats du vill.

http://api.scrapestack.com/scrape? access_key=YOUR_ACCESS_KEY&url=https://microsoft.com

I exemplet ovan skulle du skrapa Microsofts webbplats. Allt du behöver göra är att placera din API-nyckel på lämplig plats och ändra domänen i slutet. Du kommer då att få sidans innehåll utan JavaScrip och CSS-stilar.

Det finns andra parametrar du kan lägga till i måladressen för att förfina saker ytterligare.

access_key

[Nödvändig] Ange din unika API-åtkomstnyckel för att autentisera med API: t. Din API-åtkomstnyckel finns i ditt kontos instrumentpanel.

url

[Nödvändig] Ange webbadressen till webbsidan du vill skrapa.

render_js

[valfritt] Ställ in på 0 (av, standard) eller 1 (på) beroende på om JavaScript ska renderas på målwebbsidan eller inte. JavaScript-rendering görs med en huvudlös webbläsare i Google Chrome.

keep_headers

[valfritt] Ställ in 0 (av, standard) eller 1 (på) beroende på om för närvarande aktiva HTTP-rubriker ska skickas till måladressen med din API-begäran eller inte och låta API: et returnera dessa rubriker tillsammans med ditt API-svar.

proxy_location

[valfritt] Ange koden på två bokstäver för det land du vill ha till oss som proxy-geolokalisering för din scraping-API-förfrågan. Länder som stöds skiljer sig åt beroende på proxytyp, se Proxyplatser avsnitt för detaljer.

premium_proxy

[valfritt] Ställ in 0 (av, standard) eller 1 (på) beroende på om du vill aktivera premiumbostäder för din begäran om skrapning eller inte. Observera att en enda premium proxy-API-begäran räknas som 25 API-begäranden.

Prissättning

Det finns flera prisnivåer för Skrapstack. Den kostnadsfria nivån erbjuder 10 000 API-förfrågningar, standardproxyer och begränsat stöd. Grundnivån lägger till 250 000 API-förfrågningar, HTTPS-kryptering, samtidiga förfrågningar och obegränsat stöd. Grundläggande kostar $19,99 per månad. Om du går upp till Professional-nivån får du 1 000 000 förfrågningar, och sedan går Business-nivån hela vägen upp till 3 000 000 förfrågningar. De kostar $79,99 respektive $149,99 per månad.

Vi tackar scrapestack för att du sponsrar detta inlägg och tillhandahåller innehållet. Våra sponsorer hjälper oss att betala för de många costs associerade med att köra XDA, inklusive serverkostnader, heltidsutvecklare, nyhetsskribenter och mycket mer. Även om du kan se sponsrat innehåll (som alltid kommer att märkas som sådant) bredvid portalinnehåll, är portalteamet inte på något sätt ansvarigt för dessa inlägg. Sponsrat innehåll, reklam och XDA Depot hanteras helt av ett separat team. XDA kommer aldrig att äventyra sin journalistiska integritet genom att acceptera pengar för att skriva positivt om ett företag, eller ändra våra åsikter eller åsikter på något sätt. Vår åsikt går inte att köpa.