גרד אתרים לאיתור נתונים בעלי ערך בעזרת ממשק ה-API של Scrapestack

יש הרבה דרכים נהדרות למצוא מידע באינטרנט. ובכל זאת, יש מידע שקשה יותר למצוא, במיוחד אם אתה מחפש דברים מאוד ספציפיים. שירותי גירוד אינטרנט הם כלי נהדר לכך. מחסנית הוא ממשק API המאפשר לך לנהל את גירוד האינטרנט שלך בעצמך.

מגרד אינטרנט הוא כלי שיבקר באתר וייקח עותק של סוג מסוים של נתונים. במקום שתעבור על הכל באופן ידני, פשוט תן את נתוני המגרד לחפש והוא יעשה את כל העבודה. Scrapestack חזק יותר ממגרדי האתרים החינמיים שיש בחוץ. הוא מספק אבטחה טובה יותר, אמינות טובה יותר ושרת מוביל.

מתחילים

להתחיל עם מחסנית זה מאוד קל. ראשית, תצטרך להגדיר חשבון. ברגע שיש לך חשבון, יינתן לך מפתח API. זה מה שתשתמש כדי לגשת ל-API, באופן לא מפתיע. לאחר מכן תוכל להשתמש בכתובת אתר היעד כדי לגרד נתונים מכל אתר שתרצה.

http://api.scrapestack.com/scrape? access_key=YOUR_ACCESS_KEY&url=https://microsoft.com

בדוגמה למעלה היית מגרד את האתר של מיקרוסופט. כל מה שאתה צריך לעשות הוא למקם את מפתח ה-API שלך במקום המתאים ולשנות את הדומיין בסוף. לאחר מכן תקבל את תוכן העמוד ללא סגנונות JavaScrip ו-CSS.

ישנם פרמטרים אחרים שאתה יכול להוסיף לכתובת אתר היעד הזו כדי לחדד עוד יותר דברים.

`access_key`	[נדרש] ציין את מפתח הגישה הייחודי שלך ל-API לאימות עם ה-API. ניתן למצוא את מפתח הגישה ל-API שלך במרכז השליטה של החשבון שלך.
`url`	[נדרש] ציין את כתובת האתר של דף האינטרנט שברצונך לגרד.
`render_js`	[אופציונלי] הגדר ל `0` (כבוי, ברירת מחדל) או `1` (מופעל) תלוי אם להציג JavaScript בדף האינטרנט היעד או לא. עיבוד JavaScript נעשה באמצעות דפדפן Google Chrome ללא ראש.
`keep_headers`	[אופציונלי] הגדר `0` (כבוי, ברירת מחדל) או `1` (מופעל) תלוי אם לשלוח או לא לשלוח כותרות HTTP פעילות כרגע לכתובת היעד עם בקשת ה-API שלך ולבקש מה-API להחזיר כותרות אלה יחד עם תגובת ה-API שלך.
`proxy_location`	[אופציונלי] ציין את הקוד בן 2 האותיות של המדינה שתרצה לנו בתור מיקום גיאוגרפי פרוקסי עבור בקשת ה-API שלך לגירוד. המדינות הנתמכות שונות לפי סוג ה-proxy, עיין ב- מיקומי פרוקסי סעיף לפרטים.
`premium_proxy`	[אופציונלי] הגדר `0` (כבוי, ברירת מחדל) או `1` (מופעל) תלוי אם לאפשר או לא לאפשר פרוקסי פרמיום למגורים עבור בקשת הגרידה שלך. שים לב שבקשת ממשק API של פרוקסי פרימיום נספרת כ-25 בקשות API.

תמחור

ישנן מספר רמות תמחור עבור מחסנית. השכבה החינמית מציעה 10,000 בקשות API, פרוקסי סטנדרטיים ותמיכה מוגבלת. השכבה הבסיסית מוסיפה 250,000 בקשות API, הצפנת HTTPS, בקשות במקביל ותמיכה בלתי מוגבלת. בסיס עולה 19.99 דולר לחודש. עלייה לרמה המקצועית תביא לך 1,000,000 בקשות, ואז השכבה העסקית עולה עד 3,000,000 בקשות. הם עולים $79.99 ו-$149.99 לחודש, בהתאמה.

אנו מודים ל- scrapestack על מתן חסות לפוסט זה ועל סיפוק התוכן. נותני החסות שלנו עוזרים לנו לשלם עבור הג' הרבותשיטות הקשורות להפעלת XDA, כולל עלויות שרתים, מפתחים במשרה מלאה, כותבי חדשות ועוד הרבה יותר. למרות שאתה עשוי לראות תוכן ממומן (שתמיד יסומן ככזה) לצד תוכן פורטל, צוות הפורטל אינו אחראי בשום אופן לפוסטים אלה. תוכן ממומן, פרסום ו-XDA Depot מנוהלים על ידי צוות נפרד לחלוטין. XDA לעולם לא תתפשר על היושרה העיתונאית שלה על ידי קבלת כסף כדי לכתוב בצורה חיובית על חברה, או לשנות את הדעות או השקפותינו בכל דרך שהיא. את דעתנו אי אפשר לקנות.