Back to Question Center
0

אתרים מפורסמים לא ניתנים לניתוח

1 answers:

כדי לגרד את הנתונים שאתה רוצה באופן ידני, אתה צריך כישורי תכנות מעולה. לחלופין, ניתן להשתמש בטווח של כלי חילוץ נתוני אינטרנט שמטרתם קריאה, מבנה וגריסת נתונים בפורמט מסוים. עם זאת, כמה אתרי אינטרנט הם unscrapable, כלומר הם גם להשתמש בטכניקות נגד שריטה או לשנות את הסימון שלהם באופן קבוע - lazypatch sale. לדוגמה, LinkedIn, Alibaba ו- Facebook דורשות פרטי כניסה, מציעים להזין CAPTCHA ולחסום כתובות IP כדי להבטיח את הגנת המשתמשים ופרטיותם.

1. פייסבוק:

פייסבוק הוא אחד האתרים המפורסמים ביותר ברשת החברתית שיש לו מעל 20 מיליון משתמשים פעילים בכל רחבי העולם. ישנם מספר רב של יישומים נתונים שריטות תוכניות שמטרתן לחלץ מידע אישי מפייסבוק. למרבה הצער, רוב הכלים אינם מספקים לנו נתונים מדויקים וקריאים. פייסבוק הקשתה על שולחי דואר זבל והאקרים לאסוף מידע על המשתמשים שלה. זה ניתן להשיג רק בעזרת מנתח HTML כגון Python, אבל רוב מנהלי אתרים פרילנסרים אפילו לא יודעים את היסודות של Python. לאחרונה, מגרד פייסבוק הושק כדי לחלץ מידע חיוני מאתר זה ברשת החברתית. עם מגרד פייסבוק, אתה יכול רק לאסוף שמות וכתובות דוא"ל של משתמשי פייסבוק. אבל אם אתה רוצה לאסוף נתונים מעמיקים, אתה לא יכול להשתמש בכלי זה או כל מגרד דומה אחרים.

2. LinkedIn:

LinkedIn היא עוד אתר רשת חברתית שאי אפשר לגרד. עם זאת, ניתן לחלץ חלקית נתונים מתוך כמה דפי אינטרנט, אך רוב המידע אינו נגיש. ניתן רק לגרד מידע מפרופיל ציבורי ב- LinkedIn באמצעות ייבוא. io או מעבדות קימונו. משווקים לא יכולים לנצל את שירותי שפשוף בגלל אמצעי בטיחות חזקים של LinkedIn. עם זאת, הם החלו להשתמש ב- Lead Extractor, שעוזר לגרד פרופילים ציבוריים. כלי זה יכול לגרד קישורים פרופיל, שמות, ואת כתובות דוא"ל בלבד. אבל אם אתה רוצה לקבל מזהה Skype, Yahoo Messenger מזהה, כתובת מלאה, ואת מזהה Twitter של משתמש, LinkedIn לא יאפשר לך לעשות את זה.

3. Alibaba:

Alibaba הוא קונגלומרט טכנולוגיה המספקת שירותים עסקיים לצרכן באופן מקוון. למרבה הצער, אין דרך לגרד נתונים מאתר זה. שלא כמו אמזון ו- eBay, Alibaba מקשה על המשתמשים שלה לחלץ מידע על מוצריה, תמונות, תיאורים ומחירים. בשנת 2015, מספר כלים שיכולים לגרד נתונים מ Alibaba בקלות הוצגו לציבור. רוב הכלים משולמים ולא עולים על הציפיות של חברות סטארט-אפ. Alibaba מפעילה מגוון רחב של עסקים בכל רחבי העולם ומחבר קונים עם ספקים. בינתיים, זה מבטיח הפרטיות שלהם לא נותן לאף אחד לגרד נתונים. נכון לאוקטובר 2017, Alibaba יש יותר מ 500 מיליון משתמשים פעילים חודשי על הפלטפורמה שלה. Alibaba אפילו ביצועים טובים יותר ענן שחקנים גדולים כמו אמזון, גוגל, ו- Microsoft הצמיחה בהכנסות ענן. היא מיישמת את האסטרטגיות הטובות ביותר כדי להבטיח פרטיות של הספקים שלה וחוסמת את כל כתובות ה- IP החשודות בתוך שניות.

December 22, 2017