זחלני חיפוש הם תוכנות מחשב שסורקות באופן תדיר את רשת האינטרנט, ונותנות תמונת מצב עדכנית של אתרים, בעיקר עבור מנועי חיפוש. לזחלנים יש שמות רבים; רובוט חיפוש, bot, עכבישים, זחלני רשת, crawlers ועוד. זחלן החיפוש של google נקרא googlebot. זחילה היא בעצם התהליך שמבצעים מנועי החיפוש על מנת למצוא ולסרוק את דפי האתר שלכם.
מנועי חיפוש זוחלים באופן קבוע באינטרנט באמצעות זחלנים. המטרה שלהם היא לגלות דפים חדשים ברחבי האינטרנט, על מנת להוסיף אותם לאינדקס האתרים שלהם.
הזחלנים של גוגל סורקים אינספור עמודים שונים מדי יום. הם נכנסים אל אתר אינטרנט, בודקים אם חלו בהם שינויים לעומת הסריקה הקודמת ומעדכנים באינדקס של גוגל את השינויים שהתבצעו, כגון קישורים או עמודי תוכן חדשים שהתווספו. הזחלנים סורקים את כל חלקי האתר.
איך זחילה בדיוק עובדת?
Googlebot הוא זחלן (Crawler), או "העכביש" של גוגל. הוא סורק את דפי האינטרנט לצורך האינדוקס שלהם במנוע החיפוש. אינדוקס משמעו הופעה במנוע החיפוש. לא כל דפי האינטרנט נסרקים על ידי גוגל. רק אלו שכן מופיעים אי שם בתוצאות החיפוש.
הזחלנים מתוכנתים בצורה כזו שיחקו את התנהגות הגולשים, על מנת שמנוע החיפוש יצליח להבין עד כמה שאפשר את הגולשים שלו. בהתאמה לכך הוא יציג להם את התוכן הרלוונטי האיכותי ביותר שקיםם ברשת, בהתאם לביטוי המפתח הקלוונטי שהקלידו בחיפוש. יחד עם זאת, עדיין מדובר בתוכנות ולא בבני אדם. לכן, יש מספר פונקציות שהם מתקשים לבצע, כמו למשל ניתוח תמונות וקטעי וידאו, פיענוח קול וקריאת אתרים מבוססי פלאש. הזחלנים יודעים לקרוא ולנתח טקסט.
הזחלנים, במיוחד אלו של גוגל מעדיפים אתרי תוכן שיש בהם מבנה שיטתי המבוסס על קטגוריות תוכן, תגיות נושא ומפות XML. אתר תוכן שדואג לתייג כל פריט מידע בקטגורייה ברורה, ברשימת תגיות או מילות מפתח, יקבל מהזחלנים של גוגל עדיפות בביקורים השוטפים ובהצגת התוצאות הרלוונטיות בחיפוש עצמו. יצירת קישורים פנימיים וגם חיצוניים עשויה לשפר את היכולת של הזחלן לדלג ולהגיע לעמודים נוספים באתר שלכם, ממש כמו שהגולש שלכם עשוי למצוא אינפורמציה חשובה וליהנות מתוכן משלים ואיכותי. הזחלן של גוגל נעזר הרבה בקישורים להגיע לאתרים נוספים.
קצב הזחילה
התדירות שבה Googlebot יסרוק אתר תלוי בתקציב הזחילה. תקציב זחילה הוא הערכה של התדירות שבה אתר אינטרנט מתעדכן. כאשר גולשים מבצעים חיפוש במנוע החיפוש, גוגל מחזירה להם תוצאות לא מתוך הרשת עצמה, אלא מתוך האינדקס שהיא בנתה. ככל שקצב הזחילה יהיה גבוה יותר, כך יותר עמודים יסרקו ויאונדקסו. גוגל לא סורקת את כל דפי האתר שלכם בבת אחת והסיבה לכך היא שיש גבול לקצב הזחילה. בלעדי אותו גבול זחילה, השרת יהיה תחת עומסים כבדים מאוד, שכן כל עמודי האתרים יסרקו בבת אחת. כאשר מדובר על אתרי חנות בעלי המון דפים, הגבול הזה הוא משהו שיש לדאוג לו וצריך לטפל בזאת, בעזרת אופטימיזציה. בעלי אתרים שיש להם המון דפים, לא רוצים, שמבקרים שלהם לא יגיעו לאותם עמודים שלא נסרקו, אלא בדיוק להפך. לכן, פעולות אופטימיזציה במקרים אלו הן הכרחיות. חשוב תמיד לזכור שגוגל הוא בסך הכל מנוע חיפוש מבוסס אלגוריתמים. זה מזכיר לנו שצריך להתאים את עצמנו לדרישות שלו, על מנת שיהיה לו קל יותר לאנדקס את האתר שלנו, מה שיוסיף לנו את הסיכוי להיות מדורגים גבוהה בתוצאות החיפוש וליהנות ממיקומים גבוהים.
חזרה למילון מונחים