Crawling اولین قدم برای آشنا شدن ربات گوگل با سایت و قرار گرفتن اطلاعات صفحات در نتایج جستجو بوده و راه هایی برای بهبود Crawl سایت وجود دارد. به همین دلیل است که سوال “Crawling چیست؟” را باید دقیقا پاسخ داد تا یک کارشناس SEO بتواند با بهینه سازی راه های افزایش Crawl سایت، مطالب سایت را سریعتر از حد معمول به ربات گوگل بشناساند و باعث شود تا صفحات سایت خود سریع تر از حد ممکن به مرحله Indexing برسد. همین موضوع Crawling طبق مطالبی در همین بند گفته شده در موضوع Crawl Budget موثر بوده و در پیشرفت سایت تاثیر مهمی خواهد داشت. بنابراین با من، رضا بختیاری همراه باشید تا با ترجمه این مقاله دانش SEO خودم و شما را ارتقاء دهم.

لازم به ذکر است که این مقاله از بخش Crawling، مقاله How Google Search Works در سایت developers google ترجمه شده است. مقاله منبع به صورت جامع اصول کار یک ربات را بررسی کرده اند، اما من به صورت جداگانه موضوعات مطرح شده در این مقاله را به صورت جداگانه بررسی می کنم. لازم به ذکر است که استفاده از منابع اصلی و معتبر خود گوگل در شناخت اصول سئو موثر است، اما اگر در سایر مقالات موضوعات متفاوت تر نیز ارائه شده با ذکر منبع در همین مقاله قرار خواهد گرفت.

نحوه انجام Crawling

Crawl اولین قدم در راه ثبت شناسایی یک صفحه است. باید گفت که با افزایش صفحات در بستر اینترنت، هیچ گونه اطلاعی به گوگل مبنی بر ایجاد یک سایت و یا یک صفحه داده نمی شود، بلکه این Crawler گوگل است که با گشت و گذار در بستر اینترنت تمامی صفحات موجود را پیدا کرده و در لیست بررسی خود قرار می دهد.

بعضی از صفحات به واسطه Crawl های قبلی شناخته شده هستند، امّا بعضی دیگر از صفحات به واسطه دریافت لینک از صفحات شناخته شده (مثل صفحه اول سایت یا سایر صفحات) در لیست بررسی Crawler قرار می گیرند. ضمنا شناخت این صفحات جدید نیز ممکن است به وسیله قرار گرفتن آنها در نقشه سایت یا Sitemap نیز در لیست بررسی گوگل اضافه شوند. باید گفت که استفاده از سرویس هایی مثل Wix و یا Blogger نیز به دلیل شناخته شده بود، در افزایش سرعت Crawl موثر بوده و با قرار گرفتن آدرس صفحه در این بخش این امر اتفاق می افتد.

نحوه انجام Crawling
نحوه انجام Crawling

برای بررسی دقیق تر Crawling باید گفت که Crawl توسط ربات گوگل ( خزنده، اسپایدر و غیره ) که تشکیل شده است از میلیون های ابر رایانه صورت می گیرد. این ربات ها براساس الگوریتم ها و قواعد تعیین شده تشخیص می دهند که کدام صفحات یک سایت، به چه تعداد و با چه میزان حساسیست و دقت مورد بررسی و Crawl قرار گیرد.

همانطور که گفتیم Crawler در اولین Crawl سایت، لیستی از آدرس های قابل بررسی یک سایت برای خود ایجاد می کند و در نوبت بعدی پیمایش براساس همان لیست به بررسی دقیق محتویات صفحات می پردازد. برای تقویت و افزایش آدرس های قابل Crawl در لیست ربات بهتر است به تقویت کردن آدرس های موجود در Sitemap بپردازیم. همچنین هر لینک خارجی از یک صفحات به سایر صفحات سایت، به لیست پیمایش ربات اضافه شده که همین امر اهمیت ایجاد استراتژی برای لینک سازی داخلی را تقویت می کند.

هر صفحه از سایت دقیقا در قالب یک صفحه از نظر کاربر و براساس شرایط محیطی مرورگر Chrome بررسی شده و هر آنچه که بعد از پردازش این مرورگر به کاربر نشان داه می شود، برای Crawler قابل درک است، حتی اگر این داده ها با استفاده از تکنولوژی های سمت سرور مثل JavaScript ایجاد شود. البته موضوعات مهمی در زمینه جاوا اسکریپت در سئو وجود دارد، که در مقاله ای مشابه حتما ترجمه و بررسی خواهد شد.

Crawler اولیه و Crawler ثانویه

گوگل برای بررسی صفحات یک سایت و Crawl آن از دو مدل Crawler استفاده می کند:

  • Crawler موبایل
  • Crawler رایانه (Desktop)

هر مدل از این کراولر ها شبیه ساز دقیقا کاربر متناظر خود هستند، یعنی Mobile Crawler یک صفحه را از نظر کاربر موبایل و Desktop Crawler یک صفحه را از نظر کاربران کامپیوتر مورد بررسی قرار می دهد.

تمامی صفحات سایت در ابتدا توسط Crawler موبایل مورد بررسی قرار می گیرد و Mobile Crawler در تمامی سایت ها ( مخصوصا سایت ها جدید و ناشخته برای ربات گوگل) به عنوان Crawler اولیه (Primary Crawler) شناخته می شود ( دلیل این موضوع استفاده کاربران زیادی از دستگاه های موبایل برای حضور در بستر وب است). سپس از Crawler رایانه به عنوان Crawler ثانویه یا (Second Crawler) برای بررسی صفحه از نظر کاربران کامپیوتر بررسی خواهد شد.

چه صفحات توسط Crawler دیده نمی شود؟

بعضی از صفحات به دلایلی خاص قابل بررسی و Crawl نیستند که در این لیست قرار دارند :

  • صفحاتی که توسط فایل robot.txt مسدود شده اند. البته اگر صفحه ای در این فایل مسدود شده باشد امّا از سایر صفحات لینک داخلی داشته باشد، احتمال Crawl افزایش یافته و ممکن است صرفا وارد مرحله ایندکس نشود، که این موضوع نیز قابل نقض است.
  • صفحاتی که برای نمایش به مجوزهای دسترسی مثل (login) احتیاج داشته باشد، به دلیل عدم ایجاد مجوز برای دسترسی گوگل (همانطور که کاربران بدون مجوز اجازه دسترسی ندارد) بررسی و Crawl نخواهد شد.
  • صفحاتی که دارای مشکل Duplicate باشند و یا قبل مورد Crawl قرار گرفته شده و نسبت به قبل تغییراتی نکرده باشند، در صورت ورود ربات گوگل (در بیشتر موارد) Crawl نمی شود زیرا تغییراتی نداشته است (این بدین معنا نیست که با ورودی ربات گوگل به صفحه، از صفحه مبدا اعتباری به صفحه فعلی نمی آید، بلکه صرفا Crawlerزمان خود را طرف Crawl مجدد نخواهد کرد )

راه های افزایش Crawling

برای افزایش Crawl یک سایت باید اصول و قواعد زیر مدنظر باشد:

  1. صفحه به راحتی در دسترس ربات گوگل قرار گرفته و قابل درک باشد. موضوع قابل درک بودن به تشخیص راحت موضوع محتوا، محتواهای صوتی و ویدئویی موجود در صفحه، تشیخص تصاویر موجود و غیره بستگی دارد. از طرفی باید در نظر داشت که گوگل از چشم یک کاربر به محتوا نگاه می کند پس اگر محتوا به راحتی (در هر شرایط ممکن، مثلا ضعف اینترنت و یا نواقص مرورگر) به درست به کاربر نشان داده نشود، پس آن محتوا در همان شرایط برای ربات گوگل قابل درک نبوده و باید برای دیده شدن صحیح آن راه کارهایی ایجاد شود.
  2. اگر محتوا صفحه شما آپدیت شد باید با استفاده از قرار دادن آدرس صفحه مورد نظر در صفحه اول، Sitemap و یا اعلام آدرس صفحه به گوگل از طریق Search Console، راه های انجام Crawl سریع صفحه را پیش بگیرید. باید صفحه اول سایت شما بهترین و عادی ترین روال دسترسی به تمامی صفحات را در خود داشته باشد تا Crawler بتواند به راحتی با پیمایش تمامی لینک های (داخلی) خروجی از صفحه اول به سایر صفحات سایت، تمامی صفحات را Crawl و هیچ صفحه ای، با طی کردن روال مناسب از صفحه اول، غیر قابل دسترس نباشد. به بیان ساده تر یک صفحه از سایت با تعداد پیمایش مشخص صفحه به صفحه (از 1 مرحله پیمایش تا 10 مرحله و بیشتر) در دسترس باشد. باید گفت که برای سایت هایی با کمتر از 1000 صفحه، همین ارتباط بین صفحات مختلف و صفحات اول برایCrawl صحیح مناسب بوده و نبودن Sitemap (که حتی در این مورد هم توصیه نمی شود) مشکلی ایجاد نخواهد کرد.
  3. برای افزایش Crawling باید از سایر صفحات سایت (به غیر از صفحه اول) که توسط گوگل شناخته شده اند، به صفحات جدید و کمتر شناخته شده لینک داده شود. با این حال نباید این موضوع بیش از حد باشد زیرا باعث افت قدرت صفحه مبدا می گردد، بنابراین برای این موضوع هم باید استراتژی مشخصی داشت.

گوگل برای Crawl بیشتر و یا بهبود رتبه سایت و یا صفحه هیچ گونه دریافتی و یا فرقی قائل نمی شود (البته به جزء گوگل adwords) که در افزایش ورودی سایت موثر است.

منتظر ادامه ترجمه این مقاله باشید

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *