فایل Robots.txt چیست و چگونه عمل می کند؟

آیا وجود نداشتن فایل robots در سایت باعث کاهش سئو میشود؟ بعد از اینکه وب سایت ما به طور کامل طراحی و آماده نمایش به گوگل شد، باز هم ما با فایل robots سایت کار داریم. دقت کنید که دستور disallow باید در خط بعد از user-agent قرار بگیرد. در ادامه مقاله به شما نحوه ساخت فایل robots.txt به همراه اصطلاحات آن را آموزش میدهم اما بهتر است در ابتدا بدانیم که اصلا چرا ما باید برخی از صفحات سایت را از دید ربات های موتور جستجو پنهان کنیم؟ بنابراین بار دیگر سراغ فایل روبوتس سایت رفته و با کمک کدهایی که درون آن مینویسیم، این صفحات را هم از دید ربات موتور جستجو پنهان میکنیم. و در نهایت، از robots سایت برای پنهان کردن صفحات بی ارزش، تکراری و… دقت کنید که وردپرس در نسخه های جدید به صورت خودکار فایل robots را ایجاد کرده اما شما نمیتوانید آن را پیدا کنید. در سطح وب ربات های مختلفی به وب سایت شما سر میزنند. نکته 2: دقت کنید که همیشه هم نمیتوانیم به این اعتماد کنیم که ربات ها تمامی فرمان های داخل فایل روبوتس سایت را اجرا میکنند.

من پیشنهاد میکنم اگر نیاز به نوایندکس کردن و حذف صفحه ای از دید ربات های موتور جستجو را دارید، با توجه به سخت بودن کار با robot به سراغ روش های دیگر بروید. این تکه کد صرفا ربات های گوگل را فراخوانی میکند. مثلا فایل های تصویری با فرمت هایی مثل jpg ،png و… فرمت txt یکی از انواع فرمت فایل های متنی ساده هستند. زمانی که شما یک فایل به کمک notepad ویندوز خودتان ایجاد کنید، فرمت آن txt است. مثلا زمانی که قصد داریم برای یک صفحه از مقالات سایتمان، یک صفحه pdf و یک صفحه قابل پرینت هم ایجاد کنیم، باید صفحه اصلی را نگه داشته و مابقی را به کمک robots.txt پنهان کنیم. اصولا زمانی که وب سایت خودمان را طراحی کرده باشیم، به کمک فایل robots کل وب سایت را از دید موتور جستجو پنهان میکنیم. بعد از آن به سراغ این سوال میرویم که اگر robots در سایت ما وجود نداشته باشد چه اتفاقی می افتد و در نهایت بعد از آشنا شدن با کدهای robots.txt نحوه ساخت آن را آموزش میبینیم. در نهایت و بعد از اینکه فعالیت های لازم برای طراحی بقیه برگه ها و حذف برگه های اضافی انجام شد، سایت را برای ربات ها قابل بررسی خواهیم کرد.

ربات های موتورهای جستجو به صورت خودکار برای بررسی صفحات سایتتان، به سراغتان خواهند آمد و تمامی صفحات را ایندکس میکنند. در اصل کاری که ما قرار است انجام بدهیم، این است که به ربات ها بگوییم برخی از صفحات سایت ما را مشاهده و بررسی نکنند. این یعنی در ابتدا باید ربات های مورد نظر را فراخوانی کنید سپس به آنها دستور ایندکس کردن یا نکردن صفحات را بدهید. دستور disallow: این همان دستوری است که به کمکش میتوانید تعیین کنید کدام صفحات از دید ربات ها پنهان باشند. اما اگر صفحاتی که قرار است به کمک این فایل از دید ربات موتور جستجو پنهان شوند را پنهان نکنید، سئو وب سایتتان را کاهش میدهید. همینطور باید یادمان باید که ایندکس شدن این صفحات به دلیل مطالب کمی که درون خود دارند، باعث کاهش قدرت سئو کل سایت میشود. نکته 3: علاوه بر فایل robots، راهکار دیگر جهت پنهان کردن صفحات سایت از دید خزنده ها، کمک گرفتن از کد noindex است. گاها ممکن است ما قصد داشته باشیم که محتوایی خاص را از دید ایندکس گوگل پنهان کنیم. مثلا قالب flatsome وردپرس که یک قالب معروف است، در زمان طراحی در حدود 30 محصول، 30 برگه و چند مقاله غیر مرتبط و به زبان انگلیسی را به سایت شما اضافه میکند.

البته با توجه به اینکه نام آن کمی متفاوت بوده و محتوای نامتعارفی هم دارد، این ترس کاملا توجیه شده است. در مقاله نوایندکس حدود 7 روش از این راهکارها را توضیح دادم که میتوانید از آنها استفاده کنید. حالا ممکن است شما در این بین نخواهید که بعضی از صفحات سایتتان توسط این ربات ها ایندکس شوند. مثلا در دستور قبلی گفتیم که تمامی عکس های درون پوشه images از دید ربات ها پنهان باشند. دقت کنید که اگر در هاستتان نام پوشه عکس ها همین باشد، آنها پنهان میشوند. در سایت، برخی از صفحات وجود دارند که به صورت پیشفرض وجودشان ضروری است اما نمایش آنها در نتایج هیچ سودی ندارد. در این حالت برای اینکه از طرف گوگل به داشتن محتوای duplicate و تکراری متهم نشویم، باید یکی از آنها را نگه داشته و بقیه را از دید موتور جستجو پنهان کنیم. مثلا صفحه پرداخت سایت یا صفحه ورود به پنل کاربری سایت و… همینطور ممکن است بخواهیم ویدیوها و تصاویر سایت در ایندکس گوگل دیده نشوند. بودجه خزش (Crawl Budget): گوگل برای بررسی و ایندکس وب سایت ها یک بودجه خزش در نظر میگیرد که نسبت به تازگی محتوای سایت، کیفیت و تعداد انتشار محتوا تعیین میشود.

هنگامی که شما این مقاله را دوست داشتید، مایل به اطلاعات بیشتری در رابطه با مجله خبری learn-seo وب سایت خود باشید.