من پیشنهاد میکنم اگر نیاز به نوایندکس کردن و حذف صفحه ای از دید ربات های موتور جستجو را دارید، با توجه به سخت بودن کار با robot به سراغ روش های دیگر بروید. این تکه کد صرفا ربات های گوگل را فراخوانی میکند. مثلا فایل های تصویری با فرمت هایی مثل jpg ،png و… فرمت txt یکی از انواع فرمت فایل های متنی ساده هستند. زمانی که شما یک فایل به کمک notepad ویندوز خودتان ایجاد کنید، فرمت آن txt است. مثلا زمانی که قصد داریم برای یک صفحه از مقالات سایتمان، یک صفحه pdf و یک صفحه قابل پرینت هم ایجاد کنیم، باید صفحه اصلی را نگه داشته و مابقی را به کمک robots.txt پنهان کنیم. اصولا زمانی که وب سایت خودمان را طراحی کرده باشیم، به کمک فایل robots کل وب سایت را از دید موتور جستجو پنهان میکنیم. بعد از آن به سراغ این سوال میرویم که اگر robots در سایت ما وجود نداشته باشد چه اتفاقی می افتد و در نهایت بعد از آشنا شدن با کدهای robots.txt نحوه ساخت آن را آموزش میبینیم. در نهایت و بعد از اینکه فعالیت های لازم برای طراحی بقیه برگه ها و حذف برگه های اضافی انجام شد، سایت را برای ربات ها قابل بررسی خواهیم کرد.
آیا وجود نداشتن فایل robots در سایت باعث کاهش سئو میشود؟ بعد از اینکه وب سایت ما به طور کامل طراحی و آماده نمایش به گوگل شد، باز هم ما با فایل robots سایت کار داریم. دقت کنید که دستور disallow باید در خط بعد از user-agent قرار بگیرد. در ادامه مقاله به شما نحوه ساخت فایل robots.txt به همراه اصطلاحات آن را آموزش میدهم اما بهتر است در ابتدا بدانیم که اصلا چرا ما باید برخی از صفحات سایت را از دید ربات های موتور جستجو پنهان کنیم؟ بنابراین بار دیگر سراغ فایل روبوتس سایت رفته و با کمک کدهایی که درون آن مینویسیم، این صفحات را هم از دید ربات موتور جستجو پنهان میکنیم. و در نهایت، از robots سایت برای پنهان کردن صفحات بی ارزش، تکراری و… دقت کنید که وردپرس در نسخه های جدید به صورت خودکار فایل robots را ایجاد کرده اما شما نمیتوانید آن را پیدا کنید. در سطح وب ربات های مختلفی به وب سایت شما سر میزنند. نکته 2: دقت کنید که همیشه هم نمیتوانیم به این اعتماد کنیم که ربات ها تمامی فرمان های داخل فایل روبوتس سایت را اجرا میکنند.
هنگامی که شما این مقاله را دوست داشتید، مایل به اطلاعات بیشتری در رابطه با مجله خبری learn-seo وب سایت خود باشید.
البته با توجه به اینکه نام آن کمی متفاوت بوده و محتوای نامتعارفی هم دارد، این ترس کاملا توجیه شده است. در مقاله نوایندکس حدود 7 روش از این راهکارها را توضیح دادم که میتوانید از آنها استفاده کنید. حالا ممکن است شما در این بین نخواهید که بعضی از صفحات سایتتان توسط این ربات ها ایندکس شوند. مثلا در دستور قبلی گفتیم که تمامی عکس های درون پوشه images از دید ربات ها پنهان باشند. دقت کنید که اگر در هاستتان نام پوشه عکس ها همین باشد، آنها پنهان میشوند. در سایت، برخی از صفحات وجود دارند که به صورت پیشفرض وجودشان ضروری است اما نمایش آنها در نتایج هیچ سودی ندارد. در این حالت برای اینکه از طرف گوگل به داشتن محتوای duplicate و تکراری متهم نشویم، باید یکی از آنها را نگه داشته و بقیه را از دید موتور جستجو پنهان کنیم. مثلا صفحه پرداخت سایت یا صفحه ورود به پنل کاربری سایت و… همینطور ممکن است بخواهیم ویدیوها و تصاویر سایت در ایندکس گوگل دیده نشوند. بودجه خزش (Crawl Budget): گوگل برای بررسی و ایندکس وب سایت ها یک بودجه خزش در نظر میگیرد که نسبت به تازگی محتوای سایت، کیفیت و تعداد انتشار محتوا تعیین میشود.