قطعا داشتن فایل ربات کمک می کند بتوان استراتژی سئوی سایت را کنترل کرد، میتوان نقشه سایت را برای گوگل و بینگ مشخص کرد، قسمت های نامناسب سایت را از ایندکس گوگل خارج کرد و آدرس های ویژه را در آن قرار داد. یکی از استانداردهای گوگل که در راهنمای موتور جستجوی این شرکت در یک فایل PDF در اختیار کاربران به صورت عمومی قرار گرفته، داشتن فایل ربات در سایت است. کافیست دکمه برگشت را بزنید و ببینید فایل شما ساخته شده است. پس از نوشتن دستورات، باید آن را به صورت یک فایل انکد 8 UTF8 ذخیره کنید. باید به دستورات و مواردی که در ادامه گفتیم دقت کنید. وقتی این گزینه را بزنیم، سایت یک فایل ربات می سازد و کدهای مربوطه را به آن وارد می کند. نام ربات User Agent: این مورد نام مشخص ربات موتور جستجو را خطاب می کند و دستورات را برای ربات مورد نظر مشخص می کند. به انتهای .php اضافه شد، یعنی تمام آدرس هایی که با .php تمام می شوند از دستور مورد نظر پیروی کنند. به نظر شما بدون فایل ربات چطور میخواهید ایندکس های سایت را کنترل کنید؟ امیدواریم موتورهای جستجو و ربات هایشان شنوای صحبت های شما باشند.
این فایل متنی شامل رشته متن هایی موسوم به “دستور” است که به ربات موتورهای جستجو مثل گوگل و بینگ می گوید چطور با سایت رفتار کنند. هنوز نمیخواهم گوگل و بینگ در مورد سایت من بدانند. ربات گوگل کمی بیشتر از بقیه می فهمد و با این دستور میتوان آدرسی را برای گوگل مجاز کرد که در میان آدرس های محروم قرار گرفته است. اگر میخواهید فهرست کاملی از ربات موتورهای جستجو را ببینید، به این آدرس بروید. برای خطاب کردن ربات موتور جستجو باید نام آن را وارد کنید، پس نیازمند دانستن نام کامل و تعداد کامل ربات موتورهای جستجو هستید. تمامی دستوراتی که باید به فایل ربات بدهید با مقادیر زیر کنترل می شوند. اگر میخواهید ربات های گوگل با تاخیر برگه های شما را ایندکس کنند در سرچ کنسول می توانید آن را کنترل کنید. توجه: اگر سایت شما هم بدون www و هم با www و یا با http و با https قابل دسترسی باشد، باید توجه کنید که در تمامی این حالت فایل robots.txt شما باید میان تمامی این آدرس ها کاملا یکسان باشد، در غیر این صورت ربات های موتور جستجو در خزیدن سایت شما سردرگم خواهند شد.
دستور سوم: دسترسی به دیگر قسمت های سایت هم باز است و قسمتی از مسیر مسدود شده ی directory2 دارای دسترسی مجاز است و آدرس آن directory2/subdirectory1 است. نقشه سایت Sitemap: با این دستور برای ربات ها مشخص می کنید که نقشه XML سایت کجاست. این ربات ها وظیف دارند سایت ها را بررسی کرده و تغییرات جدید را در دیتابیس خود ذخیره کنند. در کادر مشخص شده، متن فایل ربات خود را به صورت دستی وارد کرده و روی بررسی TEST کلیک کنید. دایرکت ادمین را باز کرده و روی مدیریت فایل File Manager مجله خبری learn-seo کلیک کنید. نسخه قدیمی: در نسخه قدیمی شما کار آسانی پیش رو دارید، کافیست در پیشخوان وبمستر تولز زیر گزینه Crawl روی robot.txt tester کلیک کنید. اما هنوز بررسی فایل ربات به نسخه جدید اضافه نشده، پس بهتر است موقتا از نسخه قدیمی برای تست فایل ربات استفاده کنید. همچنین اگر نقشه سایت خود را ساخته باشید، خودکار در فایل ربات سایت اضافه می شود. حتی سایت گوگل هم دارای فایل ربات است. باید مراقب باشید چون این فایل به همه چیز حتی بزرگ و کوچک بودن حروف حساس است. لازم به ذکر است که نمیتوان با این ربات ها مثل آدم حرف زد.
همانند دیگر سایت ها لازم نیست کار خاصی انجام دهید. پس پیشنهاد میکنیم تمام این ربات ها را در فایل ربات خود قرار دهید. تنها این فایل قابل قبول است و موتورهای جستجو به بزرگی و کوچکی حروف چه در نام فایل چه در دستورات درون فایل بسیار حساس هستند. عملا فایل ربات از طرف مدیر سایت برای موتورهای جستجو تهیه و ارائه می شود. بله درست حدس می زنید، فایل ربات سایت برای ربات موتورهای جستجو ساخته می شود، موتورهای جستجو ابزاری دارند که به آن ربات یا بات bot می گویند. هر ربات و موتور جستجویی وقتی سایت شما را برای اولین بار میبیند به این فایل سر میزند. به هر حال، این افزونه در بخشی از ابزارهای خود این امکان را فراهم کرده تا بتوانید نقشه سایت خود را بسازید، ایندکس را کنترل کنید یا اینکه یک فایل ربات robots.txt بسازید. در این نوشته ما سعی داریم تا با شناسایی درست و عمیق فایل مهم ربات سایت به شما این وضعیت را تغییر دهیم و شما بدانید که چگونه فایل ربات سایت را کنترل کنید، بهترین فایل ربات را بسازید و دسترسی هایش را محدود یا مجاز کنید. دستور مجاز کردن Allow: بر خلاف تصور سئوکار ها، این دستور فقط برای ربات گوگل کاربرد دارد.
اگر دوست دارید این نوشتار را داشته باشید و مایل به دریافت اطلاعات بسیار بیشتر در مورد مجله خبری learn-seo لطفا به بازدید از وب سایت ما.