دستورات قابل پشتیبانی در فایل robots.txt

در کل پنج فرمان اصلی در پوشه robots.txt وجود داراست آموزش سئو در مشهد که درپی با آنان آشنا خواهید شد:

فرمان user-agent
فرمان user-agent به تنهایی نمی تواند یک امر بدون نقص باشد، بلکه بایستی در کنار یک کدام از سه فرمان بعدی مصرف شود. این امر نوع رباتی که می بایست از امرها بعدی اطاعت نماید را مشخص و معلوم می نماید.
مثلا در حالتی که قصد داشته باشید برای ربات های گوگل دستوری صادر فرمائید، اسم ربات های گوگل (googlebot) را می نویسید. هم اینگونه درصورتی که امر برای مجموع ربات هاست می بایست در مقابل user-agent: از آرم ستاره (*) مصرف شود.

امر disallow
پس از اینکه ربات های موردنظر معلوم شدند، وقت آن میباشد تا برایشان فرمان صادر خواهد شد. امر disallow در معنای «اذن ندادن» میباشد. به این ترتیب طبعاً بایستی صفحاتی را که ربات ذکر شده نباید کرول نماید (بخزد) را در مقابل آن نوشت. دقت داشته باشید که روت دامین نباید نوشته خواهد شد و تنها بعداز اسلش را بنویسید. نکته دیگر این که، در حالتی که قصد دارید تعدادی برگه را disallow فرمائید، بایستی یک سری فرمان disallow بنویسید. به نمونه پایین اعتنا فرمائید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*

فرمان allow
امر allow در معنای اذن دادن میباشد و همان گونه که پیش گویی می زنید به ربات های معین گردیده اذن می دهد صفحاتی را که در مقابل این امر نوشته می گردند بخزند.
اما تایپ کردن این فرمان ضرورتی ندارد؛ چراکه ربات ها به طور پیش فرض تک تک صفحه های وبسایت را میخزند. با این حالا بعضا وبمستران برای تأکید بر بعضا صفحه ها سایتشان، از امر allow به کار گیری می نمایند. شیوه به کار گیری از فرمان allow نیز دقیقاً مانند امر disallow میباشد.

امر crawl-delay
این فرمان قادر است بر سرعت بار گذاری صفحه ها سایتتان اثر بگذارد. بدین ترتیب سرعت تارنما به جهت ورود خیل عظیم خزنده ها کاهش پیدا نمی نماید. شما میتوانید عددی را در مقابل این فرمان تایپ فرمائید. این عدد نشانه می دهد که ربات های رقم خورده بایستی به آن مقدار ثانیه حوصله کرده و بعد از آن تارنما را بخزند. ولی اعتنا داشته باشید که این امر برای ربات های گوگل اثر ندارد.

امر sitemap
در مقابل این فرمان بایستی نشانی وب سایت مپ را وارد نمایید. این فرمان نیازی به فرمان user-agent ندارد.

بیشتر بخوانید: ریدایرکت چه میباشد؟ | با گونه های redirect ها آشنا گردید

امرها قابل پشتیبانی در فولدر robots.txt

یک پوشه Robots.txt می بایست دربردارنده چه چیزی باشد؟
معمولاً درین پوشه، در شرایطی که وب سایت وردپرسی باشد، صفحه ها /wp-admin/ و /readme.html/ که دربردارنده داده ها ورژن وردپرس شماست و هم اینگونه کاغذ پلاگین ها /plugins/ می بایست disallow شوند. هم اینگونه نشانی sitemap را در این فولدر تمجید می نمایند تا خزنده های گوگل رده صفحه ها متفاوت وب سایت را پیدا نمایند. موردها گفته گردیده از ضروریات ایجاد کرد یک فولدر robots میباشد؛ البته شما می توانید سازه بر نیاز خویش هر فایلی که گرایش دارید را disallow کرده و یا این که برای تأکید پوشه های ضروری را allow نمائید.

آموزش سئو در مشهد...