نحوه بهینه سازی فایل robots.txt وردپرس

نحوه بهینه سازی فایل robots.txt وردپرس

در این مطلب قصد داریم به بررسی و آموزش نحوه بهینه سازی فایل robots.txt وردپرس برای شما دوستان عزیز بپردازیم. در انتهای این مطلب شما بسادگی می توانید اقدام به بهینه سازی فایل robots.txt وردپرس نمایید. با ما همراه باشید.

بهینه سازی فایل robots.txt وردپرس

فایل robots.txt در وردپرس، نقش مهمی در سئو و رتبه بندی موتور پیدا کردن دارد. این فایل به شما کمک می کند که از ایندکس کردن و خزیدن رباتهای موتور پیدا کردن در قسمـت هایی از سایت خود ممانعـت نمایید . هر چند، برخـی وقتها اوقات شانس دارد پیکربندی خطـا فایل robots.txt  سایت شما را کاملا از دسترس موتورهای پیدا کردن بیرون کند . پس ، این با ارزش است که پـس از انجام تغییرات ، فایل robots.txt به خوبی بهینه سازی گـردد و دسترسی به قسمـت با ارزش سایت شما را مسدود نکند.

بهینه سازی فایل robots.txt وردپرس

اشتباهات فراوانـی در رابطه با ایندکس شدن یا نشدن محتوا در robots.txt صورت میگیرد که ما در این مقاله به آنان هم اشاره خواهیم نمـود .

SEO حاوی صدها عنصر می باشد و یکـی از قسمـت های با ارزش آن فایل robots.txt می باشد. این فایل متنی کوچک که در روت وب سایت شما قرار دارد، خواهـد توانست به بهینه سازی وب سایت شما کمک نماید . فراوانـی از وب مستر ها تمایل دارند که از ویرایش فایل robots.txt ممانعـت کنند ولی این کار دشوار ی نمی بـاشد و با دانستن نکته ها با ارزش و پایه میتوان این فایل را تهیه و ویرایش کرد.

فایل robots.txt وردپرس و لزوم بهره گیری از آن

فایل robots.txt کمک می کند تا ربات موتور پیدا کردن به صفحاتی که می بایست ایندکس نماید راهنـمای شود. زمانـی که ربات یا اسپایدر موتور پیدا کردن برای ایندکس صفحات به سایت شما وارد می شود ابتدا به دنبال فایل robots.txt میگردد و راه این فایل را برای ایندکس کردن صفحات وب سایت شما دنبال می کنـد .

اگر از وردپرس بهره گیری مینمایید ، فایل robots.txt را خواهید توانست در روت وردپرس خود بیابید . در وب سایت های استاتیک، چنان چه این فایل توسـط شما یا برنامه نویس وب سایت تان تهیه شده باشد، آن را در پوشه روت خود پیدا خواهید کرد. در غیر اینصورت خواهید توانست با بهره گیری از notepad به آسانی یک فایل تهیه کرده و با نام  robots.txt آن را ذخیره نمایید . سپس این فایل را با بهره گیری از FTP به دایرکتوری روت دامنه خود فرستادن نمایید .

بهینه سازی فایل robots.txt وردپرس

آموزش بهینه سازی فایل robots.txt وردپرس

ایجاد فایل robots.txt

همان گونه که قبلا ذکر شد، robots.txt بطور کلی نام یک فایل متنی می باشد. پس ، چنان چه  این فایل را در وب سایت خود نداشته باشید، با بهره گیری از ویرایشگر متن مورد نظـر خود (به عنوان مثال: notepad ) آن را با یک یا چند رکورد تهیه نمایید . هر رکورد حاوی اطلاعات مهمی برای موتور پیدا کردن می باشد. به عنوان مثال:

User-agent: googlebot Disallow: /cgi-bin

اگر این خط در فایل robots.txt  نوشته گـردد ، اجازه خواهـد داد ربات گوگل تمام صفحات سایت شما را به جز پوشه cgi-bin در دایرکتوری روت ایندکس نماید . این بدان معناست که ربات گوگل ، پوشه cgi-bin را ایندکس نمی کنـد .

با بهره گیری از مورد Disallow شما خواهید توانست هر ربات و یا اسپایدر موتور پیدا کردن را برای ایندکس کردن هر صفحه یا پوشه محدود نمایید . سایت های فراوانـی می باشند که این فایل را به گونه ای تنظیم میکنند که پوشه Archive و یا صفحاتی که حاوی محتوای تکراری می باشند ایندکس نشوند.

وارد کردن نام ربات موتور پیدا کردن :

اگر می خواهید بازدید کنندگان بیشتری از موتورهای پیدا کردن داشته باشید، می بایست به هر ربات پیدا کردن اجازه دهید صفحات سایت شما رو ایندکس کنند. مطابق مثال پایین با قرار دادن مقدار * برای User-agent  به هر ربات پیدا کردن اجازه ایندکس صفحات را خواهید داد :

User-agent: * Disallow: /cgi-bin

نکته ها با ارزش :

1. در فایل robots.txt از comment بهره گیری ننمایید .
2. در آغاز هر خط و یا میـان حروف هر کلمه خط فاصله قرار ندهید. به عنوان مثال:

غلط:

User-agent: * Dis allow: /support

درست :

User-agent: * Disallow: /support

1. قواعد و ترتیب دستورات را تغییر ندهید:

غلط :

Disallow: /support User-agent: *

درست :

User-agent: * Disallow: /support

1. اگر می خواهید چند پوشه توسـط موتور های پیدا کردن ایندکس نشود، آنان را به شیوه متوالی قرار ندهید :

غلط :

User-agent: * Disallow: /support /cgi-bin /images/

درست :

User-agent: * Disallow: /support Disallow: /cgi-bin Disallow: /images

1. از حروف بزرگ وکوچک به درستی بهره گیری نمایید ، به عنوان مثال شما می خواهید دایرکتوری “Download” ایندکس نشود و در فایل robots.txt آن را به شیوه “download” می نویسید، این باعث خطـا ربات موتور پیدا کردن خواهد شد.
2. اگر می خواهید همـه صفحات و دایرکتوری سایت شما ایندکس شوند ، رکوردهای پایین را قرار دهید :

User-agent: * Disallow:

1. اما چنان چه می خواهید هیچ یک از صفحات و دایرکتوری سایت شما ایندکس نشوند ، رکوردهای پایین را قرار دهید :

User-agent: * Disallow:/

بعد از ویرایش از طریق FTP فایل robots.txt  را در روت یا صفحه مهـم دایرکتوری سایت خود آپلود نمایید .

فایل robots.txt برای وردپرس :

شما خواهید توانست فایل robots.txt وردپرس خود را با داخل به اکانت FTP سرور ویرایش نمایید و یا در داشبورد وردپرس از پلاگین هایی مانندRobots meta برای ویرایش این فایل بهره گیری نمایید . مسائـل دیگری هم وجود دارند که به همراه آدرس sitemap می بایست در فایل robots.txt اضافه شوند. افـزودن آدرس sitemap کمک می کند تا موتور پیدا کردن برای پیدا کردن آن در سایت شما و ایندکس کردن صفحات سریع تر عمل نماید .

در اینجا یک فایل robots.txt نمونه را مشاهده مینمایید :

sitemap: http://www.shoutmeloud.com/sitemap.xml User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /archives/ disallow: /*?* Disallow: *?replytocom Disallow: /wp-* Disallow: /author Disallow: /comments/feed/ User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: /

حالا تغییراتی در فایل robots.txt خود تهیه کرده اید و می بایست مطالبی که تحت اثر بروزرسـانی این فایل قرار گرفته اند را بازبینی چ نمایید . شما خواهید توانست از ابزار گوگل وب مستر ” Fetch as bot tool ” برای بازبینی چ در دسترس بودن مطالب توسـط فایل robots.txt بهره گیری نمایید .

بهینه سازی فایل robots.txt وردپرس

خب دوستان به پایان مقاله آموزشی نحوه بهینه سازی فایل robots.txt وردپرس رسیدیم. از توجه و همراهی شما سپاسگزاریم. در صورتی که نیاز به اطلاعات بیشتر در زمینه سرور مجازی و اختصاصی دارید، میتوانید سایر مقالات این سایت را مطالعه نمایید.