Home / برنامه نویسی / لیست شدن صفحات در پایگاه داده چگونه انجام میشود؟(فایل robots.txt)

لیست شدن صفحات در پایگاه داده چگونه انجام میشود؟(فایل robots.txt)

هنگامی که robot ها و یا یک برنامه گردشگر دیگر به طور اتوماتیک گردش خود را شروع می کند،
به محض یافتن یک سایت جدید در وب ابتدا به سراغ فایلی به نام robots.txt می گردد.
اما لیست شدن صفحات در پایگاه داده چگونه انجام میشود؟

پس از رفتن به سراغ فایلی به نام robot.txt، سپس مطالب قسمت HEAD و به دنبال آن اطلاعات
نوشته شده در متاتگها را جمع آوری می کند و پس از یک پردازش دقیق با استفاده از یک الگوریتم
مخصوص، صفحات را در پایگاه داده ای خود ذخیره و لیست می کند.

فایل robot.txt چه کاربردی در ارتباط با لیست
شدن صفحات در پایگاه داده دارد؟

robot.txt یک فایل متنی است که این فایل را می توانید در سرور و در دایرکتوری وب سایت خود
قرار دهید تا تنظیمات گردش برنامه های گردشگر را در آن کنترل کنید و در حقیقت زحمت این برنامه ها
را کم کنید. اما اطلاعاتی که در این فایل باید قرار گیرد الگوی خاصی دارد که در زیر به آن اشاره
شده و در آن سطح دسترسی گردشگرها را با ذکر نامشان معین می کنید.

:User-agent

:Disallow

این دو خط را در فایل متنی وارد و آن را با پسوند txt ذخیره می کنید.

User-agent به برنامه هایی می گویند که برای وب ساخته می شوند تا در اختیار کاربران قرار
گیرند و گردشگرها مانند robot ها و crawler ها از این قبیل هستند و هر سایت جستجو یک
گردشگر با اسم مشخص دارد، مانند سایت گوگل که به نام Googlebot معروف است. برای
تعیین سطح دسترسی باید نام برنامه را در خط اول بنویسید و در خط دوم هم نام فایل ها یا
دایرکتوری هایی که نباید لیست شوند را می نویسید.

حتما بخواند :  بررسی کامل زبان برنامه نویسی ويژوال بيسيك Visual basic

اگر به طور کل نمی خواهید سایت شما لیست شود طبق دستور زیر عمل می کنید.

*:User-agent

/ :Disallow

امیدواریم که این مطلب در ارتباط با لیست شدن صفحات در پایگاه داده مورد استفاده ی شما
قرار گرفته باشد.

About paniz

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *