خطای robots.txt fetch

نوشته شده توسط:غفقث عغف | ۰ دیدگاه

سلام چه  توصیه هایی در باره ی  لابرا سئو میدانید.

    منتشر شده در شنبه, 13 آذر 1395 18:50

ربات

ممکن است برای شما این اتفاق افتاده باشد که موقع باز کردن قسمت crawl erros در گوگل وبمستر با همجین خطایی مواجه باشید . robots.txt fetch

راهنمایی که من از گوگل در مورد این خطا دیدم و ترجمه کردم را براتون اینجا میذارم تا بخونید .

قبل از اینکه گوگل سایت شما را کرال کند. دسترسی های خود را از فایل robots.txt تعیین میکند.

اگر سایت شما گوگل را برای کرال کردن صفحات مسدود کرده باشد یا اگر فایل robots.txt شما غیر قابل دسترس باشد

یا به عبارت دیگر کد وضعیت 200 یا 404 را به گوگل برنگرداند . گوگل کرال کردن را به دلیل خطر کرال صفحاتی که شما دوست ندارید خوانده شوند متوقف می کند .

(معمولا ممکن است robots.txt بخاطر مشکلات کندی و قطعی هاست غیرقابل دسترس شده باشد یا اشتباها حذف شده باشد) .

 موقعی که این اتفاق می افتد گوگل دوباره به سایت ما باز می گردد و به محض اینکه robots.txt قابل دسترس شد سایت را دوباره کرال میکند.

منبع:مقاله ی  خطای robots.txt fetch در لابراسئو

    هیچ نظری تا کنون برای این مطلب ارسال نشده است، اولین نفر باشید...

فعالیت این وبلاگ در زمینه های مهاجرت,دکوراسیون,عروس می باشد.این وبلاگ با انتشار مقالاتی در زمینه مهاجرت به کانادا و کشورهای گوناگون و مطالبی در ارتباط با دکوراسیون و دکور اتاق خواب و... در کنار شماست.همچنین مقالاتی در ارتباط با مراسم ازدواج,تشریفات مجالس,آتلیه و غیره ارائه میشود.