روش های جلوگیری از ایندکس کردن سایت

شاید برای شما کمی عجیب باشد که کسی بخواهد از جلوگیری از ایندکس چند صفحه یا کل وب سایتش توسط گوگل جلوگیری کند. زیرا همه‌ی افراد -بخوانید سئوکاران- دوست دارند سایتشان ایندکس شده و در صفحه نتایج موتورهای جستجو حضور داشته باشند.اما شاید برای شما هم جالب باشد که بدانید جلوگیری از ایندکس صفحات گاهی ممکن است از اهداف تاکتیکی و کوتاه مدت یک متخصص بهینه‌سازی موتور جستجو باشد. ما در این مقاله قصد داریم ابتدا دلایل جلوگیری از ایندکس شدن محتوای سایت، و سپس روش‌های جلوگیری از این امر را به شما آموزش دهیم.

فرق جلوگیری از ایندکس و حضور نداشتن در نتایج چیست؟

ممکن است برخی افراد ناآشنا با دنیای گوگل و موتور جستجوی آن گمان کنند این دو موضوع یکی هستند. شاید شما نیز تا پیش از این یکی از این دسته افراد بوده باشید.

اما باید گفت منظور از ایندکس شدن یعنی آن که ربات‌های گوگل، صفحه را اسکن و لیست کرده و در پایگاه داده گوگل آن را ذخیره کنند. ولی اینکه سایت ما در SERPs نشان داده شود یعنی از طرف گوگل لینکی به سایت ما اختصاص داده شده و بر اساس کلمات کلیدی و محتوا به آن رتبه ای داده می‌شود. یعنی به زبان ساده لیست شدن توسط گوگل تنها به معنای دیده شدن سایت ما توسط کراولرهاست؛ در حالی که این به آن معنا نیست که کلیت موتور جستجو والگوریتم‌های آن ما را به رسمیت بشناسند.

دلایل ایندکس نشدن سایت یا جلوگیری از ایندکس آن

گفتیم که گاهی ممکن است سئوکاران تصمیم به جلوگیری از ایندکس سایت خود بگیرند. مهم‌ترین دلایل این امر عبارتند از

• تازه تاسیس بودن سایت

ممکن است شما به تازگی سایتی را راه اندازی کرده باشید. در چنین شرایطی معمولا نمی‌خواهیم ربات‌ها بعضی از صفحات یا کل سایت را ایندکس کنند. این حالت معمولا به آن دلیل پیش می‌آید که محتوای سایت یا سئو سایت تکنیکال آن هنوز در شرابط مناسبی نیست. برای حل این مسأله شاید بخواهید ابتدا فنون و روش‌های بهینه سازی سایت خود را انجام دهید و بعد به گوگل آن را معرفی کرده و اجازه دهید تا ایندکس کند. معمولا اصلی‌ترین دلیل جلوگیری از ایندکس همین مورد است.

• سایت های آزمایشی

اگر یک وب سایت به صورت آزمایشی کار کند یا هدف خاصی نداشته باشد سایت را از چشم ربات‌های موتورهای جستجو پنهان می‌کنیم.

• طراحی یا توسعه ی سایت

فرض کنید شما می‌خواهید در سایت خود تغییراتی ایجاد کنید. حال این تغییرات می‌توانند طراحی گرافیکی یا فرانت اند سایت باشد. یا اینکه محتوای شما برای یک سایت دیگر است و منحصر به فرد نیست. در چنین شرایطی باز هم بهتر است اجازه ایندکس شدن صفحات سایت خود را به گوگل ندهید.

روش‌های جلوگیری از ایندکس شدن سایت

حال نوبت آن است تا روش‌هایی را که برای سد راه کراولرها رایج است را معرفی کنیم.

• از معمول‌ترین روش ها برای این هدف استفاده از فایل robots.txt است. این فایل این امکان را به شما میدهد کل وب سایت خود یا هر صفحه‌ای که دلتان بخواهد را از چشم ربات‌های گوگل مخفی کنید. شما حتی می‌توانید انتخاب کنید که کدام ربات‌ها صفحات شما را نبینند.

فرمت کلی فایل robots.txt به این صورت است :

User_agent: *

Disallow: /

• دومین روش که خود گوگل هم تایید و توصیه کرده روش رمز گذاری روی پوشه سایت است. در این روش شما فایل htaccsess. را به پوشه سایت منتقل می‌کنید. روی هاست کلیک کرده و روی قسمت دایرکتوری سایت کلیک راست می‌نمایید. سپس گزینه‌ی password protect را زده و برای پوشه سایت خود یک پسورد در نظر بگیرید.

• سومین روش استفاده از پلاگین های سئو است. افزونه Yoast که برای سیستم های وردپرس طراحی شده است به شما امکانات زیادی برای مدیریت کردن و بهینه‌سازی سایت می‌دهد. یکی از این امکانات مخفی کردن صفحات از ربات‌های موتور جستجو است.

در قدم اول باید این پلاگین را روی وردپرس وب سایت نصب نمایید . وقتی محتوایی را اضافه می‌کنید در آخر همان صفحه گزینه‌های مربوط به افزونه Yoast ظاهر می‌شود، کافیست گزینه noindex را در قسمت ربات‌های ایندکس فعال نمایید تا صفحه مورد نظرتان از دید موتورهای جست و جو پنهان شود .

البته خوبی سایت‌هایی که سیستم مدیریت محتوایشان وردپرس است این است که همان اول که سایت را ایجاد می‌کنید یک گزینه ایندکس نشدن سایت دارد و این کار شما را بسیار آسان میکند.

چگونه آدرس‌هایی که ایندکس شده‌اند را حذف کنیم؟

اگر می‌خواهید آدرس صفحاتی که گوگل ایندکس کرده را حذف کند باید از خود گوگل بخواهید این کار را انجام دهد. برای این کار از ابزار Google Search Console استفاده کنید.

از بخش Google index روی گزینه remove url کلیک کنید و مطابق تصویر روی گزینه hide temporarily کلیک کنید تا لینک‌هایی که نمی‌خواهید ایندکس نشوند.

در اجرای مراحل فنی جلوگیری از ایندکس گردیدن سایت دقت کنید!

حذف سایت یا جلوگیری از ایندکس کردن صفحات سایت توسط ربات‌های موتور جستجو یکی از تکنیک‌های سئو است که برای بهینه‌سازی سایت شما کمک می‌کند. اگر بدانید چطور از این تکنیک‌هایی که یاد شد استفاده کنید صفحات جدید، صفحاتی که نمی‌خواهید گوگل آنها را ایندکس کند و حتی کل سایت را می‌توانید حذف کنید. اما باید خیلی مراقب باشید چون یک اشتباه میتواند ضربه زیادی به وب سایت شما بزند. اگر نگراینید که کارها به خوبی پیش نرود می‌توانید هر وقت که بخواهید با تیم مشاوره سئو اینجا تماس گرفاه و از آنان راهنمایی بخواهید.