دلایل ایندکس نشدن سایت در گوگل چیست؟

چرا گوگل سایت را ایندکس نمیکند؟ به نظرتان دلیل عدم نمایش سایت در سرچ گوگل چیست؟ با مطالعه گزارش های ایندکس سرچ کنسول به دنبال علت ایندکس نشدن سایت در گوگل باشید. وقتی با مشکل ایندکس کردن وب سایت مواجه میشوید بهترین راه حل این است که به حساب سرچ کنسول خود مراجعه کنید. اگر تاکنون به بخش Pages سرچ کنسول خود مراجعه نکرده اید، ممکن است با مشاهده ارورهای قرار گرفته در این قسمت شوکه شوید.

در این آموزش به بررسی علت ایندکس نشدن سایت در گوگل و روش مناسب برای رفع ارورهای آن میپردازیم تا گزارش های وضعیت ایندکس را تحلیل کنید.

💡 بیشتر بدانبد: گوگل سرچ کنسول چیست و 10 کاربرد جذاب آن

دلیل عدم نمایش سایت در سرچ گوگل

در سرچ کنسول گوگل تمامی گزلرشات مربوط به صفحات وبسایت قابل ارائه است که در بخش pages در پیشخوان وردپرس لیستی از مام خطاها به همراه آدرس خاص صفحات و البته دلایل ایندکس نشدن آنها قابل نمایش است که میتوانید این گزارشات را جدی بیگیرد تا وبسایت خود را در صدر نتایج موتور های جستجو قرار دهید. در سرچ کنسول گوگل تمامی خطاها قابل نمایش است تا شما آنها را رفع کنید. حتما در نظر داشته باشید که هر چقدرهم که محتوا و فروشگاه پر باری داشته باشید باز هم بررسی این بخش و ایندکس نشدن صفحات میتواند شما را از چشم موتور های جستجو و در نهایت کاربران دور کند.

1- ایندکس نشدن سایت به دلیل وجود خطاهای فنی

ارورهایی که در این دسته قرار می گیرند تمام وب سایتتان را تحت تاثیر قرار می دهند. به همین دلیل از خطاهای سایت به عنوان خطاهایی با اهمیت بالا یاد می شود. در ادامه انواع خطاهایی که می توانند عملکرد کل سایت را تحت تاثیر قرار دهند را به شما معرفی خواهیم نمود.

در این مقاله ابتدا می آموزیم که به صورت فنی چه مواردی در ایندکس نشدن محتوا دخیل هستند، و هر کدام از این خطا ها تحت چه عنوانی در کنسول گوگل نمایش داده می شوند و چطور می توانیم آن ها را رفع کنیم.

ایندکس نشدن سایت بخاطر خطای DNS

ارورهای DNS برای مدیریت یک وب سایت از اهمیت بسیار زیادی برخوردارند و می توانند روی ایندکس نشدن سایت در گوگل نقش مهمی را ایفا کند. DNS مخفف عبارت Domain Name System به معنای سیستم نام دامنه است. خطاهای dns اولین و مهم ترین خطایی هستند که می توان به آن ها اشاره نمود.

داشتن مشکل dns به این معنا است که ربات گوگل به دلیل dns timeout یا مشکل dns lookup نمی تواند به دامنه شما متصل شود. همه دامنه ها به طور قطع توسط یک شرکت ارائه دهنده خدمات هاستیگ میزبانی می شوند. اگر با چنین مشکلی مواجه شدید، باید سریعا برای رفع آن اقدام کنید. چرا که در واقع اولین مرحله دسترسی ربات های گوگل به وب سایتتان همین مرحله است.

رفع خطای dns

به منظور رفع خطای dns که نتیجه آن ایندکس نشدن سایت است، باید به تریتب زیر پیش بروید:

• در گام اول بهتر است از ابزار URL inspection سرچ کنسول گوگل استفاده نمایید تا متوجه شوید ربات گوگل به چه شکلی صفحه مربوط به URL مورد نظر را crawl می کند.
• اگر گوگل نمی تواند صفحه مورد نظر را به درستی fetch کند، نیاز است که اقدامات بیشتری را داشت باشید. در این حالت می توانید به تنظیمات dns خود مراجعه کرده و مشکل را مورد بررسی قرار دهید.
• بررسی کنید که آیا که سرور میزبانتان ارور 404 یا 500 را نمایش می دهد یا خیر. در این حالت سرورتان به جای نمایش failed connection باید ارور 404 (not found) یا ارور 500 (server error) را نشان دهد. این ارورها در مقایسه با خطای dns دقیق تر است.

خطاهای سمت سرور server errors

یکی دیگر از دلایل ایندکس نشدن سایت خطای سرور است. این خطا اغلب به این معنا است که زمان پاسخگویی سرور بیش از اندازه طولانی می شود. به همین دلیل با خطای سرور رو به رو می شوید. ربات های گوگل در هنگام خزیدن در وب سایت می توانند تنها یک بازه زمانی مشخص را برای بارگذاری سایت صبر کنند. اگر زمان بارگذاری بیش از اندازه طولانی شود، ربات گوگل دست از تلاش برای crawl کردن وب سایتتان برمی دارد.

خطاهای سرور با خطاهای dns تفاوت دارد. خطای dns به این معنا است که ربات های گوگل به دلیل مشکلات موجود حتی امکان پیدا کردن URL شما را نیز ندارد. در حالی که در خطاهای سرور، ربات های گوگل می توانند به یک وب سایت متصل شوند اما به دلیل وجود مشکلات نمی توانند صفحه را بارگذاری کنند. یکی از دلایل بروز خطای سرور ورود ترافیک بیش از اندازه به وب سایتتان است. برای جلوگیری از وقوع چنین اتفاقی باید اطمینان حاصل کنید که سرویس ارائه دهنده میزبانی وب شما می تواند در هنگام ورود ترافیک بالا، آنها را مدیریت نماید.

رفع خطای سرور

در هنگام بروز چنین اتفاقی در وب سایت خود باید از ابزار URL inspection استفاد کنید تا متوجه شوید که ربات های گوگل می توانند وب سایتتان را crawl کنند یا نه. اگر گوگل سرچ کنسول توانست بدون هیچ مشکلی صفحه اصلی وب سایت را پیدا کند، می توانید اطمینان پیدا کنید که گوگل امکان دسترسی به سایتتان را دارد. در غیر این صورت علت ایندکس شدن سایت خطای سرور است.

خرابی فایل robots و عدم نمایش سایت در گوگل

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

رفع خطای robots

اطمینان حاصل کنید که فایل robots.txt به شکل درستی پیکربندی شده باشد. بررسی کنید که در این فایل دسترسی گوگل به کدام یک از صفحات را محدود کرده اید. تمامی خطوط /:Diwallow نوشته شده در فایل robots.txt خود را بررسی نمود و اطمینان حاصل کنید که دسترسی همه لینک های تعیین شده به خواست خودتان محدود شده است.

💡 بیشتر بدانید: آموزش ساخت فایل robots.txt وردپرس و بهینه سازی فایل robots

2- ایندکس نشدن سایت به دلیل خطاهای URL و ساختار

خطاهایی که در این دسته قرار می گیرند با خطاهای سایت تفاوت دارند. چرا که این خطاها تنها یک صفحه مشخص وب سایت را تحت تاثیر قرار می دهند و همانند ارورهای سایت به تمام وب سایت کاری ندارند. بسیاری از سایت ها ممکن است با حجم بسیار بالایی از ارورهای URL رو به رو شوند و همین امر باعث نگرانی آنها شود. اما خبر خوب این است که می توان با استفاده از بخش coverage سرچ کنسول جدید گوگل ارورهای این بخش را به صورت دسته بندی شده مشاهده و اقدام به رفع آنها نمایید. بعد از رفع آن نیز می توان با استفاده از اعتبارسنجی آن در خصوص رفع این ارورها اطمینان حاصل کنید.

خطای 404

این ارور در واقع یکی از گیج کننده ترین خطاهایی است که در بحث crawl و ایندکس نشدن سایت وجود دارد. زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور 404 مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.

خطای 404 hard

این خطا یکی از پیچیده ترین و در عین حال ساده ترین اروری است که می توان با آن رو به رو شد. خطای 404 زمانی اهمیت خود را بیشتر نشان می دهد که برای صفحات مهم وب سایت به نمایش گذاشته شود. این خطا زمانی خود را نشان می دهد که صفحه مورد نظر دیگر وجود خارجی نداشته باشد. در نتیجه زمانی که کاربر یا ربات های گوگل وارد آن صفحه می شوند با این ارور مواجه می شوند.

رفع خطای hard 404

به منظور رفع این خطا باید به طریق زیر عمل کنید:

• در گام اول باید اطمینان حاصل کنید که صفحه مورد نظر را از طریق سیستم مدیریت محتوا منتشر کرده اید. محتوا نباید از این قسمت حذف شده باشد همچنین بررسی کنید در حالت پیشنویس قرار نگرفته باشد.
• سپس لازم است که مطمئن شوید که URL مربوطه صحیح است و مشکلی ندارد.
• در گام بعد باید بررسی کنید که این ارور در حالت www نشان داده می شود یا اینکه زمانی که بدون www جستجو می شود، مشاهده می شود. همچنین این موضوع را برای نسخه https یا نسخه http لینک مورد نظر نیز امتحان نمایید.
• اگر می خواهید صفحه به صورت ریدایرکت نشان داده شود باید اطمینان حاصل کنید که لینک مورد نظر به یک صفحه مرتبط مناسب ریدایرکت 301 داده می شود.

در ساده ترین حالت باید گفت که اگر صفحه مرده است، باید دوباره آن را زنده کنید. اگر هم نمی خواهید جان دوباره ای به آن صفحه بدهید، پس لازم است که آن را روی یک صفحه مناسب دیگر redirect کنید.

خطای soft 404

خطای soft 404 زمانی رخ می دهد که اعتبار آدرس یک صفحه به خاطر عاملی نرم افزاری اعتبار خود را از دست بدهد. این عامل می تواند رول هایی که در htaccess تعریف شده اند، افزونه ها یا هر مورد مشابه دیگر باشد. زمانی که یک کاربر با پیغام 404 رو به رو می شود، متوجه این نکته خواهد شد که آن صفحه دیگر وجود ندارد. اما در خطای soft 404 ماجرا کمی متفاوت است.

رفع خطای soft 404

به منظور رفع مشکل مربوط به صفحاتی که دیگر وجود ندارند، باید موضوعات زیر را در نظر داشته باشید:

• اگر صفحه ای از بین رفته است و هیچ ترافیک یا لینک مهمی را دریافت نمی کند، اجازه دهید ارور 404 یا 410 نمایش داده شود. البته باید اطمینان حاصل کنید که پاسخی که ارور 404 یا 410 ارائه می شود و کد 200 نشان داده نمی شود.
• صفحات قدیمی را با استفاده از ریدایرکت 301 به صفحات مرتبط در سایت خود redirect کنید.
• توجه داشته باشید تعداد زیادی از این صفحات مرده را به صفحه اصلی خود ریدایرکت نکنید. این صفحات یا باید خطای 404 را نشان دهند یا اینکه به یک صفحه مرتبط مناسب ریدایرکت شوند.

اگر صفحات شما زنده هستند اما خطای 404 را نشان داده می شود، باید اقدامات زیر را داشته باشید:

• اطمینان حاصل کنید که محتوای کافی در صفحه مورد نظر وجود داشته باشد. چرا که در برخی از موارد صفحاتی که محتوایی ندارند یا محتوای آنها کم است، خطای soft 404 ارائه می دهند.
• همچنین باید مطمئن شوید که در حین نشان دادن کد 200، صفحه به صورت 404 نشان داده نمی شود.

شناخت و درک خطای soft 404 کمی دشوار است. چرا که صفحات دارای این خطا به نوعی میان یک صفحه عادی بودن و یک صفحه با خطای 404 گیر افتاده اند. به همین دلیل باید اطمینان حاصل کنید که صفحات مهم و اصلی سایت شما خطای soft 404 را نشان نمی دهند.

خطای Access denied

زمانی با خطای دسترسی رد شد رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند. دلایلی که سبب بروز این خطا می شوند، عبارتند از:

• کاربران برای اینکه بتوانند URL سایتتان را مشاهده نمایند، باید ابتدا در سایت ثبت نام کنند. به همین دلیل ربات گوگل نیز نمی تواند به آن دسترسی پیدا کند.
• از طریق فایل robots.txt دسترسی گوگل به یک URL، فولدر یا کل سایت بلاک شده است.
• سرویس ارائه دهنده میزبانی وب، دسترسی ربات گوگل به وب سایتتان را بلاک کرده است یا سرور نیاز دارد که کاربران توسط پروکسی اعتبار خود را تایید کنند.
• و…

مطمئنا زمانی که دسترسی ربات های گوگل به وب سایتتان محدود شده باشد، در زمینه ایندکس شدن محتوا دچار مشکل خواهید شد. به همین دلیل بررسی این موضوع و حل آن امری مهم است.

رفع خطای Access denied

به منظور رفع خطای access denied برای از بین بردن مشکل ایندکس نشدن سایت باید تمامی عواملی که دسترسی googlebot را محدود کرده اند، حذف نمایید. این عوامل عبارتند از:

• صفحاتی که می خواهید گوگل آنها را crawl کند را از حالت نیاز به ثبت نام خارج کنید.
• فایل robots.txt را بررسی کنید تا اطمینان حاصل کنید که صفحات مورد نظرتان در لیست بلاک آن قرار نگرفته اند.
• با استفاده از URL inspection می توانید بررسی کنید که آیا موتور جستجو گوگل می تواند وب سایتتان را نمایش دهد یا نه.

مشکلات مربوط به access denied می تواند روی رتبه سایت شما تاثیر بگذارد. به همین دلیل بررسی ارورهای مربوط به مجوز دسترسی از اهمیت بسیار بالایی برخوردار است.

خطای Not followed

نباید این خطا را با ارور nofollow در بحث لینک دهی اشتباه بگیرید. مورد «not followed» در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام نمایید.

رفع خطای Not followed

گوگل ویژگی هایی را که موتورهای جستجو در هنگام crawling با آنها مشکل دارند را مشخص نموده است. این ویژگی ها عبارتند از:

• JavaScript
• Cookies
• Session IDs
• Frames
• DHTML
• Flash

اگر صفحه ای که با مشکل مواجه شده است یکی از ویژگی های بالا را دارد، پس دلیل خطای موجود را پیدا کرده اید. زمانی که محتوا و لینک های قرار گرفته در یک صفحه قابل دیدن نباشد، ربات های گوگل نیز نمی توانند آن صفحه را crawl کرده و همین امر سبب ایندکس نشدن سایت می شود. پس در خصوص حذف عامل مربوطه اقدام نمایید. مورد دیگری که به عنوان عامل خطای not followed به آن اشاره شد ریدایرکت شدن صفحه بود. در این خصوص باید کارهای زیر را انجام دهید:

• زنجیرهای ریدایرکت را بررسی کنید. اگر این زنجیر دارای هاپ یا جهش زیادی باشد، گوگل آن ها را دنبال نمی کند.
• در صورتی که فرصت کافی داشتید، به جای استفاده از redirect سعی کنید معماری وب سایت خود را بروز رسانی کنید.
• URL های ریدایرکت شده خود را در نقشه سایت قرار ندهید. در سایت مپ تنها باید URL نهایی قرار گرفته باشد.

خطاهای dns و server

در زیر مجموعه خطاهای URL می توان خطاهای dns و سرور را نیز دوباره در نظر گرفت. البته روش حل و مدیریت این دسته از ارورها برای یک URL مشخص با تمام یک وب سایت یکی است. به همین دلیل روش رفع این خطاها که باعث ایندکس نشدن سایت می شوند را در قسمت جداگانه ای توضیح نمی دهیم. اما تفاوت هایی که در این زمینه وجود دارد که باید آنها را در نظر گرفت. اگر شما یک پیکربندی مجزا برای URL های خاص دامنه خود دارید باید آنها را در دسته خطاهای URL قرار دهید.

عدم نمایش سایت وردپرسی در گوگل

چنانچه از وبسایت وردپرسی استفاده میکنید می توانید تمام موارد مذکور را بررسی کنید به علاوه اینکه در پیشخوان وردپرس در بخش تنظیمات و زیرمنوی خواندن بررسی کنید که گزینه “از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند” در حالت تیک دار قرار نگرفته باشد.

سوالات متداول علت ایندکس نشدن سایت در گوگل

نتیجه گیری

ایندکس نشدن وبسایت و دلایل ایندکس نشدن سایت مختلف اند و باید همواره وبسایت را زیر نظر داشت و تمامی خطاهایی که ممکن است به عدم نمایش سایت در سرچ گوگل منجر شود را شناسایی کنیم و در نهایت تمامی آنها را با توجه به روش های معرفی شده رفع میکنیم. تلاش بر این بوده است که اطلاعات جامعی درباره انواع ارورهایی که می توانند علت ایندکس نشدن سایت در گوگل باشند را به شما معرفی نماییم. امید است که اطلاعات قرار گرفته در این مقاله برای شما مفید واقع شده باشد.