سئو و بهینه سازی

آموزش تصویری نحوه متوقف کردن ربات های اسپمر در گوگل آنالیتیکس

متوقف کردن اسپم های فریبنده در گوگل آنالیتیک

در این مقاله ی آموزشی روشی را به شما یاد خواهیم داد که می توانید به سادگی سایت خود را از شر اسپم ها رها کنید. با استفاده از 2 فیلتر گوگل آنالیتیک، می توان ورود اسپم ها را به صورت کامل کرد. روش هایی که در این مقاله ی آموزشی به شما خواهیم آموخت، همگی به صورت بهینه و توسط کاربران بسیاری طی ماه های اخیر تست شده و نتیجه ی مطلوبی نیز در مقابله با اسپم ها حاصل شده است. هدف ما از این آموزش نیز جلوگیری از آسیب هایی است که اسپمر ها به وب سایت ها وارد می کنند و داده های آن ها را به خطر می اندازند. با استفاده از 2 فیلتری که در گوگل آنالیتیک تعبیه شده است می توانید با خیال راحت سایت خود را محافظت نموده و از ورود اسپم ها جلوگیری نمایید. اخیراً اسپمر ها توانسته اند با استفاده از روش های جدیدی باعث افت کیفیت داده ها شده و گزارشات غیر قابل استفاده و ناصحیح در گوگل آنالیتیک ایجاد کنند اما درحال حاضر جای نگرانی نیست، ابزار های جدید گوگل آنالیتیک توانسته اند تاثیر بسزایی در حفظ کیفیت داده ها و جلوگیری از دریافت گزارشات نادرست تحلیلی سایت ها با استفاده از ابزار های ضد اسپم خود داشته باشند. با استفاده از این ابزار ها ما میتوانیم از ورود اسپم ها به سایتمان جلوگیری نماییم، گزارشات خود را از آن ها پاکسازی کنیم و داده های صحیحی قبلی خود را بدست آوریم.

در جدول زیر می توانید لیستی از اسپم های فعال را مشاهده نمایید:

rednise.com alfa9.com
seo-platform.com qualitymarketzone.com
free-floating-buttons.com traffic2money.com
best-seo-software.xyz justprofit.xyz
video–production.com hongfanji.com
Wpthemedetector.co.uk event-tracking.com
Get-Free-Traffic-Now.com success-seo.com
get-free-social-traffic.com floating-share-buttons.com

در اینجا لیستی از عناوینی که در ادامه ی آموزش خواهید آموخت، تهیه شده است:

  • Referrer Spam چیست؟

  • انواع اسپم ها
    • Ghost Spam / اسپم فریبنده
    • Crawler Referrer Spam / اسپم ارجاع دهنده ی خزنده
  • چگونگی متوقف نمودن اسپم ها با 2 فیلتر گوگل آنالیتیک
    • فیلترValid Hostname (برای Ghost Spam)
    • استفاده ازفیلتر Campaign Source (برای Crawler Spam)
    • عدم استفاده از روبات های مفید و Spider ها
  • مفهوم اسپم در گوگل آنالیتیک
    • چرا اسپم ها گزارشات ما را خراب می کنند؟
    • چگونه اسپم ها را تشخیص بدهیم؟
    • اجتناب در استفاده از لیست ممنوع ارجاع دهنده ها و فایل htaccess
    • لیست اسپم ها (Crawler و Ghost)
  • روش دیگر مقابله با اسپم ها
  • استفاده از فایل .htaccess (فقط برای Crawler Spam)
  • تغییر Tracking ID

Referrer Spam چیست؟

این نوع از اسپم ها به این دلیل ارجاع دهنده ی اسپم نامیده می شوند که در ابتدا بعنوان ارجاع دهنده ی جعلی نمایش داده می شوند، اما، سپس تکامل یافته و ممکن است ان را بعنوان یک عبارت ، یک صفحه، یک رویداد و حتی بعنوان یک بازدید مستقیم مشاهده کنید.

stop-spam-in-analytices-02

انواع اسپم ها

در مورد اسپم ها اطلاعات نادرست زیادی در گوگل آنالیتیک وجود دارد. در زمان کار با فایل های کانفیگ حساس مانند .htaccess ممکن است استفاده از روش ها و تنظیمات نادرست، منجر به از دست دادن زمان و داده ها شده و یا حتی سایت شما کلا قطع شده و از دسترس خارج شود.

برای جلوگیری از اعمال تنظیمات نادرست و بروز نتایج اشتباه لازم است با انواع اسپم ها آشنایی کافی داشته باشید تا بتوانید هرکدام را تشخیص داده و تنظیمات مناسب با هریک از آن ها را به شکل صحیح انجام دهید.

شناخته شده ترین اسپم ها عبارتند از :

  • اسپم فریبنده یا Ghost مانند com
  • اسپم خزنده یا Crawler مانند success-seo.com

توجه داشته باشید این 2 سایت دارای ویژگی های متفاوتی می باشند و راه های مقابله با آن ها نیز متفاوت می باشد و اینجاست که لازم است بتوانید شناخت درستی از انواع اسپم ها داشته باشید تا بتوانید انواع سایت های اسپمر را نیز شناسایی کنید.

Ghost Spam / اسپم فریبنده:

برای مثال : qualitymarketzone.com / referral | seo-platform.com / referral

این نوع اسپم، بعنوان تهاجمی ترین اسپم شناخته شده است و Ghost یا فریبنده نامیده می شود زیرا هیچ تعامل مستقیمی با سایت ها ندارد. بازدید های این نوع اسپم در گوگل آنالیتیک مجموعه ای از داده های جعلی را برجای می گذارد.

stop-spam-in-analytices-03

برای این کار، بدون داشتن دانش فنی زیادی ، آن ها از Measurement Protocol آنالیتیک استفاده می کنند که به توسعه دهندگان اجازه ی ارسال مستقیم داده ها به سرور های گوگل آنالیتیک را می دهد.

پروتکل Measurement در شرایط عادی، روش های بیشتری را برای جمع آوری و سنجش داده ها در اختیار توسعه دهندگان قرار می دهد، اما مردم از آن برای مقاصد نادرست استفاده می کنند. تنها چیزی که آن ها نیاز دارند tracking ID گوگل آنالیتیک می باشد و مابقی اطلاعات توسط آن ها وارد می شود، ارجاع دهنده ها ، صفحات ، hostname ، کلمات کلیدی و … .

stop-spam-in-analytices-04

برای بدست آوردن tracking ID ، آن ها کد های تقلبی با الگوریتم گوگل آنالیتیک (UA-XXXXXX-Y) ایجاد می کنند و سپس با استفاده از اسکریپت های خودکار، اطلاعات جعلی را مستقیماً به گزارشات شما ارسال می کنند.

بنابر این مهم نیست که از وردپرس، جوملا، فروشگاه ساز ها و یا هر سیستم مدیریت محتوای (CMS) دیگری استفاده کنید، تنها راه متوقف نمودن اسپم های Ghost در گوگل آنالیتیک از طریق فیلتر های آن می باشد و راه حل های سمت سرور مثل پلاگین های وردپرس، فایل .htaccess یا فایل web.config در مقابله با این نوع اسپم ها بی فایده می باشند.

در ادامه ی این مقاله تعدادی از این نوع اسپمر ها را مشاهده خواهید نمود.

Crawler Referrer Spam / اسپم ارجاع دهنده ی خزنده:

برای مثال: success-seo.com /referral | video–production.com / referral

یک Web Crawler یا خزنده ی وب ، روبات اینترنتی می باشد که وب سایت ها را اسکن و بررسی می کند و معمولا این کار با هدف فهرست بندی یا Index کردن مطالب در موتور های جستجویی مثل Google یا Bing می باشد.

یک Crawler Spam یا خزنده ی اسپم ، روباتی است که سایت ها را با اهداف دیگری مثل فریب دادن مردم جهت افزایش فروش سایت هایشان، اسکن می کنند.این نوع خزنده های وب، معمولا قوانینی مثل robots.txt را نادیده می گیرند . robots.txt برای توقف Spider ها از عملیات Crawling صفحات ویژه ای می باشد. این نوع اسپم از Ghost Spam کمتر میباشد.

چگونگی متوقف نمودن اسپم ها با 2 فیلتر گوگل آنالیتیک

برای متوقف نمودن کامل اسپم ها لازم است از ترکیب این 2 فیلتر در گوگل آنالیتیک استفاده کنید:

  • فیلتر Valid Hostname که مراقب تمامی اسپم های Ghost در هر شکلی خواهد بود (ارجاع دهنده،اصلی یا بازدید مستقیم جعلی)
  • فیلتر Campaign Source همراه با عبارت REGEX، ساخته شده از تمامی Spam Crawler های شناخته شده می باشد.

شما باید ویژگی Built-in ” شامل تمامی بازدید های روبات ها و spider های شناخته شده ” را فعال کنید، این گزینه تمامی ترافیک روبات ها/Crawler هایی که اسپم نمی باشند اما هیچ یک بازدید های صورت گرفته توسط انسان نیستند را حذف خواهد کرد.

قبل از افزودن این فیلتر ها ، یک view بدون فیلتر ایجاد کنید، تا بتوانید مراحل پیشرفت فیلتر ها را مشاهده کنید.

فیلترValid Hostname (برای Ghost Spam)

این روش تاکنون، کار آمد ترین روش برای توقف اسپم ها در گوگل آنالیتیک بوده است. ما نیز از این روش استفاده کرده ایم و طی ماه های اخیر هیچ بازدیدی از اسپم های Crawler دریافت نکرده ایم.

3 مزیت قابل توجه استفاده از این روش:

  1. این فیلتر از تمامی بازدید های انواع اسپم های Ghost جلوگیری می کند و شما می توانید بازدید های خودتان را دریافت کنید.
  2. یک فیلتر که تمامی کارها را انجام می دهد و نیاز به بروزرسانی کمتری به نسبت چند فیلتر خواهد داشت.
  3. متوقف نمودن هر نوع اسپم Ghost که به صورت ارجاع دهنده، رویداد و یا بازدید مستقیم نمایش داده می شوند.

عملکرد این فیلتر ها چگونه است؟

تمامی اسپم های Ghost از Hostname های نامعتبر استفاده می کنند و بدون هدف مشخصی می باشند. اگر این نوع اسپم ها را مورد بررسی قرار بدهید متوجه خواهید شد نام میزبان آن ها جعلی بوده و یا با “not set” مشخص شده است. مهم ترین مرحله در این روش بدست آوردن لیستی از Valid Hostnames یا نام میزبان های معتبر می باشد تا بتوانیم هرگونه ترافیک جعلی را تشخیص داده و حذف کنیم.

برای دید بهتر بر عملکرد این فیلتر ها ،سعی کنید یک View بدون فیلتر قبل از اعمال فیلتر ها تهیه کنید.

در اولین مرحله از ایجاد این فیلتر ، باید لیست کلیه hostname هایتان را بدست آورید.

  1. در اکانت گوگل آنالیتیک خود، سربرگ Reporting را باز کنید
  2. در پنل سمت چپ، گزینه ی Audience را انتخاب کنید
  3. بر روی Technology کلیک کنید و از گزینه های نمایان شده، Network را انتخاب کنید.
  4. در بالای گزارش ارائه شده دقت کنید که گزینه ی Hostname انتخاب شده باشد (به صورت پیشفرض Service Provider انتخاب شده است)

stop-spam-in-analytices-05

  1. در اینجا جدولی مطابق با تصویر زیر خواهید دید که باید Hostname های معتبر(Valid) را بیابید و لیست آن ها را تهیه کنید.

stop-spam-in-analytices-06

Valid hostnames چیست و چگونه تشخیص دهیم؟

Hostname های شما شامل تمام مکان هایی می باشد که کد ردیابی گوگل آنالیتیک (Tracking ID) خود را در آنجا قرار داده اید (UA-XXXXXX-1)

مثل:

  • Your domain: www.yourdomain.com, yourdomain.com, blog.yourdomain.com
  • سرویس های ترجمه
  • کش سرویس ها
  • فروشگاه های اینترنتی
  • سایر جاهایی که Tracking ID خود را قرار داده اید

توجه داشته باشید که تمامی Valid Hostname های خود را در لیست وارد کنید در غیر این صورت ممکن است برخی از داده های حقیقی خود را از دست بدهید.

Not Valid hostnames چیست و چگونه تشخیص دهیم؟

اساساً هر Hostname که نتوانید آن را تشخیص بدهید، مثل Google.com یا Amazon.com (که اسپمر ها برای فریب مردم از آن ها استفاده می کنند) و یا Hostname مشخص شده با Not set از جمله نام میزبان های نامعتبر می باشند.

  1. زمانیکه درحال تهیه لیست Valid Hostnames خود می باشید، لازم است عبارتی شامل تمامی Valid Hostname ها تهیه کنید. مثل:
yourdomain\.com|otherdomain\.com|translateservice\.com|yourshoppingcart\.com|otherservice\.net

 

این عبارت می تواند بسته به طول عمر سایت شما و حجم آن ساده تر و یا پیچیده تر باشد. در آماده سازی آن دقت داشته باشید اگر دامنه ی شما Yourdomain.com باشد باید تمامی ساب دامین های آن مثل blog.yourdomain.com یا help.yourdomain.com را نیز به این عبارت اضافه کنید.

تمامی فیلترهای سفارشی در گوگل آنالیتیک از عبارات منظمی (REGEX) استفاده می کنند ، در اینجا برخی کاراکترهایی که می تواند در ایجاد عبارت Hostnames به شما کمک کند ذکر شده اند:

  • برخی کاراکترهای ویژه را باید با علامت \ وارد کنید. برای مثال خط تیره “-” و نقطه “.” باید به صورت \- و \. تایپ شوند. ( yourdomain\.com)
  • کاراکتر “|” نیز به معنای “یا” OR می باشد. برای مثال عبارت Google|analytics به معنای Google “یا” analytics می باشد.
  • از کاراکتر “|” در ابتدا یا پایان عبارات خود استفاده نکنید در غیر این صورت ممکن است عبارت شما به معنای تمام ترافیک یا حذف کل ترافیک تغییر یابد.
  • دقت داشته باشید زمانیکه URL های شما زیاد است ، فاصله ی اضافه ای درج نکنید.
  • عبارت ها دارای محدودیت تعداد 255 کاراکترمی باشند . بنابر این اگر عبارت شما طولانی تر از این تعداد شد می توانید آن را تقسیم نمایید.

پس از آماده سازی REGEX باید آن را به فیلتر INCLUDE Hostname اضافه کنید:

  1. وارد سربرگ Admin شوید و گزینه ی View را در جاییکه میخواهید فیلتر خود را ایجاد کنید انتخاب نمایید.
  2. Filters را انتخاب کنید.

نکته: اگر قبلا View بدون فیلتر ایجاد نکرده اید، توصیه می شود هم اکنون یک View قبل از ایجاد فیلتر ایجاد کنید تا در آینده بتوانید از آن برای تعیین صحت عملکرد فیلتر ها یتان استفاده کنید.

  1. بر روی دکمه ی New Filter کلیک کنید.
  2. گزینه ی Create New Filter را انتخاب کنید و Valid Hostnames خود را در فیلد مربوطه وارد نمایید.
  3. در قسمت Filter Type، گزینه ی Custom را انتخاب نمایید.
  4. مطمعن شوید که قسمت include (در صورتیکه آن را نیافتید به سمت پایین اسکرول کنید) در حالت انتخاب قرار داشته باشد و سپس Hostnames را در قسمت پایین آن انتخاب نمایید.
  5. در آخر، عبارت REGEX خود را در فیلد مربوط به Filter Pattern وارد نمایید تا Valid Hostnames شما ایجاد گردد.

stop-spam-in-analytices-07

توصیه می شود قبل از ذخیره ی تنظیمات انجام شده، با استفاده از ابزار Filter Verification یا بخش Advanced، فیلتر خود را Verify کنید.

بدین منظور بر روی Verify This Filter کلیک کنید. با انتخاب این ابزار، جدولی حاوی اطلاعاتی از جزعیات قبل و بعد از اعمال فیلتر برای شما نمایان خواهد شد.

stop-spam-in-analytices-08

بعد ازاینکه مطمعن شدید هیچ اطلاعات صحیحی با فیلتر فعلی حذف نخواهد شد، آن را ذخیره کنید.

این فیلتر نیاز به نگهداری و تغییرات زیادی ندارد ولی لازم است هرچند مدت یک بار که Tracking ID خود را در سرویس هایی مثل PayPal یا Youtube وارد می کنید ، آن را به انتهای REGEXی که ایجاد کرده اید نیز اضافه کنید.

استفاده از فیلتر Campaign Source (برای Crawler Spam)

توجه: در قسمت Filter Field، از گزینه ی “Referral” استفاده نکنید و “Campaign Source” را انتخاب کنید (توصیه شده توسط Google).

اسپم های Crawler از Hostname های معتبر استفاده می کنند بنابر این به فیلتر دیگری نیاز داریم تا بتوانیم آن ها را تشخیص داده و از ورود آن ها ممانعت کنیم. بدین منظور ما باید از فیلتر Campaign Source یا یک REGEX حاوی تمامی Crawler Spams شناخته شده استفاده کنیم.

نکته: می توانید از این فیلتر برای اسپم های Ghost نیز استفاده کنید ولی فیلتر Valid Hostname برای این نوع اسپم ها موثرتر می باشد.

  1. در اکانت گوگل آنالیتیک خود، وارد سربرگ Admin شوید.

stop-spam-in-analytices-09

  1. ابزار Filters را از بخش زیر ستون ها انتخاب کنید.
  2. بر روی دکمه ی New Filter کلیک کنید.
  3. برای نام ، Crawler Spam Filter را وارد کنید.
  4. از قسمت Filter Type گزینه ی Custom را انتخاب کنید. در فیلد Filter، گزینه ی Campaign Source را انتخاب کنید. در فیلد Filter Pattern عبارت Crawler Spam که تهیه کرده اید را وارد نمایید.

در زیر می توانید یک نمونه عبار استفاده شده برای Crawler Spam را مشاهده کنید:

(best|100dollars|success)\-seo|(videos|buttons)\-for|anticrawler|musica\-gratis|semalt|forum69|7makemoney|sharebutton|ranksonic|sitevaluation|dailyrank

 

stop-spam-in-analytices-010

اگر از ابزار Verification Tools استفاده کنید، می توانید نحوه کارکرد فیلتر فعلی را با استفاده از اطلاعاتی که از قبل و بعد از اعمال فیلتر برایتان نمایش می دهد ،مشاهده کنید.

stop-spam-in-analytices-011

این ابزار نمونه ای از داده های 7 روز گذشته (به جز روز جاری)را نمایش می دهد. بنابر این اگر در این بازه ی زمانی ، هیچ اسپمی نمایش داده نشود فیلتر تایید نخواهد شد.

stop-spam-in-analytices-012

در صورتیکه تمامی مراحل قبلی را با دقت و به صورت صحیح انجام داده باشید مشکلی پیش نخواهد آمد و فیلتر تایید خواهد شد.

  1. پس از اینکه تنظیمات را ذخیره کردید باید این مراحل را برای سایر اسپم ها نیز مجدد تکرار کنید. ممکن است 24 ساعت طول بکشد تا تاثیر فیلتر ها را در اطلاعاتتان بتوانید مشاهده کنید پس اگر بلافاصله تاثیر فیلتر را مشاهده نکردید نگران نباشید و منتظر بمانید.

عدم استفاده از روبات های مفید و Spider ها

این نوع از Crawler ها اسپم نبوده و در عوض برای سایت های ما نیز مفید هم هستند چراکه به ما در ایندکس شدن اطلاعاتمان در موتور های جستجو کمک خواهند کرد. البته آن ها نیز در هنگام بازدید از سایت های ما رکورد های غیر مفیدی را اضافه می کنند اما نباید این روبات ها/Spider ها را مسدود کنید، به این دلیل که این موضوع می تواند سایت شما را در سطح وب بی اهمیت تر کرده و مطالب به درستی در موتور های جستجو ایندکس نشوند، بنابر این می توانید برای رفع این مشکل آن ها را از طریق ابزار های گوگل آنالیتیک بدون نگرانی حذف نمایید.

گوگل اخیراً ابزاری برای این کار تعبیه کرده است که می توانید به صورت زیر از آن استفاده کنید:

  1. در اکانت گوگل آنالیتیک خود به سربرگ Admin بروید.
  2. از لیست کشویی View ، Viewی مورد نظرتان را انتخاب کنید.
  3. بر روی View Setting کلیک کنید.

stop-spam-in-analytices-013

  1. تیک مربوط به گزینه ی Exclude all hits from known bots and spiders را فعال کنید.

stop-spam-in-analytices-014

  1. تنظیمات را ذخیره نمایید تا تغییرات مورد نظر اعمال گردند.

با انجام این کار، تمامی بازدید هایی که از روبات ها و Spider ها وارد می شوند از “گزارشات” شما حذف شده و در تشخیص تعداد “بازدید واقعی” سایتتان کمک بزرگی می کند.

مفهوم اسپم در گوگل آنالیتیک

چرا اسپم ها گزارشات ما را خراب می کنند؟

تعجب می کنید اگر بدانید اسپمر ها چه سودی از این کار بدست می آوردند. اصلی ترین دلیل این کار، ترافیک می باشد. مردم به صورت طبیعی کنجکاو هستند و دوست دارند بدانند در این وب سایت ها چه اتفاقی می افتد، بنابر این URL ها را دنبال می کنند و زمانی سورپزایز می شوند که به مقصد رسیده و هیچ نشانه ای از سایتی که به دنبال آن بودند نمیابند!

اسپمر ها از گوگل آنالیتیک هزاران بازدید می گیرند ، بنابر این می توانید تصور کنید چه حجم ترافیکی را از طریق این روش بدست می آورند. برخی مواقع قصد آن ها بالابردن یک صفحه، فروش سرویس هایی مثل سرویس های SEO و در برخی مواقع نیز ارجاع به سایت های فروشگاهی مثل Aliexpress.com می باشد که در نهایت با ارائه ی تخفیفاتی به کاربران ، آن ها را به خرید ترغیب می نمایند.

چگونه اسپم ها را تشخیص بدهیم؟

ساده ترین راه برای تشخیص اسپم ها اینه که به دنبال ارجاع دهندگان غیرمعمول و مشکوک باشیم. این سایت ها هیچ ارجاع واقعی به سایتتان نداشته و باید از ورود آن ها به سایتتان جلوگیری کنید تا آن ها از گزارشاتتان حذف شوند.

این روش درحال حاضر قابل اطمینان ترین راه حلی می باشد که می توانید از طریق آن اسپم های ارجاع دهنده ی Ghost را تشخیص بدهید. این اسپم ها فیلدی با عنوان not set دارند یا دارای hostname جعلی می باشند.

برای یافتن hostname هایی که اسپمر ها استفاده می کنند می توانید مراحل زیر را دنبال کنید:

  1. در اکانت گوگل آنالیتیک خود به سربرگ Reporting بروید.
  2. در پنل سمت چپ ابزار Acquisition را انتخاب کنید.
  3. بر روی Ú کنار All Traffic کلیک کنید تا آیتم های آن نمایش داده شوند. سپس Channels را انتخاب کنید.
  4. بر روی Secondary Dimension کلیک کنید و عبارت Hostname را تایپ نمایید تا گزینه ی آن نمایان شود ، سپس آن را انتخاب کنید.

stop-spam-in-analytices-015

همانطور که در تصویر زیر مشخص شده است، اسپم های ارجاع دهنده ی Ghost (بدون هیچ هدف مشخصی هستند) با رنگ قرمز مشخص شده اند و موارد نارنجی رنگ نیز اسپم های ارجاع دهنده ی Crawler ( از hostname معتبر استفاده می کنند) می باشند.

stop-spam-in-analytices-016

بررسی صفحه ی فرود:

نشانه ی دیگری که مشخص می کند یک ارجاع دهنده؛ اسپم می باشد ، این است که صفحه ی هدف Home page با یک علامت “\” یا یک صفحه ی تقلبی مشخص شده است که در سایت شما وجود ندارد.

stop-spam-in-analytices-017

بررسی معیار های اندازه گیری:

اسپم ها معمولا در این قسمت اعداد بسیار بالا یا بسیار پایینی برجای میگذارند. برای درک بهتر این موضوع :

  1. دراکانت گوگل آنالیتیکتان به سربرگ Reporting وارد شوید
  2. در پنل سمت راست گزینه ی Acquisition را انتخاب کنید.
  3. بر روی Ú کنار All Traffic کلیک کنید تا آیتم های آن نمایش داده شوند.
  4. Referrals را انتخاب کنید تا جدولی مشابه جدول زیر برایتان نمایان شود.

دراینجا باید به ارجاع دهندگانی توجه کنید که اعداد آنها در ستون های New Sessions یا Bounce Rate 0% یا 100% باشد و یا ستون Avg.Session Duration از 0 تا 1 ثانیه رقم خورده باشد.

stop-spam-in-analytices-018

البته باز هم ممکن است برخی از اسپم ها هوشمندانه تر عمل کرده و در این موارد نیز زیاد مشکوک نباشند. Ghost Spam ها به دلیل استفاده از اطلاعات تقلبی راحت تر قابل تشخیص هستند ولی Crawler Spam ها سخت تر قابل تشخیص می باشند و برای یافتن آن ها باید دقت بالایی داشته باشید.

اجتناب در استفاده از لیست ممنوع ارجاع دهنده ها و فایل htaccess:

Referral Exclusion List برای اهداف دیگری ساخته شده است و از آن برای مسدود کردن اسپم ها در گوگل آنالیتیک نباید استفاده کنید. اگر اسپم ها را در اینجا وارد کنید، بخشی از بازدید های ارجاع شده ی شما حذف خواهند شد ولی درعوض به صورت بازدید مستقیم نمایش داده می شودو این کار مشکلات بزرگ تری ایجاد می کند و تشخیص اسپم ها را سخت تر نیز می کند.

روش دیگر که باید از آن دوری کنید، مسدود کردن Ghost Spams از طریق روش های سمت سرور مثل فایل .htaccess یا فایل Web.Config می باشد. این روش در ظاهر بهترین راه کار می باشد ولی در واقع هیچ اثری ندارد و بدتر اینکه این فایل ها بسیار حساس بوده و اشتباه در کار با آن ها می تواند منجر به قطع شدن سایت شما گردد.

در این بخش از آموزش، مستنداتی را برای شما تهیه کرده ایم که نشان می دهند روش های ضد اسپم سمت سروری بر روی اسپم های Ghost تاثیری ندارند. بخشی از گزارش گوگل آنالیتیک با تمام اسپم های ارجاع دهنده (Ghost و Crawler) که به سایت مورد تست ما بازدید داشته اند:

stop-spam-in-analytices-019

ما در این مثال از AWStats برای آنالیز و تحلیل Access Log های سایت طی بازه زمانی 1 ماه استفاده کردیم و آن را با اسپم ها در لیست قبلی مقایسه کردیم. همانطور که مشاهده می کنید فقط semalt.com و buttons-for-website.com که با رنگ قرمز نیز مشخص شده اند ، لاگین داشته اند، این 2 نیز Crawler Referral Spam هستند . بقیه ی موارد نیز که با رنگ آبی مشخص شده اند همگی Ghost Referral Spam می باشند.

stop-spam-in-analytices-020

البته اگر در کار با فایل .htaccess دانش کافی دارید، یا شخصی را می شناسید که در کار با این فایل تخصص کافی دارد، می توانید از این فایل فقط برای اسپم های Crawler استفاده کنید. در ادامه ی همین آموزش روش انجام کار نیز توضیح داده شده است…

لیست اسپم ها (Crawler و Ghost)

این لیست تا تاریخ 14/August/2015 بروز رسانی شده است

Ghost Spam Crawler Referral Spam Historical Spam
alfa9.com / referral justprofit.xyz 12masterov.com
127.0.0.1:80## / referral video–production.com 4webmasters.org
rednise.com / referral buttons-for-website.com 76brighton.co.uk
best-seo-software.xyz / referral buttons-for-your-website.com 7makemoneyonline.com
qualitymarketzone.com / referral videos-for-your-business.com adcash.com
how-to-earn-quick-money.com / referral success-seo.com adviceforum.info
hongfanji.com / referral semaltmedia.com alienpayday
sexyali.com / referral dailyrank.net anticrawler.org
free-floating-buttons.com / referral sitevaluation.org artobox
get-free-social-traffic.com / referral 100dollars-seo.com axisalternativementalhealth
chinese-amezon.com / referral forum69.info baixar-musicas-gratis.com
satellite.maps.ilovevitaly.com / referral partner.semalt.com / referral bard-real.com.ua
traffic2money.com / referral best-seo-offer.com billiard-classic.com.ua
site#.floating-share-buttons.com / referral best-seo-solution.com buy-forum.ru
e-buyeasy.com / referral semalt.semalt.com cardiosport.com.ua
wpsecuritycheck.co.uk / referral semalt.com cenokos.ru
wpthemedetector.co.uk / referral 7makemoneyonline.com cenoval.ru
erot.co / referral anticrawler.org ci.ua
webmonetizer.net / referral baixar-musicas-gratis.com cityadspix.com
howtostopreferralspam.eu / referral descargar-musica-gratis.net customsua.com.ua
trafficmonetizer.org / referral Recent Spam dailyrank.net
wpsecuritycheck.co.uk / referral alfa9.com / referral delfin-aqua.com.ua
wpthemedetector.co.uk / referral rednise.com / referral descargar-musica-gratis.net
trafficmonetize.org / referral best-seo-software.xyz / referral dipstar.org
непереводимая.рф / referral justprofit.xyz / referral dvr.biz.ua
непереводимая.рф / organic how-to-earn-quick-money.com econom.co
4webmasters.org / referral hongfanji.com / referral edakgfvwql.ru
websites-reviews.com / referral sexyali.com / referral e-kwiaciarz.pl
sanjosestartups.com / referral free-floating-buttons.com / referral erot.co
site2.floating-share-buttons.com get-free-social-traffic.com / referral este-line.com.ua
s.click.aliexpress.com/e/ay3rfmzfi / organic qualitymarketzone.com / referral europages.com.ru
site1.floating-share-buttons.com traffic2money.com / referral fbdownloader.com
site3.floating-share-buttons.com floating-share-buttons.com forum.smailik.org
youporn-forum.ga / referral erot.co / referral Get-Free-Traffic-Now.com
www.Get-Free-Traffic-Now.com / referral semaltmedia.com / referral getoutofdebtfree.org
addons.mozilla.org / referral wpsecuritycheck.co.uk / referral ghazel.ru
googlsucks.com / referral wpthemedetector.co.uk / referral gobongo.info
simple-share-buttons.com / referral 4webmasters.org / referral howtostopreferralspam.eu
social-buttons.com / referral free-social-buttons.com iloveitaly.ro
s.click.aliexpress.com / referral www.event-tracking.com / referral ilovevitaly.co
o-o-8-o-o.com / referral e-buyeasy.com /referral ilovevitaly.ru
humanorightswatch.org / referral chinese-amezon.com / referral Iskalko.ru
o-o-6-o-o.com / referral satellite.maps.ilovevitaly.com it-max.com.ua
bestwebsitesawards.com / referral videos-for-your-business.com kambasoft.com
resellerclub scam / organic dailyrank.net / referral lomb.co
darodar.com / referral partner.semalt.com / referral lombia.co
hulfingtonpost.com / referral sitevaluation.org / referral lumb.co
ilovevitaly.com / referral 100dollars-seo.com / referral luxup.ru
blackhatworth.com / referral trafficmonetize.org / referral maridan.com.ua
resellerclub scam / referral непереводимая.рф / referral mebeldekor.com.ua
forum20.smailik.org / referral success-seo.com / referral medispainstitute
www.event-tracking.com / referral trafficmonetizer.org / referral med-zdorovie.com.ua
webmaster-traffic.com / referral Historical Spam mirobuvi.com.ua
vitaly rules google / organic myftpupload.com sharebutton.net
rapidgator-porn.ga / referral onlywoman.org sitevaluation.org
meendo-free-traffic.ga / referral o-o-6-o-o.ru slftsdybbg.ru
buy-cheap-online.info / referral o-o-8-o-o.ru smailik.org
torture.ml / referral palvira.com.ua socialseet.ru
amanda-porn.ga / referral paparazzistudios.com.au srecorder.com
generalporn.org / referral pornhub-forum.ga scansafe.net
depositfiles-porn.ga / referral powitania.pl screentoolkit.com
  priceg.com see-your-website-here.com
priceg.comkambasoft.com semaltmedia.com
prlog.ru seoexperimenty.ru
prodvigator.ua savetubevideo.com
ranksonic.info savetubevideo.info
resellerclub scam sanjosestartups.com
resellerclub.com resellerclub scam
superiends.org vodkoved.ru
tasteidea.com webmonetizer.net
theguardlan.com website-errors-scanner.com
torontoplumbinggroup.com websites-reviews.com
trafficmonetize.org websocial.me
trion.od.ua ykecwqlixx.ru
непереводимая.рф

 

روش دیگر مقابله با اسپم ها

استفاده از فایل .htaccess (فقط برای Crawler Spam)

روش دیگری که می توانید با استفاده از آن در گوگل آنالیتیک اسپم های Crawler را مسدود کنید استفاده از فایل .htaccess می باشد. این فایل نحوه ی دسترسی ها به سایت شما رامی تواند کنترل کند و برای مسدود کردن Crawler Referral Spams می باشد . مثل سایت های semaltmedia.com, sitevaluation.org, videos-for-your-business.com / referral

همانطور که قبلا هم توضیح داده شده است، استفاده از این فایل برای مسدود کردن اسپم های Ghost تاثیری نخواهد داشت. قبل از ایجاد تغییر در محتوای فایل .htaccess نیز حتما یک بکاپ از آن تهیه کنید زیرا کوچکترین اشتباهی در کار با آن می تواند سایت شما را از دسترس عموم خارج کند.

اگر در کار با فایل .htaccess دانش و تخصص کافی را دارید می توانید یکی از روش های زیر را استفاده کنید:

mod_rewrite:

## STOP CRAWLER SPAM

RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]

RewriteCond %{HTTP_REFERER} 100dollars\-seo\.com [NC,OR]

RewriteCond %{HTTP_REFERER} best\-seo\-solution\.com [NC,OR]

RewriteCond %{HTTP_REFERER} buttons\-for\-your\-website\.com [NC,OR]

RewriteCond %{HTTP_REFERER} forum69\.info [NC,OR]

RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC,OR]

RewriteCond %{HTTP_REFERER} ranksonic\.com [NC,OR]

RewriteCond %{HTTP_REFERER} 7makemoneyonline\.com [NC,OR]

RewriteCond %{HTTP_REFERER} sharebutton\.net [NC,OR]

RewriteCond %{HTTP_REFERER} sitevaluation\.org [NC,OR]

RewriteCond %{HTTP_REFERER} dailyrank\.net [NC,OR]

RewriteCond %{HTTP_REFERER} videos\-for\-your\-business\.com [NC,OR]

RewriteCond %{HTTP_REFERER} semaltmedia\.com [NC,OR]

RewriteCond %{HTTP_REFERER} best\-seo\-offer\.com [NC]

RewriteRule .* - [F]

 

mod_setenvif:

<IfModule mod_setenvif.c>
# Set Referrer Spam as spambot
SetEnvIfNoCase Referer semalt.com spambot=yes
SetEnvIfNoCase Referer semaltmedia.com spambot=yes
SetEnvIfNoCase Referer sitevaluation.org spambot=yes
SetEnvIfNoCase Referer dailyrank.net spambot=yes
SetEnvIfNoCase Referer videos-for-your-business.com spambot=yes
SetEnvIfNoCase Referer buttons-for-website.com spambot=yes
## add all the SPAM sites you wantOrder allow,deny
Allow from all
Deny from env=spambot
</IfModule>

 

تغییر Tracking ID

توجه: این روش تاثیر بسیار بالایی ندارد اما با استفاده از آن سایت شما کمتر مورد حملات اسپمر ها قرار خواهد داشت. البته برخی از اسپمر ها نیز ID های بالاتر را مورد هدف قرار می دهند و برای سایت های تازه تاسیس شده گزینه ی مناسبی می باشد.

از آنجایی که معمولا این نوع اسپم ها ID های UA-XXXXXXX-1 را مورد هدف قرار می دهند، با تغییر Tracking ID گوگل آنالیتیک به صورتیکه به 1 منتهی نشود، مثل UA-XXXXXXX-12 می توان از ورود اکثر اسپم ها به سایت جلوگیری کرد. البته برخی اسپمر ها از ID های بالاتر استفاده می کنند ولی با این حال نیز تغییر ID می تواند تاثیر مثبت در این مورد داشته باشد.

ما این روش را تست کردیم و تاثیر خوبی در مقابله با اسپم های Ghost داشت. برای نمونه نیز تصویری از یک اکانت گوگل آنالیتیک تست که از آن استفاده نموده ایم را برایتان در ادامه قرار داده ایم. همانطور که مشاهده می کنید در این اکانت 3 Tracking ID مختلف ایجاد شده است. در تصویر می بینید که فقط یکی از ID ها، UA-XXXXXXXX-1 ، بازدید داشته است و 2 ID دیگر مورد بازدید قرار نگرفته اند.

stop-spam-in-analytices-021

این گزارش مدرک اثبات کننده ای است که Ghost Referre Spam ها را نمی توان از طریق فایل .htaccess متوقف نمود، زیرا سایتی که برای تست از آن استفاده کردیم فعال نبوده و بازدید های آن نیز نمی توانند واقعی باشند.

برای تغییر Tracking ID مراحل زیر را دنبال کنید:

  1. در اکانت گوگل آنالیتیک خود به سربرگ Admin بروید.
  2. لیست کشویی زیر ستون PROPERTY را باز کنید و گزینه ی Create New Property را انتخاب کنید.

stop-spam-in-analytices-022

  1. یک نام جدید انتخاب کرده و آدرس وب سایت خود را نیز وارد کنید.
  2. بر روی دکمه ی Get Tracking ID کلیک کنید.

stop-spam-in-analytices-023

  1. یک Tracking ID جدید برای شما ایجاد خواهد شد که می بایست آن را به سایتتان اضافه کنید.

stop-spam-in-analytices-024

” در مقابله با اسپم های فریبنده/Ghost Spams فراموش نکنید که روش هایی مثل Rule های فایل .htaccess یا هر روش سمت سرور دیگری هیچ تاثیری ندارند.”

نکته ی مهمی که باید همیشه به آن توجه داشته باشید این است که برای جلوگیری از ورود هرنوع اسپمی ضروریه که در گوگل آنالیتیک، از ترکیب هر 2 فیلتر ، Valid Hostname برای جلوگیری از Ghost spams و فیلتر Campaign Source برای جلوگیری از Crawler Spams استفاده کنید.

در نهایت امیدواریم از طریق این مقاله ی آموزشی توانسته باشیم نقش مفیدی در نگهداری از اطلاعات و ورود اسپم ها به سایت هایتان داشته باشیم.

منبع : ohow.co

3.8/5 - (23 امتیاز)

علی یزدان پرست

حدود 8 سالی هست که در زمینه میزبانی وب به صورت تخصصی فعالیت می کند و علاقه زیادی به کسب تجربه در زمینه بازاریابی اینترنتی و تجارت الکترونیک دارد، علی یک کارآفرین خستگی ناپذیر است و با انرژی حیرت انگیزی تمام قسمت های میزبان فا را توسعه می دهد، علی به سبک حرفه ای و انحصاری خود زندگی می کند و خط فکری خاصی را همیشه دنبال می کند، او رفتار هایی کاملا متفاوت نسبت به سایر مدیرانی که تا به حال دیده اید دارد...

‫۸ دیدگاه ها

  1. سلام.ایا با این ابزار دسترسی روبات های اسپم به خود سایت هم قطع میشه یا فقط برای نمایش نتایج گوگل کاربرد داره چون الان ده ها سایت سرچ اسپم مثل modirsearch,minisearch و با ای پی خود گوگل سایت من رو کراول می کنند و همین باعث به وجود امدن مشکلات و پنالتی و محتوی تکراری در سایتم شده؟چطور می تونم دسترسی این روبات ها رو مسدود کنم؟

    با تشکر

    1. سلام
      خیر انجام این کار فقط باعث مرتب شدن داده های آماری گوگل آنالیتیکس می شود.
      خیر کراول کردن آن موتور های جستجو باعث به وجود آمدن مشکل در سایت شما نمی شود و فقط ممکن است داده های آماری را کمی غیر واقعی کند، مشکل وب سایت شما چیست ؟ در سئو و بهینه سازی مشکل دارید ؟

  2. ممنون که انقدر سریع جواب دادید اصلا فکرش رو نمی کردم.راستش مشکل من پنالتی شدن باالگوریتم پنگوئن 4 هست .همه بررسی ها رو کردم و تنها چیزی که باعث شده تعداد زیاد بک لینک های اسپم هست که تمام صفحات سایت من رو حتی موضوعات وتگ ها رو در سایت های بی محتوی و کلوگینک کپی می کنند(به وسیله روبات)وقتی نمایش زنده امار رو می بینم گوگل نه تنها خودش سایت رو کراول می کنه بلکه از طریق اون سایت ها هم یک بار دیگه کروال می کنه(منبعش مشخصه) و 24 ساعت روبات های گوگل تو سایت هستند و محتوی تکراری زیاد به وجود اومده.حتی این سایت ها بعد از یک مدت فیلتر میشن ولی به من ضرر وارد کردند.ادرس عکس ها رو برای درک بهتر براتون می فرستم.ببخشید طولانی شد.اگر ممکنه راهی معرفی کنید تا بتونم جلوی این روبات ها رو بگیرم.ای پی سایت و سرورشون رو هم مسدود کردم ولی فایده ای نداشته

    http://8pic.ir/images/jqxlno371avncr2vtj80.jpg

    http://8pic.ir/images/dk5fa7up11ov5q62fzn6.jpg

    1. خواهش میکنم،
      نمیشه برای همیشه دسترسی این ربات ها را قطع کرد، چون این ربات ها هروز در حال زیاد شدن هستن و نمیتونن روی رتبه سایت شما تاثیر گذار باشند، سوال بنده اینه که:
      چطور تشخیص دادین که سایتتون توسط پنگوئن 4 جریمه شده ؟

  3. به دلیل اینکه درست از زمان اپدیت پنگوئن با زدید م نصف شده و هر روز داره کمتر میشه و در کلمات کلیدی پربازدید به صفحه دوم رفتم.از طرفی این سایت های روبات دقیقا مطلب تک من رو کپی کردند ولی از من بالاتر نشون داده میشن.رتبه الکسام تو این یک سال از 1500 رسیده به 5000!اگه راهی بود که بشه مسدودشون کرد خیلی خوب بود.به هر حال ممنون از وقتی که گذاشتیدو جواب دادید

  4. سلام
    اول تشکر کنم بابت مطلب خوب شما
    کمکم میکنید دلیل افت رنک الکسامو اینکه از رنک 6100 به 17000

    البته ناگفته نمونه که روی دامینم سایت جدید اپلود کردم ی جوراییی به روز رسانی کردم

  5. سلام وقت بخیر
    ما جلوی ایجاد سشن رو وقتی ربات گوگل میخزه گرفتیم که اینود الکی ساخته نشه
    ایا مشکلی توی سئو ممکنه داشته باشه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *