هزینه ها و مشکلات Crawl کردن یک مفهوم سئو واجب و ضروری است که اغلب نادیده گرفته می شود.
عملکردها و مسائل بسیاری وجود دارد که یک سئوکار باید به یاد داشته باشد. این ها مواردی هستند که اغلب نادیده گرفته می شوند.
به طور خلاصه، هزینه ها و مشکلات Crawl کردن می تواند و باید بهینه سازی شود.
در این مقاله، شما این موارد را یاد می گیرید:
- چگونه هزینه ها و مشکلات Crawl کردن را بهینه سازی کنید.
- در دو سال گذشته، مفهوم هزینه ها و مشکلات Crawl کردن چه تغییراتی کرده است.
هزینه ها و مشکلات Crawl کردن چیست؟
برای برخی از ما به عنوان سئوکار که باید به موارد بسیار زیادی فکر کنیم، برای موضوعات مختلفی نگران باشیم و تلاش کنیم، گاهی فراموش می کنیم که هزینه ها و مشکلات Crawl کردن به چه معنا می باشد. در این جا یک مرور کوتاه برای معنی این موضوع مهم انجام می دهیم.
هزینه ها و مشکلات Crawl کردن به پروسه متناوب این که کدام Crawlers موتور جستجو (برای مثال، Spiders و Bots) صفحات دامنه سایت شما را بررسی می کند، مربوط می شود.
این پروسه متناوب در واقع یک تعادل تجربی و آزمایشی را میان تلاش ربات های گوگل برای این که سرور شما خیلی شلوغ نشود و تمایل کلی گوگل برای Crawl کردن دامنه سایت شما برقرار می کند.
بهینه سازی هزینه ها و مشکلات Crawl کردن یک سری مراحلی است که می توانید برای افزایش میزان بازدید صفحات وب سایت تان توسط ربات های موتورهای جستجو، پشت سر بگذارید.
هر چه بیشتر آن ها صفحات سایت شما را بازدید کنند، سریع تر تمایل پیدا می کنند تا صفحاتی که بروزرسانی شده اند را ایندکس کنند.
در نتیجه، تلاش های بهینه سازی شما در مدت زمان کوتاهی روی رتبه بندی های صفحات سایت شما تاثیر می گذارد.
با توجه به موارد گفته شده، این موضوع به نظر می رسد که مهم ترین چیزی است که ما باید هر ثانیه انجام دهیم، این طور نیست؟
کاملا خیر.
چرا بهینه سازی هزینه ها و مشکلات Crawl کردن مورد غفلت و فراموشی قرار می گیرد؟
برای پاسخ به این پرسش، شما تنها نیاز دارید به پست وبلاگ رسمی گوگل نگاه بیاندازید.
همان طور که گوگل به سادگی توضیح می دهد، Crawl کردن به خودی خود یک فاکتور رتبه بندی محسوب نمی شود.
به این ترتیب این عامل به تنهایی برای این که سئوکاران حرفه ای درباره هزینه ها و مشکلات Crawl کردن فکر نکنند و آن را فراموش نمایند، کافی است.
برای بسیاری از ما این که این مورد فاکتور رتبه بندی محسوب نمی شود، مساوی است با "برای من مشکلی نیست".
من با این طرز فکر به طور کلی مخالف می باشم.
نظرات Gray Eyes عضوی از تیم گوگل در این جا وجود دارد که می توانید به آن توجه داشته باشید. او کاملا اظهار داشته است که برای وب سایت های بسیار بزرگ که میلیون ها میلیون صفحه دارند، مدیریت هزینه ها و مشکلات Crawl کردن واقعاً لازم است.
اما اگر شما یک دامنه سایت در اندازه متوسط دارید، مجبور نیستید واقعاً خود را خیلی نگران هزینه ها و مشکلات Crawl کردن کنید (و در حقیقت در این جا متوجه می شویم که اگر شما وب سایتی با میلیون ها میلیون صفحه دارید، باید برخی از محتواها را از سایت خود حذف کنید که برای دامنه شما به طور کلی بسیار مزیت دارد).
اما همان طور که همه ما می دانیم، سئو فقط بازی تغییر یک عامل بزرگ در وب سایت و کسب نتیجه از آن نیست.
آموزش سئو وب سایت یک پروسه ای از ایجاد تغییرات کوچک و همیشگی است و دارای ده ها معیار و ترفند می باشد.
شغل ما به عنوان سئوکار، اطمینان حاصل کردن از بهینه سازی هزاران مورد کوچک در وب سایت می باشد.
به علاوه، این موضوع به خودی خود یک عامل Crawl خیلی بزرگی محسوب نمی شود، همان طور که Jon Mueller عضو تیم گوگل اشاره می کند، این موضوع بسیار برای میزان تبدیل کاربران به مشتریان و برای سلامت کلی وب سایت خوب و ضروری می باشد.
با تمام این وجود، احساس می کنم که بسیار اهمیت دارد تا اطمینان حاصل کنید که هیچ چیز در وب سایت شما واقعاً به هزینه ها و مشکلات Crawl کردن آسیب وارد نمی کند.
چگونه همین امروز هزینه ها و مشکلات Crawl کردن را بهینه سازی کنید؟
هنوز هم مواردی وجود دارد که در این زمینه بیش از هر چیزی تاثیرگذار می باشند و از طرف دیگر اهمیت برخی از عوامل ممکن است به دلیلی این که اصلا ارتباطی ندارند، تغییر کند.
شما باید همیشه به چیزی که ما آن را "مظنونین معمولی" سلامت وب سایت می نامیم، توجه داشته باشید. در این جا به شما می گوییم که این مظنونین چه چیزهایی هستند.
1 - اجازه دهید تا صفحات مهم شما در Robots.Txt، Crawl شوند
در این موضوع هیچ شکی نیست و طبیعتاً اولین و مهم ترین مرحله می باشد.
مدیریت کردن robots.txt می تواند به صورت دستی یا توسط ابزار بررسی وب سایت انجام شود.
من ترجیح می دهم در صورت امکان از یک ابزار استفاده کنم. این یکی از مثال هایی است که یک ابزار به سادگی می تواند پروسه کاری شما را راحت تر و موثرتر بسازد.
به سادگی robots.txt را به ابزار انتخابی خود به بیافزایید، به این ترتیب به شما این امکان داده می شود تا اجازه Crawl کردن هر صفحه از وب سایت را صادر کرده یا مسدود کنید، تنها در چند ثانیه می توانید این کار را انجام دهید. سپس آن را به راحتی آپلود کنید
آشکار است که هر کسی می تواند این کار را به صورت دستی نیز انجام دهد. اما با توجه به تجربه ای که من در این زمینه دارم می دانم که برای یک وب سایت واقعاً بزرگ که به طور مکرر نیاز به کالیبراسیون و درجه بندی دارد، باید از یک ابزار کمک بگیرید تا کارتان راحت تر شود.
2 - مراقب زنجیره های متعدد Redirect باشید
این مورد برای سلامت و امنیت وب سایت شما بسیار خطرناک است و بسیار هم رایج می باشد.
به طور ایده آل، شما می توانید از به وجود آمدن حتی یک زنجیره Redirect در کل دامنه وب سایت خود جلوگیری نمایید.
صادقانه، انجام دادن این موضوع برای وب سایت های بزرگ غیر ممکن است- 301 و 302 Redirects بالاجبار به وجود می آیند.
اما وجود بسیاری از آن ها به گونه ای که زنجیره ای را تشکیل می دهند، واقعاً به Crawl کردن وب سایت آسیب می زند، تا جایی که به نقطه ای می رسد که Crawler موتور جستجو ممکن است دست از Crawl کردن بر دارد، بدون این که صفحه مورد نظر را ایندکس کند.
یک یا دو Redirects در برخی از بخش های وب سایت خیلی ضرر ندارد، اما در هر صورت هر کسی باید مراقب این موضوع باشد تا خیلی تعداد آن ها زیاد نشود.
3 - هر زمان که امکان دارد از HTML استفاده کنید
اگر درباره گوگل صحبت کنیم، باید این موضوع را بگوییم که Crawler آن در Crawl کردن JavaScript اندکی وضعیت بهتری به دست آورده است، و هم چنین در Crawl کردن و ایندکس کردن Flash و XML نیز بهبود یافته است.
از طرف دیگر، دیگر موتورهای جستجو خیلی در این زمینه ها فعالیتی ندارند.
به این دلیل، دیدگاه من این است که هر زمان امکان دارد، شما باید مطابق با HTML پیش بروید.
به این روش، شما Crawl کردن سایت و صفحات وب سایت خود را به خطر نمی اندازید.
4 - اجازه ندهید که خطاهای HTTP موجب افزایش هزینه ها و مشکلات Crawl کردن وب سایت شما شوند
از نظر تخصصی، صفحات 404 و 410 ممکن است روی هزینه ها و مشکلات Crawl کردن شما تاثیر بگذارند.
اگر این موضوع خیلی شدت نگرفته باشد، اما باز هم می تواند به تجربه کاربری نیز آسیب وارد کند.
به این دلیل است که برطرف کردن کدهای 4xx و 5xx واقعاً یک معامله برد برد به شمار می رود.
در این شرایط، باز هم من طرفدار استفاده کردن از یک ابزار برای بررسی وب سایت می باشم.
ابزار Ahrefs یک سری ابزارهای عالی برای سئوکاران حرفه ای می باشند که می توانند برای بررسی آنالیز وب سایت استفاده کنند.
5 - از پارامترهای URL خود مراقبت کنید
همیشه به یاد داشته باشید که URLs جداگانه توسط Crawlers به عنوان صفحات مجزایی شناخته می شوند و به این ترتیب هزینه ها و مشکلات قابل توجه Crawl کردن را افزایش می دهند.
باز هم، اینکه به گوگل اجازه بدهید تا درباره این پارامترهای URL اطلاعاتی را کسب کند، واقعاً یک معامله دو سر برد می باشد و موجب جلوگیری از افزایش هزینه ها و مشکلات Crawl کردن می شود، هم چنین نگرانی شما را بابت Duplicate Content یا محتویات تکراری بسیار کاهش می دهد.
از این رو مطمئن باشید که URLs وب سایت تان را به اکانت گوگل سرچ کنسول خود اضافه می کنید.
6 - Sitemap خود را بروزرسانی کنید
یک بار دیگر تکرار می کنیم: اینکه از XML Sitemap خود مراقبت کنید واقعاً برای سایت تان مزیت دارد.
ربات ها در درک این که محتواهای داخلی به کجا هدایت می شوند، بهتر عمل خواهند کرد.
از URLs استاندارد برای Sitemap خود استفاده کنید.
هم چنین مطمئن شوید که این مورد به خوبی با تازه ترین نسخه آپلود شده robots.txt مطابقت دارد.
7 - Hreflang Tags واقعاً ضروری و واجب می باشند
برای این که صفحات محلی خود را آنالیز و تجزیه و تحلیل کنید، Crawlers از Hreflang Tags به کار می برد. شما باید به گوگل درباره نسخه های محلی صفحات خود به طور واضحی توضیح دهید.
ابتدا از این کد در تیتر صفحه خود استفاده کنید:
که در این جا "lang_code" منظور کد یک زبان پشتیبانی شده می باشد.
و شما باید از عامل برای هر URL خود استفاده کنید. به این ترتیب می توانید به نسخه های محلی و بومی یک صفحه از وب سایت خود اشاره داشته باشید.
خلاصه
از این رو اگر از خود می پرسید که آیا بهینه سازی هزینه ها و مشکلات Crawl کردن هنوز هم برای وب سایت شما اهمیت دارد یا خیر باید بگوییم که جواب بله است.
هزینه ها و مشکلات Crawl کردن همیشه بوده است و هنوز هم وجود دارد و ممکن است در آینده مورد مهمی به شمار بیاید که هر سئو کار حرفه ای باید به یاد داشته باشد.
خوشبختانه، این توصیه ها به شما در بهینه سازی هزینه و مشکلات Crawl کردن و بهبود اجرای سئو وب سایت تان کمک می کند. امیدواریم این آموزش رایگان سئو برای شما مفید بوده باشد.
موفق باشید.