Qısa cavab: robots.txt faylını onlayn yoxlamaq üçün PromoPilot-un robots.txt Analiz alətinə domeninizi daxil edin və "Təhlil et" düyməsini basın. Alət faylı avtomatik olaraq yükləyəcək, bütün direktivləri (İcazə Ver, İcazə Vermə, Sürüşmə gecikməsi, Sayt Xəritəsi) təhlil edəcək, İstifadəçi Agent bloklarını və hədəf aldıqları robotları göstərəcək, sintaksis səhvlərini və riskli qaydaları tapacaq, vacib URL-lərin mövcudluğunu yoxlayacaq və tövsiyələr verəcək. Bu, pulsuzdur və qeydiyyat tələb etmir.
Başqasının robots.txt faylında rastlaşdığım ən bahalı sətir, inkişafdan qalan " Disallow: / " idi. Sayt işə salındı, reklam üçün pul ödənildi, amma robotların bütün səhifələrə daxil olmasına mane olduğu üçün üzvi trafik üç həftə ərzində sıfır səviyyədə qaldı.
robots.txt analizi nəyi yoxlayır?
Robots.txt veb saytın kökündə yerləşən qısa mətn faylıdır, lakin səhv etmək asandır: əlavə bir kəsik qaydanın mənasını dəyişdirir. Alət, faylı axtarış robotları kimi oxuyur.
| Alət nəyə baxır? | Nümunə | Niyə bu SEO üçündür? |
|---|---|---|
| Bütün direktivlər | Allow, Disallow, Crawl-delay, Sitemap | Nəyin icazə verildiyi və nəyin qadağan edildiyi aydındır. |
| İstifadəçi-agent blokları | User-agent: *, User-agent: Google bot | Müəyyən bir robot üçün qaydalar ümumi qaydaları üstələyir |
| Sayt xəritəsi linkləri | Sitemap: https://example.com/sitemap.xml | Robot sayt xəritəsini daha tez tapır |
| Sintaksis səhvləri | Dissalow, İstifadəçi-agent bloku olmayan bir qaydadır | Yanlış sətir sadəcə nəzərə alınmır. |
| Riskli Qaydalar | Disallow: /, özəl /catalog/, CSS və JS | Skanlama zamanı vacib səhifələr yoxdur |
| Kritik URL-lərin mövcudluğu | Əsas səhifə, əsas bölmələr | Əsas səhifələrin açıq olduğunu təsdiqləyir |
Alət təsvirindən nəticəyə nümunə: "2 potensial riskli qadağan qaydası və 1 itkin Sayt xəritəsi direktivi tapıldı." Bunlar xüsusi diqqətə layiq tapıntı növləridir.
robots.txt faylını onlayn necə yoxlamaq olar?
- Aləti açın. Robots.txt təhlili brauzerdə işləyir.
- Domen adını daxil edin:
https://example.com. Fayl avtomatik olaraq/robots.txtqovluğuna yüklənəcək. - "Təhlil et" düyməsini basın.
- İstifadəçi-agent blokları üçün direktivlərin siyahısını nəzərdən keçirin.
- Səhvləri və riskli qaydaları təhlil edin - hesabatdakı əsas şey budur.
- Faylı serverdə və ya CMS parametrlərində düzəldin və yoxlamanı yenidən başladın.
Alət səhifəsi: ünvan sahəsi, "Təhlil et" düyməsi və təsvir — nəyin yoxlanıldığı, ssenarilər və məhdudiyyətlər.
robots.txt faylını iki vacib vəziyyətdə yoxlayın: saytınızın yeni versiyasını işə salmadan əvvəl və hər hansı bir hərəkətdən sonra. Test məhdudiyyətlərinin istehsal versiyasına keçmə ehtimalı ən yüksək olan zaman budur. Rəqibinizin robots.txt faylını yoxlamaq da faydalıdır: məhdudlaşdırılmış bölmələr hansı səhifələri xidmət səhifələri hesab etdiklərini və qovluqlarının necə qurulduğunu göstərir.
Nəticəni necə oxumaq olar və əvvəlcə nəyi düzəltmək lazımdır?
Bütün saytı əhatə edən qaydalardan kosmetikaya keçin.
User-agent: *blokundaDisallow: /. Bütün sayt bağlıdır. Əgər bu, sınaq versiyası deyilsə, bu sətri dərhal silin.- Vacib bölmələr bağlıdır.
Disallow: /catalogyalnız qovluğu deyil, həm də bu simvollarla başlayan hər hansı bir şeyi, məsələn/catalog-sale/bağlayır. Qaydalar yolun başlanğıcına əsaslanır və böyük-kiçik hərflər vacibdir. - CSS, JS və şəkillər bloklanır.
Disallow: /wp-content/Google səhifəyə insan kimi baxmasının qarşısını alır. Skaner stilləri və skriptləri yükləməlidir. - Sayt xəritəsi sətri yoxdur və ya 404-ə aparır. Zəhmət olmasa, protokolla birlikdə tam sayt xəritəsi ünvanını təqdim edin.
- Sintaksis. Direktiv adlarındakı səhvlər, İstifadəçi-Agent blokunun xaricindəki qaydalar və blok daxilindəki boş sətirlər — robotlar etibarsız sətirləri görməzdən gəlir və qayda səssizcə sıradan çıxır.
- Google dəstəkləmədiyi direktivlər. Google
Crawl-delayfunksiyasını nəzərə almır və Google robots.txt faylındaNoindexdəstəkləmir. Bunlara etibar edirsinizsə, bu qayda tətbiq olunmur.
WordPress saytı üçün düzgün fayl nümunəsi:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
Admin paneli, daxili axtarış və mağaza yardımçı səhifələri bağlıdır, AJAX işleyicisi (saytın hansı hissələrinin pozulması olmadan) aktivləşdirilib və sayt xəritəsi göstərilib. Qalan hər şey standart olaraq aktivdir.
Birdən çox qayda olduqda müəyyən bir URL-in açıq olub olmadığını necə bilirsiniz? Google ən spesifik qaydanı - ən uzun yolu olan qaydanı tətbiq edir. Əgər faylda Disallow: /blog/ həm də Allow: /blog/seo/ varsa, /blog/seo/proverka/ səhifəsi açıq və /blog/news/ bağlıdır. Yollar eyni uzunluqdadırsa, icazə qaydası qalib gəlir. Ulduz * istənilən simvol ardıcıllığını təmsil edir və $ URL-in sonunu göstərir: Disallow: /*.pdf$ bütün PDF fayllarını bağlayır, lakin /pdf-guide/ səhifəsini yox.
Digər ümumi tapıntı eyni robot üçün birdən çox blok və ya ayrı bir blokun üst-üstə düşməsidir. Əgər faylda User-agent: Google bot varsa, Google bot yalnız bu bloku oxuyur və User-agent: * -dəki qaydaları tamamilə qulaqardına vurur. Buna görə də, bütün zəruri məhdudiyyətlər onun blokunda təkrarlanmalıdır.
2026-cı il üçün ayrı bir mövzu süni intellekt robotlarıdır. User-agent: GPTBot, Disallow: / ilə OpenAI-ın saytı robotlaşdırmasının qarşısını alır. Bu sizin qərarınızdır, amma unutmayın: sayt süni intellekt botları üçün bağlıdırsa, köməkçilərin onu tövsiyə etməsi daha çətindir.
Müqayisə: PromoPilot robots.txt təhlili və alternativləri
| Alət | Pulsuz nədir? | Məhdudiyyətlər | Kim üçün uyğundur? |
|---|---|---|---|
| PromoPilot - Robots.txt təhlili | Direktivlərin və blokların, səhvlərin, riskli qaydaların, tövsiyələrin təhlili | Yalnız robots.txt, səhifə meta etiketləri yoxdur | Öz və ya başqasının veb saytını tez bir zamanda yoxlayın |
| Google Axtarış Konsolu robots.txt hesabatı | Google faylınızı necə, nə vaxt və hansı səhvlərlə əldə etdi | Yalnız təsdiqlənmiş saytınız üçün | Veb sayt sahibləri üçün |
| Qışqıran Qurbağa SEO Hörümçəyi | robots.txt istifadə edərək saytı gəzdirmək və qaydalarınızı yoxlamaq | Proqramın quraşdırılması tələb olunur | Texniki audit |
| Brauzerdə əl ilə yoxlama | /robots.txt açın və oxuyun | Səhvləri və göstərişləri təhlil etmədən | Əgər faylda üç sətir varsa |
Nəticə: Axtarış Konsolu, Google faylı necə gördüyünü göstərir, ancaq yalnız saytınız üçün. Onlayn təhlil istənilən domenlə işləyir və nəyin səhv olduğunu izah edir.
Robots.txt təhlili PromoPilot-un 87 pulsuz SEO vasitəsindən biridir. Əgər robots.txt faylınız yoxdursa və ya onu sıfırdan yenidən yazmaq daha asandırsa, robots.txt generator bölməsindəki əlaqəli məqaləyə baxın — orada faylı yaratmaq üçün vizual qurucu tapa bilərsiniz. Sayt xəritəsinin özünü yoxlamaq üçün ayrıca sitemap.xml təhlil aləti mövcuddur.
Məhdudiyyətlər: Hansı robots.txt yoxlaması əvəz etməyəcək?
Bu alət yalnız robots.txt faylını yoxlayır və səhifə səviyyəli robots meta etiket auditini əvəz etmir. Səhifə robots.txt-də açıq ola bilər, lakin noindex meta etiketi və ya X-Robots-Tag başlığı tərəfindən bloklana bilər. Bu cür məhdudiyyətlər səhifə yoxlaması və ya tam audit aparmaqla aşkar edilməlidir.
Müxtəlif axtarış motorları qeyri-standart direktivləri fərqli şəkildə şərh edir. Bir axtarış motorunun dəstəklədiyi direktivləri digəri səssizcə qulaqardına vuracaq. Standart User-agent, Allow, Disallow və Sitemap etibar edin — bütün əsas axtarış motorları onları başa düşür.
Və unutmayın: robots.txt təhlükəsizlik deyil. O, nəzakətlə robotlardan daxil olmamağı xahiş edir, lakin girişi bloklamır. Admin paneli və şəxsi məlumatlar "İcazə Vermə" sətri ilə deyil, parolla qorunur. Üstəlik, robots.txt hər kəs üçün açıqdır: orada "gizli" bölmələri sadalamaqla onları maraqlı insanlara təqdim edirsiniz.
Pulsuz bir vasitə nə vaxt kifayət deyil?
Riskli bir qayda tapmaq işin yarısıdır. Hansı bölmələrin bağlanacağına qərar vermək artıq bir strategiyadır. Əgər aşağıdakı hallarda mütəxəssisə ehtiyacınız var:
- Mağazada minlərlə səhifəlik filtr və çeşidləmə seçimləri var və hansının bağlanacağı bəlli deyil;
- sayt axtarış nəticələrindən çıxdı, amma robots.txt “yaxşı görünür”;
- robots.txt faylı CMS və ya plagin tərəfindən yaradılır və redaktələriniz yenidən yazılır;
- Süni intellektlə işləyən brauzerləri aktivləşdirib-aktivləşdirməməyimizə və bunun köməkçilərdə görünürlüyə necə təsir edəcəyinə qərar verməliyik.
Veb saytınız üçün nə edə bilərəm?
Mənim adım Valeri Danyukdur və mən 12 illik təcrübəyə və 200-dən çox müştəriyə malik bir geliştirici və SEO mütəxəssisiyəm. Hər yoxlamada yoxladığım ilk şeylər Robots.txt, meta etiketlər və sayt xəritələridir.
SEO və tanıtım
- Hazır SEO auditi: robots.txt, noindex, canonical, sayt xəritəsi və real indeksləşdirmə — düzəlişlərlə.
- Süni intellekt agentləri olan Autoblog, məqalələr dərc edən və dərhal indeksləşdirmə üçün açan insansız bir redaksiya qrupudur.
- GEO: Bir Otelin ChatGPT, Gemini və Perplexity-də Necə Göründüyü — süni intellekt köməkçilərinin cavablarında görünürlüyə dair bir araşdırma.
Veb saytlar və onlayn mağazalar
- İlk gündən etibarən robots.txt faylı və sayt xəritəsi ilə birlikdə 299 avroya süni intellekt köməkçisi olan WordPress veb saytı.
- 1001site -dakı veb sayt: sayt xəritəsi, strukturlaşdırılmış məlumatlar və süni intellekt bot indeksləşdirməsi avtomatik olaraq konfiqurasiya edilir.
CRM, mühasibat uçotu və avtomatlaşdırma
- 6 gün ərzində avtomatik sökülmə üçün ERP, veb sayt və süni intellektlə işləyən Telegram botu.
- Hər mağazanın özünün etibarlı robots.txt faylını tələb etdiyi tərəfdaş mağazaları olan dropshipping platforması.
Bütün işlər portfeldədir. Ünvanınızı Telegram -da mənə göndərin, robots.txt faylınızı oxuyub lazımsız bölmələri bağladığımı sizə bildirəcəyəm.
Nəticə
- robots.txt onlayn yoxlanılması saytı və ya onun bölmələrini robotlardan gizlədən qaydaları aşkar edir.
- Sıra ilə düzəldin:
Disallow: /→ bağlı bölmələr → CSS və JS → Sayt xəritəsi → sintaksis. - "İcazə Verilmir" seçimi səhifəni indeksdən silmir; bu, açıq səhifədə
noindextələb etmir. - Əgər robots.txt faylı CMS tərəfindən yaradılıbsa və düzəlişlər yaddaşda qalmayıbsa, quraşdırmanı mütəxəssisə həvalə etmək və ya indeksləmənin dərhal konfiqurasiya edildiyi 1001site -a keçmək daha asandır.
Faylınızı indi yoxlayın: pulsuz robots.txt analizi aparın və hər hansı bir riskli qayda tapsanız, mənə Telegram -da yazın.
Mənbələr
- PromoPilot-un robots.txt təhlil aləti səhifəsi — yoxlamalar, nümunə nəticələr və səhifə sualları.
- Google Axtarış Mərkəzi - robots.txt və dəstəklənən direktivlərə giriş.
- Google Axtarış Konsoluna Kömək - Robots.txt Hesabatı.
