ਛੋਟਾ ਜਵਾਬ: robots.txt ਨੂੰ ਔਨਲਾਈਨ ਚੈੱਕ ਕਰਨ ਲਈ, PromoPilot ਦੇ robots.txt ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲ ਵਿੱਚ ਆਪਣਾ ਡੋਮੇਨ ਦਰਜ ਕਰੋ ਅਤੇ "ਵਿਸ਼ਲੇਸ਼ਣ" 'ਤੇ ਕਲਿੱਕ ਕਰੋ। ਇਹ ਟੂਲ ਆਪਣੇ ਆਪ ਫਾਈਲ ਡਾਊਨਲੋਡ ਕਰੇਗਾ, ਸਾਰੇ ਨਿਰਦੇਸ਼ਾਂ (ਇਜਾਜ਼ਤ ਦਿਓ, ਅਸਵੀਕਾਰ ਕਰੋ, ਕ੍ਰੌਲ-ਦੇਰੀ, ਸਾਈਟਮੈਪ) ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰੇਗਾ, ਉਪਭੋਗਤਾ-ਏਜੰਟ ਬਲਾਕਾਂ ਅਤੇ ਉਹਨਾਂ ਦੁਆਰਾ ਨਿਸ਼ਾਨਾ ਬਣਾਏ ਗਏ ਰੋਬੋਟਾਂ ਨੂੰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰੇਗਾ, ਸਿੰਟੈਕਸ ਗਲਤੀਆਂ ਅਤੇ ਜੋਖਮ ਭਰੇ ਨਿਯਮ ਲੱਭੇਗਾ, ਮਹੱਤਵਪੂਰਨ URL ਦੀ ਉਪਲਬਧਤਾ ਦੀ ਜਾਂਚ ਕਰੇਗਾ, ਅਤੇ ਸਿਫ਼ਾਰਸ਼ਾਂ ਪ੍ਰਦਾਨ ਕਰੇਗਾ। ਇਹ ਮੁਫ਼ਤ ਹੈ ਅਤੇ ਇਸ ਲਈ ਕਿਸੇ ਰਜਿਸਟ੍ਰੇਸ਼ਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।
ਕਿਸੇ ਹੋਰ ਦੀ robots.txt ਫਾਈਲ ਵਿੱਚ ਮੈਨੂੰ ਹੁਣ ਤੱਕ ਦੀ ਸਭ ਤੋਂ ਮਹਿੰਗੀ ਲਾਈਨ " Disallow: / " ਮਿਲੀ ਹੈ, ਜੋ ਕਿ ਵਿਕਾਸ ਤੋਂ ਬਚੀ ਹੋਈ ਸੀ। ਸਾਈਟ ਲਾਂਚ ਕੀਤੀ ਗਈ ਸੀ, ਇਸ਼ਤਿਹਾਰਬਾਜ਼ੀ ਲਈ ਭੁਗਤਾਨ ਕੀਤਾ ਗਿਆ ਸੀ, ਪਰ ਆਰਗੈਨਿਕ ਟ੍ਰੈਫਿਕ ਤਿੰਨ ਹਫ਼ਤਿਆਂ ਤੱਕ ਜ਼ੀਰੋ 'ਤੇ ਰਿਹਾ ਕਿਉਂਕਿ ਰੋਬੋਟਾਂ ਨੂੰ ਸਾਰੇ ਪੰਨਿਆਂ 'ਤੇ ਜਾਣ ਤੋਂ ਰੋਕਿਆ ਗਿਆ ਸੀ।
robots.txt ਵਿਸ਼ਲੇਸ਼ਣ ਕੀ ਜਾਂਚਦਾ ਹੈ?
Robots.txt ਇੱਕ ਵੈੱਬਸਾਈਟ ਦੇ ਰੂਟ ਵਿੱਚ ਇੱਕ ਛੋਟੀ ਟੈਕਸਟ ਫਾਈਲ ਹੈ, ਪਰ ਇਸ ਨਾਲ ਗਲਤੀ ਕਰਨਾ ਆਸਾਨ ਹੈ: ਇੱਕ ਵਾਧੂ ਸਲੈਸ਼ ਨਿਯਮ ਦੇ ਅਰਥ ਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਇਹ ਟੂਲ ਫਾਈਲ ਨੂੰ ਉਸੇ ਤਰ੍ਹਾਂ ਪੜ੍ਹਦਾ ਹੈ ਜਿਵੇਂ ਖੋਜ ਰੋਬੋਟ ਕਰਦੇ ਹਨ।
| ਇਹ ਔਜ਼ਾਰ ਕੀ ਦੇਖਦਾ ਹੈ? | ਉਦਾਹਰਣ | ਇਹ SEO ਲਈ ਕਿਉਂ ਹੈ? |
|---|---|---|
| ਸਾਰੇ ਨਿਰਦੇਸ਼ | Allow, Disallow, Crawl-delay, Sitemap | ਇਹ ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਅਸਲ ਵਿੱਚ ਕੀ ਇਜਾਜ਼ਤ ਹੈ ਅਤੇ ਕੀ ਵਰਜਿਤ ਹੈ। |
| ਯੂਜ਼ਰ-ਏਜੰਟ ਬਲਾਕ | User-agent: *, User-agent: Google bot | ਕਿਸੇ ਖਾਸ ਰੋਬੋਟ ਲਈ ਨਿਯਮ ਆਮ ਨਿਯਮਾਂ ਨੂੰ ਓਵਰਰਾਈਡ ਕਰਦੇ ਹਨ |
| ਸਾਈਟਮੈਪ ਲਿੰਕ | Sitemap: https://example.com/sitemap.xml | ਰੋਬੋਟ ਸਾਈਟਮੈਪ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਲੱਭਦਾ ਹੈ |
| ਵਾਕ-ਰਚਨਾ ਗਲਤੀਆਂ | Dissalow, ਇੱਕ ਨਿਯਮ ਜਿਸ ਵਿੱਚ ਯੂਜ਼ਰ-ਏਜੰਟ ਬਲਾਕ ਨਹੀਂ ਹੈ। | ਇੱਕ ਅਵੈਧ ਲਾਈਨ ਨੂੰ ਸਿਰਫ਼ ਅਣਡਿੱਠਾ ਕਰ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। |
| ਜੋਖਮ ਭਰੇ ਨਿਯਮ | Disallow: /, ਪ੍ਰਾਈਵੇਟ /catalog/, CSS ਅਤੇ JS | ਸਕੈਨਿੰਗ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਪੰਨੇ ਗਾਇਬ ਹਨ |
| ਮਹੱਤਵਪੂਰਨ URL ਦੀ ਉਪਲਬਧਤਾ | ਘਰ, ਮੁੱਖ ਭਾਗ | ਪੁਸ਼ਟੀ ਕਰਨਾ ਕਿ ਮੁੱਖ ਪੰਨੇ ਖੁੱਲ੍ਹੇ ਹਨ |
ਟੂਲ ਵਰਣਨ ਤੋਂ ਨਤੀਜੇ ਦੀ ਇੱਕ ਉਦਾਹਰਣ: "2 ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਜੋਖਮ ਭਰਪੂਰ ਡਿਸਅਲਾਓ ਨਿਯਮ ਅਤੇ 1 ਗੁੰਮ ਸਾਈਟਮੈਪ ਨਿਰਦੇਸ਼ ਮਿਲਿਆ।" ਇਹ ਉਹ ਕਿਸਮਾਂ ਦੀਆਂ ਖੋਜਾਂ ਹਨ ਜੋ ਵਿਸ਼ੇਸ਼ ਧਿਆਨ ਦੇ ਹੱਕਦਾਰ ਹਨ।
robots.txt ਨੂੰ ਔਨਲਾਈਨ ਕਿਵੇਂ ਚੈੱਕ ਕਰਨਾ ਹੈ?
- ਟੂਲ ਖੋਲ੍ਹੋ। Robots.txt ਵਿਸ਼ਲੇਸ਼ਣ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ।
- ਡੋਮੇਨ ਦਰਜ ਕਰੋ:
https://example.com। ਫਾਈਲ ਆਪਣੇ ਆਪ/robots.txtਤੇ ਡਾਊਨਲੋਡ ਹੋ ਜਾਵੇਗੀ। - "ਵਿਸ਼ਲੇਸ਼ਣ" 'ਤੇ ਕਲਿੱਕ ਕਰੋ।
- ਯੂਜ਼ਰ-ਏਜੰਟ ਬਲਾਕਾਂ ਲਈ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਸੂਚੀ ਦੀ ਸਮੀਖਿਆ ਕਰੋ ।
- ਗਲਤੀਆਂ ਅਤੇ ਜੋਖਮ ਭਰੇ ਨਿਯਮਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰੋ - ਇਹ ਰਿਪੋਰਟ ਵਿੱਚ ਮੁੱਖ ਗੱਲ ਹੈ।
- ਸਰਵਰ 'ਤੇ ਜਾਂ CMS ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਫਾਈਲ ਨੂੰ ਠੀਕ ਕਰੋ ਅਤੇ ਦੁਬਾਰਾ ਜਾਂਚ ਚਲਾਓ।
ਟੂਲ ਪੇਜ: ਪਤਾ ਖੇਤਰ, "ਵਿਸ਼ਲੇਸ਼ਣ" ਬਟਨ, ਅਤੇ ਵੇਰਵਾ—ਕੀ ਚੈੱਕ ਕੀਤਾ ਗਿਆ ਹੈ, ਦ੍ਰਿਸ਼, ਅਤੇ ਸੀਮਾਵਾਂ।
ਦੋ ਜ਼ਰੂਰੀ ਸਥਿਤੀਆਂ ਵਿੱਚ robots.txt ਦੀ ਜਾਂਚ ਕਰੋ: ਆਪਣੀ ਸਾਈਟ ਦੇ ਨਵੇਂ ਸੰਸਕਰਣ ਨੂੰ ਲਾਂਚ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਕਿਸੇ ਵੀ ਮੂਵ ਤੋਂ ਬਾਅਦ। ਇਹ ਉਦੋਂ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਟੈਸਟ ਪਾਬੰਦੀਆਂ ਦੇ ਉਤਪਾਦਨ ਸੰਸਕਰਣ ਵਿੱਚ ਮਾਈਗ੍ਰੇਟ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਸਭ ਤੋਂ ਵੱਧ ਹੁੰਦੀ ਹੈ। ਆਪਣੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਦੀ robots.txt ਫਾਈਲ ਦੀ ਜਾਂਚ ਕਰਨਾ ਵੀ ਲਾਭਦਾਇਕ ਹੈ: ਪਾਬੰਦੀਆਂ ਵਾਲੇ ਭਾਗ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਉਹ ਕਿਹੜੇ ਪੰਨਿਆਂ ਨੂੰ ਸੇਵਾ ਪੰਨਿਆਂ 'ਤੇ ਵਿਚਾਰ ਕਰਦੇ ਹਨ ਅਤੇ ਉਨ੍ਹਾਂ ਦੀ ਡਾਇਰੈਕਟਰੀ ਕਿਵੇਂ ਬਣਾਈ ਗਈ ਹੈ।
ਨਤੀਜਾ ਕਿਵੇਂ ਪੜ੍ਹਨਾ ਹੈ ਅਤੇ ਪਹਿਲਾਂ ਕੀ ਠੀਕ ਕਰਨਾ ਹੈ?
ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਕਵਰ ਕਰਨ ਵਾਲੇ ਨਿਯਮਾਂ ਤੋਂ ਸ਼ਿੰਗਾਰ ਸਮੱਗਰੀ ਵੱਲ ਵਧੋ।
User-agent: *ਬਲਾਕ ਵਿੱਚDisallow: /। ਪੂਰੀ ਸਾਈਟ ਬੰਦ ਹੈ। ਜੇਕਰ ਇਹ ਇੱਕ ਟੈਸਟ ਵਰਜਨ ਨਹੀਂ ਹੈ, ਤਾਂ ਇਸ ਲਾਈਨ ਨੂੰ ਤੁਰੰਤ ਹਟਾ ਦਿਓ।- ਮਹੱਤਵਪੂਰਨ ਭਾਗ ਬੰਦ ਹਨ।
Disallow: /catalogਨਾ ਸਿਰਫ਼ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਬੰਦ ਕਰਦਾ ਹੈ, ਸਗੋਂ ਇਹਨਾਂ ਅੱਖਰਾਂ ਨਾਲ ਸ਼ੁਰੂ ਹੋਣ ਵਾਲੀ ਕਿਸੇ ਵੀ ਚੀਜ਼ ਨੂੰ ਵੀ ਬੰਦ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ/catalog-sale/। ਨਿਯਮ ਮਾਰਗ ਦੀ ਸ਼ੁਰੂਆਤ 'ਤੇ ਅਧਾਰਤ ਹਨ, ਅਤੇ ਕੇਸ ਮਹੱਤਵਪੂਰਨ ਹੈ। - CSS, JS, ਅਤੇ ਚਿੱਤਰ ਬਲੌਕ ਕੀਤੇ ਗਏ ਹਨ।
Disallow: /wp-content/ਵਰਗਾ ਨਿਯਮ Google ਪੰਨੇ ਨੂੰ ਮਨੁੱਖ ਵਾਂਗ ਦੇਖਣ ਤੋਂ ਰੋਕਦਾ ਹੈ। ਕ੍ਰਾਲਰ ਨੂੰ ਸਟਾਈਲ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਲੋਡ ਕਰਨੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ। - ਕੋਈ ਸਾਈਟਮੈਪ ਲਾਈਨ ਨਹੀਂ ਹੈ ਜਾਂ ਇਹ 404 ਵੱਲ ਲੈ ਜਾਂਦੀ ਹੈ। ਕਿਰਪਾ ਕਰਕੇ ਪ੍ਰੋਟੋਕੋਲ ਦੇ ਨਾਲ ਪੂਰਾ ਸਾਈਟਮੈਪ ਪਤਾ ਪ੍ਰਦਾਨ ਕਰੋ।
- ਸੰਟੈਕਸ। ਡਾਇਰੈਕਟਿਵ ਨਾਵਾਂ ਵਿੱਚ ਟਾਈਪੋ, ਯੂਜ਼ਰ-ਏਜੰਟ ਬਲਾਕ ਦੇ ਬਾਹਰ ਨਿਯਮ, ਅਤੇ ਬਲਾਕ ਦੇ ਅੰਦਰ ਖਾਲੀ ਲਾਈਨਾਂ—ਰੋਬੋਟ ਅਵੈਧ ਲਾਈਨਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ, ਅਤੇ ਨਿਯਮ ਚੁੱਪਚਾਪ ਅਸਫਲ ਹੋ ਜਾਂਦਾ ਹੈ।
- ਉਹ ਨਿਰਦੇਸ਼ ਜਿਨ੍ਹਾਂ ਦਾ Google ਸਮਰਥਨ ਨਹੀਂ ਕਰਦਾ। Google
Crawl-delayਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ, ਅਤੇ Google robots.txt ਵਿੱਚNoindexਸਮਰਥਨ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਇਹਨਾਂ 'ਤੇ ਭਰੋਸਾ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਇਹ ਨਿਯਮ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦਾ।
WordPress ਸਾਈਟ ਲਈ ਸਹੀ ਫਾਈਲ ਦੀ ਇੱਕ ਉਦਾਹਰਣ:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
ਐਡਮਿਨ ਪੈਨਲ, ਅੰਦਰੂਨੀ ਖੋਜ, ਅਤੇ ਸਟੋਰ ਉਪਯੋਗਤਾ ਪੰਨੇ ਬੰਦ ਹਨ, AJAX ਹੈਂਡਲਰ (ਸਾਈਟ ਬ੍ਰੇਕ ਦੇ ਕਿਹੜੇ ਹਿੱਸਿਆਂ ਤੋਂ ਬਿਨਾਂ) ਸਮਰੱਥ ਹੈ, ਅਤੇ ਸਾਈਟਮੈਪ ਨਿਰਧਾਰਤ ਹੈ। ਬਾਕੀ ਸਭ ਕੁਝ ਡਿਫਾਲਟ ਰੂਪ ਵਿੱਚ ਸਮਰੱਥ ਹੈ।
ਜੇਕਰ ਕਈ ਨਿਯਮ ਹਨ ਤਾਂ ਤੁਸੀਂ ਕਿਵੇਂ ਜਾਣਦੇ ਹੋ ਕਿ ਇੱਕ ਖਾਸ URL ਖੁੱਲ੍ਹਾ ਹੈ? Google ਸਭ ਤੋਂ ਖਾਸ ਨਿਯਮ ਲਾਗੂ ਕਰਦਾ ਹੈ—ਸਭ ਤੋਂ ਲੰਬਾ ਪਾਥ ਵਾਲਾ। ਜੇਕਰ ਇੱਕ ਫਾਈਲ ਵਿੱਚ Disallow: /blog/ ਅਤੇ Allow: /blog/seo/ ਦੋਵੇਂ ਹਨ, ਤਾਂ ਪੰਨਾ /blog/seo/proverka/ ਖੁੱਲ੍ਹਾ ਹੈ, ਅਤੇ /blog/news/ ਬੰਦ ਹੈ। ਜੇਕਰ ਪਾਥ ਇੱਕੋ ਲੰਬਾਈ ਦੇ ਹਨ, ਤਾਂ allow ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ। ਤਾਰਾ * ਅੱਖਰਾਂ ਦੇ ਕਿਸੇ ਵੀ ਕ੍ਰਮ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਅਤੇ $ URL ਦੇ ਅੰਤ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ: Disallow: /*.pdf$ ਸਾਰੀਆਂ PDF ਫਾਈਲਾਂ ਨੂੰ ਬੰਦ ਕਰਦਾ ਹੈ, ਪਰ ਪੰਨਾ /pdf-guide/ ਨਹੀਂ।
ਇੱਕ ਹੋਰ ਆਮ ਖੋਜ ਇੱਕੋ ਰੋਬੋਟ ਲਈ ਕਈ ਬਲਾਕ ਹਨ, ਜਾਂ ਇੱਕ ਸਾਂਝਾ ਬਲਾਕ ਜੋ ਇੱਕ ਵੱਖਰੇ ਨੂੰ ਓਵਰਲੈਪ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਇੱਕ ਫਾਈਲ ਵਿੱਚ User-agent: Google bot ਹੈ, ਤਾਂ Google bot ਸਿਰਫ਼ ਇਸ ਬਲਾਕ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ User-agent: * ਵਿੱਚ ਨਿਯਮਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ। ਇਸ ਲਈ, ਸਾਰੀਆਂ ਜ਼ਰੂਰੀ ਪਾਬੰਦੀਆਂ ਨੂੰ ਇਸਦੇ ਬਲਾਕ ਵਿੱਚ ਡੁਪਲੀਕੇਟ ਕਰਨਾ ਪਵੇਗਾ।
2026 ਲਈ ਇੱਕ ਵੱਖਰਾ ਵਿਸ਼ਾ AI ਕਰੌਲਰ ਹੈ। User-agent: GPTBot ਬਲਾਕ ਜਿਸ ਵਿੱਚ Disallow: / ਹੈ, OpenAI ਨੂੰ ਸਾਈਟ ਨੂੰ ਕਰੌਲ ਕਰਨ ਤੋਂ ਰੋਕਦਾ ਹੈ। ਇਹ ਤੁਹਾਡਾ ਫੈਸਲਾ ਹੈ, ਪਰ ਯਾਦ ਰੱਖੋ: ਜੇਕਰ ਕੋਈ ਸਾਈਟ AI ਬੋਟਾਂ ਲਈ ਬੰਦ ਹੈ, ਤਾਂ ਸਹਾਇਕਾਂ ਲਈ ਇਸਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਨਾ ਔਖਾ ਹੈ।
ਤੁਲਨਾ: ਪ੍ਰੋਮੋਪਾਇਲਟ robots.txt ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਵਿਕਲਪ
| ਔਜ਼ਾਰ | ਕੀ ਮੁਫ਼ਤ ਹੈ? | ਪਾਬੰਦੀਆਂ | ਇਹ ਕਿਸ ਲਈ ਢੁਕਵਾਂ ਹੈ? |
|---|---|---|---|
| ਪ੍ਰੋਮੋਪਾਇਲਟ - Robots.txt ਵਿਸ਼ਲੇਸ਼ਣ | ਨਿਰਦੇਸ਼ਾਂ ਅਤੇ ਬਲਾਕਾਂ, ਗਲਤੀਆਂ, ਜੋਖਮ ਭਰੇ ਨਿਯਮਾਂ, ਸਿਫ਼ਾਰਸ਼ਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ | ਸਿਰਫ਼ robots.txt, ਕੋਈ ਪੰਨਾ ਮੈਟਾ ਟੈਗ ਨਹੀਂ | ਆਪਣੀ ਜਾਂ ਕਿਸੇ ਹੋਰ ਦੀ ਵੈੱਬਸਾਈਟ ਜਲਦੀ ਚੈੱਕ ਕਰੋ |
| Google ਸਰਚ ਕੰਸੋਲ robots.txt ਰਿਪੋਰਟ | Google ਤੁਹਾਡੀ ਫਾਈਲ ਕਿਵੇਂ, ਕਦੋਂ ਅਤੇ ਕਿਹੜੀਆਂ ਗਲਤੀਆਂ ਨਾਲ ਮਿਲੀ | ਸਿਰਫ਼ ਤੁਹਾਡੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਸਾਈਟ ਲਈ | ਵੈੱਬਸਾਈਟ ਮਾਲਕਾਂ ਲਈ |
| ਚੀਕਦਾ ਡੱਡੂ SEO ਸਪਾਈਡਰ | robots.txt ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਿਸੇ ਸਾਈਟ ਨੂੰ ਕ੍ਰੌਲ ਕਰਨਾ ਅਤੇ ਆਪਣੇ ਨਿਯਮਾਂ ਦੀ ਜਾਂਚ ਕਰਨਾ | ਪ੍ਰੋਗਰਾਮ ਨੂੰ ਇੰਸਟਾਲ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। | ਤਕਨੀਕੀ ਆਡਿਟ |
| ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਹੱਥੀਂ ਜਾਂਚ ਕਰੋ | /robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਪੜ੍ਹੋ | ਗਲਤੀਆਂ ਅਤੇ ਸੰਕੇਤਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤੇ ਬਿਨਾਂ | ਜੇਕਰ ਫਾਈਲ ਵਿੱਚ ਤਿੰਨ ਲਾਈਨਾਂ ਹਨ |
ਸਿੱਟਾ: ਸਰਚ ਕੰਸੋਲ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ Google ਫਾਈਲ ਨੂੰ ਕਿਵੇਂ ਦੇਖਦਾ ਹੈ, ਪਰ ਸਿਰਫ਼ ਤੁਹਾਡੀ ਸਾਈਟ ਲਈ। ਔਨਲਾਈਨ ਵਿਸ਼ਲੇਸ਼ਣ ਕਿਸੇ ਵੀ ਡੋਮੇਨ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਦੱਸਦਾ ਹੈ ਕਿ ਕੀ ਗਲਤ ਹੈ।
Robots.txt ਵਿਸ਼ਲੇਸ਼ਣ PromoPilot ਦੇ 87 ਮੁਫ਼ਤ SEO ਟੂਲਸ ਵਿੱਚੋਂ ਇੱਕ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ robots.txt ਫਾਈਲ ਨਹੀਂ ਹੈ ਜਾਂ ਇਸਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਦੁਬਾਰਾ ਲਿਖਣਾ ਆਸਾਨ ਹੈ, ਤਾਂ robots.txt ਜਨਰੇਟਰ ਸੈਕਸ਼ਨ ਵਿੱਚ ਸੰਬੰਧਿਤ ਲੇਖ ਦੇਖੋ - ਉੱਥੇ ਤੁਹਾਨੂੰ ਫਾਈਲ ਬਣਾਉਣ ਲਈ ਇੱਕ ਵਿਜ਼ੂਅਲ ਬਿਲਡਰ ਮਿਲੇਗਾ। ਅਤੇ ਸਾਈਟਮੈਪ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ, ਇੱਕ ਵੱਖਰਾ sitemap.xml ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲ ਹੈ।
ਸੀਮਾਵਾਂ: ਕਿਹੜੀਆਂ robots.txt ਜਾਂਚਾਂ ਦੀ ਥਾਂ ਨਹੀਂ ਲੈ ਸਕਦੀਆਂ?
ਇਹ ਟੂਲ ਸਿਰਫ਼ robots.txt ਫਾਈਲ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ ਅਤੇ ਪੰਨਾ-ਪੱਧਰ ਦੇ ਰੋਬੋਟ ਮੈਟਾ ਟੈਗ ਆਡਿਟ ਨੂੰ ਨਹੀਂ ਬਦਲਦਾ। ਇੱਕ ਪੰਨਾ robots.txt ਵਿੱਚ ਖੁੱਲ੍ਹਾ ਹੋ ਸਕਦਾ ਹੈ ਪਰ ਇੱਕ noindex ਮੈਟਾ ਟੈਗ ਜਾਂ ਇੱਕ X-Robots-Tag ਹੈਡਰ ਦੁਆਰਾ ਬਲੌਕ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਅਜਿਹੀਆਂ ਪਾਬੰਦੀਆਂ ਨੂੰ ਇੱਕ ਪੰਨੇ ਦੀ ਜਾਂਚ ਜਾਂ ਇੱਕ ਪੂਰਾ ਆਡਿਟ ਕਰਕੇ ਖੋਜਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।
ਵੱਖ-ਵੱਖ ਖੋਜ ਇੰਜਣ ਗੈਰ-ਮਿਆਰੀ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਵਿਆਖਿਆ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਕਰਦੇ ਹਨ। ਇੱਕ ਖੋਜ ਇੰਜਣ ਕੀ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਦੂਜਾ ਚੁੱਪਚਾਪ ਅਣਡਿੱਠ ਕਰ ਦੇਵੇਗਾ। ਮਿਆਰੀ User-agent, Allow, Disallow ਅਤੇ Sitemap ਤੇ ਭਰੋਸਾ ਕਰੋ - ਸਾਰੇ ਪ੍ਰਮੁੱਖ ਖੋਜ ਇੰਜਣ ਉਹਨਾਂ ਨੂੰ ਸਮਝਦੇ ਹਨ।
ਅਤੇ ਯਾਦ ਰੱਖੋ: robots.txt ਸੁਰੱਖਿਆ ਨਹੀਂ ਹੈ। ਇਹ ਨਿਮਰਤਾ ਨਾਲ ਰੋਬੋਟਾਂ ਨੂੰ ਦਾਖਲ ਨਾ ਹੋਣ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਪਰ ਇਹ ਪਹੁੰਚ ਨੂੰ ਰੋਕਦਾ ਨਹੀਂ ਹੈ। ਐਡਮਿਨ ਪੈਨਲ ਅਤੇ ਨਿੱਜੀ ਡੇਟਾ ਇੱਕ ਪਾਸਵਰਡ ਨਾਲ ਸੁਰੱਖਿਅਤ ਹਨ, "Disallow" ਲਾਈਨ ਨਾਲ ਨਹੀਂ। ਇਸ ਤੋਂ ਇਲਾਵਾ, robots.txt ਹਰ ਕਿਸੇ ਲਈ ਖੁੱਲ੍ਹਾ ਹੈ: ਇਸ ਵਿੱਚ "ਗੁਪਤ" ਭਾਗਾਂ ਨੂੰ ਸੂਚੀਬੱਧ ਕਰਕੇ, ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਉਤਸੁਕ ਲੋਕਾਂ ਦੇ ਸਾਹਮਣੇ ਲਿਆਉਂਦੇ ਹੋ।
ਇੱਕ ਮੁਫ਼ਤ ਔਜ਼ਾਰ ਕਦੋਂ ਕਾਫ਼ੀ ਨਹੀਂ ਹੁੰਦਾ?
ਇੱਕ ਜੋਖਮ ਭਰਿਆ ਨਿਯਮ ਲੱਭਣਾ ਅੱਧੀ ਲੜਾਈ ਹੈ। ਕਿਹੜੇ ਭਾਗਾਂ ਨੂੰ ਬੰਦ ਕਰਨਾ ਹੈ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਰਣਨੀਤੀ ਹੈ। ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਹਰ ਦੀ ਲੋੜ ਹੈ ਜੇਕਰ:
- ਸਟੋਰ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਪੰਨਿਆਂ ਦੇ ਫਿਲਟਰ ਅਤੇ ਛਾਂਟੀ ਦੇ ਵਿਕਲਪ ਹਨ, ਅਤੇ ਇਹ ਸਪੱਸ਼ਟ ਨਹੀਂ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸ ਨੂੰ ਬੰਦ ਕਰਨਾ ਹੈ;
- ਸਾਈਟ ਖੋਜ ਨਤੀਜਿਆਂ ਤੋਂ ਬਾਹਰ ਹੋ ਗਈ, ਪਰ robots.txt “ਠੀਕ ਜਾਪਦਾ ਹੈ”;
- robots.txt CMS ਜਾਂ ਪਲੱਗਇਨ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਡੇ ਸੰਪਾਦਨ ਓਵਰਰਾਈਟ ਕੀਤੇ ਜਾਂਦੇ ਹਨ;
- ਸਾਨੂੰ ਇਹ ਫੈਸਲਾ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਕਿ ਕੀ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਸਮਰੱਥ ਬਣਾਇਆ ਜਾਵੇ ਅਤੇ ਇਹ ਸਹਾਇਕਾਂ ਵਿੱਚ ਦਿੱਖ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਭਾਵਿਤ ਕਰੇਗਾ।
ਮੈਂ ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ ਲਈ ਕੀ ਕਰ ਸਕਦਾ ਹਾਂ?
ਮੇਰਾ ਨਾਮ ਵੈਲੇਰੀ ਡੈਨਿਊਕ ਹੈ, ਅਤੇ ਮੈਂ ਇੱਕ ਡਿਵੈਲਪਰ ਅਤੇ SEO ਮਾਹਰ ਹਾਂ ਜਿਸਦਾ 12 ਸਾਲਾਂ ਦਾ ਤਜਰਬਾ ਹੈ ਅਤੇ 200 ਤੋਂ ਵੱਧ ਗਾਹਕ ਹਨ। Robots.txt, ਮੈਟਾ ਟੈਗ, ਅਤੇ ਸਾਈਟਮੈਪ ਉਹ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਹਨ ਜੋ ਮੈਂ ਹਰ ਆਡਿਟ ਵਿੱਚ ਚੈੱਕ ਕਰਦਾ ਹਾਂ।
SEO ਅਤੇ ਪ੍ਰਚਾਰ
- ਟਰਨਕੀ ਐਸਈਓ ਆਡਿਟ: robots.txt, noindex, canonical, sitemap, ਅਤੇ real indexing—ਸੁਧਾਰਾਂ ਦੇ ਨਾਲ।
- ਏਆਈ ਏਜੰਟਾਂ ਨਾਲ ਆਟੋਬਲੌਗ ਇੱਕ ਮਨੁੱਖੀ-ਮੁਕਤ ਸੰਪਾਦਕੀ ਟੀਮ ਹੈ ਜੋ ਲੇਖ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਤੁਰੰਤ ਇੰਡੈਕਸਿੰਗ ਲਈ ਖੋਲ੍ਹਦੀ ਹੈ।
- ਜੀਓ: ChatGPT, Gemini, ਅਤੇ ਪੇਚਸ਼ ਵਿੱਚ ਇੱਕ ਹੋਟਲ ਕਿਵੇਂ ਪ੍ਰਦਰਸ਼ਿਤ ਹੋਇਆ - ਏਆਈ ਅਸਿਸਟੈਂਟ ਰਿਸਪਾਂਸ ਵਿੱਚ ਵਿਜ਼ੀਬਿਲਟੀ 'ਤੇ ਇੱਕ ਕੇਸ ਸਟੱਡੀ।
ਵੈੱਬਸਾਈਟਾਂ ਅਤੇ ਔਨਲਾਈਨ ਸਟੋਰ
- €299 ਵਿੱਚ ਇੱਕ AI ਸਹਾਇਕ ਵਾਲੀ ਇੱਕ WordPress ਵੈੱਬਸਾਈਟ — ਪਹਿਲੇ ਦਿਨ ਤੋਂ ਇੱਕ ਸਹੀ robots.txt ਫਾਈਲ ਅਤੇ ਸਾਈਟਮੈਪ ਦੇ ਨਾਲ।
- 1001site ਤੇ ਵੈੱਬਸਾਈਟ: ਸਾਈਟਮੈਪ, ਸਟ੍ਰਕਚਰਡ ਡੇਟਾ, ਅਤੇ AI-bot ਇੰਡੈਕਸਿੰਗ ਆਪਣੇ ਆਪ ਕੌਂਫਿਗਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।
ਸੀਆਰਐਮ, ਲੇਖਾਕਾਰੀ ਅਤੇ ਆਟੋਮੇਸ਼ਨ
- 6 ਦਿਨਾਂ ਵਿੱਚ ਆਟੋ ਡਿਸਮੈਨਸਲਿੰਗ ਲਈ ERP, ਵੈੱਬਸਾਈਟ, ਅਤੇ AI-ਸੰਚਾਲਿਤ Telegram ਬੋਟ ।
- ਪਾਰਟਨਰ ਸਟੋਰਾਂ ਵਾਲਾ ਇੱਕ ਡ੍ਰੌਪਸ਼ਿਪਿੰਗ ਪਲੇਟਫਾਰਮ — ਜਿੱਥੇ ਹਰੇਕ ਸਟੋਰ ਨੂੰ ਆਪਣੀ ਵੈਧ robots.txt ਫਾਈਲ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਸਾਰੇ ਕੇਸ ਪੋਰਟਫੋਲੀਓ ਵਿੱਚ ਹਨ। ਮੈਨੂੰ ਆਪਣਾ ਪਤਾ Telegram ਤੇ ਭੇਜੋ, ਅਤੇ ਮੈਂ ਤੁਹਾਡਾ robots.txt ਪੜ੍ਹਾਂਗਾ ਅਤੇ ਤੁਹਾਨੂੰ ਦੱਸਾਂਗਾ ਕਿ ਕੀ ਮੈਂ ਕੋਈ ਬੇਲੋੜਾ ਭਾਗ ਬੰਦ ਕਰ ਦਿੱਤਾ ਹੈ।
ਨਤੀਜਾ
- ਸਿਰਫ਼ ਇੱਕ ਮਿੰਟ ਵਿੱਚ robots.txt ਨੂੰ ਔਨਲਾਈਨ ਚੈੱਕ ਕਰਨ ਨਾਲ ਉਹ ਨਿਯਮ ਸਾਹਮਣੇ ਆਉਂਦੇ ਹਨ ਜੋ ਰੋਬੋਟਾਂ ਤੋਂ ਸਾਈਟ ਜਾਂ ਇਸਦੇ ਭਾਗਾਂ ਨੂੰ ਲੁਕਾਉਂਦੇ ਹਨ।
- ਕ੍ਰਮ ਵਿੱਚ ਠੀਕ ਕਰੋ:
Disallow: /→ ਬੰਦ ਭਾਗ → CSS ਅਤੇ JS → ਸਾਈਟਮੈਪ → ਸੰਟੈਕਸ। - Disallow ਇੰਡੈਕਸ ਤੋਂ ਪੰਨੇ ਨੂੰ ਨਹੀਂ ਹਟਾਉਂਦਾ; ਇਸ ਲਈ ਖੁੱਲ੍ਹੇ ਪੰਨੇ 'ਤੇ
noindexਲੋੜ ਹੁੰਦੀ ਹੈ। - ਜੇਕਰ robots.txt CMS ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸੰਪਾਦਨ ਨਹੀਂ ਰਹਿੰਦੇ, ਤਾਂ ਸੈੱਟਅੱਪ ਨੂੰ ਕਿਸੇ ਮਾਹਰ ਨੂੰ ਸੌਂਪਣਾ ਜਾਂ 1001site 'ਤੇ ਜਾਣਾ ਆਸਾਨ ਹੁੰਦਾ ਹੈ, ਜਿੱਥੇ ਇੰਡੈਕਸਿੰਗ ਨੂੰ ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਕੌਂਫਿਗਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਹੁਣੇ ਆਪਣੀ ਫਾਈਲ ਦੀ ਜਾਂਚ ਕਰੋ: ਇੱਕ ਮੁਫ਼ਤ robots.txt ਵਿਸ਼ਲੇਸ਼ਣ ਚਲਾਓ, ਅਤੇ ਜੇਕਰ ਤੁਹਾਨੂੰ ਕੋਈ ਜੋਖਮ ਭਰਿਆ ਨਿਯਮ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਮੈਨੂੰ Telegram ਤੇ ਲਿਖੋ ।
ਸਰੋਤ
- ਪ੍ਰੋਮੋਪਾਇਲਟ ਦਾ robots.txt ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲ ਪੰਨਾ — ਜਾਂਚਾਂ, ਨਮੂਨਾ ਨਤੀਜੇ, ਅਤੇ ਪੰਨੇ ਦੇ ਸਵਾਲ।
- Google ਸਰਚ ਸੈਂਟਰਲ - robots.txt ਅਤੇ ਸਮਰਥਿਤ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਜਾਣ-ਪਛਾਣ।
- Google ਸਰਚ ਕੰਸੋਲ ਮਦਦ - Robots.txt ਰਿਪੋਰਟ।
