ਔਨਲਾਈਨ robots.txt ਜਨਰੇਟਰ: ਬਿਨਾਂ ਕਿਸੇ ਗਲਤੀ ਦੇ 5 ਮਿੰਟਾਂ ਵਿੱਚ ਇੱਕ ਸਹੀ ਫਾਈਲ ਕਿਵੇਂ ਬਣਾਈਏ

ਛੋਟਾ ਜਵਾਬ: ਔਨਲਾਈਨ ਇੱਕ robots.txt ਫਾਈਲ ਬਣਾਉਣ ਲਈ, PromoPilot robots.txt ਜਨਰੇਟਰ ਖੋਲ੍ਹੋ, ਇੱਕ ਪ੍ਰੀਸੈੱਟ ਚੁਣੋ (Custom, Allow all, Deny all, WordPress, Laravel, ਜਾਂ Next.js), Disallow ਅਤੇ Allow ਲਈ ਪਾਥ ਦਰਜ ਕਰੋ, Sitemap ਲਾਈਨ ਲਈ ਵੈੱਬਸਾਈਟ ਪਤਾ ਦਰਜ ਕਰੋ, ਅਤੇ ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ Crawl-delay ਜਾਂ block AI crawlers ਦੀ ਜਾਂਚ ਕਰੋ। ਪੂਰੀ ਹੋਈ ਫਾਈਲ ਸੱਜੇ ਪਾਸੇ ਦਿਖਾਈ ਦੇਵੇਗੀ—ਤੁਸੀਂ ਇਸਨੂੰ ਕਾਪੀ ਕਰ ਸਕਦੇ ਹੋ ਜਾਂ ਡਾਊਨਲੋਡ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਮੁਫ਼ਤ ਹੈ ਅਤੇ ਇਸ ਲਈ ਕਿਸੇ ਰਜਿਸਟ੍ਰੇਸ਼ਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਮੈਂ ਹਰ ਨਵੀਂ ਵੈੱਬਸਾਈਟ ਲਈ robots.txt ਲਿਖਦਾ ਹਾਂ ਅਤੇ ਜਾਣਦਾ ਹਾਂ ਕਿ ਹੱਥੀਂ ਗਲਤੀਆਂ ਕਰਨਾ ਕਿੰਨਾ ਆਸਾਨ ਹੈ: ਇੱਕ ਵਾਧੂ ਜਗ੍ਹਾ, ਇੱਕ ਭੁੱਲਿਆ ਹੋਇਆ ਸਲੈਸ਼, ਇੱਕ ਬਲਾਕ ਦੇ ਬਾਹਰ ਇੱਕ ਨਿਯਮ। robots.txt ਬਿਲਡਰ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਖਤਮ ਕਰਦਾ ਹੈ—ਤੁਸੀਂ ਸੋਚਦੇ ਹੋ ਕਿ ਕੀ ਬੰਦ ਕਰਨਾ ਹੈ, ਸਿੰਟੈਕਸ ਬਾਰੇ ਨਹੀਂ। ਹੇਠਾਂ, ਅਸੀਂ ਦੱਸਾਂਗੇ ਕਿ ਇਸਨੂੰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ, ਕੀ ਬੰਦ ਕਰਨਾ ਹੈ, ਅਤੇ ਮੁਕੰਮਲ ਫਾਈਲ ਕਿੱਥੇ ਰੱਖਣੀ ਹੈ।

robots.txt ਜਨਰੇਟਰ ਕੀ ਕਰਦਾ ਹੈ?

ਜਨਰੇਟਰ ਇੱਕ ਟੈਕਸਟ ਐਡੀਟਰ ਦੀ ਬਜਾਏ ਇੱਕ ਫਾਰਮ ਹੈ। ਤੁਸੀਂ ਸੈਟਿੰਗਾਂ ਦੀ ਚੋਣ ਕਰਦੇ ਹੋ, ਅਤੇ ਟੂਲ ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਵੈਧ ਫਾਈਲ ਵਿੱਚ ਇਕੱਠਾ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਲਾਈਵ ਪ੍ਰੀਵਿਊ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ।

ਸੀਮਾ ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ: ਜਨਰੇਟਰ ਇੱਕ ਫਾਈਲ ਬਣਾਉਂਦਾ ਹੈ, ਪਰ ਇਹ ਮੌਜੂਦਾ ਫਾਈਲ ਦੀ ਜਾਂਚ ਨਹੀਂ ਕਰਦਾ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਹੀ ਇੱਕ robots.txt ਫਾਈਲ ਹੈ ਅਤੇ ਤੁਸੀਂ ਇਸ ਵਿੱਚ ਗਲਤੀਆਂ ਲੱਭਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ robots.txt ਫਾਈਲ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਲੋੜ ਹੈ—ਅਗਲੇ ਭਾਗ ਵਿੱਚ ਲੇਖ ਇਸ ਲਈ ਸਮਰਪਿਤ ਹੈ।

robots.txt ਔਨਲਾਈਨ ਕਿਵੇਂ ਬਣਾਇਆ ਜਾਵੇ?

1. robots.txt ਜਨਰੇਟਰ ਖੋਲ੍ਹੋ।
2. ਆਪਣੇ ਇੰਜਣ ਲਈ ਇੱਕ ਪ੍ਰੀਸੈੱਟ ਚੁਣੋ । ਜੇਕਰ ਤੁਹਾਡਾ ਇੰਜਣ ਸੂਚੀਬੱਧ ਨਹੀਂ ਹੈ, ਤਾਂ "ਕਸਟਮ" ਚੁਣੋ।
3. ਵੈੱਬਸਾਈਟ ਪਤਾ ਦਰਜ ਕਰੋ — https://example.com । ਇਹ ਇੱਕ Sitemap ਲਾਈਨ ਬਣਾਏਗਾ।
4. ਡਿਸਅਲਾਓ ਪਾਥ ਸ਼ਾਮਲ ਕਰੋ, ਪ੍ਰਤੀ ਲਾਈਨ ਇੱਕ: /admin/, /tmp/, /search/.
5. ਜੇਕਰ ਜ਼ਰੂਰੀ ਹੋਵੇ, ਤਾਂ ਪ੍ਰਤਿਬੰਧਿਤ ਫੋਲਡਰਾਂ ਦੇ ਅੰਦਰ ਅਪਵਾਦਾਂ ਦੀ ਆਗਿਆ ਦਿਓ, ਜਿਵੇਂ ਕਿ /uploads/images/ ਸ਼ਾਮਲ ਕਰੋ।
6. ਬਕਸਿਆਂ 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾਓ: ਸਾਈਟਮੈਪ, ਕ੍ਰੌਲ-ਦੇਰੀ, AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲਾਕ ਕਰੋ।
7. ਫਾਈਲ ਨੂੰ ਕਾਪੀ ਜਾਂ ਡਾਊਨਲੋਡ ਕਰੋ ਅਤੇ ਇਸਨੂੰ ਸਾਈਟ ਦੇ ਰੂਟ 'ਤੇ ਅੱਪਲੋਡ ਕਰੋ।

ਪੰਨੇ ਦੇ ਖੱਬੇ ਪਾਸੇ ਸੈਟਿੰਗਾਂ ਹਨ, ਅਤੇ ਸੱਜੇ ਪਾਸੇ "ਕਾਪੀ" ਅਤੇ "ਰੋਬੋਟਸ.txt ਡਾਊਨਲੋਡ ਕਰੋ" ਬਟਨਾਂ ਵਾਲੀ ਫਾਈਲ ਦਾ ਲਾਈਵ ਪ੍ਰੀਵਿਊ ਹੈ।

ਫਾਈਲ ਡੋਮੇਨ ਦੇ ਰੂਟ 'ਤੇ ਸਥਿਤ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ: https://example.com/robots.txt । ਰੋਬੋਟ ਇਸਨੂੰ /blog/robots.txt ਫੋਲਡਰ ਜਾਂ ਕਿਸੇ ਹੋਰ ਸਬਡੋਮੇਨ 'ਤੇ ਨਹੀਂ ਲੱਭਣਗੇ - ਹਰੇਕ ਸਬਡੋਮੇਨ ਦੀ ਆਪਣੀ robots.txt ਫਾਈਲ ਹੁੰਦੀ ਹੈ।

ਡਾਊਨਲੋਡ ਕੀਤੀ ਫਾਈਲ ਨੂੰ ਕਿੱਥੇ ਅਪਲੋਡ ਕਰਨਾ ਹੈ ਇਹ ਪਲੇਟਫਾਰਮ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ:

• ਨਿਯਮਤ ਹੋਸਟਿੰਗ - ਪੈਨਲ ਦੇ ਫਾਈਲ ਮੈਨੇਜਰ ਜਾਂ FTP ਰਾਹੀਂ ਉਸ ਫੋਲਡਰ ਵਿੱਚ ਜਿੱਥੇ ਮੁੱਖ ਪੰਨਾ ਸਥਿਤ ਹੈ (ਅਕਸਰ public_html ਜਾਂ www)।
• WordPress — ਜੇਕਰ ਕੋਈ ਭੌਤਿਕ ਫਾਈਲ ਨਹੀਂ ਹੈ, ਤਾਂ ਇੰਜਣ ਇੱਕ ਵਰਚੁਅਲ robots.txt ਫਾਈਲ ਦੀ ਸੇਵਾ ਕਰਦਾ ਹੈ। ਫਾਈਲ ਨੂੰ ਰੂਟ ਤੇ ਅਪਲੋਡ ਕਰਨ ਨਾਲ ਇਸਦੀ ਥਾਂ ਲੈ ਲਈ ਜਾਂਦੀ ਹੈ; ਦੂਜਾ ਵਿਕਲਪ SEO ਪਲੱਗਇਨ ਵਿੱਚ ਫਾਈਲ ਐਡੀਟਰ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਹੈ।
• Next.js ਅਤੇ ਹੋਰ ਫਰੇਮਵਰਕ — ਫਾਈਲ ਨੂੰ public ਫੋਲਡਰ ਵਿੱਚ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ ਜਾਂ ਪ੍ਰੋਜੈਕਟ ਕੋਡ ਤੋਂ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਜੋ ਇਹ ਅਗਲੀ ਤੈਨਾਤੀ ਦੌਰਾਨ ਗੁੰਮ ਨਾ ਜਾਵੇ।
• ਵੈੱਬਸਾਈਟ ਬਿਲਡਰ - ਫਾਈਲ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਹੱਥੀਂ ਅਪਲੋਡ ਕਰਨ ਦੀ ਬਜਾਏ SEO ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਸੰਪਾਦਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਫਾਈਲ ਦਾ ਨਾਮ robots.txt ਛੋਟੇ ਅੱਖਰਾਂ ਵਿੱਚ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ UTF-8 ਏਨਕੋਡਿੰਗ ਵਿੱਚ ਪਲੇਨ ਟੈਕਸਟ ਦੇ ਰੂਪ ਵਿੱਚ ਸੇਵ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਡਾਊਨਲੋਡ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਇਸਨੂੰ ਆਪਣੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਖੋਲ੍ਹੋ: ਜੇਕਰ ਤੁਸੀਂ ਆਪਣਾ ਟੈਕਸਟ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਸਭ ਕੁਝ ਆਪਣੀ ਥਾਂ 'ਤੇ ਹੈ।

robots.txt ਵਿੱਚ ਕੀ ਬੰਦ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਕੀ ਨਹੀਂ?

ਮੁੱਖ ਸਿਧਾਂਤ: ਅਜਿਹੀ ਕੋਈ ਵੀ ਚੀਜ਼ ਬੰਦ ਨਾ ਕਰੋ ਜੋ ਖੋਜ ਵਿੱਚ ਮੁੱਲ ਨਾ ਜੋੜਦੀ ਹੋਵੇ ਅਤੇ ਰੋਬੋਟ ਦਾ ਸਮਾਂ ਬਰਬਾਦ ਕਰਦੀ ਹੋਵੇ। ਅਜਿਹੀ ਕੋਈ ਵੀ ਚੀਜ਼ ਬੰਦ ਨਾ ਕਰੋ ਜੋ ਰੋਬੋਟ ਲਈ ਪੰਨੇ ਨੂੰ ਸਮਝਣ ਲਈ ਜ਼ਰੂਰੀ ਹੋਵੇ।

ਆਮ ਤੌਰ 'ਤੇ ਬੰਦ:

• ਐਡਮਿਨ ਪੈਨਲ ਅਤੇ ਨਿੱਜੀ ਖਾਤਾ: /admin/, /wp-admin/, /account/;
• ਕਾਰਟ ਅਤੇ ਚੈੱਕਆਉਟ: /cart/, /checkout/;
• ਅੰਦਰੂਨੀ ਖੋਜ: /search/, /?s=;
• ਸੇਵਾ ਅਤੇ ਅਸਥਾਈ ਫੋਲਡਰ: /tmp/, /cgi-bin/;
• ਫਿਲਟਰਾਂ ਅਤੇ ਛਾਂਟੀ ਦੇ ਵਿਕਲਪਾਂ ਦੇ ਬੇਅੰਤ ਸੁਮੇਲ - ਵਧੀਆ, ਸਿਰਫ਼ ਤਾਂ ਹੀ ਜੇਕਰ ਲੋੜੀਂਦੇ ਫਿਲਟਰਾਂ ਲਈ ਵੱਖਰੇ ਲੈਂਡਿੰਗ ਪੰਨੇ ਹੋਣ।

ਕਦੇ ਵੀ ਬੰਦ ਨਾ ਕਰੋ:

• CSS, JavaScript, ਅਤੇ ਤਸਵੀਰਾਂ—ਇਨ੍ਹਾਂ ਤੋਂ ਬਿਨਾਂ, Google ਪੰਨੇ ਨੂੰ ਉਸ ਤਰ੍ਹਾਂ ਨਹੀਂ ਦੇਖੇਗਾ ਜਿਵੇਂ ਕੋਈ ਮਨੁੱਖ ਦੇਖਦਾ ਹੈ;
• ਕੈਟਾਲਾਗ, ਬਲੌਗ, ਉਤਪਾਦ ਕਾਰਡ ਅਤੇ ਲੈਂਡਿੰਗ ਪੰਨੇ;
• ਉਹਨਾਂ ਪੰਨਿਆਂ ਨੂੰ ਚੁਣੋ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਇੰਡੈਕਸ ਤੋਂ ਹਟਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ - ਇਸਦੇ ਲਈ ਤੁਹਾਨੂੰ noindex ਲੋੜ ਹੈ, ਅਤੇ ਰੋਬੋਟ ਇਸਨੂੰ ਪੜ੍ਹਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

ਇੱਥੇ ਉਹ ਫਾਈਲ ਹੈ ਜੋ ਤੁਹਾਨੂੰ WooCommerce ਵਾਲੇ ਇੱਕ ਆਮ WordPress ਸਟੋਰ ਲਈ ਮਿਲੇਗੀ:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

ਝੰਡਿਆਂ ਦੇ ਸੰਬੰਧ ਵਿੱਚ। Google ਕ੍ਰੌਲ-ਦੇਰੀ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਨਹੀਂ ਰੱਖਦਾ—ਸਿਰਫ਼ ਜੇਕਰ ਤੁਹਾਡਾ ਸਰਵਰ ਦੂਜੇ ਬੋਟਾਂ ਤੋਂ ਪੀੜਤ ਹੈ ਤਾਂ ਇਸਨੂੰ ਸਮਰੱਥ ਬਣਾਓ। AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਇੱਕ ਕਾਰੋਬਾਰੀ ਫੈਸਲਾ ਹੈ: ਜੇਕਰ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ChatGPT, Gemini, ਅਤੇ Perplexity ਤੁਹਾਡੇ ਬਾਰੇ ਜਾਣਨ ਅਤੇ ਤੁਹਾਡੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਨ, ਤਾਂ ਉਹਨਾਂ ਦੀ ਪਹੁੰਚ ਨੂੰ ਬਲੌਕ ਨਾ ਕਰੋ।

ਇੱਕ ਹੋਰ ਵਿਹਾਰਕ ਨੁਕਤਾ ਸਾਈਟ ਦਾ ਟੈਸਟ ਵਰਜਨ ਹੈ। ਸਟੇਜਿੰਗ ਕਾਪੀ ਲਈ, "Deny All" ਪ੍ਰੀਸੈਟ ਦੀ ਵਰਤੋਂ ਕਰੋ, ਪਰ ਲਾਂਚ ਹੋਣ 'ਤੇ ਫਾਈਲ ਨੂੰ ਬਦਲਣਾ ਯਕੀਨੀ ਬਣਾਓ: ਇੱਕ ਭੁੱਲਿਆ ਹੋਇਆ Disallow: / ਉਹ ਹੁੰਦਾ ਹੈ ਜੋ ਅਕਸਰ ਨਵੀਆਂ ਸਾਈਟਾਂ 'ਤੇ ਟ੍ਰੈਫਿਕ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।

ਤੁਲਨਾ: ਪ੍ਰੋਮੋਪਾਇਲਟ ਜਨਰੇਟਰ ਅਤੇ Robots.txt ਬਣਾਉਣ ਦੇ ਹੋਰ ਤਰੀਕੇ

ਸਿੱਟਾ: ਜਨਰੇਟਰ ਸਿੰਟੈਕਸ ਜਾਣੇ ਬਿਨਾਂ ਇੱਕ ਵੈਧ ਫਾਈਲ ਪ੍ਰਾਪਤ ਕਰਨ ਦਾ ਸਭ ਤੋਂ ਤੇਜ਼ ਤਰੀਕਾ ਹੈ। ਪਲੱਗਇਨ ਅਤੇ ਪ੍ਰੋਜੈਕਟ ਕੋਡ ਸੁਵਿਧਾਜਨਕ ਹੁੰਦੇ ਹਨ ਜਦੋਂ ਫਾਈਲ ਨੂੰ ਵੈੱਬਸਾਈਟ ਦੇ ਨਾਲ ਬਦਲਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਇਹ ਜਨਰੇਟਰ ਪ੍ਰੋਮੋਪਾਇਲਟ ਦੇ 87 ਮੁਫ਼ਤ SEO ਟੂਲਸ ਵਿੱਚੋਂ ਇੱਕ ਹੈ। ਫਾਈਲ ਡਾਊਨਲੋਡ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਇਸਨੂੰ robots.txt ਵਿਸ਼ਲੇਸ਼ਕ ਨਾਲ ਚੈੱਕ ਕਰੋ, ਅਤੇ ਸਾਈਟਮੈਪ ਲਾਈਨ ਲਈ, sitemap.xml ਜਨਰੇਟਰ ਦੀ ਵਰਤੋਂ ਕਰੋ—ਦੋਵੇਂ ਇਸ ਭਾਗ ਵਿੱਚ ਨਾਲ ਲੱਗਦੇ ਲੇਖਾਂ ਵਿੱਚ ਕਵਰ ਕੀਤੇ ਗਏ ਹਨ।

ਜਨਰੇਟਰ ਸੀਮਾਵਾਂ: ਇਹ ਤੁਹਾਡੇ ਲਈ ਕੀ ਨਹੀਂ ਕਰੇਗਾ

ਜਨਰੇਟਰ ਤੁਹਾਡੀ ਸਾਈਟ ਦੀ ਬਣਤਰ ਨੂੰ ਨਹੀਂ ਜਾਣਦਾ। WordPress ਪ੍ਰੀਸੈੱਟ ਆਮ ਸੇਵਾ ਮਾਰਗਾਂ ਨੂੰ ਬੰਦ ਕਰ ਦੇਵੇਗਾ, ਪਰ ਇਹ ਅੰਦਾਜ਼ਾ ਨਹੀਂ ਲਗਾਏਗਾ ਕਿ ਤੁਹਾਡੇ ਸਟੋਰ ਦੇ ਫਿਲਟਰ /filter/ ਵਿੱਚ ਰਹਿੰਦੇ ਹਨ ਅਤੇ ਅੰਦਰੂਨੀ ਖੋਜ /find/ ਵਿੱਚ। ਤੁਹਾਨੂੰ ਇਹਨਾਂ ਮਾਰਗਾਂ ਨੂੰ ਖੁਦ ਦਾਖਲ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ।

ਇਹ ਫਾਈਲ ਨੂੰ ਸਰਵਰ 'ਤੇ ਅਪਲੋਡ ਨਹੀਂ ਕਰਦਾ ਜਾਂ ਇਹ ਜਾਂਚ ਨਹੀਂ ਕਰਦਾ ਕਿ ਫਾਈਲ /robots.txt 'ਤੇ 200 ਸਟੇਟਸ ਕੋਡ ਨਾਲ ਪਹੁੰਚਯੋਗ ਹੈ। ਅਪਲੋਡ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਐਡਰੈੱਸ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਖੋਲ੍ਹੋ ਜਾਂ ਇਸਨੂੰ ਪਾਰਸਰ ਰਾਹੀਂ ਚਲਾਓ।

ਅਤੇ ਇਹ noindex ਥਾਂ ਨਹੀਂ ਲੈਂਦਾ: ਜੇਕਰ ਟੀਚਾ ਖੋਜ ਨਤੀਜਿਆਂ ਤੋਂ ਪੰਨਿਆਂ ਨੂੰ ਹਟਾਉਣਾ ਹੈ, ਤਾਂ robots.txt ਢੁਕਵਾਂ ਨਹੀਂ ਹੈ। ਅੰਤ ਵਿੱਚ, ਫਾਈਲ ਤੁਹਾਡੇ ਡੇਟਾ ਦੀ ਰੱਖਿਆ ਨਹੀਂ ਕਰਦੀ: ਇਹ ਜਨਤਕ ਹੈ, ਅਤੇ ਕੋਈ ਵੀ ਪੜ੍ਹ ਸਕਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਕਿਹੜੇ ਭਾਗਾਂ ਨੂੰ ਲਾਕ ਕੀਤਾ ਹੈ। ਗੁਪਤਤਾ ਇੱਕ ਪਾਸਵਰਡ ਦੇ ਪਿੱਛੇ ਲੁਕੀ ਹੋਈ ਹੈ।

ਇੱਕ ਮੁਫ਼ਤ ਔਜ਼ਾਰ ਕਦੋਂ ਕਾਫ਼ੀ ਨਹੀਂ ਹੁੰਦਾ?

ਇੱਕ ਫਾਈਲ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਪੰਜ ਮਿੰਟ ਲੱਗਦੇ ਹਨ। ਹਜ਼ਾਰਾਂ ਪੰਨਿਆਂ ਵਾਲੀ ਸਾਈਟ 'ਤੇ ਕੀ ਲਾਕ ਕਰਨਾ ਹੈ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਬਹੁਤ ਕੰਮ ਹੈ। ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਹਰ ਦੀ ਲੋੜ ਹੈ ਜੇਕਰ:

• ਸਟੋਰ ਵਿੱਚ ਸੈਂਕੜੇ ਫਿਲਟਰ ਸੰਜੋਗ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੁਝ ਟ੍ਰੈਫਿਕ ਪੈਦਾ ਕਰਦੇ ਹਨ;
• ਸਾਈਟ ਬਹੁ-ਭਾਸ਼ਾਈ ਹੈ, ਸਬ-ਡੋਮੇਨਾਂ 'ਤੇ ਜਾਂ ਭਾਸ਼ਾਵਾਂ ਲਈ ਵੱਖਰੇ ਫੋਲਡਰਾਂ ਨਾਲ;
• robots.txt ਨੂੰ ਸੰਪਾਦਿਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਟ੍ਰੈਫਿਕ ਘੱਟ ਗਿਆ, ਅਤੇ ਇਹ ਸਪੱਸ਼ਟ ਨਹੀਂ ਹੈ ਕਿ ਕਿਹੜਾ ਨਿਯਮ ਜ਼ਿੰਮੇਵਾਰ ਹੈ;
• ਤੁਹਾਨੂੰ robots.txt, ਮੈਟਾ ਟੈਗ, ਕੈਨੋਨੀਕਲ, ਅਤੇ ਸਾਈਟਮੈਪ ਨੂੰ ਇੱਕ ਸਿਸਟਮ ਵਿੱਚ ਇਕਸਾਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਮੈਂ ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ ਲਈ ਕੀ ਕਰ ਸਕਦਾ ਹਾਂ?

ਮੇਰਾ ਨਾਮ ਵੈਲੇਰੀ ਡੈਨਯੁਕ ਹੈ, ਮੈਂ ਇੱਕ ਡਿਵੈਲਪਰ ਅਤੇ SEO ਮਾਹਰ ਹਾਂ ਜਿਸਦਾ 12 ਸਾਲਾਂ ਦਾ ਤਜਰਬਾ ਹੈ ਅਤੇ 200 ਤੋਂ ਵੱਧ ਗਾਹਕ ਹਨ। ਇੱਕ ਸਹੀ robots.txt ਫਾਈਲ ਮੇਰੇ ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਹਰ ਵੈੱਬਸਾਈਟ ਦਾ ਹਿੱਸਾ ਹੈ।

SEO ਅਤੇ ਪ੍ਰਚਾਰ

• ਟਰਨਕੀ ਐਸਈਓ ਆਡਿਟ: robots.txt, noindex, canonical, ਅਤੇ sitemap ਇੱਕ ਯੂਨੀਫਾਈਡ ਸਿਸਟਮ ਦੇ ਰੂਪ ਵਿੱਚ, ਨਾ ਕਿ ਬੇਤਰਤੀਬ ਨਿਯਮਾਂ ਦੇ ਸਮੂਹ ਦੇ ਰੂਪ ਵਿੱਚ।
• ਇੱਕ AI-ਸੰਚਾਲਿਤ SEO ਬਲੌਗ ਜੋ ਜੈਵਿਕ ਲੀਡ ਲਿਆਉਂਦਾ ਹੈ ।
• ਇੱਕ ਬਹੁ-ਭਾਸ਼ਾਈ ਵੈੱਬਸਾਈਟ ਬਿਨਾਂ ਅਨੁਵਾਦਕ ਦੇ — ਜਿੱਥੇ robots.txt ਅਤੇ ਸਾਈਟਮੈਪ ਨੂੰ ਸਾਰੀਆਂ ਭਾਸ਼ਾਵਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ।

ਵੈੱਬਸਾਈਟਾਂ ਅਤੇ ਔਨਲਾਈਨ ਸਟੋਰ

• WooCommerce ਔਨਲਾਈਨ ਸਟੋਰ: 40+ ਟੈਂਪਲੇਟ, €299 — ਕਾਰਟ, ਫਿਲਟਰ ਅਤੇ ਚੈੱਕਆਉਟ ਲਈ robots.txt ਦੇ ਨਾਲ।
• 1001site ਤੇ ਇੱਕ ਵੈੱਬਸਾਈਟ, ਜਿੱਥੇ ਸਾਈਟਮੈਪ ਅਤੇ ਇੰਡੈਕਸਿੰਗ ਆਪਣੇ ਆਪ ਕੌਂਫਿਗਰ ਹੋ ਜਾਂਦੇ ਹਨ। ਇਹ ਗਾਹਕੀ ਫੀਸ ਵਾਲੇ ਬਿਲਡਰ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ? ਟਿਲਡਾ ਬਨਾਮ ਏਆਈ-ਸੰਚਾਲਿਤ ਵੈੱਬਸਾਈਟ ਵਿਸ਼ਲੇਸ਼ਣ।

ਸੀਆਰਐਮ, ਲੇਖਾਕਾਰੀ ਅਤੇ ਆਟੋਮੇਸ਼ਨ

• ਇੱਕ ਔਨਲਾਈਨ ਸਟੋਰ ਲਈ ਇੱਕ ਮਹੀਨਾਵਾਰ ਲੇਖਾ ਪ੍ਰਣਾਲੀ - ਚੈੱਕ ਗਣਰਾਜ ਦੀ ਇੱਕ ਕੰਪਨੀ ਲਈ ਇੱਕ ਪ੍ਰੋਜੈਕਟ।
• ਕੁਐਸਟਫਲੋ ਏਆਈ ਵਾਲੇ Telegram ਇੱਕ SaaS ਬਿਲਡਰ ਹੈ ।

ਪੋਰਟਫੋਲੀਓ ਵਿੱਚ ਹੋਰ। ਕੀ ਕਵਰ ਕਰਨਾ ਹੈ ਇਸ ਬਾਰੇ ਪਤਾ ਨਹੀਂ? ਮੈਨੂੰ Telegram ਵਿੱਚ ਆਪਣੀ ਵੈੱਬਸਾਈਟ ਦਾ ਪਤਾ ਭੇਜੋ - ਮੈਂ ਤੁਹਾਡੇ ਢਾਂਚੇ ਲਈ ਨਿਯਮ ਸੁਝਾਵਾਂਗਾ।

ਨਤੀਜਾ

1. ਔਨਲਾਈਨ robots.txt ਜਨਰੇਟਰ ਪੰਜ ਮਿੰਟਾਂ ਵਿੱਚ ਇੱਕ ਸਹੀ ਫਾਈਲ ਬਣਾਉਂਦਾ ਹੈ: ਪ੍ਰੀਸੈੱਟ, ਪਾਥ, ਸਾਈਟਮੈਪ, ਫਲੈਗ।
2. ਐਡਮਿਨ ਪੈਨਲ, ਰੀਸਾਈਕਲ ਬਿਨ, ਖੋਜ ਅਤੇ ਸੇਵਾ ਫੋਲਡਰਾਂ ਨੂੰ ਬੰਦ ਕਰੋ; CSS, JS, ਕੈਟਾਲਾਗ, ਜਾਂ ਬਲੌਗ ਨੂੰ ਬੰਦ ਨਾ ਕਰੋ।
3. robots.txt ਇੰਡੈਕਸ ਤੋਂ ਪੰਨਿਆਂ ਨੂੰ ਨਹੀਂ ਹਟਾਉਂਦਾ - ਇਹੀ ਉਹ ਹੈ ਜਿਸ ਲਈ noindex ਹੈ।
4. ਇੱਕ ਗੁੰਝਲਦਾਰ ਬਣਤਰ, ਫਿਲਟਰ ਅਤੇ ਭਾਸ਼ਾਵਾਂ ਇੱਕ ਮਾਹਰ ਨੂੰ ਸੈੱਟਅੱਪ ਸੌਂਪਣ ਜਾਂ 1001site 'ਤੇ ਇੱਕ ਸਾਈਟ ਬਣਾਉਣ ਦਾ ਕਾਰਨ ਹਨ, ਜਿੱਥੇ ਇੰਡੈਕਸਿੰਗ ਨੂੰ ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਕੌਂਫਿਗਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਮੁਫ਼ਤ robots.txt ਜਨਰੇਟਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹੁਣੇ ਆਪਣੀ ਖੁਦ ਦੀ robots.txt ਫਾਈਲ ਬਣਾਓ, ਅਤੇ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਨਿਯਮਾਂ ਬਾਰੇ ਕੋਈ ਸਵਾਲ ਹਨ, ਤਾਂ ਮੈਨੂੰ Telegram ਤੇ ਲਿਖੋ ।

ਸਰੋਤ

• ਪ੍ਰੋਮੋਪਾਇਲਟ ਦਾ robots.txt ਜਨਰੇਟਰ ਟੂਲ ਪੰਨਾ — ਸੈਟਿੰਗਾਂ, ਪ੍ਰੀਸੈੱਟ, ਅਤੇ ਪੰਨਾ ਸਵਾਲ।
• Google ਸਰਚ ਸੈਂਟਰਲ - ਇੱਕ Robots.txt ਫਾਈਲ ਕਿਵੇਂ ਬਣਾਈਏ ਅਤੇ ਜਮ੍ਹਾਂ ਕਰੀਏ।
• Next.js ਦਸਤਾਵੇਜ਼ - ਰੋਬੋਟ ਮੈਟਾਡੇਟਾ ਫਾਈਲ।