ಸಣ್ಣ ಉತ್ತರ: ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ robots.txt ಫೈಲ್ ಅನ್ನು ರಚಿಸಲು, PromoPilot robots.txt ಜನರೇಟರ್ ಅನ್ನು ತೆರೆಯಿರಿ, ಪೂರ್ವನಿಗದಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿ (ಕಸ್ಟಮ್, ಎಲ್ಲವನ್ನೂ ಅನುಮತಿಸಿ, ಎಲ್ಲವನ್ನೂ ನಿರಾಕರಿಸಿ, WordPress, Laravel, ಅಥವಾ Next.js), Disallow ಮತ್ತು Allow ಗಾಗಿ ಮಾರ್ಗಗಳನ್ನು ನಮೂದಿಸಿ, ಸೈಟ್ಮ್ಯಾಪ್ ಸಾಲಿಗಾಗಿ ವೆಬ್‌ಸೈಟ್ ವಿಳಾಸವನ್ನು ನಮೂದಿಸಿ ಮತ್ತು ಐಚ್ಛಿಕವಾಗಿ ಕ್ರಾಲ್-ವಿಳಂಬ ಅಥವಾ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ನಿರ್ಬಂಧಿಸಿ ಎಂದು ಪರಿಶೀಲಿಸಿ. ಪೂರ್ಣಗೊಂಡ ಫೈಲ್ ಬಲಭಾಗದಲ್ಲಿ ಗೋಚರಿಸುತ್ತದೆ - ನೀವು ಅದನ್ನು ನಕಲಿಸಬಹುದು ಅಥವಾ ಡೌನ್‌ಲೋಡ್ ಮಾಡಬಹುದು. ಇದು ಉಚಿತ ಮತ್ತು ಯಾವುದೇ ನೋಂದಣಿ ಅಗತ್ಯವಿಲ್ಲ.
ನಾನು ಪ್ರತಿ ಹೊಸ ವೆಬ್‌ಸೈಟ್‌ಗೆ robots.txt ಬರೆಯುತ್ತೇನೆ ಮತ್ತು ಹಸ್ತಚಾಲಿತವಾಗಿ ತಪ್ಪುಗಳನ್ನು ಮಾಡುವುದು ಎಷ್ಟು ಸುಲಭ ಎಂದು ನನಗೆ ತಿಳಿದಿದೆ: ಹೆಚ್ಚುವರಿ ಸ್ಥಳ, ಮರೆತುಹೋದ ಸ್ಲ್ಯಾಷ್, ಬ್ಲಾಕ್‌ನ ಹೊರಗೆ ನಿಯಮ. robots.txt ಬಿಲ್ಡರ್ ಈ ಸಮಸ್ಯೆಯನ್ನು ನಿವಾರಿಸುತ್ತದೆ - ನೀವು ಸಿಂಟ್ಯಾಕ್ಸ್ ಅಲ್ಲ, ಯಾವುದನ್ನು ಮುಚ್ಚಬೇಕು ಎಂಬುದರ ಬಗ್ಗೆ ಯೋಚಿಸುತ್ತೀರಿ. ಕೆಳಗೆ, ಅದನ್ನು ಹೇಗೆ ಬಳಸುವುದು, ಯಾವುದನ್ನು ಮುಚ್ಚಬೇಕು ಮತ್ತು ಮುಗಿದ ಫೈಲ್ ಅನ್ನು ಎಲ್ಲಿ ಹಾಕಬೇಕು ಎಂಬುದನ್ನು ನಾವು ವಿವರಿಸುತ್ತೇವೆ.
robots.txt ಜನರೇಟರ್ ಏನು ಮಾಡುತ್ತದೆ?
ಜನರೇಟರ್ ಪಠ್ಯ ಸಂಪಾದಕದ ಬದಲು ಒಂದು ಫಾರ್ಮ್ ಆಗಿದೆ. ನೀವು ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಿ, ಮತ್ತು ಉಪಕರಣವು ಅವುಗಳನ್ನು ಮಾನ್ಯ ಫೈಲ್‌ಗೆ ಜೋಡಿಸುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಲೈವ್ ಪೂರ್ವವೀಕ್ಷಣೆಯಲ್ಲಿ ಪ್ರದರ್ಶಿಸುತ್ತದೆ.
| ಸ್ಥಾಪನೆ | ಏನು ಹೊಂದಿಸುತ್ತದೆ | ಸೈಟ್‌ಗೆ ಇದು ಏಕೆ ಬೇಕು? |
|---|---|---|
| ಮೊದಲೇ ಹೊಂದಿಸಿ | ಕಸ್ಟಮ್, ಎಲ್ಲವನ್ನೂ ಅನುಮತಿಸಿ, ಎಲ್ಲವನ್ನೂ ನಿರಾಕರಿಸಿ, WordPress, ಲಾರಾವೆಲ್, Next.js | ನಿಮ್ಮ ಎಂಜಿನ್‌ಗೆ ಸಿದ್ಧವಾದ ಆರಂಭಿಕ ಹಂತ |
| ವೆಬ್‌ಸೈಟ್ URL | Sitemap ಸಾಲಿನ ವಿಳಾಸ | ರೋಬೋಟ್ಗಳು ಸೈಟ್ಮ್ಯಾಪ್ ಅನ್ನು ಸ್ವತಃ ಕಂಡುಕೊಳ್ಳುತ್ತವೆ |
| ಮಾರ್ಗಗಳನ್ನು ಅನುಮತಿಸಬೇಡಿ | ಸ್ಕ್ಯಾನ್ ಮಾಡಬಾರದ ವಿಭಾಗಗಳು, ಪ್ರತಿ ಸಾಲಿಗೆ ಒಂದು | ರೋಬೋಟ್ ನಿರ್ವಾಹಕ ಫಲಕ ಮತ್ತು ಸೇವಾ ಪುಟಗಳಲ್ಲಿ ಸಮಯ ವ್ಯರ್ಥ ಮಾಡುವುದಿಲ್ಲ. |
| ಮಾರ್ಗಗಳನ್ನು ಅನುಮತಿಸಿ | ಮುಚ್ಚಿದ ವಿಭಾಗಗಳೊಳಗಿನ ವಿನಾಯಿತಿಗಳು | ಮುಚ್ಚಿದ ಫೋಲ್ಡರ್‌ನಲ್ಲಿ ಬಯಸಿದ ಫೈಲ್ ಅನ್ನು ತೆರೆಯಿರಿ. |
| ಕ್ರಾಲ್-ವಿಳಂಬ (10 ಸೆಕೆಂಡ್) | ರೋಬೋಟ್ ವಿನಂತಿಗಳ ನಡುವೆ ವಿರಾಮಗೊಳಿಸಿ | ದುರ್ಬಲ ಸರ್ವರ್‌ನಲ್ಲಿನ ಹೊರೆಯನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುವ ರೋಬೋಟ್ಗಳಿಗೆ ನಿವಾರಿಸುವುದು |
| AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ನಿರ್ಬಂಧಿಸುವುದು | GPTBot, Claude ಮತ್ತು ಇತರ AI ಬಾಟ್‌ಗಳಿಗೆ ನಿಷೇಧ | ನಿಮ್ಮ ವಿಷಯವನ್ನು ಯಾರು ಬಳಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ನಿಯಂತ್ರಿಸಿ |
| ಪೂರ್ವವೀಕ್ಷಣೆ, ನಕಲು, ಡೌನ್‌ಲೋಡ್ | ಮುಗಿದ robots.txt ಫೈಲ್ | ನೀವು ಅದನ್ನು ತಕ್ಷಣ ಸರ್ವರ್‌ಗೆ ಅಪ್‌ಲೋಡ್ ಮಾಡಬಹುದು. |
ಮಿತಿಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಮುಖ್ಯ: ಜನರೇಟರ್ ಫೈಲ್ ಅನ್ನು ರಚಿಸುತ್ತದೆ, ಆದರೆ ಅದು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಒಂದನ್ನು ಪರಿಶೀಲಿಸುವುದಿಲ್ಲ. ನೀವು ಈಗಾಗಲೇ robots.txt ಫೈಲ್ ಅನ್ನು ಹೊಂದಿದ್ದರೆ ಮತ್ತು ಅದರಲ್ಲಿ ದೋಷಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಬಯಸಿದರೆ, ನೀವು robots.txt ಫೈಲ್ ಅನ್ನು ವಿಶ್ಲೇಷಿಸಬೇಕು - ಮುಂದಿನ ವಿಭಾಗದಲ್ಲಿರುವ ಲೇಖನವು ಇದಕ್ಕೆ ಮೀಸಲಾಗಿರುತ್ತದೆ.
ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ robots.txt ಅನ್ನು ಹೇಗೆ ರಚಿಸುವುದು?
- robots.txt ಜನರೇಟರ್ ತೆರೆಯಿರಿ.
- ನಿಮ್ಮ ಎಂಜಿನ್‌ಗಾಗಿ ಪೂರ್ವನಿಗದಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿ. ನಿಮ್ಮ ಎಂಜಿನ್ ಪಟ್ಟಿಯಲ್ಲಿ ಇಲ್ಲದಿದ್ದರೆ, "ಕಸ್ಟಮ್" ಆಯ್ಕೆಮಾಡಿ.
- ವೆಬ್‌ಸೈಟ್ ವಿಳಾಸವನ್ನು ನಮೂದಿಸಿ —
https://example.com. ಇದುSitemapಸಾಲನ್ನು ರಚಿಸುತ್ತದೆ. - ಪ್ರತಿ ಸಾಲಿಗೆ ಒಂದರಂತೆ ಅನುಮತಿಸದ ಮಾರ್ಗಗಳನ್ನು ಸೇರಿಸಿ:
/admin/,/tmp/,/search/. - ಅಗತ್ಯವಿದ್ದರೆ,
/uploads/images/ನಂತಹ ನಿರ್ಬಂಧಿತ ಫೋಲ್ಡರ್‌ಗಳ ಒಳಗೆ ವಿನಾಯಿತಿಗಳನ್ನು ಅನುಮತಿಸಿ ಸೇರಿಸಿ. - ಬಾಕ್ಸ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ: ಸೈಟ್ಮ್ಯಾಪ್, ಕ್ರಾಲ್-ವಿಳಂಬ, AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ನಿರ್ಬಂಧಿಸಿ.
- ಫೈಲ್ ಅನ್ನು ನಕಲಿಸಿ ಅಥವಾ ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ಅದನ್ನು ಸೈಟ್ನ ಮೂಲಕ್ಕೆ ಅಪ್‌ಲೋಡ್ ಮಾಡಿ.
ಪುಟದ ಎಡಭಾಗದಲ್ಲಿ ಸೆಟ್ಟಿಂಗ್‌ಗಳಿವೆ, ಮತ್ತು ಬಲಭಾಗದಲ್ಲಿ "ನಕಲಿಸಿ" ಮತ್ತು "robots.txt ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ" ಬಟನ್‌ಗಳೊಂದಿಗೆ ಫೈಲ್‌ನ ಲೈವ್ ಪೂರ್ವವೀಕ್ಷಣೆ ಇದೆ.
ಫೈಲ್ ಡೊಮೇನ್‌ನ ಮೂಲದಲ್ಲಿ ಕಟ್ಟುನಿಟ್ಟಾಗಿ ನೆಲೆಗೊಂಡಿರಬೇಕು: https://example.com/robots.txt. ರೋಬೋಟ್ಗಳು ಅದನ್ನು /blog/robots.txt ಫೋಲ್ಡರ್‌ನಲ್ಲಿ ಅಥವಾ ಇನ್ನೊಂದು ಸಬ್‌ಡೊಮೇನ್‌ನಲ್ಲಿ ಹುಡುಕಲು ಸಾಧ್ಯವಿಲ್ಲ - ಪ್ರತಿಯೊಂದು ಸಬ್‌ಡೊಮೇನ್ ತನ್ನದೇ ಆದ robots.txt ಫೈಲ್ ಅನ್ನು ಹೊಂದಿರುತ್ತದೆ.
ಡೌನ್‌ಲೋಡ್ ಮಾಡಿದ ಫೈಲ್ ಅನ್ನು ನಿಖರವಾಗಿ ಎಲ್ಲಿ ಅಪ್‌ಲೋಡ್ ಮಾಡಬೇಕು ಎಂಬುದು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಅನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ:
- ನಿಯಮಿತ ಹೋಸ್ಟಿಂಗ್ - ಪ್ಯಾನೆಲ್‌ನ ಫೈಲ್ ಮ್ಯಾನೇಜರ್ ಅಥವಾ FTP ಮೂಲಕ ಮುಖ್ಯ ಪುಟ ಇರುವ ಫೋಲ್ಡರ್‌ಗೆ (ಸಾಮಾನ್ಯವಾಗಿ
public_htmlಅಥವಾwww). - WordPress — ಯಾವುದೇ ಭೌತಿಕ ಫೈಲ್ ಇಲ್ಲದಿದ್ದರೆ, ಎಂಜಿನ್ ವರ್ಚುವಲ್ robots.txt ಫೈಲ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ಫೈಲ್ ಅನ್ನು ರೂಟ್‌ಗೆ ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದರಿಂದ ಅದನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ; ಎರಡನೇ ಆಯ್ಕೆಯೆಂದರೆ SEO ಪ್ಲಗಿನ್‌ನಲ್ಲಿ ಫೈಲ್ ಎಡಿಟರ್ ಅನ್ನು ಬಳಸುವುದು.
- Next.js ಮತ್ತು ಇತರ ಚೌಕಟ್ಟುಗಳು — ಫೈಲ್ ಅನ್ನು
publicಫೋಲ್ಡರ್‌ನಲ್ಲಿ ಇರಿಸಲಾಗುತ್ತದೆ ಅಥವಾ ಪ್ರಾಜೆಕ್ಟ್ ಕೋಡ್‌ನಿಂದ ರಚಿಸಲಾಗುತ್ತದೆ ಆದ್ದರಿಂದ ಮುಂದಿನ ನಿಯೋಜನೆಯ ಸಮಯದಲ್ಲಿ ಅದು ಕಳೆದುಹೋಗುವುದಿಲ್ಲ. - ವೆಬ್‌ಸೈಟ್ ನಿರ್ಮಿಸುವವರು - ಫೈಲ್ ಅನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಹಸ್ತಚಾಲಿತವಾಗಿ ಅಪ್‌ಲೋಡ್ ಮಾಡುವ ಬದಲು SEO ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ ಸಂಪಾದಿಸಲಾಗುತ್ತದೆ.
ಫೈಲ್ ಅನ್ನು ಸಣ್ಣಕ್ಷರದಲ್ಲಿ robots.txt ಎಂದು ಹೆಸರಿಸಬೇಕು ಮತ್ತು UTF-8 ಎನ್‌ಕೋಡಿಂಗ್‌ನಲ್ಲಿ ಸರಳ ಪಠ್ಯವಾಗಿ ಉಳಿಸಬೇಕು. ಡೌನ್‌ಲೋಡ್ ಮಾಡಿದ ನಂತರ, ಅದನ್ನು ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ತೆರೆಯಿರಿ: ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ನೀವು ನೋಡಿದರೆ, ಎಲ್ಲವೂ ಸ್ಥಳದಲ್ಲಿರುತ್ತದೆ.
robots.txt ನಲ್ಲಿ ಏನನ್ನು ಮುಚ್ಚಬೇಕು ಮತ್ತು ಮುಚ್ಚಬಾರದು?
ಮುಖ್ಯ ತತ್ವ: ಹುಡುಕಾಟಕ್ಕೆ ಮೌಲ್ಯವನ್ನು ಸೇರಿಸದ ಮತ್ತು ರೋಬೋಟ್‌ನ ಸಮಯವನ್ನು ವ್ಯರ್ಥ ಮಾಡುವ ಯಾವುದನ್ನಾದರೂ ಮುಚ್ಚಿ. ರೋಬೋಟ್‌ಗೆ ಪುಟವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಅಗತ್ಯವಾದ ಯಾವುದನ್ನೂ ಮುಚ್ಚಬೇಡಿ.
ಸಾಮಾನ್ಯವಾಗಿ ಮುಚ್ಚಲಾಗುತ್ತದೆ:
- ನಿರ್ವಾಹಕ ಫಲಕ ಮತ್ತು ವೈಯಕ್ತಿಕ ಖಾತೆ:
/admin/,/wp-admin/,/account/; - ಕಾರ್ಟ್ ಮತ್ತು ಚೆಕ್ಔಟ್:
/cart/,/checkout/; - ಆಂತರಿಕ ಹುಡುಕಾಟ:
/search/,/?s=; - ಸೇವೆ ಮತ್ತು ತಾತ್ಕಾಲಿಕ ಫೋಲ್ಡರ್‌ಗಳು:
/tmp/,/cgi-bin/; - ಫಿಲ್ಟರ್‌ಗಳು ಮತ್ತು ವಿಂಗಡಣೆ ಆಯ್ಕೆಗಳ ಅಂತ್ಯವಿಲ್ಲದ ಸಂಯೋಜನೆಗಳು - ಅಚ್ಚುಕಟ್ಟಾಗಿ, ಅಗತ್ಯವಿರುವ ಫಿಲ್ಟರ್‌ಗಳಿಗೆ ಪ್ರತ್ಯೇಕ ಲ್ಯಾಂಡಿಂಗ್ ಪುಟಗಳಿದ್ದರೆ ಮಾತ್ರ.
ಎಂದಿಗೂ ಮುಚ್ಚಬೇಡಿ:
- CSS, JavaScript ಮತ್ತು ಚಿತ್ರಗಳು—ಇವುಗಳಿಲ್ಲದೆ, Google ಪುಟವನ್ನು ಮನುಷ್ಯ ನೋಡುವ ರೀತಿಯಲ್ಲಿ ನೋಡುವುದಿಲ್ಲ;
- ಕ್ಯಾಟಲಾಗ್, ಬ್ಲಾಗ್, ಉತ್ಪನ್ನ ಕಾರ್ಡ್‌ಗಳು ಮತ್ತು ಲ್ಯಾಂಡಿಂಗ್ ಪುಟಗಳು;
- ನೀವು ಸೂಚ್ಯಂಕದಿಂದ ತೆಗೆದುಹಾಕಲು ಬಯಸುವ ಪುಟಗಳು - ಇದಕ್ಕಾಗಿ ನಿಮಗೆ
noindexಅಗತ್ಯವಿದೆ, ಮತ್ತು ರೋಬೋಟ್ ಅದನ್ನು ಓದಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
WooCommerce ಹೊಂದಿರುವ ವಿಶಿಷ್ಟ WordPress ಅಂಗಡಿಗಾಗಿ ನೀವು ಪಡೆಯುವ ಫೈಲ್ ಇಲ್ಲಿದೆ:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
ಫ್ಲ್ಯಾಗ್‌ಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ. Google ಕ್ರಾಲ್-ವಿಳಂಬವನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುವುದಿಲ್ಲ—ನಿಮ್ಮ ಸರ್ವರ್ ಇತರ ಬಾಟ್‌ಗಳಿಂದ ಬಳಲುತ್ತಿದ್ದರೆ ಮಾತ್ರ ಅದನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ. AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ನಿರ್ಬಂಧಿಸುವುದು ವ್ಯವಹಾರ ನಿರ್ಧಾರವಾಗಿದೆ: ChatGPT, Gemini, ಮತ್ತು Perplexity ನಿಮ್ಮ ಬಗ್ಗೆ ತಿಳಿದುಕೊಳ್ಳಲು ಮತ್ತು ನಿಮ್ಮನ್ನು ಶಿಫಾರಸು ಮಾಡಲು ನೀವು ಬಯಸಿದರೆ, ಅವರ ಪ್ರವೇಶವನ್ನು ನಿರ್ಬಂಧಿಸಬೇಡಿ.
ಇನ್ನೊಂದು ಪ್ರಾಯೋಗಿಕ ಅಂಶವೆಂದರೆ ಸೈಟ್ನ ಪರೀಕ್ಷಾ ಆವೃತ್ತಿ. ಹಂತ ಪ್ರತಿಗಾಗಿ, "ಎಲ್ಲವನ್ನೂ ನಿರಾಕರಿಸು" ಪೂರ್ವನಿಗದಿಯನ್ನು ಬಳಸಿ, ಆದರೆ ಪ್ರಾರಂಭವಾದ ನಂತರ ಫೈಲ್ ಅನ್ನು ಬದಲಾಯಿಸಲು ಮರೆಯದಿರಿ: ಮರೆತುಹೋದ Disallow: / ಹೊಸ ಸೈಟ್‌ಗಳಿಗೆ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಹೆಚ್ಚಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
ಹೋಲಿಕೆ: ಪ್ರೋಮೋಪೈಲಟ್ ಜನರೇಟರ್ ಮತ್ತು ರೋಬೋಟ್ಸ್.txt ಅನ್ನು ರಚಿಸಲು ಇತರ ಮಾರ್ಗಗಳು
| ದಾರಿ | ಏನು ಉಚಿತ? | ನಿರ್ಬಂಧಗಳು | ಇದು ಯಾರಿಗೆ ಸೂಕ್ತವಾಗಿದೆ? |
|---|---|---|---|
| ಪ್ರೋಮೋಪೈಲಟ್ — Robots.txt ಜನರೇಟರ್ | ಪೂರ್ವನಿಗದಿಗಳು, ಅನುಮತಿಸಬೇಡಿ ಮತ್ತು ಅನುಮತಿಸಿ, ಸೈಟ್ಮ್ಯಾಪ್, ಕ್ರಾಲ್-ವಿಳಂಬ, AI ಬಾಟ್ ನಿರ್ಬಂಧಿಸುವಿಕೆ, ಡೌನ್‌ಲೋಡ್ | ನೀವು ಫೈಲ್ ಅನ್ನು ಸರ್ವರ್‌ಗೆ ನೀವೇ ಅಪ್‌ಲೋಡ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ. | ಆರಂಭಿಕರಿಗಾಗಿ ಮತ್ತು ಸಿಂಟ್ಯಾಕ್ಸ್ ಅನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳಲು ಇಷ್ಟಪಡದ ಯಾರಿಗಾದರೂ |
| WordPress SEO ಪ್ಲಗಿನ್‌ನಲ್ಲಿ ಸಂಪಾದಕ (ಉದಾ. Yoast SEO) | ನಿರ್ವಾಹಕ ಫಲಕದಿಂದ ನೇರವಾಗಿ ಫೈಲ್ ಅನ್ನು ಸಂಪಾದಿಸುವುದು | WordPress ಮಾತ್ರ, ನೀವು ಸಿಂಟ್ಯಾಕ್ಸ್ ಅನ್ನು ನೀವೇ ಬರೆಯುತ್ತೀರಿ. | WordPress ವೆಬ್‌ಸೈಟ್ ಮಾಲೀಕರಿಗೆ |
| Next.js ನಲ್ಲಿ ರೋಬೋಟ್‌ಗಳ ಫೈಲ್ | robots.txt ಅನ್ನು ಪ್ರಾಜೆಕ್ಟ್ ಕೋಡ್‌ನಿಂದ ರಚಿಸಲಾಗಿದೆ. | ಡೆವಲಪರ್ ಅಗತ್ಯವಿದೆ | Next.js ಯೋಜನೆಗಳು |
| ಪಠ್ಯ ಸಂಪಾದಕ | ಸಂಪೂರ್ಣ ಸ್ವಾತಂತ್ರ್ಯ | ತಪ್ಪುಗಳನ್ನು ಮಾಡುವುದು ಸುಲಭ, ಯಾವುದೇ ಸುಳಿವುಗಳಿಲ್ಲ. | ಮಾನದಂಡವನ್ನು ಹೃದಯದಿಂದ ತಿಳಿದಿರುವವರಿಗೆ |
ತೀರ್ಮಾನ: ಸಿಂಟ್ಯಾಕ್ಸ್ ತಿಳಿಯದೆಯೇ ಮಾನ್ಯವಾದ ಫೈಲ್ ಅನ್ನು ಪಡೆಯಲು ಜನರೇಟರ್ ಅತ್ಯಂತ ವೇಗವಾದ ಮಾರ್ಗವಾಗಿದೆ. ವೆಬ್‌ಸೈಟ್ ಜೊತೆಗೆ ಫೈಲ್ ಅನ್ನು ಬದಲಾಯಿಸಬೇಕಾದಾಗ ಪ್ಲಗಿನ್ ಮತ್ತು ಪ್ರಾಜೆಕ್ಟ್ ಕೋಡ್ ಅನುಕೂಲಕರವಾಗಿರುತ್ತದೆ.
ಈ ಜನರೇಟರ್ PromoPilot ನ 87 ಉಚಿತ SEO ಪರಿಕರಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ. ಫೈಲ್ ಅನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿದ ನಂತರ, ಅದನ್ನು robots.txt ವಿಶ್ಲೇಷಕದೊಂದಿಗೆ ಪರಿಶೀಲಿಸಿ, ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ಸಾಲಿಗೆ, sitemap.xml ಜನರೇಟರ್ ಅನ್ನು ಬಳಸಿ—ಎರಡನ್ನೂ ಈ ವಿಭಾಗದಲ್ಲಿನ ಪಕ್ಕದ ಲೇಖನಗಳಲ್ಲಿ ಒಳಗೊಂಡಿದೆ.
ಜನರೇಟರ್ ಮಿತಿಗಳು: ಅದು ನಿಮಗಾಗಿ ಏನು ಮಾಡುವುದಿಲ್ಲ
ಜನರೇಟರ್ ನಿಮ್ಮ ಸೈಟ್ನ ರಚನೆಯನ್ನು ತಿಳಿದಿಲ್ಲ. WordPress ಪೂರ್ವನಿಗದಿ ವಿಶಿಷ್ಟ ಸೇವಾ ಮಾರ್ಗಗಳನ್ನು ಮುಚ್ಚುತ್ತದೆ, ಆದರೆ ನಿಮ್ಮ ಅಂಗಡಿಯ ಫಿಲ್ಟರ್‌ಗಳು /filter/ ನಲ್ಲಿ ಮತ್ತು ಆಂತರಿಕ ಹುಡುಕಾಟವನ್ನು /find/ ನಲ್ಲಿ ವಾಸಿಸುತ್ತವೆ ಎಂದು ಅದು ಊಹಿಸುವುದಿಲ್ಲ. ಈ ಮಾರ್ಗಗಳನ್ನು ನೀವೇ ನಮೂದಿಸಬೇಕಾಗುತ್ತದೆ.
ಇದು ಫೈಲ್ ಅನ್ನು ಸರ್ವರ್‌ಗೆ ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದಿಲ್ಲ ಅಥವಾ ಫೈಲ್ ಅನ್ನು /robots.txt ನಲ್ಲಿ 200 ಸ್ಟೇಟಸ್ ಕೋಡ್‌ನೊಂದಿಗೆ ಪ್ರವೇಶಿಸಬಹುದೇ ಎಂದು ಪರಿಶೀಲಿಸುವುದಿಲ್ಲ. ಅಪ್‌ಲೋಡ್ ಮಾಡಿದ ನಂತರ, ಬ್ರೌಸರ್‌ನಲ್ಲಿ ವಿಳಾಸವನ್ನು ತೆರೆಯಿರಿ ಅಥವಾ ಪಾರ್ಸರ್ ಮೂಲಕ ಅದನ್ನು ರನ್ ಮಾಡಿ.
ಮತ್ತು ಇದು noindex ಬದಲಾಯಿಸುವುದಿಲ್ಲ: ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಿಂದ ಪುಟಗಳನ್ನು ತೆಗೆದುಹಾಕುವುದು ಗುರಿಯಾಗಿದ್ದರೆ, robots.txt ಸೂಕ್ತವಲ್ಲ. ಅಂತಿಮವಾಗಿ, ಫೈಲ್ ನಿಮ್ಮ ಡೇಟಾವನ್ನು ರಕ್ಷಿಸುವುದಿಲ್ಲ: ಇದು ಸಾರ್ವಜನಿಕವಾಗಿದೆ ಮತ್ತು ನೀವು ಯಾವ ವಿಭಾಗಗಳನ್ನು ಲಾಕ್ ಮಾಡಿದ್ದೀರಿ ಎಂಬುದನ್ನು ಯಾರಾದರೂ ಓದಬಹುದು. ರಹಸ್ಯಗಳನ್ನು ಪಾಸ್‌ವರ್ಡ್‌ನ ಹಿಂದೆ ಮರೆಮಾಡಲಾಗಿದೆ.
ಉಚಿತ ಸಾಧನ ಯಾವಾಗ ಸಾಕಾಗುವುದಿಲ್ಲ?
ಫೈಲ್ ಅನ್ನು ರಚಿಸಲು ಐದು ನಿಮಿಷಗಳು ಬೇಕಾಗುತ್ತದೆ. ಸಾವಿರಾರು ಪುಟಗಳನ್ನು ಹೊಂದಿರುವ ಸೈಟ್‌ನಲ್ಲಿ ಏನನ್ನು ಲಾಕ್ ಮಾಡಬೇಕೆಂದು ನಿರ್ಧರಿಸುವುದು ಬಹಳಷ್ಟು ಕೆಲಸ. ನಿಮಗೆ ತಜ್ಞರ ಅಗತ್ಯವಿದೆ:
- ಅಂಗಡಿಯು ನೂರಾರು ಫಿಲ್ಟರ್ ಸಂಯೋಜನೆಗಳನ್ನು ಹೊಂದಿದೆ, ಮತ್ತು ಅವುಗಳಲ್ಲಿ ಕೆಲವು ಸಂಚಾರವನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ;
- ಸೈಟ್ ಬಹುಭಾಷಾ, ಸಬ್‌ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಅಥವಾ ಭಾಷೆಗಳಿಗೆ ಪ್ರತ್ಯೇಕ ಫೋಲ್ಡರ್‌ಗಳೊಂದಿಗೆ;
- robots.txt ಅನ್ನು ಸಂಪಾದಿಸಿದ ನಂತರ, ಟ್ರಾಫಿಕ್ ಕಡಿಮೆಯಾಯಿತು, ಮತ್ತು ಯಾವ ನಿಯಮವನ್ನು ದೂಷಿಸಬೇಕೆಂದು ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ;
- ನೀವು robots.txt, ಮೆಟಾ ಟ್ಯಾಗ್‌ಗಳು, ಕೆನಾನಿಕಲ್ ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ಅನ್ನು ಒಂದೇ ವ್ಯವಸ್ಥೆಗೆ ಜೋಡಿಸಬೇಕಾಗಿದೆ.
ನಿಮ್ಮ ವೆಬ್‌ಸೈಟ್‌ಗಾಗಿ ನಾನು ಏನು ಮಾಡಬಹುದು?
ನನ್ನ ಹೆಸರು ವ್ಯಾಲೆರಿ ಡ್ಯಾನ್ಯುಕ್, ನಾನು 12 ವರ್ಷಗಳ ಅನುಭವ ಮತ್ತು 200 ಕ್ಕೂ ಹೆಚ್ಚು ಕ್ಲೈಂಟ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಡೆವಲಪರ್ ಮತ್ತು SEO ತಜ್ಞ. ಸರಿಯಾದ robots.txt ಫೈಲ್ ನಾನು ನಿರ್ಮಿಸುವ ಪ್ರತಿಯೊಂದು ವೆಬ್ಸೈಟ್ನ ಭಾಗವಾಗಿದೆ.
SEO ಮತ್ತು ಪ್ರಚಾರ
- ಟರ್ನ್‌ಕೀ SEO ಆಡಿಟ್: robots.txt, noindex, ಕ್ಯಾನೊನಿಕಲ್ ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ಏಕೀಕೃತ ವ್ಯವಸ್ಥೆಯಾಗಿ, ಯಾದೃಚ್ಛಿಕ ನಿಯಮಗಳ ಗುಂಪಲ್ಲ.
- ಸಾವಯವ ಲೀಡ್‌ಗಳನ್ನು ತರುವ AI-ಚಾಲಿತ SEO ಬ್ಲಾಗ್.
- ಅನುವಾದಕ ಇಲ್ಲದ ಬಹುಭಾಷಾ ವೆಬ್‌ಸೈಟ್ — ಇಲ್ಲಿ robots.txt ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ಎಲ್ಲಾ ಭಾಷೆಗಳನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳಬೇಕು.
ವೆಬ್‌ಸೈಟ್‌ಗಳು ಮತ್ತು ಆನ್‌ಲೈನ್ ಅಂಗಡಿಗಳು
- WooCommerce ಆನ್‌ಲೈನ್ ಸ್ಟೋರ್: 40+ ಟೆಂಪ್ಲೇಟ್‌ಗಳು, €299 — ಕಾರ್ಟ್, ಫಿಲ್ಟರ್‌ಗಳು ಮತ್ತು ಚೆಕ್‌ಔಟ್‌ಗಾಗಿ robots.txt ಜೊತೆಗೆ.
- 1001site ನಲ್ಲಿರುವ ವೆಬ್‌ಸೈಟ್, ಅಲ್ಲಿ ಸೈಟ್ಮ್ಯಾಪ್ ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ ಅನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾಗುತ್ತದೆ. ಚಂದಾದಾರಿಕೆ ಶುಲ್ಕವನ್ನು ಹೊಂದಿರುವ ಬಿಲ್ಡರ್‌ಗಿಂತ ಇದು ಹೇಗೆ ಭಿನ್ನವಾಗಿದೆ? ಟಿಲ್ಡಾ vs. AI-ಚಾಲಿತ ವೆಬ್‌ಸೈಟ್ ವಿಶ್ಲೇಷಣೆ.
CRM, ಲೆಕ್ಕಪತ್ರ ನಿರ್ವಹಣೆ ಮತ್ತು ಯಾಂತ್ರೀಕೃತಗೊಳಿಸುವಿಕೆ
- ಆನ್‌ಲೈನ್ ಸ್ಟೋರ್‌ಗಾಗಿ ಮಾಸಿಕ ಲೆಕ್ಕಪತ್ರ ವ್ಯವಸ್ಥೆ - ಜೆಕ್ ಗಣರಾಜ್ಯದ ಕಂಪನಿಯ ಯೋಜನೆ.
- QuestFlow ಎಂಬುದು AI ಹೊಂದಿರುವ Telegram ಬಾಟ್‌ಗಳಿಗಾಗಿ SaaS ಬಿಲ್ಡರ್ ಆಗಿದೆ.
ಪೋರ್ಟ್‌ಫೋಲಿಯೊದಲ್ಲಿ ಹೆಚ್ಚಿನ ಮಾಹಿತಿ. ಏನು ಒಳಗೊಳ್ಳಬೇಕೆಂದು ಖಚಿತವಿಲ್ಲವೇ? Telegram ನಿಮ್ಮ ವೆಬ್‌ಸೈಟ್ ವಿಳಾಸವನ್ನು ನನಗೆ ಕಳುಹಿಸಿ - ನಿಮ್ಮ ರಚನೆಗೆ ಸರಿಹೊಂದುವ ನಿಯಮಗಳನ್ನು ನಾನು ಸೂಚಿಸುತ್ತೇನೆ.
ಫಲಿತಾಂಶ
- ಆನ್‌ಲೈನ್ robots.txt ಜನರೇಟರ್ ಐದು ನಿಮಿಷಗಳಲ್ಲಿ ಸರಿಯಾದ ಫೈಲ್ ಅನ್ನು ರಚಿಸುತ್ತದೆ: ಪೂರ್ವನಿಗದಿ, ಮಾರ್ಗಗಳು, ಸೈಟ್ಮ್ಯಾಪ್, ಫ್ಲ್ಯಾಗ್‌ಗಳು.
- ನಿರ್ವಾಹಕ ಫಲಕ, ಮರುಬಳಕೆ ಬಿನ್, ಹುಡುಕಾಟ ಮತ್ತು ಸೇವಾ ಫೋಲ್ಡರ್‌ಗಳನ್ನು ಮುಚ್ಚಿ; CSS, JS, ಕ್ಯಾಟಲಾಗ್ ಅಥವಾ ಬ್ಲಾಗ್ ಅನ್ನು ಮುಚ್ಚಬೇಡಿ.
- robots.txt ಸೂಚ್ಯಂಕದಿಂದ ಪುಟಗಳನ್ನು ತೆಗೆದುಹಾಕುವುದಿಲ್ಲ - ಇದಕ್ಕಾಗಿಯೇ
noindexಇದೆ. - ಸಂಕೀರ್ಣ ರಚನೆ, ಫಿಲ್ಟರ್‌ಗಳು ಮತ್ತು ಭಾಷೆಗಳು ಸೆಟಪ್ ಅನ್ನು ತಜ್ಞರಿಗೆ ವಹಿಸಲು ಅಥವಾ 1001site ನಲ್ಲಿ ಸೈಟ್ ನಿರ್ಮಿಸಲು ಒಂದು ಕಾರಣವಾಗಿದೆ, ಅಲ್ಲಿ ಇಂಡೆಕ್ಸಿಂಗ್ ಅನ್ನು ಬಾಕ್ಸ್‌ನ ಹೊರಗೆ ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾಗುತ್ತದೆ.
ಉಚಿತ robots.txt ಜನರೇಟರ್ ಬಳಸಿ ಇದೀಗ ನಿಮ್ಮ ಸ್ವಂತ robots.txt ಫೈಲ್ ಅನ್ನು ರಚಿಸಿ, ಮತ್ತು ನಿಯಮಗಳ ಬಗ್ಗೆ ನಿಮಗೆ ಯಾವುದೇ ಪ್ರಶ್ನೆಗಳಿದ್ದರೆ, Telegram ನನಗೆ ಬರೆಯಿರಿ.
ಮೂಲಗಳು
- PromoPilot ನ robots.txt ಜನರೇಟರ್ ಟೂಲ್ ಪುಟ — ಸೆಟ್ಟಿಂಗ್‌ಗಳು, ಪೂರ್ವನಿಗದಿಗಳು ಮತ್ತು ಪುಟ ಪ್ರಶ್ನೆಗಳು.
- Google ಹುಡುಕಾಟ ಕೇಂದ್ರ - Robots.txt ಫೈಲ್ ಅನ್ನು ಹೇಗೆ ರಚಿಸುವುದು ಮತ್ತು ಸಲ್ಲಿಸುವುದು.
- Next.js ದಸ್ತಾವೇಜನ್ನು - ರೋಬೋಟ್‌ಗಳ ಮೆಟಾಡೇಟಾ ಫೈಲ್.
