Jenereta ya robots.txt mtandaoni: jinsi ya kuunda faili sahihi katika dakika 5 bila makosa

Jibu fupi: ili kuunda faili ya robots.txt mtandaoni, fungua jenereta ya PromoPilot robots.txt, chagua mpangilio uliowekwa awali (Desturi, Allow all, Deny all, WordPress, Laravel, au Next.js), ingiza njia za Disallow na Allow, ingiza anwani ya tovuti ya mstari wa Sitemap, na kwa hiari angalia vitambaa vya Crawl-delay au block AI. Faili iliyokamilishwa itaonekana upande wa kulia—unaweza kuinakili au kuipakua. Ni bure na haihitaji usajili wowote.

Ninaandika robots.txt kwa kila tovuti mpya na najua jinsi ilivyo rahisi kufanya makosa kwa mikono: nafasi ya ziada, mkwaju uliosahaulika, sheria nje ya kizuizi. Kijenzi cha robots.txt huondoa tatizo hili—unafikiria cha kufunga, si sintaksia. Hapa chini, tutaelezea jinsi ya kuitumia, cha kufunga, na wapi pa kuweka faili iliyokamilishwa.

Jenereta ya robots.txt hufanya nini?

Jenereta ni umbo badala ya kihariri maandishi. Unachagua mipangilio, na kifaa huikusanya kuwa faili halali na kuionyesha katika hakikisho la moja kwa moja.

Ni muhimu kuelewa kikomo: jenereta huunda faili, lakini haiangalii iliyopo. Ikiwa tayari una faili ya robots.txt na unataka kupata hitilafu ndani yake, unahitaji kuchanganua faili ya robots.txt—makala katika sehemu inayofuata yamejitolea kwa hili.

Jinsi ya kuunda robots.txt mtandaoni?

1. Fungua jenereta ya robots.txt.
2. Chagua mpangilio uliowekwa awali kwa injini yako. Ikiwa injini yako haijaorodheshwa, chagua "Maalum."
3. Ingiza anwani ya tovuti — https://example.com. Hii itaunda mstari wa Sitemap.
4. Ongeza njia za Kataa ruhusa, moja kwa kila mstari: /admin/, /tmp/, /search/.
5. Ikiwa ni lazima, ongeza Ruhusu vighairi ndani ya folda zilizowekewa vikwazo, kama vile /uploads/images/.
6. Weka alama kwenye visanduku: Ramani ya tovuti, Kutambaa-kuchelewesha, kuzuia vitambaa vya AI.
7. Nakili au pakua faili na uipakue kwenye mzizi wa tovuti.

Upande wa kushoto wa ukurasa kuna mipangilio, na upande wa kulia kuna onyesho la awali la faili moja kwa moja lenye vitufe vya "Nakili" na "Pakua robots.txt".

Faili lazima iwekwe kwenye mzizi wa kikoa: https://example.com/robots.txt. Roboti hazitaipata kwenye folda ya /blog/robots.txt au kwenye kikoa kingine kidogo—kila kikoa kidogo kina faili yake ya robots.txt.

Mahali hasa pa kupakia faili iliyopakuliwa inategemea jukwaa:

• Upangishaji wa kawaida - kupitia meneja wa faili wa paneli au FTP hadi kwenye folda ambapo ukurasa mkuu unapatikana (mara nyingi public_html au www).
• WordPress — ikiwa hakuna faili halisi, injini hutumikia faili ya robots.txt pepe. Kupakia faili kwenye mzizi huibadilisha; chaguo la pili ni kutumia kihariri faili katika programu-jalizi ya SEO.
• Next.js na mifumo mingine —faili huwekwa kwenye folda public au hutolewa kutoka kwa msimbo wa mradi ili isipotee wakati wa usanidi unaofuata.
• Wajenzi wa tovuti - faili kwa kawaida huhaririwa katika mipangilio ya SEO badala ya kupakiwa mwenyewe.

Faili lazima ipewe jina robots.txt kwa herufi ndogo na ihifadhiwe katika usimbaji wa UTF-8 kama maandishi wazi. Baada ya kupakua, ifungue kwenye kivinjari chako: ukiona maandishi yako, kila kitu kiko sawa.

Ni nini kinachopaswa na kisichopaswa kufungwa katika robots.txt?

Kanuni kuu: funga chochote ambacho hakiongezi thamani katika utafutaji na kupoteza muda wa roboti. Usifunge chochote ambacho ni muhimu kwa roboti kuelewa ukurasa.

Kwa kawaida hufungwa:

• jopo la msimamizi na akaunti ya kibinafsi: /admin/, /wp-admin/, /account/;
• gari la kukokotwa na malipo: /cart/, /checkout/;
• utafutaji wa ndani: /search/, /?s=;
• huduma na folda za muda: /tmp/, /cgi-bin/;
• Michanganyiko isiyo na mwisho ya vichujio na chaguzi za kupanga - nadhifu, tu ikiwa kuna kurasa tofauti za kutua kwa vichujio vinavyohitajika.

Kamwe usifunge:

• CSS, JavaScript, na picha—bila hizo, Google haitaona ukurasa kama vile mwanadamu angeuona;
• katalogi, blogu, kadi za bidhaa na kurasa za kutua;
• Kurasa unazotaka kuondoa kutoka kwenye faharasa - kwa hili unahitaji noindex, na roboti lazima iweze kuisoma.

Hapa kuna faili utakayopata kwa duka la kawaida WordPress na WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

Kuhusu bendera. Google haizingatii ucheleweshaji wa kutambaa —iwashe tu ikiwa seva yako inasumbuliwa na roboti zingine. Kuzuia vitambaaji vya AI ni uamuzi wa kibiashara: ikiwa unataka ChatGPT, Gemini, na Perplexity wajue kukuhusu na kukupendekeza, usiwazuie.

Jambo lingine la vitendo ni toleo la majaribio la tovuti. Kwa nakala ya uundaji, tumia mpangilio wa awali wa "Kataa Zote", lakini hakikisha unabadilisha faili wakati wa uzinduzi: Disallow: / iliyosahaulika ndiyo inayopunguza trafiki kwa tovuti mpya mara nyingi.

Ulinganisho: Jenereta ya PromoPilot na Njia Nyingine za Kuunda Robots.txt

Hitimisho: Jenereta ndiyo njia ya haraka zaidi ya kupata faili halali bila kujua sintaksia. Programu-jalizi na msimbo wa mradi ni rahisi wakati faili inahitaji kubadilishwa pamoja na tovuti.

Jenereta ni mojawapo ya zana 87 za SEO za PromoPilot bila malipo. Baada ya kupakua faili, iangalie kwa kutumia kichambuzi cha robots.txt, na kwa mstari wa ramani ya tovuti, tumia jenereta ya sitemap.xml—zote zimefunikwa katika makala zilizo karibu katika sehemu hii.

Vikwazo vya Jenereta: Mambo Ambayo Hayatakufanyia Kazi

Jenereta haijui muundo wa tovuti yako. Mpangilio wa awali WordPress utafunga njia za kawaida za huduma, lakini hautakisia kwamba vichujio vya duka lako viko ndani ya /filter/ na utafutaji wa ndani katika /find/. Utahitaji kuingiza njia hizi mwenyewe.

Haipakii faili kwenye seva au kuangalia kama faili inapatikana katika /robots.txt ikiwa na msimbo wa hali wa 200. Baada ya kupakia, fungua anwani kwenye kivinjari au uitumie kupitia kichanganuzi.

Na haibadilishi noindex: ikiwa lengo ni kuondoa kurasa kutoka kwa matokeo ya utafutaji, robots.txt haifai. Hatimaye, faili hailindi data yako: ni ya umma, na mtu yeyote anaweza kusoma sehemu ambazo umefunga. Siri zimefichwa nyuma ya nenosiri.

Ni lini kifaa cha bure hakitoshi?

Kutengeneza faili huchukua dakika tano. Kuamua cha kufunga kwenye tovuti yenye maelfu ya kurasa ni kazi nyingi. Unahitaji mtaalamu ikiwa:

• Duka hilo lina mamia ya michanganyiko ya vichujio, na baadhi yake hutoa trafiki;
• tovuti hii ina lugha nyingi, kwenye vikoa vidogo au ikiwa na folda tofauti za lugha;
• Baada ya kuhariri robots.txt, trafiki ilipungua, na haijulikani ni sheria gani inayosababisha lawama;
• Unahitaji kupanga robots.txt, meta tagi, kanuni, na ramani ya tovuti katika mfumo mmoja.

Ninaweza kufanya nini kwa ajili ya tovuti yako?

Jina langu ni Valeriy Danyuk, mimi ni msanidi programu na mtaalamu wa SEO mwenye uzoefu wa miaka 12 na zaidi ya wateja 200. Faili sahihi ya robots.txt ni sehemu ya kila tovuti ninayoijenga.

SEO na utangazaji

• Ukaguzi wa Turnkey SEO: robots.txt, noindex, kanuni, na ramani ya tovuti kama mfumo uliounganishwa, si seti ya sheria nasibu.
• Blogu ya SEO inayoendeshwa na AI inayoleta wateja wapya.
• Tovuti yenye lugha nyingi bila mtafsiri — ambapo robots.txt na ramani ya tovuti lazima zizingatie lugha zote.

Tovuti na maduka ya mtandaoni

• Duka la mtandaoni WooCommerce: Violezo 40+, €299 — pamoja na robots.txt kwa ajili ya kikapu, vichujio, na malipo.
• Tovuti kwenye 1001site, ambapo ramani ya tovuti na uorodheshaji husanidiwa kiotomatiki. Hii inatofautianaje na mjenzi mwenye ada ya usajili? Uchambuzi wa tovuti unaoendeshwa na Tilda dhidi ya AI.

CRM, uhasibu na otomatiki

• Mfumo wa uhasibu wa kila mwezi kwa duka la mtandaoni - mradi wa kampuni kutoka Jamhuri ya Czech.
• QuestFlow ni mjenzi wa SaaS Telegram zenye AI.

Zaidi katika kwingineko. Hujui cha kufunika? Nitumie anwani ya tovuti yako katika Telegram - nitapendekeza sheria za muundo wako.

Matokeo

1. Jenereta ya robots.txt mtandaoni huunda faili sahihi katika dakika tano: mipangilio iliyowekwa mapema, njia, ramani ya tovuti, bendera.
2. Funga paneli ya msimamizi, pipa la taka, utafutaji, na folda za huduma; usifunge CSS, JS, katalogi, au blogu.
3. robots.txt haiondoi kurasa kutoka kwenye faharasa - hii ndiyo maana ya noindex.
4. Muundo tata, vichujio, na lugha ni sababu ya kukabidhi usanidi kwa mtaalamu au kujenga tovuti kwenye 1001site, ambapo uorodheshaji umeundwa nje ya boksi.

Unda faili yako mwenyewe ya robots.txt hivi sasa kwa kutumia jenereta ya bure ya robots.txt, na ikiwa una maswali yoyote kuhusu sheria, niandikie kwenye Telegram.

Vyanzo

• Ukurasa wa zana ya robots.txt ya PromoPilot ya kizalishaji — mipangilio, mipangilio iliyowekwa awali, na maswali ya ukurasa.
• Kituo cha Utafutaji Google - Jinsi ya Kuunda na Kuwasilisha Faili ya Robots.txt.
• Nyaraka za Next.js - faili ya metadata ya roboti.