Turinys
Kai paieškos sistemos atvyksta į svetainę, jos pradeda ieškoti failo robots.txt, kad jį perskaitytų. Tai priklausys nuo jo turinio, kad paieškos voras toliau veiktų svetainėje arba pereitų į kitą.„Robots.txt“ faile yra puslapių, kuriuos leidžiama indeksuoti paieškos sistemai, sąrašas, o tai savo ruožtu selektyviai riboja prieigą prie tam tikrų paieškos sistemų.
Agento vartotojas: Jis naudojamas nurodyti, kuris robotas vykdys pateiktus užsakymus.
Neleidžia: Jis naudojamas nustatyti, kurie puslapiai paieškos sistemoje bus pašalinti analizės proceso metu. Svarbu, kad kiekvienas puslapis, kurį reikia išskirti, turėtų turėti atskiras eilutes ir prasidėti simboliu /. Taikant šią simbologiją, ji patikslinama; į „visus svetainės puslapius“.
Labai svarbu, kad faile robots.txt nebūtų tuščių eilučių.
Kai kurie pavyzdžiai pateikti žemiau;
- Kai norite išskirti visus puslapius; vartotojo agentas yra: Neleisti: /.
- Jei tikslas nėra išskirti bet kurį puslapį, tada robotos.txt failas svetainėje neturi būti, tai yra, visi svetainės puslapiai bus aplankyti vienodai.
- Kai neįtraukiamas konkretus robotas, tai bus:
- Agento naudotojas: Roboto vardas Neleisti: / Agento naudotojas: * Neleisti:
- Kai puslapis neįtraukiamas; Agento naudotojas: * Neleisti: /directory/path/page.html
- Kai visi katalogo puslapiai bus pašalinti iš svetainės su atitinkamais poaplankais, tai bus; Agento naudotojas: * Neleisti: / directory /
Kita funkcija - neleisti indeksuoti svetainėje esančio pasikartojančio turinio, kad nebūtų baudžiama.
Kitos aplinkybės, į kurias reikia atsižvelgti, yra tai, kad kai kurie robotai gali nepaisyti šiame faile pateiktų nurodymų, taip pat turi būti aišku, kad failas yra viešas, nes visi, kurie rašo www.example.com/robots.txt, gali jį pasiekti.
Dabar gali kilti klausimas; Kaip sukurti failą robots.txt?
Tiesą sakant, tai gana paprasta, nes tai yra tekstinis dokumentas pavadinimu „robots.txt“ ir įkeliamas į puslapio domeno šaknį, ten paieškos varikliai eis ieškoti, kad jį perskaitytų.
Pagrindinis robots.txt failas gali būti:
Vartotojo atstovas: *
Neleisti: / privatus /
Sukuriamos instrukcijos, kaip uždrausti prieigą prie katalogo, kuris bus „privatus“ visoms paieškos sistemoms.
Komanda nustato, kad ji skirta visiems robotams (User-agent: *), nurodant, kad katalogas neleidžiamas (Disallow: / private /).
„Google“ paieškos varikliui naudojamas parametras yra; Vartotojo agentas: „Googlebot“
Kaip minėta anksčiau, jo naudojimas SEO naudojamas siekiant apriboti robotų prieigą prie dubliuojamo turinio.Ar jums patiko ir padėjo ši pamoka?Galite apdovanoti autorių paspausdami šį mygtuką, kad suteiktumėte jam teigiamą tašką
