Paieškos varikliuose yra robotai, dar žinomi kaip vorai ar robotai, kurie tikrina ir indeksuoja tinklalapius. Jei jūsų svetainė ar puslapis yra kuriamas arba juose yra neskelbtino turinio, galbūt norėsite užblokuoti robotus, kad jie negalėtų tikrinti ir indeksuoti jūsų svetainės. Sužinokite, kaip užblokuoti visas svetaines, puslapius ir nuorodas naudojant robots.txt failus ir užblokuoti konkrečius puslapius bei nuorodas naudojant HTML žymas. Skaitykite toliau, kad sužinotumėte, kaip užblokuoti tam tikrų robotų prieigą prie jūsų turinio.
Žingsniai
1 būdas iš 2: paieškos sistemų blokavimas naudojant robots.txt failus
Žingsnis 1. Supraskite robots.txt failus
„Robots.txt“failas yra paprastas arba ASCII tekstinis failas, kuris informuoja paieškos variklius, ką jiems leidžiama pasiekti jūsų svetainėje. Failų ir aplankų, išvardytų faile robots.txt, paieškos varikliai negali tikrinti ir indeksuoti. Jums gali prireikti failo robots.txt, jei:
- Norite užblokuoti konkretų turinį iš paieškos variklių.
- Kuriate tiesioginę svetainę ir nesate pasiruošę, kad paieškos vorai nuskaitytų ir indeksuotų svetainę
- Norite apriboti prieigą prie gerbiamų robotų.
Žingsnis 2. Sukurkite ir išsaugokite ir robots.txt failą
Norėdami sukurti failą, paleiskite paprasto teksto arba kodo redaktorių. Išsaugokite failą kaip: robots.txt. Failo pavadinimas turi būti rašomas mažosiomis raidėmis.
- Nepamirškite „s“.
- Išsaugodami failą, pasirinkite plėtinį „.txt“. Jei naudojate „Word“, pasirinkite parinktį „Paprastas tekstas“.
Žingsnis 3. Parašykite visiškai neleidžiamą failą robots.txt
Galima užkirsti kelią visiems gerbiamiems paieškos varikams tikrinti ir indeksuoti jūsų svetainę naudojant „visiškai neleisti“failą robots.txt. Į teksto failą įrašykite šias eilutes:
Vartotojo agentas: * Neleisti: /
Žingsnis 4. Parašykite sąlyginio leidimo failą robots.txt
Užuot užblokavę visus robotus, apsvarstykite galimybę blokuoti tam tikrus vorus iš tam tikrų jūsų svetainės sričių. Įprastos sąlyginio leidimo komandos apima:
- Užblokuokite konkretų robotą: pakeiskite žvaigždutes šalia Vartotojo atstovas su googlebot, googlebot-naujienos, googlebot vaizdas, bingbot, arba teoma.
-
Užblokuokite katalogą ir jo turinį:
User-agent: * Neleisti: /sample-directory /
-
Blokuoti tinklalapį:
Vartotojo agentas: * Neleisti: /private_file.html
-
Blokuoti vaizdą:
User-agent: googlebot-image Neleisti: /images_mypicture.jpg
-
Blokuoti visus vaizdus:
User-agent: googlebot-image Neleisti: /
-
Blokuoti konkretų failo formatą:
Vartotojo agentas: * Neleisti: /p*.gif$
5 žingsnis. Skatinkite robotus indeksuoti ir tikrinti jūsų svetainę
Daugelis žmonių nori pasveikinti paieškos variklius, o ne užblokuoti, nes nori, kad visa jų svetainė būtų indeksuojama. Norėdami tai padaryti, turite tris galimybes. Pirma, galite atsisakyti kurti failą robots.txt-kai robotas neranda robots.txt failo, jis ir toliau tikrins ir indeksuos visą jūsų svetainę. Antra, galite sukurti tuščią failą robots.txt-robotas suras failą robots.txt, atpažins, kad jis tuščias, ir toliau tikrins bei indeksuos jūsų svetainę. Galiausiai galite parašyti visiškai leidžiamą failą robots.txt. Naudokite kodą:
Vartotojo agentas: * Neleisti:
Žingsnis 6. Išsaugokite txt failą savo domeno šaknyje
Parašę failą robots.txt, išsaugokite pakeitimus. Įkelkite failą į savo svetainės šakninį katalogą. Pavyzdžiui, jei jūsų domenas yra www.yourdomain.com, įdėkite failą robots.txt į www.yourdomain.com/robots.txt.
2 metodas iš 2: paieškos sistemų blokavimas naudojant meta žymas
Žingsnis 1. Supraskite HTML robotų meta žymas
„Robots“metažyma leidžia programuotojams nustatyti robotų ar paieškos variklių parametrus. Šios žymos naudojamos blokuoti robotams indeksuoti ir tikrinti visą svetainę ar tik jos dalis. Taip pat galite naudoti šias žymas, kad neleistumėte konkrečiam paieškos varikliui indeksuoti jūsų turinio. Šios žymos rodomos jūsų HTML failo galvutėje.
Šį metodą dažniausiai naudoja programuotojai, neturintys prieigos prie svetainės šakninio katalogo
Žingsnis 2. Blokuoti robotus iš vieno puslapio
Galima užblokuoti visus robotus, kad jie neindeksuotų puslapio ir nesektų puslapio nuorodų. Ši žyma dažniausiai naudojama, kai kuriama tiesioginė svetainė. Kai svetainė bus baigta, primygtinai rekomenduojama pašalinti šią žymą. Jei nepašalinsite žymos, jūsų puslapis nebus indeksuojamas arba jo nebus galima ieškoti paieškos sistemose.
- Galite neleisti robotams indeksuoti puslapio ir sekti bet kurias nuorodas:
- Galite neleisti visiems robotams indeksuoti puslapio:
- Galite neleisti visiems robotams sekti puslapio nuorodų:
Žingsnis 3. Leiskite robotams indeksuoti puslapį, bet nesekite jo nuorodų
Jei leisite robotams indeksuoti puslapį, puslapis bus indeksuojamas; jei neleisite vorams sekti nuorodų, nuorodos kelias iš šio konkretaus puslapio į kitus puslapius nutrūks. Įveskite šią kodo eilutę į antraštę:
Žingsnis 4. Leiskite paieškos vorams sekti nuorodas, bet neindeksuoti puslapio
Jei leisite robotams sekti nuorodas, nuorodos kelias iš šio konkretaus puslapio į kitus puslapius liks taktiškas; jei apribosite jiems indeksuoti puslapį, jūsų tinklalapis nebus rodomas indekse. Įveskite šią kodo eilutę į antraštę:
Žingsnis 5. Užblokuokite vieną išeinančią nuorodą
Jei norite paslėpti vieną nuorodą puslapyje, įdėkite rel žymę nuorodos žymoje. Galbūt norėsite naudoti šią žymą, kad užblokuotumėte nuorodas kituose puslapiuose, nukreipiančiuose į konkretų puslapį, kurį norite užblokuoti.
Įterpti nuorodą į užblokuotą puslapį
Žingsnis 6. Užblokuokite konkretų paieškos variklį
Užuot blokavę visus robotus iš savo tinklalapio, galbūt norėsite neleisti vienam robotui tikrinti ir indeksuoti puslapio. Norėdami tai padaryti, metažyme „robotą“pakeiskite konkretaus roboto pavadinimu. Pavyzdžiai: googlebot, googlebot-naujienos, googlebot vaizdas, bingbot, ir teoma.
Žingsnis 7. Skatinkite robotus tikrinti ir indeksuoti jūsų puslapį
Jei norite užtikrinti, kad jūsų puslapis bus indeksuojamas ir bus laikomasi jo nuorodų, galite įterpti stebėjimo leidimą meta „robotas“ pažymėti antraštėje. Naudokite šį kodą:
