Seo slovník

Robots.txt

Cesta k článku: Seo-slovnik.cz » r » Robots.txt
Napsal: Seo-slovnik.cz | Středa 22.08.2012 | Komentáře vypnuty

Robots.txt

Soubor robots.txt patří mezi dobré pomocníky při optimalizaci internetových stránek. A v tomto krátkém článku si povíme více o jeho nastavení a základních vlastnostech. Takže pokud máte internetové stránky, bude se Vám tento článek určitě hodit.

Co je zač?

Robots.txt je jakousi příručkou pro fulltextové vyhledávače. Jde o TXT soubor, který se umisťuje do kořenové složky na FTP účet vašeho webu. Jeho jméno je psáno vždy malými písmeny a přípona smí být vždy jen .txt. Vytvořit si jej můžete v jakémkoli editoru, například v poznámkovém bloku. To jestli se tento soubor na webu nachází poznáte vcelku lehce. Stačí zadat do adresního řádku název webu a za lomítko uvést jméno tohoto souboru. Aby jste nám věřili, zde se můžete podívat na náš robots.txt (http://www.seo-slovnik.cz/robots.txt).

 

A teď se asi ptáte, k čemu nám takový souboru bude a co se stane pokud jej na webu nemám? Pokud jej na webu nemáte, nic vážného se neděje, fulltextové vyhledávače se obejdou i bez něj a budou se chovat, jako by na webu robots.txt byl v nastavení bez omezení . Pokud však potřebujete vyhledávači něco říct, tak se bez robots.txt neobejdete, protože pouze pomocí tohoto souboru lze do jisté míry ovládat chování fulltextových vyhledávačů. Každý fulltextový vyhledávač si tento soubor před prací s webem načte a hledá, zda v něm není nějaké pravidlo, které by měl dodržovat. Pokud nějaké pravidlo najde, vždy se snaží uposlechnout jeho příkazů.

Základní nastavení bez omezení

Základní nastavení tohoto souboru může vypadat takto:


User-agent: *
Disallow:
Sitemap: http://www.seo-slovnik.cz/sitemap.xml

Tento zápis znamená, že pro všechny roboty (User-agent), není nastaveno žádné omezení (Disallow = nedovolit, znemožnit). Tento zápis je nejběžnější a setkáte se s ním u většiny webů. 

Omezujeme přístup do složek

Pokud chcete zakázat přístup do určitých složek, nejčastěji pro jejich nedůležitost nebo pro zamezení indexace citlivých dat, uděláte to takto:


User-agent: *
Disallow: /tpl/
Disallow: /admin/
Sitemap: http://www.seo-slovnik.cz/sitemap.xml

Tento zápis říká, že všichni roboti nesmí přistupovat do adresářů "tpl" a "admin".

Omezujeme přístup na URL adresy s určitým řežezcem

Pokud potřebujete zakázat přístup robota jen na určité URL adresy, tak můžete použit tento zápis.


User-agent: *
Disallow: /tpl/
Disallow: /admin/
Sitemap: http://www.seo-slovnik.cz/sitemap.xml

Rubriky
Rubrika Článek

Veškerý obsah je majetkem autorů, jeho další šíření bez souhlasu je zakázáno, 2008 - 2017 © www.seo-slovnik.cz - Váš internetový rádce