Mi az a robots.txt fájl?

Bevezetés

A robots.txt fájl egy egyszerű szövegfájl, amely a Robots Kizárási Protokoll (REP) része. Utasításokat tartalmaz a keresőmotorok számára arról, hogyan férhetnek hozzá és indexelhetik az oldalt. Ahhoz, hogy hatékony legyen, a robots.txt fájlt a webhely gyökérmappájában kell elhelyezni (például: https://domeniu.ro/robots.txt).

A robots.txt fájl fontossága

A robots.txt fájl kulcsfontosságú a botok és a webhely közötti interakció kezelésében. Számos bot van, amely agresszíven indexálhatja a webhelyet, ami befolyásolhatja a teljesítményét. E fájl használatával Ön:

• Szabályozza a keresőmotorok hozzáférését a webhely tartalmához.
• Lehetővé teszi a kívánt robotok (pl. Google, Bing) ábázolását.
• Korlátozza a hozzáférést érzékeny mappákhoz vagy fájlokhoz.

Felhasználási példák

1. Egy adott keresőmotor blokkolása

A Bing keresőmotor ( bingbot ) hozzáférésének blokkolásához a következő sorokat kell a robots.txt fájlba beilleszteni:

User-agent: bingbotTiltott: /

Magyarázat:
Felhasználói ügynök: Meghatározza a keresőmotort, amelyre a beállítások vonatkoznak.
Elutasítás: Meghatározza a webhely azon részeit, amelyekhez a robotnak nincs hozzáférése. A / szimbólum blokkolja az egész webhelyhez való hozzáférést.

2. Minden keresőmotor blokkolása

A weboldalhoz való hozzáférés megakadályozásához minden keresőmotor számára használja:

Felhasználói ügynök: *Tiltott: /

Magyarázat: A * (helyettesítő karakter) a User-agent mezőben minden keresőmotorra vonatkozik, és a / blokkolja az egész webhelyhez való hozzáférést.

3. Hozzáférés korlátozása bizonyos mappákhoz vagy fájlokhoz

A mappa és egy konkrét fájl hozzáférésének blokkolásához konfigurálja:

Felhasználói ügynök: *Tiltás: /blog/Disallow: /newsletter.php

Magyarázat: Minden keresőmotort blokkolni fogunk a /blog/ mappa és a newsletter.php fájl indexelésétől.

A robots.txt fájl létrehozása

A robots.txt fájl létrehozásához használhat egy online generátort, amely segít Önnek gyorsan és hibátlanul testreszabni a szabályokat. Az online generátorok példái keresés útján találhatók: Robots.txt Generátor.

Miután létrehozta a fájlt, töltse fel azt a webhely gyökérkönyvtárába fájlkezelő vagy FTP-kliens segítségével.