Ett av verktygen för att hantera indexering av webbplatser av sökmotorer är robots.txt-filen. Den används främst för att förhindra att alla eller bara vissa robotar laddar ner innehållet i vissa sidgrupper. Detta gör att du kan bli av med "skräp" i sökmotorresultaten och i vissa fall förbättra resursens rankning avsevärt. Det är viktigt att ha rätt robots.txt-fil för att programmet ska lyckas.
Nödvändig
textredigerare
Instruktioner
Steg 1
Gör en lista över robotar för vilka särskilda uteslutningsregler kommer att ställas in eller direktiv för den utökade robots.txt-standarden, liksom icke-standardiserade och specifika direktiv (tillägg för en specifik sökmotor) kommer att användas. Ange värdena i fältet User-Agent i HTTP-förfrågningsrubrikerna som skickas av de valda robotarna till platsservern i den här listan. Namnen på robotarna finns också i referensavsnitten på sökmotorwebbplatserna.
Steg 2
Välj de grupper av URL-adresser för webbplatsresurserna som åtkomst till alla robotar i listan som sammanställts i det första steget. Utför samma operation för alla andra robotar (en obestämd uppsättning indexeringsrobotar). Med andra ord bör resultatet vara flera listor som innehåller länkar till sektioner på webbplatsen, sidgrupper eller källor till medieinnehåll som det är förbjudet att indexera. Varje lista måste motsvara en annan robot. Det bör också finnas en lista med förbjudna webbadresser för alla andra bots. Skapa listor baserat på jämförelsen av webbplatsens logiska struktur med den fysiska platsen för data på servern, samt genom att gruppera sidorna på sidorna enligt deras funktionella egenskaper. Du kan till exempel inkludera innehållet i alla tjänstekataloger (grupperade efter plats) eller alla användarprofilsidor (grupperade efter syfte) i avvisningslistorna.
Steg 3
Välj URL-tecknen för var och en av resurserna i listorna som sammanställts i det andra steget. När du bearbetar uteslutningslistor för robotar som endast använder standardrobot.txt-direktiv och odefinierade robotar, markera de unika webbdelarna med maximal längd. För de återstående adressuppsättningarna kan du skapa mallar i enlighet med specifikationerna för specifika sökmotorer.
Steg 4
Skapa en robots.txt-fil. Lägg till grupper av direktiv till den, var och en motsvarar en uppsättning förbjudande regler för en specifik robot vars lista sammanställdes i det första steget. Det senare bör följas av en grupp direktiv för alla andra robotar. Separata regelgrupper med en enda tom rad. Varje regleruppsättning måste börja med ett User-agent-direktiv som identifierar roboten, följt av ett Disallow-direktiv som förbjuder indexering av URL-grupper. Gör de linjer som erhållits i det tredje steget med värdena i Disallow-direktiven. Separera direktiven och deras betydelse med ett kolon. Tänk på följande exempel: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Denna uppsättning direktiv instruerar huvudroboten för Yandex-sökmotor indexerar inte webbadressen som innehåller understrängning / temp / data / bilder /. Det förhindrar också att alla andra robotar indexerar webbadresser som innehåller / temp / data /.
Steg 5
Komplettera robots.txt med utökade standarddirektiv eller specifika sökmotordirektiv. Exempel på sådana direktiv är: Värd, Sitemap, Begäran, Besöktid, Genomsökning.
