in Desenvolvimento WEB, SEO

robots.txt – Restrições aos buscadores

Por quê?

Muitas vezes precisamos “esconder” determinados diretórios, arquivos e até mesmo sites inteiros dos gulosos robôs de busca, também conhecidos como robots e webcrawlers. Com um simples arquivo texto chamado robots.txt, podemos fazer isso!

Esse arquivo deve ser salvo no diretório ROOT do seu servidor web com o nome de robots.txt de forma que possa ser acessível a todos como esse exemplo:

http://www.seusite.com.br/robots.txt

O que são Robot’s?

Robot (ou robô) é um programa de computador que percorre automaticamente as páginas da Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações de conteúdo.
Hoje em dia, alguns robôs estão tão avançados que podem aceitar um sitemap e até preencher um formulário para ver a saída no navegador, como é o caso do GoogleBot, motor de busca do Google.
O arquivo robots.txt foi proposto como um padrão para esses mecanismos, onde nós, desenvolvedores podemos informar diretórios e arquivos que possam ou não ser indexados por eles. Não podemos confundir com possibilidade de acesso, esse arquivo, simplesmente faz como que o conteúdo não seja indexado. Para proibir acesso, utilizamos as permissões de arquivos e/ou o arquivo .htaccess.

O arquivo robots.txt

Existem alguns sites que geram esse arquivo conforme o preenchimento de um formulário, mas vou explicar aqui como você mesmo pode criar o seu.

Basicamente ele é dividido em três partes:

  1. Definição dos motores
  2. Permissões
  3. Sitemap (somente para Yahoo, Google e MSN)
Você pode criar esse arquivo em qualquer editor de texto, como o NOTEPAD ou VI por exemplo.
1. Definições de motores
É possível setar diferentes permissões para motores de busca distintos, por exemplo, deixar o motor do Yahoo ver o diretório “produtos” mas o Google não. Essas definições são feitas com a diretiva:
User-agent

Possíveis valores para User-agent, são:

  • Google: User-agent: Googlebot
  • Yahoo: User-agent: Slurp
  • MSN: User-agent: msnbot
  • Todos os mecanismos: User-agent: *

Seguindo nosso exemplo, nosso robots.txt ficaria da seguinte forma:

User-agent:Slurp
Disallow: /
Allow: /produtos

User-agent:Googlebot
Allow: /
Disallow: /produtos

2. Permissões

As permissões são facilmente definidas pelas diretivas Allow e Disallow, para permitir e negar, respectivamente os diretórios ou arquivos sequentes.

User-agent:*
Allow:/
Disallow: /admin
Disallow: /fotos
Allow: /produtos
Allow: /artigos

O Exemplo acima utiliza o caractere “/” para definir todo o site e nega a indexação dos diretórios admin e fotos, liberando os diretórios produtos e artigos.

Assim como em expressões regulares, temos os caractéres “*” (asterísco) e “$” (sifrão), que indicam,  “qualquer coisa” e “terminado com” respectivamente, alguns exemplos abaixo:

User-agent:*
Disallow:produtos/*.png$
Allow:produtos/
Disallow:admin/*.js
Disallow:fotos/*?*cat=cordas

O Googlebot, preenche os formulários contidos na página para verificar a resposta obtida. Para bloquearmos esse tipo de ação, caso estejamos utilizando o método GET, podemos fazer da seguinte forma.

</pre>
<form action="search.php?s=" method="get">...</form>
<pre>

Nesse caso precisamos negar a indexação de “search.php?s” para isso acrescentaremos a seguinte linha na seção do googlebot no nosso robots.txt

User-agent: Googlebot
Disallow: /search.php?s=*

Quando especificar mais de um motor ele ignora o resto e passa a utilizar somente as especificações daquele motor, isto é, NÃO HÁ HERANÇA!

Meta-tag’s e links

Também é possível especificar uma META-TAG para fazer a proibição diretamente na página:

<meta name="robots" content="noindex,nofollow">
<a href="foo.php" rel="nofollow">Foo</a>

O “parâmetro” noindex, diz ao bot que o site não deve ser indexado e o parâmetro nofollow, que o site no link não deve ser seguido.
Nofollow é muito útil em seções de comentários, onde os spans abusam da nossa paciência. Essa forma não é eficaz para acabar com essa praga, mas pelo menos o eles não ganham pontos com links no Googlebot por exemplo.

Links para testar

É possível testar se os caminhos especificados no robots.txt realmente existem. Fora a identificação de prováveis erros de sintaxe em arquivos muito grandes e gerados manualmente, não vejo muita utilidade nesses caras. Para testar utilize o próprio arquivo robots do Google, até nele eles apontam erros, principalmente relacionados ao ‘*’.

http://www.searchenginepromotionhelp.com/m/robots-text-tester/robots-checker.php
http://www.frobee.com/robots-txt-check

Exemplos

Podemos visualizar alguns bons exemplos nos links abaixo:

http://www.google.com.br/robots.txt
http://www.facebook.com.br/robots.txt (leia os direitos)
http://www.marketingdebusca.com.br/robots.txt
http://www.mestreseo.com.br/robots.txt (bem humorado hehe)

Segundo o site BrPoint, o seguinte robots.txt é ideal para quem utiliza WordPress.

User-agent: *
# remova os diretorios
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tags/
User-agent: Googlebot
# remover scrips css e afins
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
# qualquer endereco que contenha ?
Disallow: /*?*
# permitir o adsense em qualquer url
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
#Sitemap
Sitemap: http://www.brpoint.net/sitemap.xml

Geradores de robots.txt

Fontes:

Write a Comment

Comment

*

Este site utiliza o Akismet para reduzir spam. Fica a saber como são processados os dados dos comentários.

Webmentions

  • small ysl monogram leather satchel bag

    small ysl monogram leather satchel bag

    robots.txt – Restrições aos buscadores – Blog do Missel

  • makita angle grinder 9557nb

    makita angle grinder 9557nb

    robots.txt – Restrições aos buscadores – Blog do Missel

  • davina mccall pregnancy workout dvd

    davina mccall pregnancy workout dvd

    robots.txt – Restrições aos buscadores – Blog do Missel

  • enco benchtop milling machine

    enco benchtop milling machine

    robots.txt – Restrições aos buscadores – Blog do Missel

  • makita 9557pbx1 angle grinder

    makita 9557pbx1 angle grinder

    robots.txt – Restrições aos buscadores – Blog do Missel

  • natalie cassidy the perfect ten

    natalie cassidy the perfect ten

    robots.txt – Restrições aos buscadores – Blog do Missel

  • pastemate wallpaper table

    pastemate wallpaper table

    robots.txt – Restrições aos buscadores – Blog do Missel

  • learn the facts here now

    learn the facts here now

    robots.txt – Restrições aos buscadores – Blog do Missel

  • tobacco pipes starter kits

    tobacco pipes starter kits

    robots.txt – Restrições aos buscadores – Blog do Missel

  • oil for hatsan air rifles

    oil for hatsan air rifles

    robots.txt – Restrições aos buscadores – Blog do Missel

  • black crossbody bags

    black crossbody bags

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Visit Webpage

    Visit Webpage

    robots.txt – Restrições aos buscadores – Blog do Missel

  • makita angle grinder dust shroud

    makita angle grinder dust shroud

    robots.txt – Restrições aos buscadores – Blog do Missel

  • 6 Inch Digital Caliper

    6 Inch Digital Caliper

    robots.txt – Restrições aos buscadores – Blog do Missel

  • portland leather tote

    portland leather tote

    robots.txt – Restrições aos buscadores – Blog do Missel

  • gucci bags crossbody

    gucci bags crossbody

    robots.txt – Restrições aos buscadores – Blog do Missel

  • makita 4 1 2 angle grinder

    makita 4 1 2 angle grinder

    robots.txt – Restrições aos buscadores – Blog do Missel

  • similar website

    similar website

    robots.txt – Restrições aos buscadores – Blog do Missel

  • talking to

    talking to

    robots.txt – Restrições aos buscadores – Blog do Missel

  • aldo handbags

    aldo handbags

    robots.txt – Restrições aos buscadores – Blog do Missel

  • betsy johnson wristlet

    betsy johnson wristlet

    robots.txt – Restrições aos buscadores – Blog do Missel

  • who makes electriq tvs

    who makes electriq tvs

    robots.txt – Restrições aos buscadores – Blog do Missel

  • husqvarna chainsaw sharpener

    husqvarna chainsaw sharpener

    robots.txt – Restrições aos buscadores – Blog do Missel

  • coach small wallet in crossgrain leather

    coach small wallet in crossgrain leather

    robots.txt – Restrições aos buscadores – Blog do Missel

  • betsey johnson wallets Nordstrom

    betsey johnson wallets Nordstrom

    robots.txt – Restrições aos buscadores – Blog do Missel

  • top handle shoulder bag

    top handle shoulder bag

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Recommended Reading

    Recommended Reading

    robots.txt – Restrições aos buscadores – Blog do Missel

  • travel tote with wheels

    travel tote with wheels

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Crossbody Bags Men

    Crossbody Bags Men

    robots.txt – Restrições aos buscadores – Blog do Missel

  • le pliage filet top handle bag

    le pliage filet top handle bag

    robots.txt – Restrições aos buscadores – Blog do Missel

  • large leather tote bags

    large leather tote bags

    robots.txt – Restrições aos buscadores – Blog do Missel

  • amazon sex toys

    amazon sex toys

    robots.txt – Restrições aos buscadores – Blog do Missel

  • mcbrine luggage vintage

    mcbrine luggage vintage

    robots.txt – Restrições aos buscadores – Blog do Missel

  • wallpaper table wilko

    wallpaper table wilko

    robots.txt – Restrições aos buscadores – Blog do Missel

  • view 54.157.50.96

    view 54.157.50.96

    robots.txt – Restrições aos buscadores – Blog do Missel

  • davina mccall 30 minute workout dvd

    davina mccall 30 minute workout dvd

    robots.txt – Restrições aos buscadores – Blog do Missel

  • gucci fabric top handle shoulder bag

    gucci fabric top handle shoulder bag

    robots.txt – Restrições aos buscadores – Blog do Missel

  • luggage sets costco

    luggage sets costco

    robots.txt – Restrições aos buscadores – Blog do Missel

  • cute crossbody bags

    cute crossbody bags

    robots.txt – Restrições aos buscadores – Blog do Missel

  • davina mccall fitness

    davina mccall fitness

    robots.txt – Restrições aos buscadores – Blog do Missel

  • 350 husqvarna chainsaw

    350 husqvarna chainsaw

    robots.txt – Restrições aos buscadores – Blog do Missel

  • simply click Cannivent

    simply click Cannivent

    robots.txt – Restrições aos buscadores – Blog do Missel

  • leather satchel company

    leather satchel company

    robots.txt – Restrições aos buscadores – Blog do Missel

  • samsonite luggage sets on sale

    samsonite luggage sets on sale

    robots.txt – Restrições aos buscadores – Blog do Missel

  • shampoo artego

    shampoo artego

    robots.txt – Restrições aos buscadores – Blog do Missel

  • thai green curry sauce

    thai green curry sauce

    robots.txt – Restrições aos buscadores – Blog do Missel

  • best travel tote

    best travel tote

    robots.txt – Restrições aos buscadores – Blog do Missel

  • how to make curry sauce

    how to make curry sauce

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Going Here

    Going Here

    robots.txt – Restrições aos buscadores – Blog do Missel

  • goldfish curry sauce

    goldfish curry sauce

    robots.txt – Restrições aos buscadores – Blog do Missel

  • leather work tote

    leather work tote

    robots.txt – Restrições aos buscadores – Blog do Missel

  • head to the www.scuolahqi.it site

    head to the http://www.scuolahqi.it site

    robots.txt – Restrições aos buscadores – Blog do Missel

  • audew jump starter 20000mah for sale

    audew jump starter 20000mah for sale

    robots.txt – Restrições aos buscadores – Blog do Missel

  • check out this blog post via www.dominicanwitness.com

    check out this blog post via http://www.dominicanwitness.com

    robots.txt – Restrições aos buscadores – Blog do Missel

  • scaffale porta piante Ikea

    scaffale porta piante Ikea

    robots.txt – Restrições aos buscadores – Blog do Missel

  • police video surveillance equipment drone camera

    police video surveillance equipment drone camera

    robots.txt – Restrições aos buscadores – Blog do Missel

  • audew jump starter ebay

    audew jump starter ebay

    robots.txt – Restrições aos buscadores – Blog do Missel

  • incra miter gauge 1000

    incra miter gauge 1000

    robots.txt – Restrições aos buscadores – Blog do Missel

  • atomic alarm clock radios

    atomic alarm clock radios

    robots.txt – Restrições aos buscadores – Blog do Missel

  • wireless video surveillance equipment

    wireless video surveillance equipment

    robots.txt – Restrições aos buscadores – Blog do Missel

  • click the following article

    click the following article

    robots.txt – Restrições aos buscadores – Blog do Missel

  • prezzo valigeria globo

    prezzo valigeria globo

    robots.txt – Restrições aos buscadores – Blog do Missel

  • powersmart snow blower belt replacement

    powersmart snow blower belt replacement

    robots.txt – Restrições aos buscadores – Blog do Missel

  • mice keyboards

    mice keyboards

    robots.txt – Restrições aos buscadores – Blog do Missel

  • cheap keyboards and mice

    cheap keyboards and mice

    robots.txt – Restrições aos buscadores – Blog do Missel

  • how to use bikini trimmers

    how to use bikini trimmers

    robots.txt – Restrições aos buscadores – Blog do Missel

  • blink camera accessories

    blink camera accessories

    robots.txt – Restrições aos buscadores – Blog do Missel

  • great site

    great site

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Xhero Bbs Xheromobile noted

    Xhero Bbs Xheromobile noted

    robots.txt – Restrições aos buscadores – Blog do Missel

  • agree with this

    agree with this

    robots.txt – Restrições aos buscadores – Blog do Missel

  • amazon pc portatili

    amazon pc portatili

    robots.txt – Restrições aos buscadores – Blog do Missel

  • zainetto carpisa cuore

    zainetto carpisa cuore

    robots.txt – Restrições aos buscadores – Blog do Missel

  • pva glue screwfix

    pva glue screwfix

    robots.txt – Restrições aos buscadores – Blog do Missel

  • cheap portable piano keyboards

    cheap portable piano keyboards

    robots.txt – Restrições aos buscadores – Blog do Missel

  • plug and Play video games by myarcade

    plug and Play video games by myarcade

    robots.txt – Restrições aos buscadores – Blog do Missel

  • leather tote purses

    leather tote purses

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Why Do Rugby Players Tape Their Fingers

    Why Do Rugby Players Tape Their Fingers

    robots.txt – Restrições aos buscadores – Blog do Missel

  • car video

    car video

    robots.txt – Restrições aos buscadores – Blog do Missel

  • car racing video

    car racing video

    robots.txt – Restrições aos buscadores – Blog do Missel

  • zgemma best plugins

    zgemma best plugins

    robots.txt – Restrições aos buscadores – Blog do Missel

  • best office chairs

    best office chairs

    robots.txt – Restrições aos buscadores – Blog do Missel

  • best treatment for nail fungus

    best treatment for nail fungus

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Refurbished Laptop Computers

    Refurbished Laptop Computers

    robots.txt – Restrições aos buscadores – Blog do Missel

  • earthquake viper 43cc tiller

    earthquake viper 43cc tiller

    robots.txt – Restrições aos buscadores – Blog do Missel

  • abbigliamento sportivo femminile

    abbigliamento sportivo femminile

    robots.txt – Restrições aos buscadores – Blog do Missel

  • s-video cables for gamecube

    s-video cables for gamecube

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Panasonic inverter Microwave 1250W

    Panasonic inverter Microwave 1250W

    robots.txt – Restrições aos buscadores – Blog do Missel

  • atv 1900 pro

    atv 1900 pro

    robots.txt – Restrições aos buscadores – Blog do Missel

  • electric garden tiller home depot

    electric garden tiller home depot

    robots.txt – Restrições aos buscadores – Blog do Missel

  • xakimota.ru site

    xakimota.ru site

    robots.txt – Restrições aos buscadores – Blog do Missel

  • police video surveillance equipment drone car body camera

    police video surveillance equipment drone car body camera

    robots.txt – Restrições aos buscadores – Blog do Missel

  • scarpe e borse gucci

    scarpe e borse gucci

    robots.txt – Restrições aos buscadores – Blog do Missel

  • mini electric chainsaws

    mini electric chainsaws

    robots.txt – Restrições aos buscadores – Blog do Missel

  • curt multipurpose ball mount with 2" receiver for bike racks and cargo carriers - 7

    curt multipurpose ball mount with 2″ receiver for bike racks and cargo carriers – 7

    robots.txt – Restrições aos buscadores – Blog do Missel

  • thundershirt cat calming

    thundershirt cat calming

    robots.txt – Restrições aos buscadores – Blog do Missel

  • king canada generators reviews

    king canada generators reviews

    robots.txt – Restrições aos buscadores – Blog do Missel

  • manual woodworking tools

    manual woodworking tools

    robots.txt – Restrições aos buscadores – Blog do Missel

  • voip analogue telephone adaptor

    voip analogue telephone adaptor

    robots.txt – Restrições aos buscadores – Blog do Missel

  • Nextbattle wrote

    Nextbattle wrote

    robots.txt – Restrições aos buscadores – Blog do Missel

  • orologi citizen uomo

    orologi citizen uomo

    robots.txt – Restrições aos buscadores – Blog do Missel

  • samsonite travel tote

    samsonite travel tote

    robots.txt – Restrições aos buscadores – Blog do Missel

  • women's bead bracelets

    women’s bead bracelets

    robots.txt – Restrições aos buscadores – Blog do Missel

  • compact computer printers

    compact computer printers

    robots.txt – Restrições aos buscadores – Blog do Missel

  • best baby skin care products reviews

    best baby skin care products reviews

    robots.txt – Restrições aos buscadores – Blog do Missel

  • alipotec raiz de tejocote para bajar de peso

    alipotec raiz de tejocote para bajar de peso

    robots.txt – Restrições aos buscadores – Blog do Missel

  • tin shower walls

    tin shower walls

    robots.txt – Restrições aos buscadores – Blog do Missel

  • book lights At target

    book lights At target

    robots.txt – Restrições aos buscadores – Blog do Missel