03/08/2017

O robots.txt pode ser personalizado no Blogger, nesse tutorial você vai aprender os detalhes de como ele funciona e como personalizá-lo de maneira correta para otimizar para os buscadores.

Robots.txt personalizado no Blogger

O que é o robots.txt?

Basicamente é um arquivo de texto que contém algumas linhas de código simples. É salvo no site ou no servidor do blog, é utilizado para informar os rastreadores da web sobre como indexar e rastrear seu site para os resultados de pesquisa. Isso significa que você pode restringir qualquer página do seu blogger de rastreadores da web para que não possa ser indexada em mecanismos de pesquisa, como sua página de contato por exemplo.


Por padrão já vem configurado como esse modelo:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://exemplo.blogspot.com/sitemap.xml

E o que a gente vai fazer são pequenas alterações, mas antes vou explicar o significado de cada parte.

User-agent: Mediapartners-Google

Este código é para o robô do Google Adsense, ele ajuda e melhora os anúncios em seu blog. Se você usa ou não o Google Adsense é melhor deixá-lo como está.

User-agent: *

Esse é para permitir todos os robôs, por isso marcado com asterisco (*). Por causa dele tudo em nosso blogger é rastreado e indexado, por conta disso usamos o próximo código.

Disallow: /search

Isso significa que os links que têm search por palavra-chave logo após o nome de domínio serão ignorados. Veja abaixo um exemplo: https://www.meublogger.eu.org/search/label/Códigos.

Se removemos Disallow: /search do código padrão, os rastreadores acessarão nosso blog inteiro, indexando assim todo o conteúdo e páginas. Isso não é bom,  já que pode parecer conteúdo duplicado, além de ser um link ruim para SEO.

Você pode usar o Disallow para não indexar um post em particular ou página, basta acrescentar Disallow: /2017/08/post-url.html (Sempre coloque o link começando da data) ou Disallow: /p/page-url.html para páginas.

Allow: /

Refere-se a a home, ele autoriza a indexação da página inicial do nosso blogger.

Sitemap: https://exemplo.blogspot.com/sitemap.xml

Este código refere-se ao mapa do site do nosso blog. Ao adicionar o link do sitemap, estamos simplesmente otimizando a taxa de rastreamento de nossas postagens. Sempre que os rastreadores leem o nosso arquivo robots.txt, encontrarão um caminho para o nosso sitemap onde todos os links de nossas postagens estão, facilitando o rastreamento de nossas postagens. Portanto, há melhores chances de que os rastreadores da web rastreiem todas as postagens sem ignorar nenhuma.

Agora que você entendeu como funciona eu vou deixar o meu atual aqui, copie e coloque no seu blogger, basta trocar o domínio.

#Liberado para todos os robôs
User-agent: *

# Bloqueia
Disallow: /search
Disallow: /*_archive.html$
Disallow: /feeds/*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# Indexar página inicial
Allow: /

# Sitemap xml para até 1000 entradas de postagens
Sitemap: https://www.bloggermadru.ga/sitemap.xml

# Indexar páginas (Eu quero)
Sitemap: https://www.bloggermadru.ga/sitemap-pages.xml

# Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap
#Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=1001&max-results=1500

Para adicionar no Blogger é só ir em Configurações > Preferências de pesquisa. No final da página vai ter a opção de colocar o robots.txt personalizado.

Outra dica bacana é saber se o post do blogger foi indexado
Outra dica bacana e colocar meta tags indicando para não indexar algumas partes do seu Blog.

Procure por <head> no html do seu blog e coloque depois dela as seguintes meta tags:

<b:if cond='data:blog.pageType == &quot;archive&quot;'>
<meta content='noindex' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>
<b:if cond='data:blog.isMobile'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>

Passo a passo em vídeo:


Caso passe de 1500 postagens você pode ir atualizando de 500 em 500, desta forma:

https://www.meublogger.eu.org/atom.xml?redirect=false&start-index=1501&max-results=2000

Conclusão

Este foi o tutorial completo de hoje sobre como adicionar o arquivo robots.txt personalizado no blogger. Eu tentei tornar este tutorial o mais simples e informativo possível. Mas ainda se você tiver alguma dúvida ou pergunta, sinta-se à vontade para me perguntar nos comentários abaixo.

Certifique-se de não colocar qualquer código nas configurações personalizadas do robots.txt sem saber.

Quer dicas para seu celular? Acesse Meu Celular

Esse Post tem 35 Comentários

avatar
Walcyr Warren Fonseca delete

Muito obrigado pela sua ajuda mano, agora veja só está correcto eu só tirei seu url e meti o meu...


#Liberado para todos os robôs
User-agent: *

# Bloqueia
Disallow: /search
Disallow: /*_archive.html$
Disallow: /feeds/*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# Indexar página inicial
Allow: /

# Sitemap xml para até 1000 entradas de postagens
Sitemap: http://www.walcyr-news.com/sitemap.xml

# Indexar páginas (Eu quero)
Sitemap: https://www.walcyr-news.com/sitemap-pages.xml

Resp.
avatar
Lucas Tech delete

Isso mesmo.

Resp.
avatar
walter souza delete

Muito bom muito informativo.

Resp.
avatar
Lucas Tech delete

Que bom amigo!

Resp.
avatar
ADM delete

lucas tenho uma duvida voce pode me ajudar por favor
recebo muito poucas visitas organicas sera que tem algo errado no meu blogger




Resp.
avatar
Camilo Aparecido Almeida delete

Lucas me tire uma duvida amigo, no meu caso tenho quase 8 mil postagens, preciso editar essa parte " Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=1001&max-results=1500 " ?

Resp.
avatar
Lucas Tech delete

Caso passe de 1500 postagens você pode ir atualizando de 500 em 500, desta forma:

https://www.meublogger.eu.org/atom.xml?redirect=false&start-index=1501&max-results=2000

Resp.
avatar
Tapetes e Capachos Personalizados delete

opa tudo bem lucas obrigado por compartilhar seus conhecimentos com os robostxt
lucas estou com um probleminha e nao consigo arrumar meu blogger esta sendo indexado também as paginas de marcadores saberia me ajudar como bloqueio essa pagina feia agradeço de de ja mesmo que nao consiga me ajudar me de um feedback obrigado vou deixar o link da pagina norml e a pagina com marcador

pagina com marcador site incompleto: https://www.tapetespersonalizados.ind.br/2018/08/orcamentos-de-capacho-personalizados.html?m=1

site normal : https://www.tapetespersonalizados.ind.br/2018/08/capacho-em-cotia.html

Resp.
avatar
Lucas Tech delete

Opa, fico feliz por gostar dos conteúdos! Então, eu não recomendo você bloquear esse rastreamento do Google, pois ele vai favorecer quem acessa pelo celular essa versão do seu post/blog. Pois esse "?m=1" nada mais é que a versão mobile.

Para bloquear basta usar Disallow: /*/*/*.html?m=0 and Disallow: /*/*/*.html?m=1 no código do Robots.txt.

Mas o que eu recomendo é você ir na parte de configurações do seu blogger, ir em Tema. Nessa parte aparecerá 2 janelas, onde mostra a versão para pc e outra pra celular, na de celular tem tipo uma 'engrenagem', clica nela e marca a opção " Não. Mostrar tema para computadores em dispositivos móveis." Assim quando alguém acessar pelo celular vai ver igual no pc, mas lembrando que isso é para temas que são responsáveis. Eu dei uma olhada no seu e me parece que é. Caso isso não resolva entra em contato direto comigo e vemos ver juntos como resolver isso. Abraço!

Resp.
avatar
jose benedito rosa bene rosa delete

ÓTI MO SITE NOTA PRA VOCÊ LUCAS.

Resp.
avatar
Lucas Tech delete

Que bom amigo!

Resp.
avatar
Nature Dog delete

Especificando é a última versão?

Resp.
avatar
Lucas Tech delete

Olá, não existe versão para o Robots.txt, mas sempre que existir algo novo que possa melhorar, será postado aqui. Até o presente momento essa é a melhor maneira de atualizar seu Robots.txt. Abraço!

Resp.
avatar
Arnaldo- Tomo delete

valeu pela dica ajudou bastante

Resp.
avatar
As minhas Fotos delete

Qual é melhor forma posso bloquear um link da minha pagina:

Disallow:/cartadeangola.info/index.php/sociedade/itemlist/user/46-angop
OR
Disallow: /angop

Resp.
avatar
Lucas Tech delete

Como é um caminho bem específico, melhor a primeira opção.

Resp.
avatar
Lucas Tech delete

Vlw irmão e boa sorte no seu projeto.

Resp.
avatar
O Protagonista delete

Vlw mano ajudou muito

Resp.
avatar
Lucas Tech delete

Que bom O Protagonista!

Resp.
avatar
Guilherme Sousa delete

Tenho 80042 posts como faço a configuração

Resp.
avatar
Severiano delete

Muito obrigado me ajudaste muito mano, estou grato por isso
#Liberado para todos os robôs
User-agent: *

# Bloqueia
Disallow: /search
Disallow: /*_archive.html$
Disallow: /feeds/*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# Indexar página inicial
Allow: /

# Sitemap xml para até 1000 entradas de postagens
Sitemap: https://www.Sever-news. blogspot.com/sitemap.xml

# Indexar páginas (Eu quero)
Sitemap: https://www.Sever-news. blogspot.com/sitemap-pages.xml

# Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap
#Sitemap: https://www.Sever-news. blogspot.com/atom.xml?redirect=false&start-index=1001&max-results=1500

Resp.
avatar
Lucas Tech delete

Guilherme ao usar o https://www.susite.com.br/sitemap.xml já vai pegar todos eles, mas você pode usar https://www.seusite.com.br/atom.xml?redirect=false&start-index=80000&max-results=80500

Pra ele pegar melhor as suas última postagens.

*No lugar do seusite.com.br coloque o seu domínio.

Resp.
avatar
Lucas Tech delete

Que bom que gostou Severiano, abraço!

Resp.
avatar
Severiano delete

Lucas me ajuda porfavor, minhas postes não estão a aparecer nas pesquisas do google, me ajuda porfavor

Resp.
avatar
Guilherme Sousa delete

estou testando no meu, você ainda não envio o banner flutuante

Resp.
avatar
Flávio Mendonça delete

o meu blog tem mais de 1000 postagens.. EU preciso colocar qual? ou posso copiar todos?

Resp.
avatar
Ivanildo Soares delete

#Liberado para todos os robôs
User-agent: *

# Bloqueia
Disallow: /search
Disallow: /*_archive.html$
Disallow: /feeds/*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# Indexar página inicial
Allow: /

# Sitemap xml para até 1000 entradas de postagens
Sitemap: https://www.soares-muzik.info/sitemap.xml

# Indexar páginas (Eu quero)
Sitemap: https://www.soares-muzik.info/sitemap-pages.xml

# Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap
https://www.soares-muzik.info/atom.xml?redirect=false&start-index=80000&max-results=80500

Resp.
avatar
Dimas D. Silva delete

Meu site tem mais de 6 mil posts, como devo fazer ??

Resp.
avatar
Antigo Sanatório das Penhas da Saúde delete

Gostava que me informa sem por que motivo o meu Blog agora não dá para as pessoas fazerem comentarios alguma coisa se pasaa de errado,,,Agradeço inrmomação

Resp.
avatar
Robnet delete

Obrigado, excelente o seu robots personalizado.

Resp.
avatar
A ARTE DE NEWTON AVELINO delete

Parabéns, Lucas, suas explicações foram ótimas e esclarecedoras. Eu gosto muito da plataforma BLOGGER.

Obrigado pela aula. Fique com Deus.

www.aartedenewtonavelino.com

Resp.
avatar
BaixarLivrosGratis delete

Olá, eu gostaria que todas as labels (marcadores/categorias) fossem indexadas também. Como fica?

Resp.
avatar
BaixarLivrosGratis delete

No caso você quis dizer que se tiver mais de 1000 páginas é pra ir adicionando uma linha atualizada pra cada 500 páginas?
Exemplo:
...
Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=1001&max-results=1500
Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=1501&max-results=2000
Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=2001&max-results=2500
Sitemap: https://www.bloggermadru.ga/atom.xml?redirect=false&start-index=2501&max-results=3000

Resp.
avatar
Wildson Pereira delete

Olá e bom dia.
Jesus te abençoe.
Seria o caso de criar o sitemaps.xml para cada página/postagem no Google Search Console?
Esse procedimento é válido para blog (Blogger) com várias páginas/postagens?

Resp.
avatar
Lil Carlos delete

Muito obrigado pela sua ajuda mano, agora veja só está correcto eu só tirei seu url e meti o meu...

#Liberado para todos os robôs
User-agent: *

# Bloqueia
Disallow: /search
Disallow: /*_archive.html$
Disallow: /feeds/*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# Indexar página inicial
Allow: /

# Sitemap xml para até 1000 entradas de postagens
Sitemap: https://www.carlos-news.com/sitemap.xml

# Indexar páginas (Eu quero)
Sitemap: https://www.carlos-news.com/sitemap-pages.xml

# Caso um dia você passe de 1000 postagens, basta tirar "#" da frente de Sitemap
#Sitemap: https://www.carlos-news.com/atom.xml?redirect=false&start-index=1001&max-results=1500

Resp.


Seu comentário é muito importante e você é totalmente responsável por ele. Ao comentar você concorda com as nossas políticas.

Próx Post Próx Post
Post anterior Post anterior