Recebi esta semana um email do Nuno Pinto a chamar-me, e bem, a atenção para uma pequena "gaffe" no meu ficheiro robots.txt.  Neste momento o este ficheiro diz isto:

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /trackback/

Disallow: /pages/

Disallow: /tag/

O principal motivo para a grande maioria dos "disallow" é impedir que os motores de pesquisa indexem certo conteúdo duplicado e evitar possíveis penalizações.  Por exemplo, o post com o jantar do dia dos namorados podesse encontrar em vários URLs diferentes:

http://dinheirooportunidade.com/index.php/jantar-dia-namorados/

http://dinheirooportunidade.com/?p=1112

http://dinheirooportunidade.com/index.php/page/2/

http://dinheirooportunidade.com/index.php/category/sobre-mim/

Isto só para dar algums exemplos.  O problema para o qual o Nuno me chamou a atenção é que no meu caso falta-me on /index.php no ficheiro robots.txt, isto porque o meu URL tem o index.php.  Assim, o meu robots.txt devia antes ler:

User-agent: *

Disallow: /wp-

Disallow: /index.php/feed/

Disallow: /index.php/trackback/

Disallow: /index.php/page/

Disallow: /index.php/tag/

A origem deste erro deve ter estado no facto que eu muitas vezes faço um ficheiro único, que depois insiro em todos os meus sites, e que no caso deste blog deveria ter sido ligeiramente alterado.

Será isto uma falsa questão?

Embora, e sempre que possível, devemos ajudar os motores de busca a indexar melhor os nossos sites, a realidade é que neste contexto a questão do conteúdo duplicado é uma falsa questão.

No ano passado, e em resposta a um questão de conteúdo duplicado num site, o Matt Cutts disse:

While it’s helpful to try to pick one of those articles and exclude the other version from indexing, typically a whitehat site doesn’t neet to worry about 1-3 versions of an article on their own site.

O que traduzido dá algo como: enquanto que é útil tentar escolher apenas uma versão de um artigo para ser indexado, normalmente um site "whitehat" não precisa de se preocupar em ter 1 a 3 versões do mesmo artigo no site.

O blog oficial do Google Webmaster Central também diz que:

1. Quando o Google detecta conteúdo duplicado, originado por variações de URL, agrupa estes URLs num mesmo grupo
2. É depois escolhido o "melhor" URL para representar o dito grupo nos motores de busca
3. As propriadades (Pagerank) de todos os URLs deste grupo são depois tranferidos para o URL escolhido como sendo representativo do grupo

E agora temos o canonical tag

Mesmo com aquilo que já foi dito até aqui, e para acabar de vez com a questão do conteúdo duplicado, os três principais motores de pesquisa (Google, Yahoo e MSN) acordaram na semana passado no chamado tag canonical.

Daqui para a frente, vai ser possível atribuir o tag link rel="canonical" no head de uma página web, de forma a dizer aos motores de busca qual a versão principal da página.  Por exemplo, as seguintes páginas web teriam todas o mesmo tag canonical (<link rel="canonical" href="http://dinheirooportunidade.com" /> ):

www.dinheirooportunidade.com
www.dinheirooportunidade.com/index.php
dinheirooportunidade.com
dinheirooportunidade.com/index.php

O tag canonical serve assim para dizermos aos motores de pesquisa qual é a versão principal de uma qualquer página do nosso site em relação a outras versões ligeiramente diferentes da mesma página, para que esta possa depois ser indexada com todos os beneficíos transferidos para ela.

É também de realçar que o tag canonical apenas serve para destinguir conteúdo no mesmo domínio e respectivos sub-domínios, e não pode ser usado entres dois sites diferentes.

Chamo também a atenção que o tag canonical é inserido no header dos sites e que portanto vai exigir alguma espécie de alteração de ficheiros.  No caso dos blogs, é todo provável que nos próximos dias aparecam os primeiros plugins WordPress para inserir o tal canonical tag no header das páginas.

Como todo este assunto do canonical tag é muito recente, é possível que nos próximos dias surjam mais explicações e detalhes.  Se entretanto mais alguém quiser contribuir com alguma informação, também o pode fazer nos comentários deste post.