Home > Notícias

Novo robô de buscas da Microsoft entra em ação em 1º de outubro

Webmasters que quiserem impedir a indexação de determinados diretórios por parte "BingBot" têm precauções a tomar.

Klaus Junginger, da Computerworld

20/09/2010 às 15h52

Foto:

Anunciado há algum tempo pela Microsoft, o BingBot - tipo de robô usado por mecanismos de busca como o Bing, o Google e o Yahoo para varrer a internet e indexar o conteúdo de sites - entra para valer a partir do dia 1º de outubro e aposenta o MSNBot.

Para os administradores de sites que queiram manter suas páginas visíveis aos mecanismos de busca, existem algumas poucas, mas essenciais, regras a serem seguidas na configuração do arquivo Robots.txt e de outros lugares em que se configura o acesso do robô. Existem ocasiões em que não se deseja aparecer em mecanismos de busca, como é o caso de sites de intranet e de determinados diretórios dentro da estrutura de uma URL.

No Robots.txt, as alterações podem ser feitas da seguinte maneira:

- edite o arquivo Robot.txt e insira a linha "user-agent: BingBot"

Allow: defina os diretórios aos quais você quer que o robô tenha acesso

Disallow: diretórios que não quer que tenham o conteúdo indexado.

A partir de 1/10, bastará ler o log do servidor à procura da seguinte informação para ver se o novo robô já passou por sua página:

Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)


Links importantes para webmasters (em inglês)

Central de webmasters para o Bing - permite registrar o site no buscador;

Para submeter um site para o Bing - envie seu site para o Bing;

Dicas básicas de SEO para o Bing - contém informações essenciais para adminstradores de sites;

Blog de otimização de páginas para o Bing - weblog da comunidade de usuários e SEO do buscador da Microsoft.

 

Importante

Segundo o integrante do Bing Webmaster Center (central de apoio ao webmaster para o Bing), Rick DeJarnette, o robô deverá funcionar de maneira semelhante ao seu antecessor, o MSNBot. DeJarnette informa que "é crítico que você reveja as configurações de acesso de robôs ao seu site para ser visível". De acordo com ele, as configurações de acesso no código-fonte (meta Robots e no cabeçalho) de páginas deverá ser revisto caso se queira impedir que o conteúdo seja indexado pelo BingBot. Se não houver qualquer restrição, uma opção é não ter arquivo robots.txt. Assim, o site é indexado de maneira integral.

"Contudo"

...informa DeJarnette, "o novo robô vai respeitar as diretrizes impostas ao MSNBot; caso existam regras para ambos os robôs da Microsoft no Robots.txt, o BingBot deverá priorizar as regras próprias.

DeJarnette deixa claro que webmasters que estavam otimizando as páginas com vistas ao posicionamento no sistema de buscas do Yahoo, assumido pelo Bing nos EUA e no Canadá há menos de um mês, devem adaptar-se às mudanças se quiserem continuar a ranquear de maneira satisfatória no sistema de buscas Bing.

BingBot no Brasil?

O Bing ainda é uma versão beta no Brasil, diferente de países como os EUA, por exemplo. Ainda não é sabido se o BingBot vai ou não varrer as páginas brasileiras. Estamos no aguardo de procunciamento da Microsoft sobre essa questão.

Tags

Junte-se a nós e receba nossas melhores histórias de tecnologia. Newsletter por e-mail Newsletter por e-mail