Excluir páginas Web a partir de motores de busca usando Meta Robots Tag

Você pode usar meta tags de robôs para evitar uma aranha motor de busca de rastrear páginas específicas em seu Web site. Você pode incluir uma tag especial no código HTML da página para os robôs a não indexar essa página, ou não seguir os links nessa página. Você poderia colocar esta tag após o outro meta tags, que são parte do código HTML localizado na seção de cabeçalho de uma página Web.

Usando Meta robôs marcas é menos eficiente do que usar um arquivo robots de texto em todo o site por duas razões. Em primeiro lugar, os robôs às vezes ignoram robots meta tags e, segundo, estas tags abrandar os robots que lêem suas páginas, o que pode diminuir o número de páginas que eles estão dispostos a rastejar. Além disso, este método pode dar a sua cabeça para webmasters porque as marcas têm de ser mantidas nas páginas individuais, em vez de em um arquivo central.

A meta tag robots abaixo informa o robô motor de busca para não indexar a página e não seguir qualquer um dos links na página:

Você pode usar essa tag para dizer o robô para ler e indexar o conteúdo da página, mas não seguir qualquer um dos links:

A próxima tag instrui o robô para ignorar o conteúdo da página, mas seguir os links: