Como impedir que uma página seja indexada ?
Com o aumento dos recursos da máquina implantados pelos principais mecanismos de pesquisa, estes agora são capazes de indexar novas páginas muito rapidamente.
O Google parece ter a tecnologia e os recursos mais poderosos até agora. Torna-se mais difícil não ser indexado do que o contrário.
Usando os seus muitos serviços usados por milhões de pessoas (Analytics, Chrome...), o Google pode descobrir e coletar URLs até então desconhecidas, de uma maneira muito eficiente e rápida.
Não é suficiente garantir que nenhum link aponte para uma URL (o chamado órfão) para ter certeza de que este nunca acabe nas páginas de resultados de um mecanismo.
O uso de um robot.txt também não é a melhor solução. Sabe que isso não impede um mecanismo de propor a URL descoberta nos seus resultados?
Um mecanismo como o Google oferecerá a URL simples, sem título ou descrição. Como solução, é melhor ocultar o novo site ou serviço que deseja lançar com grande alarde no Dia D, certo?
Usar os meta robôs noindex para proibir a indexação já é mais eficaz.
A solução mais segura será implantar acesso seguro por meio de uma senha ou autorizar apenas determinados endereços IP.
