Com que frequência os robôs visitam um site?
Todos os dias, os robôs percorrem milhões de páginas da Web. Retornam às páginas já conhecidas para atualizar os dados armazenados nos seus servidores e também descobrir novas páginas.
Os robôs são na verdade programas executados continuamente em centenas de milhares de computadores.
Os grandes mecanismos de pesquisa, portanto, têm um poder de computação excecional.
Para propor resultados recentes e relevantes, preservando ao máximo a capacidade de seus recursos técnicos, os algoritmos determinam como usar o tempo dessa máquina da melhor maneira possível.
Assim, os sites/páginas mais populares são visitados com muito mais frequência do que os recursos impopulares.
Os mecanismos também identificam conteúdo atualizado regularmente. Estes podem, assim, adaptar a frequência de suas visitas de acordo com suas descobertas. Por que visitar uma página todos os dias que não é atualizada durante 5 anos?
Uma página popular com novos conteúdos regulares será visitada várias vezes ao dia.
Atualmente, o Google é o mecanismo mais rápido capaz de indexar novas páginas. Hoje estamos falando de referenciamento em tempo real.
Não é incomum que pequenos blogs tenham os seus artigos indexados e posicionados no Google em minutos.
Para saber com que frequência os robôs passam pelo seu site, há apenas uma solução: a análise de log.
