Administração do Robots.txt
O serviço Robots.txt possui um ambiente administrativo para adição de configurações de user-Agents que irão compor o robots.txt.
É importante ressaltar que este ambiente não permite criar robots.txt e sim adicionar informações de quais user-Agents poderão acessar o robots.txt de uma determinada instância de serviço para uma determinada solução.
Para adicionar configurações basta clicar em Adicionar e preencher as seguintes informações:
| • | UserAgent: nome do user-Agent que irá compor o robots.txt. Ao informar "*" para esse campo, está informando que quaisquer user-Agent poderá acessar esse robots.txt; |
| • | Crawl Delay: o intervalo em segundos que o user-Agent do mecanismo de buscar irá requisitar uma página, uma vez lido o robots.txt; |
| • | Request Rate: quantidade de páginas por tantos segundos que o user-Agent do mecanismo de busca irá navegar e indexar uma página; |
Observação |
|
É importante informar que Crawl Delay e Taxa de Resposta informam praticamente a mesma coisa. Portanto, quem decide qual informação utilizar, é o user-Agent que poderá acessar tal robots.txt. |
|
| • | Visit Time: o intervalo de horário em que a requisição poderá ser realizada; |
| • | Adicionar Permissões: é possível adicionar tantas permissões de acesso para diferentes caminhos de páginas, quanto forem necessárias. Portanto, para cada path de página pode-se atribuir a permissao allow ou disallow. Geralmente, defini-se apenas uma lista de paths que estão "disallow". Se desejar que algumas páginas abaixo de determinados paths não permitidos sejam permitidas, basta configurar como "allow". |
É possível e necessário informar as URLS das seções e páginas que não estão disponíveis pela navegação através de links e menus. Tais URLs estão através disponíveis através de sitemaps que devem cadastrados para que os robots.txt os consultem.
Administração de Sitemap
Nesta administração é possível informar os sitemaps contidos no robots.txt para que o user-Agent possa navegar nas páginas que não são acessadas pela navegação normal em uma na solução.
Para informar os sitemaps (um por vez) que o robots.txt irá utilizar, deve-se clicar em Adicionar e preencher a seguinte informação:
| • | URL: Deve-se informar a URL formada no cadastro de sitemaps na instância de serviço desejada de sitemap. Lembrando que a URL é formada por: URL da solução/sitemap/arquivo_xml_gerado_do_sitemap. |
Através da administração de sitemap do robots.txt também pode-se visualizar a composição do robots.txt já com a informação dos sitemaps (se houver).