O serviço disponibiliza uma pré-visualização do arquivo robots.txt gerado para o administrador do serviço:
Observe que ele é composto por configurações de parâmetros e critérios para cada user-Agent cadastrado.
Uma vez configurado o robots.txt de uma solução, pode-se visualizar a sua composição do robots.txt (clicando em Visualizar Robots) ou acessar o arquivo gerado dinamicamente, pela URL da solução, acrescentando "/robots.txt". Ex: "http://cellservices.com.br/robots.txt".
Observações |
|
1. Nas configurações ou no property bag, a porta na URL precisa estar explicitada. Por exemplo, ao invés de http://meuhost, precisa ser http://meuhost:80. 2. Quando mais de uma instância de serviço de robots.txt estiver mapeada para a mesma URL, qualquer instância de robots.txt poderá ser consultada.
3. Os robôs de busca procuram o arquivo robots.txt na raiz do site. Isto será possível apenas se o Lumis Portal estiver instalado no contexto raiz, pois caso contrário ele não poderá disponibilizar o robots.txt na raiz do site. |
|