Просмотр исходного кода

change robots.txt to ignore all

Henry Oswald 10 лет назад
Родитель
Сommit
5f719e7105
1 измененных файлов с 0 добавлено и 16 удалено
  1. 0 16
      services/web/public/robots.txt

+ 0 - 16
services/web/public/robots.txt

@@ -1,18 +1,2 @@
-# robots.txt for https://www.sharelatex.com/
-
 User-agent: *
-Disallow: /project/*
-Disallow: /recurly.com
-Allow: /
-
-User-Agent: AhrefsBot
-Disallow: /
-
-User-Agent: XoviBot
-Disallow: /
-
-User-Agent: RankSonicBot
-Disallow: /
-
-User-Agent: SMTBot
 Disallow: /