Запрет индексации (спамерных) поддоменов
На любой запрос случайного поддомена, например, http://dfkasdf.giraffesdoexist.com/, Друпал ответит выдачей основного сайта. Спамеры и прочие негодяи для каких-то своих целей используют эту фичу и Гугль или Яндекс индексируют такие сайты, внося неразбериху, сумятицу и прочие негативные SEO-эффекты.
Это может быть легко исправлено в robots.txt, на лету изменяя его с включением директивы Disallow для подобных сайтов:
Disallow: / #запрет индексации всего сайтаВ Апаче это делается в два шага:
- Добавьте одну строчку в .htaccess:
AddHandler server-parsed .txt
Это — инструкция серверу для запуска парсера SSI на все текстовые файлы, включая robots.txt. - В вашем robots.txt добавьте следующее (не забудьте поменять имя домена):
<!--#if expr="%{HTTP_HOST} -strmatch '*.giraffesdoexist.com'" --> User-Agent: * Disallow: / <!--#else --> User-agent: Mediapartners-Google Disallow: # здесь продолжается обычное содержимое robots.txt <!--#endif-->