# Allgemeine Regeln für alle User-Agents (Webcrawler) User-agent: * Disallow: /admin/ Disallow: /cp/ Disallow: /vendor/ Disallow: /storage/ Disallow: /cache/ Disallow: /private/ Disallow: /tmp/ Disallow: /logs/ # Erlaubnis für alle User-Agents, auf die Sitemap zuzugreifen Sitemap: https://www.karriere-lotto-sh.de/sitemap.xml # Erlaubnis für bestimmte Verzeichnisse, die durchsucht werden dürfen Allow: /images/ Allow: /public/ Allow: /assets/ User-agent: facebookexternalhit Allow: / User-agent: Facebot Allow: /