# robots.txt für www.perspektiven-finden.com
#
# Hinweis: Diese Datei stoppt KEINE Scraper, die sich als normaler Chrome
# ausgeben (siehe Traffic aus BR/MX/AR/PK). Sie regelt nur das Verhalten
# der Crawler, die sich an den Standard halten.
#
# Achtung beim Bearbeiten: Innerhalb einer Regelgruppe dürfen KEINE
# Leerzeilen stehen – die beenden laut Spezifikation den Block und
# machen die folgenden Disallow-Zeilen wirkungslos. Kommentarzeilen
# sind unproblematisch.

# ---------------------------------------------------------------
# 1) Alle Crawler: Joomla-Systemverzeichnisse & Crawl-Fallen
# ---------------------------------------------------------------
User-agent: *
Disallow: /administrator/
Disallow: /api/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
# Diese Ordner enthalten CSS/JS, das zum Rendern gebraucht wird.
# Deshalb gesperrt, aber Stylesheets und Skripte explizit freigegeben –
# sonst sieht Google die Seite kaputt.
Disallow: /components/
Disallow: /modules/
Disallow: /plugins/
Allow: /components/*.js
Allow: /components/*.css
Allow: /modules/*.js
Allow: /modules/*.css
Allow: /plugins/*.js
Allow: /plugins/*.css
# Suchergebnis- und Login-Seiten: kein Indexierungswert, endloser Crawl-Raum
Disallow: /component/search/
Disallow: /component/users/
Disallow: /*?option=com_search
Disallow: /*?searchword=
# Pagination (?start= / ?limitstart=) bleibt bewusst crawlbar –
# ohne sitemap.xml ist sie aktuell der einzige Weg, über den Google
# die tieferen Unternehmensseiten findet.

# ---------------------------------------------------------------
# 2) KI-Trainings-Crawler: gesperrt
#    Holen Inhalte für Modelltraining, schicken nichts zurück.
# ---------------------------------------------------------------
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: FacebookBot
User-agent: Amazonbot
User-agent: Diffbot
User-agent: omgili
User-agent: omgilibot
User-agent: Webzio-Extended
User-agent: ImagesiftBot
User-agent: AI2Bot
User-agent: PanguBot
User-agent: Timpibot
Disallow: /

# ---------------------------------------------------------------
# 3) KI-Suche: bewusst ERLAUBT
#    Diese Bots zitieren die Seite in Antworten und bringen Bewerber.
#    OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot,
#    PerplexityBot und Perplexity-User fallen unter Regel 1
#    und dürfen damit alle öffentlichen Seiten lesen.
# ---------------------------------------------------------------

# ---------------------------------------------------------------
# 4) SEO- und Backlink-Crawler: bewusst ERLAUBT
#    Wir setzen selbst SEO-Systeme ein - eine Sperre wuerde die
#    eigenen Site-Audits und Backlink-Daten abschneiden.
#    Die Last ist gering: am 02.09.2026 zusammen 4.257 Requests,
#    das sind 0,8 % des Tages (DotBot/Moz 4.210, MJ12 33,
#    Ahrefs 14, Semrush 0).
#    Nicht ohne Ruecksprache mit dem SEO wieder sperren.
# ---------------------------------------------------------------

# ---------------------------------------------------------------
# 5) Adress- und Lead-Harvester: gesperrt
#    ZoomInfo ist kein SEO-Werkzeug, sondern verkauft B2B-Kontakt-
#    daten. Die Unternehmensseiten enthalten Bewerbungsadressen im
#    Klartext - genau deren Geschaeftsmodell.
# ---------------------------------------------------------------
User-agent: ZoominfoBot
Disallow: /

# ---------------------------------------------------------------
# 6) Suchmaschinen ohne Zielgruppenbezug: gesperrt
#    Baidu (China) und Petal (Huawei) crawlen kraeftig - am 02.09.2026
#    zusammen ueber 4.000 Requests. Fuer ein Ausbildungsportal in
#    Thueringen/Sachsen bringen sie keine Bewerber. Beide halten sich
#    an robots.txt; Baidu braucht dafuer erfahrungsgemaess ein paar Tage.
# ---------------------------------------------------------------
User-agent: Baiduspider
User-agent: Baiduspider-render
User-agent: Baiduspider-image
User-agent: Baiduspider-video
User-agent: Baiduspider-news
User-agent: Baiduspider-favo
User-agent: Baiduspider-cpro
User-agent: Baiduspider-ads
User-agent: PetalBot
User-agent: AspiegelBot
Disallow: /

# ---------------------------------------------------------------
# 7) Sitemap
#    OSMap liefert eine Sitemap, aber nur unter dieser Roh-URL –
#    /sitemap.xml selbst ist eine 404.
#    ACHTUNG: Die ~Unternehmens-Detailseiten fehlen in dieser Sitemap
#    (OSMap kennt com_filialfinder nicht). Siehe TODO im Projekt.
# ---------------------------------------------------------------
Sitemap: https://www.perspektiven-finden.com/index.php?option=com_osmap&view=xml&id=1&format=xml