# http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
# ---------------------------------------

User-agent: *
Disallow: /cronjobs/
Disallow: /agb/
Disallow: /gb/
Disallow: /datenschutz/
Disallow: /kkdirekt/nutzungsbedingungen.pl
Disallow: /kkdirekt/leserkommentare.pl
Disallow: /fehler.pl
Disallow: /.htaccess
Disallow: /hinweis_seite_unbekannt.pl
Disallow: /fehler.html
Disallow: /service.html

# Sitemap
Sitemap: https://www.krankenkassen-direkt.de/sitemap.xml

# http://www.entireweb.com/about/search_tech/speedy_spider/#delay
User-agent: Speedy
Crawl-Delay: 420

# http://www.exabot.com/go/robot
User-agent: Exabot
Crawl-delay: 420

# http://www.majestic12.co.uk/bot.php?
User-agent: MJ12bot
Crawl-Delay: 420

# http://www.gigablast.com/spider.html
User-agent: Gigabot
Crawl-Delay: 420

# https://ahrefs.com/de/robot
User-agent: AhrefsBot
Crawl-Delay: 60
Disallow: /cronjobs/
Disallow: /agb/
Disallow: /gb/
Disallow: /datenschutz/
Disallow: /kkdirekt/nutzungsbedingungen.pl
Disallow: /kkdirekt/leserkommentare.pl
Disallow: /fehler.pl
Disallow: /.htaccess
Disallow: /hinweis_seite_unbekannt.pl
Disallow: /fehler.html
Disallow: /service.html