User-agent: Scrapy
Allow: /

##BEGIN DH BIT##
User-agent: *
crawl-delay: 10

##END DH BIT##