User-agent: * # alle nicht namentlich genannten Spider Disallow: /cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt