Im Internet sind nicht nur die Suchmaschinen-Bots unterwegs, um Webseiten zu indizieren. „Content Grabber“ oder „Harvester“ suchen im Netz nicht nur nach E-Mail-Adressen für Spam-Nachrichten, sondern auch nach Content. Der kann sich dann als Matrix in Google-Anzeigen oder Affiliate-Links wiederfinden.
Verfügt der Homepage-Betreiber über einen eigenen Server, kann er solche Programme mit Hilfe der Datei robots.txt aussperren, die als schwarze Liste fungiert. Auch eine Sperre per .htaccess ist möglich, da zahlreiche Bots über den http-User-Agent-Header identifiziert werden können. Will das Programm den Webseiten-Inhalt speichern, erhält es eine Fehlermeldung. Ein Tool, mit dem Sie die Dateien generieren können, finden Sie beispielsweise hier. Wichtig ist, dass Sie die schwarze Liste immer aktuell halten, sonst haben neue Bots wieder Zugriff auf die Inhalte.
Lesen Sie in der Fortsetzung, wie Sie Content-Diebstahl im Netz aufspüren können.
Foto: Thomas Jans, Fotolia.com
E-Mail
Share
Tweet
Unsere Kommentarfunktion ist ein Angebot von DISQUS. Hierzu werden Daten an DISQUS übermittelt und durch diese verarbeitet. Wir binden Ihre Kommentare nur im Auftrag ein und kümmern uns die Darstellung und Moderation der Beiträge. DISQUS respektiert „Do Not Track“ und bietet einen Datenschutz-Modus an, zudem können Sie auch als Gast kommentieren (Anleitung). Weitere Informationen finden Sie in unserer Datenschutzerklärung