Info
Inhalt

Crawlen in Anmeldebereichen, Checkout-Prozessen und anderen eingeschränkten Seiten

Standardmäßig besucht der Crawler nur URLs, auf denen der CMP-Code vorhanden ist. Dies kann zu Problemen führen, wenn es dem Crawler nicht möglich ist, den (gleichen) Inhalt zu erreichen, den ein normaler Benutzer erreichen würde (z. B. weil sich der Benutzer in einem Anmeldebereich angemeldet, Produkte in seinen Warenkorb gelegt oder andere Aufgaben ausgeführt hat, um dies zu tun) eine andere Ausgabe von Ihrer Website erhalten).

Verwenden von Basic Auth

Basic Auth ist die häufigste Authentifizierungsmethode für Webserver (auch als ".htaccess-Authentifizierung" oder ".htaccess / .htpasswd-Anmeldung" bekannt). Damit der Crawler auf kennwortgeschützte Seiten zugreifen kann, können Sie die Authentifizierung über einrichten CMPs> Bearbeiten> Crawler-Einstellungen> HTTP-Authentifizierung.

Verwenden von benutzerdefinierten Cookies

In den CMP-Einstellungen können Sie die Cookie-Authentifizierung festlegen (CMPs> Bearbeiten> Crawler-Einstellungen anzeigen> Cookie-Authentifizierung). Dies ist ein Mechanismus, mit dem der Crawler angewiesen wird, Cookies an den Server zu senden (obwohl diese Cookies möglicherweise an keiner anderen Stelle vorhanden sind). Sobald der Crawler die Website besucht, sind die Cookies vorhanden und die Website kann diese lesen. Die Website kann dann anders reagieren, als wenn die Cookies nicht vorhanden wären (z. B. indem sie dem Crawler den Zugriff auf einen eingeschränkten Bereich ermöglicht oder dem Crawler bestimmte Inhalte anzeigt, die andernfalls andere Schritte vor dem Besuch erfordern ).

Um die Cookie-Authentifizierung einzurichten, fügen Sie bitte ein Element pro Zeile ein, wobei ein Element aus der Domain: cookiename: cookievalue besteht. Beispiel:

mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1

Senden von URLs an den Crawler

Dieser Code ist nicht nötig wenn Sie den normalen CMP-Code auf Ihrer Website haben!

Um URLs an den Crawler zu senden (z. B. während der Testphase), können Sie Ihrer Website das folgende Skript hinzufügen:

<script>
(new Image()).src = "https://delivery.consentmanager.net/delivery/addurl.php?id=XX&h="+encodeURIComponent(location.href);
</script>

Ersetzen Sie XX durch die ID Ihres CMP. Die URLs, unter denen das Skript installiert ist, werden automatisch erfasst und zum Crawlen an das Backend gesendet.

Nach oben