V textu se objevují myšlenky o tom, jak se na jednotlivých škálách dodatečné zatížení jeví jako zanedbatelné, avšak při masovém sběru dat narůstá a dělá scraping výrazně nákladnějším. Tento přístup představuje dočasné řešení s cílem věnovat více času fingerprintingu a identifikaci headless prohlížečů, například prostřednictvím způsobu, jakým provádějí vykreslování fontů, aby nebylo nutné předkládat stránku s důkazem práce uživatelům, kteří jsou pravděpodobně legitimní.
Je důležité poznamenat, že Anubis vyžaduje použití moderních funkcí JavaScriptu, které pluginy jako JShelter mohou zakázat.
Kontext a význam pro scraping a ochranu obsahu
Myšlenka, že dodatečné zatížení na nízkých škálách je zanedbatelné, ale na vysokých - masových scraperů - se kumuluje, ukazuje na dynamiku mezi náklady na scraping a efektivitou obranných mechanismů.
Placeholder řešení slouží k odkladu nákladnějšího řešení a umožňuje zaměřit se na rychlejší identifikaci headless prohlížečů a fingerprinting technik, což může vést k lepším mechanismům proti neoprávněnému crawlování.
Technické aspekty fingerprintingu
Fingerprinting se zaměřuje na to, jak prohlížeče vykreslují fonty a jaké moderní funkce JavaScriptu se používají, aby se rozpoznalo, zda jde o skutečného uživatele, či headless nástroj.
Identifikace headless prohlížečů může snížit potřebu předkládat stránku s výzvou „proof of work“ uživatelům, kteří jsou pravděpodobně legitimní.
V souvislosti s Anubis a jeho požadavkem na moderní JS funkce je důležité pochopit, že některé bezpečnostní nástroje mohou být omezeny pluginy, které tyto funkce blokují.
Praktické implikace pro ochranu obsahu
Dodatečné zatížení na straně serveru během masového scraping může zvyšovat provozní náklady, což motivuje vývojáře k vyhledávání efektivnějších metod identifikace a blokace.
Úsilí zaměřené na fingerprinting a detekci headless prohlížečů má za cíl zlepšit zkušenost legitimních uživatelů a snížit zbytečné výzvy, které by mohly ovlivnit reálný provoz.
Vysvětlení otisků prstů v prohlížeči - polotechnické
Klíčové body k zapamatování
- Jednotlivé škály zatížení jsou v ideálním případě zanedbatelné, ale masový scraping zvyšuje náklady.
- Placeholder řešení umožňuje delší dobu pro vývoj efektivnějších fingerprinting technik.
- Detekce headless prohlížečů prostřednictvím font rendering a dalších JS funkcí má potenciál redukovat nutnost pro výzvu proti robotům.
- Moderní JS funkce mohou být omezeny pluginy zaměřenými na soukromí či bezpečnost, což komplikuje implementaci.
Možné dopady na uživatele
Pro legitimní uživatele by mohla zkušenost být plynulá, pokud jsou identifikace a ověřování prováděny na pozadí a s minimálním dopadem na výkon.
Pro provozovatele obsahu znamená zvolení efektivních fingerprinting technik lepší ochranu proti masovým scrapingům a snížení nákladů na vyhovění požadavkům na data.