Nowe oprogramowanie wykrywa boty Skrobanie danych witryny sieci Web

Strony internetowe, takie jak tablice ogłoszeń pracy, napotykają na ciągły problem: ich dane są stale spłaszczane przez automatyczne roboty.

Dane trafiają do innych konkurencyjnych tablic ogłoszeń, które ukradły treść. To problem, który nęka każdą witrynę internetową, której własność intelektualna musi być publicznie opublikowana za darmo, lub nawet z modelami subskrypcji.

Ale firma ochroniarska z siedzibą w Atlancie, która specjalizuje się w wykrywaniu botów, opracowała oprogramowanie, które może wykryć te skrobanie ekranu i boty do eksploracji danych.

[Czytaj dalej: Jak usunąć złośliwe oprogramowanie z komputera z Windows]

Główny produkt Pramany, HumanPresent, wykrywa automatyczne roboty, które na przykład wprowadzają spam do formularzy internetowych lub rejestrują się za darmo konta e-mail używane do rozsyłania spamu.

Pramana opracowała teraz moduł o nazwie "wyszukiwanie danych i zapobieganie skrobieniu ekranu" dla HumanPresent. Działa na wielu takich samych zasadach, jak jego główny produkt, ale został zmodyfikowany do scenariuszy eksploracji danych, powiedział David Crowder, dyrektor generalny Pramana.

HumanPresent może wykrywać boty, zauważając różnice w sposobie, w jaki człowiek normalnie wchodzi w interakcję z siecią stronę i kontrastującą z tym, jak zachowują się boty. Sprawdza ponad 30 danych, takich jak uderzenia w klawisze, kliknięcia myszą i czas wykonania tych czynności.

HumanPresent analizuje pojedyncze transakcje, ale moduł eksploracji danych został zmodyfikowany, aby spojrzeć na okres czasu, w którym bota lub człowiek jest na stronie, powiedział Crowder.

Boty eksplorujące dane zwykle całkowicie obchodzą interfejs użytkownika przeglądarki. Na przykład bot może zażądać strony internetowej z dużą ilością danych, ale nigdy nie przewija strony ani nie klika. Jeśli seria stron jest otwierana i oglądana w ten sposób, może to oznaczać, że przybył bot wyszukiwania danych.

Pramana przypisuje odwiedzającym unikalny identyfikator, a po przeanalizowaniu zachowania gościa, może podjąć decyzję, czy oznaczyć etykietą odwiedzający bot, czy nie. Istnieje kilka różnych sposobów, w jakie operator strony internetowej może wtedy podjąć decyzję o zaistnieniu sytuacji.

Adres IP (Internet Protocol) komputera bota może być zablokowany na stałe. Jedna strona aukcyjna poświęcona samochodom, która testuje moduł wyszukiwania danych Pramany, postanowiła przenieść podejrzane boty do "piaskownicy", w której dostarczono im kompletnie fałszywe dane.

"W rzeczywistości są eksploracją danych - to jest po prostu martwe", powiedział Crowder.

Inne opcje obejmują monitowanie odwiedzającego witrynę sieci Web o wyzwanie lub zadanie, którego niektóre roboty nie są w stanie wykonać.

Eksploracja danych drogo kosztuje firmy. Firmy sprzedające dane premium odkryją, że ich konkurenci kupią subskrypcję, a następnie zautomatyzują boty w celu kradzieży danych dla swoich witryn. W jednym z przykładów witryna sieci Web, która zawiera gigabajty danych o cenach używanych samochodów, znalazła ich dane i została wystawiona na sprzedaż w serwisie eBay.

"W rzeczywistości konkurują z własnymi treściami," powiedział Crowder.

Niektóre Strony internetowe mają kiepskie projekty, które znacznie ułatwiają skrobanie danych. Strona wykorzystywanego samochodu miała adresy URL (jednolite lokalizatory zasobów), które można sekwencyjnie modyfikować w celu ujawnienia większej ilości danych, powiedział Crowder.

Moduł do eksploracji danych zostanie na razie opakowany w produkt HumanPresent, ale na początku przyszłego roku Pramana planuje go sprzedać. osobno, powiedział Crowder. Pramana oferuje HumanPresent jako urządzenie lokalne lub jako konfigurację oprogramowania jako usługi.

W przypadku oferty SaaS (oprogramowanie jako usługa) technologia Pramana jest zintegrowana z aplikacją internetową, a informacje o sesji są odsyłane Pramana do analizy. Crowder powiedział, że Pramana był w stanie znacznie ograniczyć opóźnienia w swojej najnowszej wersji. Dla klientów wymagających większej prędkości urządzenie jest dostępne.