SERVIRA / Fogalomtár / Scraping

Scrapim

Scrapim - mit jelent?

A scrapim egy olyan folyamat, amely során egy webtárhely számára nagy mennyiségű adatot gyűjtünk össze.


vps, cloud és cloudhosting kedvező áron!

felhő, cloud, iaas, vps, akció, kedvező, olcsó, konfiguráció


Scrapim - hogyan zajlik?

A scrapim során az adott webtárhely teljes tartalmát, vagy csak bizonyos részeit töltjük le.

Scrapim - milyen módjai vannak?

A scrapim legegyszerűbb módja, ha az adott webtárhelyakat kézzel töltjük le. Ezt a tartalom egyszerű kimásolásával, vagy az adott oldal letöltésével tehetjük meg.

A scrapim másik - és sokkal hatékonyabb - módja az automatizált szoftverekkel történő információgyűjtés. A legtöbb esetben valamilyen bot segítségével történik a scrapim, amely képes periódikusan visszatérni az adott webtárhelyra, lehetővé téve az új információk automatikus begyűjtését.

Scrapim - mi a célja?

A scrapim több okból történhet: ezek egyike, ha egy adott webtárhelyt szeretnénk későbbi, offline felhasználása is elmenteni. A fejlesztők gyakran scrapim segítségével keresik meg az oldalukon található halott linkeket, de a scrapim lehetőséget biztosít egy adott webmester tartalmának egy az egyben történő lemásolására, majd más néven történő publikálására is.

Ez utóbbi azonban szerzői jogokat sért és jogi következményekkel jár.

Scrapim - mi szükséges hozzá?

Ahhoz, hogy mi magunk is vágezhessünk különböző scrapim folyamatokat szükséges egy megfelelő infrastruktúra megléte. Kisebb mennyiségű információ esetén egy VPS szerver jelent ideális megoldsát, azonban ha több botot és nagy mennyiségű adatot kívánunk feldolgozni, úgy mindenképp ajánlott valamilyen felhő alapú infrastruktúrát használni a scrapim során.

Ha már rendelkezünk a megfelelő infrastruktúrával, úgy csak a scrapim botot kell megírnunk, vagy megvásárolni egy már elkészített megoldást.

internet, honlap, weblap, weboldal, adat, információ, adatgyűjtés, információgyűjtés, manuális, automatikus, automatizált, automatizált adatgyűjtés, scraping, bot, felhő, cloud, vps, iaas

 
Támogatott rendszereink