Screen Scraping

Für Frühaufsteher
 Agenda
• Was ist Screen Scraping
• Methoden
• Beispiele
• Frage / Diskussionsrunde

Screen Scraping – Christian Schmidt

2
www.christian.to - SEO Campixx 2010
 Ziele
• Verständnis für Screen Scraping entwickeln
– Niemand wird hier und heute zum Profi!
• Nachdenken über eigene
Webseitenverbesserungen und
Abwehrmethoden ;)

Screen Scraping – Christian Schmidt

3
www.christian.to - SEO Campixx 2010
 Methoden

Scripte (wie bsp. PHP)

und / oder Software
 Script Methode
• Download einer Website
– Cookie(s) verwalten
– Mit Redirects umgehen
– SSL Anfrage
– Proxies / verschiedene IP Adressen benutzen
• Informationen mittels REGEX, Xpath …
auslesen
• Evtl. Formulareingaben emulieren

Screen Scraping – Christian Schmidt

5
www.christian.to - SEO Campixx 2010
 „scrapen“
nicht mal eben so?
Stadtbranchenbuch

7
GoYellow

8
Factory-Outlets.org

9
 Schwierigkeiten
• Änderungen am Webseiten Design
• Ladeseiten zwischen „Formular abschicken“
und Ausgabe
• JavaScript
– Dynamisch modifizierte Formulare durch JS
– Ajax
• Plugin: Flash, Java

Screen Scraping – Christian Schmidt

10
www.christian.to - SEO Campixx 2010
 Sicherheitsmechanismen

• Sperrung unser Server IP Adresse

• Captchas
• Zufällig erzeugte Formularfelder
– <input type="submit" name="hash"
value="098f6bcd4621d373cade4e832627b4f6">
– <input type="submit"
name="098f6bcd4621d373cade4e832627b4f6">

Screen Scraping – Christian Schmidt

11
www.christian.to - SEO Campixx 2010
 Die Lösung

Einen Browser nutzen

 Scrapen mit Browsern
• Die Seiten werden im Browser gerendert

Screen Scraping – Christian Schmidt

13
www.christian.to - SEO Campixx 2010
 iMacro
Kostenloses Firefox Addon

Kostenpflichtige Scripting Version

(mit ein paar Extras)
14
 iMacro
• Browserplugin (Firefox & IE) oder als
Standalone Software
• Löst alle schwierigen Fälle
– Ajax
– Javascript
– Flash!
• In Verbindung mit so gut wie jeder
Scriptsprache nutzbar

Screen Scraping – Christian Schmidt

15
www.christian.to - SEO Campixx 2010
 iMacro Beispiele
• StudiVZ Scraper
• Bookmark Submitter
• Captchas lösen

Screen Scraping – Christian Schmidt

16
www.christian.to - SEO Campixx 2010
StudiVZ Scraper

Screen Scraping – Christian Schmidt

17
www.christian.to - SEO Campixx 2010
Bookmark Submitter in PHP

Screen Scraping – Christian Schmidt

18
www.christian.to - SEO Campixx 2010
Bookmark Submitter

Nur für SEO Campixx 2010 Teilnehmer

Screen Scraping – Christian Schmidt

19
www.christian.to - SEO Campixx 2010
 Möglichkeiten:
Captcha lösen mit iMacro
• Händische Eingabe während das Macro läuft
– Human > kostet Arbeitszeit
• OCR Erkennung
– Computer > Evtl. Fehlerhaft
• API Services
– Human / Computer

Screen Scraping – Christian Schmidt

20
www.christian.to - SEO Campixx 2010
Captcha lösen mit iMacro

Screen Scraping – Christian Schmidt

21
www.christian.to - SEO Campixx 2010
Fragen?