Contents

I Introduction 10
1 How To Use This Cookbook 11
2 Data Engineer vs Data Scientist 12 2.1 Data Scientist . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . 12 2.2 Data Engineer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.3
Who Companies Need . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
II Basic Data Engineering Skills 16
3 Learn To Code 17
4 Get Familiar With Git 18
5 Agile Development 19 5.1 Why is agile so important? . . . . . . . . . . . . . . . . . . . . . . .
. . . 19 5.2 Agile rules I learned over the years . . . . . . . . . . . . . . . . . . . . . 20 5.2.1 Is
the method making a difference? . . . . . . . . . . . . . . . . . 20 5.2.2 The problem with
outsourcing . . . . . . . . . . . . . . . . . . . . 20 5.2.3 Knowledge is king: A lesson from
Elon Musk . . . . . . . . . . . . 21 5.2.4 How you really can be agile . . . . . . . . . . . . . . . . . .
. . . 21 5.3 Agile Frameworks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 5.3.1 Scrum . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 5.3.2 OKR . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . 22 5.4 Software Engineering Culture . . . . . . . . . . . . . . . . . . . . . . . . 22
6 Learn how a Computer Works 24 6.1 CPU,RAM,GPU,HDD . . . . . . . . . . . . . . . . . . .
. . . . . . . . . 24 6.2 Differences between PCs and Servers . . . . . . . . . . . . . . . . . . . . 24
2019 Andreas Kretz andreaskretz.com Page 2
7 Computer Networking - Data Transmission 25 7.1 OSI Model . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . 25 7.2 IP Subnetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25 7.3 Switch, Level 3 Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 7.4 Router . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 7.5 Firewalls . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . 26
8 Security and Privacy 27 8.1 SSL Public & Private Key Certificates . . . . . . . . . . . . .
. . . . . . 27 8.2 What is a certificate authority . . . . . . . . . . . . . . . . . . . . . . . . 27 8.3
JSON Web Tokens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 8.4 GDPR regulations . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 8.5 Privacy by design . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . 27
9 Linux 29 9.1 OS Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 9.2 Shell
scripting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 9.3 Cron jobs . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 29 9.4 Packet management . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . 30
10 The Cloud 31 10.1 IaaS vs PaaS vs SaaS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
10.2 AWS, Azure, IBM, Google . . . . . . . . . . . . . . . . . . . . . . . . . . 31 10.2.1 AWS . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 10.2.2 Azure . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . 32 10.2.3 IBM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 10.2.4 Google . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 10.3 Cloud vs On-Premises . . . . . . . . . . . . . . . .
. . . . . . . . . . . . 32 10.4 Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 10.5
Hybrid Clouds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
11 Security Zone Design 33 11.1 How to secure a multi layered application . . . . . .
. . . . . . . . . . . . 33 11.2 Cluster security with Kerberos . . . . . . . . . . . . . . . . . . . . . . . .
33
12 Big Data 34 12.1 What is big data and where is the difference to data science
and data analytics? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 12.2 The 4 Vs of
Big Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2019 Andreas Kretz andreaskretz.com Page 3
12.3 Why Big Data? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 12.3.1 Planning is
Everything . . . . . . . . . . . . . . . . . . . . . . . . 36 12.3.2 The problem with ETL . . . . . . . . .
. . . . . . . . . . . . . . . 36 12.3.3 Scaling Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.3.4 Scaling Out . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 12.3.5 Please don’t go
Big Dat