| title | subtitle | author | date |
|---|---|---|---|
0. Linux for Data Scientists: intro |
HOGENT toegepaste informatica |
Thomas Parmentier, Andy Van Maele, Bert Van Vreckem |
2024-2025 |
- Thomas Parmentier (titularis, Gent, Aalst+VC, TIAO)
- Bert Van Vreckem (Gent)
Contactinfo - zie verder/studiewijzer
... en je kan er gewoon niet meer omheen
- Grootste websites
- webapps draaien meestal op Linux
- ook .Net (meer en meer)!
- MacOS X
- Ook UNIX (BSD)
- Bash-shell + commando's
- Moderne tools voor software release management
- Continuous Integration/Delivery
- Docker
- Embedded systemen
- Arduino, Raspberry Pi, ...
- Multimedia-apparatuur, TV's, NAS, ...
- Toolbox voor automatisering
- Filtercommando's
grep/ag,sed,awkcurl,jq,pandoc, ...- Shell scripts
- Configuration Management Systems (Ansible, ...)
- Azure cloud platform draait >50% Linux VMs
- Microsoft loves Linux!
The '70's called, they want their terminal back!
- Command line interface (CLI) is de sleutel tot automatisering
- Miljoenen servers beheren gaat niet via GUI
- Ook in Windows ziet men dit nu in (PowerShell)
- CLI Instructies zijn bondiger en makkelijker reproduceerbaar dan GUI instructies
- Je hebt niet altijd een commerciële oplossing nodig voor data processing!
- Linux zit vol krachtige tools waarmee je zelf een oplossing kan bouwen
- Linux + Docker + Python = basisplatform voor Data Engineers
- Werken met Virtuele Machines & containers
- Basiskennis Linux server, SSH, software-installatie, web-/database-serverconfiguratie
- Bash scripting
- Text processing: I/O redirection, filters, web scraping
- Systeembeheertaken plannen
- Automatiseren van gegevensverwerking met Linux tools
- Leerpad
- Cobbaut (2015) Linux Fundamentals
- Labo-opgave (Github-repo)
- Git client (incl Git Bash)
- Teksteditor, bv. VS Code met (aanbevolen) plugins:
- Remote Development
- ShellCheck
- Oracle VirtualBox + Extension Pack
- Linux Mint als GUI-Linux VM
- Download ova file
- import & get started
- 3 lesuur / week
- 4 studiepunten
- equivalente hoeveelheid voor- en nawerk thuis
- Klassikale instructie
- Werken aan labo-oefeningen
- individuele feedback
- extra klassikale uitleg
- Korte intro volgende sessie
- Bereid volgende sessie voor
- Leerpad: voorbereiding, achtergrondinfo, oefeningen met oplossingen
- Werk verder aan labo's
- Op eigen tempo, ahv studiemateriaal
- Zie ook Studiewijzer - Studiebegeleiding
- Voorbereiding: vóór het contactmoment
- Achtergrondinfo: interessant, maar geen leerstof
- Oefeningen met oplossingen: buiten contactmomenten
- Labo-oefeningen: tijdens/buiten contactmomenten
- Kom naar de les!
- Lees de studiewijzer!
- Maak de labo's!
- 70% Vaardigheidstest binnen examenrooster
- 30% Schriftelijk examen in ans (op PC)
- 40% Scripting-opdracht (op PC)
- 30% Portfolio met mondelinge verdediging
- Opdracht: automatiseren van een data-workflow
- Stel ze tijdens de contactmomenten
- Stel ze via Teams (cursusintro, rechtertegel)
- Contacteer jouw lector
- Enkel voor persoonlijke/vertrouwelijke zaken!