Εφαρμοσμένη Μηχανική Μάθηση
Γενικά
Κωδικός: BSC_IT29
Γλώσσα: Αγγλικά
Τρόπος διδασκαλίας: Δια ζώσης
Προαπαιτούμενα: -
Φόρτος εργασίας
- Διαλέξεις: 52.0 ώρες
- Εργαστήριο: 0.0 ώρες
- Μελέτη: 75.5 ώρες
- Εργασία: 60.0 ώρες
Περιεχόμενο Μαθήματος
- Εισαγωγή στην Εφαρμοσμένη Μηχανική Μάθηση. Ορισμοί. Επιβλεπόμενη, μη επιβλεπόμενη και αυτο-επιβλεπόμενη μάθηση. Επισκόπηση του PyTorch και του οικοσυστήματος βαθιάς μάθησης.
- Προετοιμασία δεδομένων και αγωγός μηχανικής μάθησης. Σύνολα δεδομένων, φόρτωση δεδομένων, κανονικοποίηση, διαχωρισμός συνόλων εκπαίδευσης/επικύρωσης/ελέγχου. Τανυστές και αυτόματος υπολογισμός παραγώγων (autograd) στο PyTorch.
- Από γραμμικά μοντέλα σε νευρωνικά δίκτυα. Perceptron, συναρτήσεις ενεργοποίησης, πολυεπίπεδα perceptron (MLP). Ταξινόμηση και παλινδρόμηση με MLP στο PyTorch.
- Εκπαίδευση νευρωνικών δικτύων. Συναρτήσεις κόστους, μέθοδος καθοδικής κλίσης, αλγόριθμος οπισθοδιάδοσης σφάλματος. Στοχαστική μέθοδος καθοδικής κλίσης και σύγχρονοι αλγόριθμοι βελτιστοποίησης (Adam, AdamW).
- Κανονικοποίηση και γενίκευση. Υπερπροσαρμογή (overfitting), απόρριψη νευρώνων (dropout), κανονικοποίηση L1/L2, κανονικοποίηση κατά δέσμες (batch normalization), πρόωρη διακοπή εκπαίδευσης (early stopping).
- Συνελικτικά Νευρωνικά Δίκτυα (CNN) για δεδομένα εικόνας. Πράξη συνέλιξης, συγκέντρωση χαρακτηριστικών (pooling), δεκτικά πεδία, χάρτες χαρακτηριστικών.
- Αρχιτεκτονικές CNN και μεταφορά μάθησης. AlexNet, VGG, ResNet, EfficientNet. Λεπτή βαθμονόμηση (fine-tuning) προεκπαιδευμένων μοντέλων σε νέα σύνολα δεδομένων.
- Ακολουθιακά δεδομένα και Αναδρομικά Νευρωνικά Δίκτυα. Πρόβλημα εξαφανιζόμενης κλίσης. Μονάδες μακράς βραχυπρόθεσμης μνήμης (LSTM) και μονάδες πυλωτής επαναφοράς (GRU). Παλινδρόμηση και ταξινόμηση χρονοσειρών.
- Εφαρμογές αναδρομικών μοντέλων. Εργασίες αντιστοίχισης ακολουθιών (sequence-to-sequence). Διανυσματική αναπαράσταση λέξεων. Ταξινόμηση κειμένου με αναδρομικά νευρωνικά δίκτυα.
- Μηχανισμοί προσοχής και αρχιτεκτονική Transformer. Μηχανισμός αυτο-προσοχής (self-attention), πολυκεφαλής προσοχή (multi-head attention), κωδικοποίηση θέσης (positional encoding).
- Γλωσσικά μοντέλα βασισμένα σε Transformer. Παράδειγμα προεκπαίδευσης και λεπτής βαθμονόμησης. Επισκόπηση BERT, GPT και σύγχρονων μεγάλων γλωσσικών μοντέλων (LLM).
- Προηγμένη υπολογιστική όραση Ι: Ανίχνευση αντικειμένων. Ανιχνευτές βάσει σημείων αναφοράς (anchor-based) και χωρίς σημεία αναφοράς (anchor-free). Επισκόπηση YOLO και Faster R-CNN.
- Προηγμένη υπολογιστική όραση ΙΙ: Τμηματοποίηση εικόνας. Σημασιολογική τμηματοποίηση και τμηματοποίηση κατά στιγμιότυπο. Επισκόπηση U-Net και Mask R-CNN.
Μαθησιακά Αποτελέσματα
Με την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές θα είναι σε θέση να:
- Κατανοούν τις θεμελιώδεις έννοιες της εφαρμοσμένης μηχανικής μάθησης και της βαθιάς μάθησης, συμπεριλαμβανομένων των παραδειγμάτων επιβλεπόμενης, μη επιβλεπόμενης και αυτο-επιβλεπόμενης μάθησης.
- Υλοποιούν και εκπαιδεύουν νευρωνικά δίκτυα με χρήση PyTorch, συμπεριλαμβανομένων πολυεπίπεδων perceptron (MLP), συνελικτικών νευρωνικών δικτύων (CNN) και αναδρομικών νευρωνικών δικτύων (RNN), για πραγματικές εργασίες ταξινόμησης και παλινδρόμησης.
- Εφαρμόζουν βέλτιστες πρακτικές στην προετοιμασία δεδομένων, την κανονικοποίηση, τον διαχωρισμό συνόλων εκπαίδευσης/επικύρωσης/ελέγχου, τις τεχνικές κανονικοποίησης (dropout, L1/L2, batch normalization) και την πρόωρη διακοπή εκπαίδευσης.
- Σχεδιάζουν και βαθμονομούν αρχιτεκτονικές CNN (AlexNet, VGG, ResNet, EfficientNet) για εργασίες αναγνώρισης εικόνας με χρήση μεταφοράς μάθησης από προεκπαιδευμένα μοντέλα.
- Κατασκευάζουν και εφαρμόζουν αναδρομικές αρχιτεκτονικές (LSTM, GRU) για ανάλυση ακολουθιακών δεδομένων και χρονοσειρών, συμπεριλαμβανομένης της ταξινόμησης κειμένου.
- Κατανοούν την αρχιτεκτονική Transformer, τους μηχανισμούς αυτο-προσοχής και το παράδειγμα προεκπαίδευσης/λεπτής βαθμονόμησης που διέπει σύγχρονα μεγάλα γλωσσικά μοντέλα, όπως τα BERT και GPT.
- Αναγνωρίζουν και εφαρμόζουν σύγχρονες μεθόδους για προηγμένες εργασίες υπολογιστικής όρασης, συμπεριλαμβανομένης της ανίχνευσης αντικειμένων (YOLO, Faster R-CNN) και της τμηματοποίησης εικόνας (U-Net, Mask R-CNN).
- Αναπτύσσουν, αξιολογούν και παρουσιάζουν εφαρμοσμένες λύσεις μηχανικής μάθησης με χρήση Python, Jupyter notebooks και του οικοσυστήματος PyTorch.
Δεξιότητες
Αναζήτηση, ανάλυση και σύνθεση δεδομένων και πληροφοριών, με τη χρήση και των απαραίτητων τεχνολογιών
Προσαρμογή σε νέες καταστάσεις
Λήψη αποφάσεων
Αυτόνομη εργασία
Ομαδική εργασία
Εργασία σε διεπιστημονικό περιβάλλον
Άσκηση κριτικής και αυτοκριτικής
Προαγωγή της ελεύθερης, δημιουργικής και επαγωγικής σκέψης