ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ | ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ | ΕΠΙΣΤΗΜΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

Στοχαστικές Διεργασίες και Βελτιστοποίηση στη Μηχανική Μάθηση

Περιγραφή

Επισκόπηση Αλγορίθμων Βελτιστοποίησης στη Μηχανική Μάθηση: Επιβλεπόμενη, μη επιβλεπόμενη, ανταγωνιστική, ενισχυτική μάθηση. Linear & Logistic Regression, προσδιορισμός παραμέτρων Νευρωνικών Δικτύων με επιβλεπόμενη μάθηση, Back-Propagation Algorithm

Περιορισμός Πολυπλοκότητας μέσω μη Επιβλεπόμενης Μάθησης: K-Means Clustering, Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis - PCA)

Βασικές Έννοιες Στατιστικής Μηχανικής στη Μηχανική Μάθηση: Αλυσίδες Markov, ταξινόμηση καταστάσεων, πιθανότητες μετάβασης, εξισώσεις Chapman - Kolmogorov, επαναληπτικότητα - παροδικότητα, αναλλοίωτες κατανομές, ασυμπτωτική συμπεριφορά. Μέθοδοι Monte Carlo προσομοίωσης αλυσίδων Markov, αλγόριθμος Metropolis - Hastings. Προσομοιωμένη Ανόπτηση (Simulated Annealing), δειγματοληψία Gibbs.  Παραγωγικά Μοντέλα Μάθησης (Generative Models), Μηχανή Boltzmann, Restricted Boltzmann Machine (RBM), Δίκτυα Πεποίθησης Μεγάλου Βάθους (Deep Belief Nets - DBN)

Ενισχυτική Μάθηση και Δυναμικός Προγραμματισμός: Διαδικασίες Απόφασης Markov (Markov Decision Processes), κριτήριο βελτιστοποίησης Bellman (Bellmans Optimality Criterion), αλγόριθμοι βελτιστοποίησης Δυναμικού Προγραμματισμού (Value and Policy Iteration algorithms). Προσεγγιστικές μέθοδοι δυναμικού προγραμματισμού, Q-Learning

Ενισχυτική Μάθηση για Δρομολόγηση στο Internet: Αλγόριθμος BellmanFord, Border Gateway Protocols (BGP)

Πιθανοτική Ταξινόμηση: Κανόνας Bayes, Προσεγγιστικές Μέθοδοι - Naive Bayes Algorithm

Αλγόριθμοι Πυρήνα και Διαχωρισιμότητα Προτύπων: Θεώρημα του Cover, εφαρμογές σε Radial-Basis Function (RBF) Networks, Υβριδική Μάθηση, Support Vector Machines (SVM)

Δένδρα Αποφάσεων (Decision Trees): Αλγόριθμοι Διαμόρφωσης CART (Classification And Regression Trees), Gini Index, Random Forests, Αλγόριθμοι Bagging (Bootstrap & aggregating)

Αλγόριθμοι με βάση Ακολουθιακά Μοντέλα Συσχετισμένων Δεδομένων Μάθησης: Time-series & Speech Processing Datasets, Recurrent Neural Nets (RNN), Δίκτυα Long-Short Term Memory (LSTM)

 

Εργαστηριακές Ασκήσεις

Στο PC Lab της ΣΗΜΜΥ με χρήση εργαλείων – βιβλιοθηκών Python

 

Προτεινόμενη Βιβλιογραφία

  • Simon Haykin, “Neural Networks and Learning Machines”, Third Edition, Pearson Education, 2009
  • Simon Haykin, “Νευρωνικά Δίκτυα και Μηχανική Μάθηση”, Τρίτη Έκδοση, Παπασωτηρίου, 2010 (Ελληνική μετάφραση)
  • Μιχάλης Λουλάκης, “Στοχαστικές Διαδικασίες”, ΣΕΑΒ 2015
  • Kevin P. Murphy, “Machine Learning: A Probabilistic Perspective”, MIT Press, 2012
  • Ian Goodfellow, Yoshua Bengio and Aaron Courville, “Deep Learning”, MIT Press, 2016
  • Daniel Jurafsky and James H. Martin, “Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition”, Third Edition draft, 2018
  • Richard Sutton and Andrew Barto, "Reinforcement Learning: An Introduction", Second Edition, MIT Press, 2018
  • Christopher Bishop, “Pattern Recognition and Machine Learning”, Springer 2006
  • Tom Mitchell, “Machine Learning”, McGraw Hill 1997 http://www.cs.cmu.edu/~tom/mlbook.html
  • Sheldon Ross, "Applied Probability Models with Optimization Applications", Dover, 1992
Διδάσκοντες
Εξάμηνο
Εαρινό Εξάμηνο
Κατηγορία
Επιλογής
Ώρες Θεωρίας
2 ώρες
Ώρες Εργαστηρίου
1 ώρα
Credits
5