Convex Optimization with Applications to Machine Learning

Κυρτότητα, βασικά θεωρήματα ύπαρξης, αναγκαίες και ικανές συνθήκες, Θεώρημα πολλαπλασιαστών (Kuhn-Tucker-Lagrange), βασικές αριθμητικές μέθοδοι (μέθοδοι καθόδου, Conjugate Gradient Method, Fletcher-Reeves, Newton-Raphson, Quasi-Newton, Frank-Wolfe). Εφαρμογές κυρτής βελτιστοποίησης σε μηχανική μάθηση, εκπαίδευση για ελαχιστοποίηση σφάλματος, συναρτήσεις σφάλματος, linear και logistic regression, support vector machines, μεγιστοποίηση πιθανοφάνειας (maximum likelihood estimators), collaborative filtering. Stochastic gradient descent. Online κυρτή βελτιστοποίηση, no-regret αλγόριθμοι, regularization. Bandit convex optimization.