Seminar

Deep Learning Seminar  /  30. Januar 2020

Training Structured Neural Networks Under Regularization and Constraints

Abstract:

[nur in Englisch verfügbar]

Through example applications in neural network pruning, network architecture search and binary neural network, I will demonstrate the importance and benefit of incorporating into the neural network modelling and training process regularization (such as L1-norm) and constraints (such as interval constraint). This is formulated as a constrained nonsmooth nonconvex optimization problem, and we propose a convergent proximal-type stochastic gradient descent (Prox-SGD) algorithm.

We show that under properly selected learning rates, momentum eventually resembles the unknown real gradient and thus is crucial in analyzing the convergence. We establish that with probability 1, every limit point of the sequence generated by the proposed Prox-SGD is a stationary point. Then the Prox-SGD is tailored to the aforementioned example applications, and the theoretical analysis is also supported by extensive numerical tests.

The full paper is available here

Programm

10:00 – 11:00 Uhr

Yang Yang (Fraunhofer ITWM) referiert zum Thema »Training Structured Neural Networks under Regularization and Constraints«.

Veranstaltungsort

Fraunhofer-Zentrum, Fraunhofer-Platz 1, 67663 Kaiserslautern
Konferenzraum E4.09 (Riemann)

Datum

30. Januar 2020

Deep Learning Seminar  /  30. Januar 2020

Training Structured Neural Networks Under Regularization and Constraints

Abstract:

[nur in Englisch verfügbar]

Through example applications in neural network pruning, network architecture search and binary neural network, I will demonstrate the importance and benefit of incorporating into the neural network modelling and training process regularization (such as L1-norm) and constraints (such as interval constraint). This is formulated as a constrained nonsmooth nonconvex optimization problem, and we propose a convergent proximal-type stochastic gradient descent (Prox-SGD) algorithm.

We show that under properly selected learning rates, momentum eventually resembles the unknown real gradient and thus is crucial in analyzing the convergence. We establish that with probability 1, every limit point of the sequence generated by the proposed Prox-SGD is a stationary point. Then the Prox-SGD is tailored to the aforementioned example applications, and the theoretical analysis is also supported by extensive numerical tests.

The full paper is available here

Programm

10:00 – 11:00 Uhr

Yang Yang (Fraunhofer ITWM) referiert zum Thema »Training Structured Neural Networks Under Regularization and Constraints«.

Veranstaltungsort

Fraunhofer-Zentrum, Fraunhofer-Platz 1, 67663 Kaiserslautern
Konferenzraum E4.09 (Riemann)

Datum

30. Januar 2020

Über die Seminarreihe

Das Deep Learning Seminar wird von Mitarbeitenden unseres Schwerpunktes »Datenanalyse und Maschinelles Lernen« der Abteilung »High Performance Computing« organisiert. Damit sollen Interessierte Einblicke in dieses große Forschungsgebiet und ein tieferes Verständnis erhalten. Eigenladen sind alle, die mehr über Deep Learning, Machine Learning oder auch KI allgemein erfahren möchten – egal ob StudentInnen, DoktorandInnen, ProfessorInnen oder Software-EntwicklerInnen. Neben den Mitarbeitenden unserer Abteilung können auch interessierte Externe einen Vortrag in unserer Seminarreihe halten. Wir haben auch die Möglichkeit, externe Sprecherinnen und Sprecher einzuladen. Für Vorschläge, Anregungen oder Wünsche sind wir immer offen.

Die Veranstaltung findet üblicherweise (von Feiertagsverschiebungen und Sommerpause abgesehen) jeden Donnerstag statt. Das Thema eines Vortrags sollte entweder direkt aus den Bereichen Deep Learning, Machine Learning, Datenanalyse oder KI stammen oder für diese von Relevanz sein. Es ist dabei vollkommen offen gehalten, ob der Vortrag über ein Paper, ein eigenes Projekt oder ein interessantes Thema gehalten wird. Die Komplexität kann dabei von einem allgemeinen Übersichtsvortrag bis hin zu einem Spezialthema reichen.

Mehr zum Seminar und den weiteren Terminen