Vorlesungsplan Optimierung
Hinweis: die Seitenangaben in diesem Plan beziehen sich immer auf Seitennummern wie sie in den zitierten Quellen stehen. Die PDF-Dateien beginnen jedoch mit 6 (Gerdts-Skript) bzw. 1 (ALA-Skript) Einführungsseite(n) mit gesonderter Numerierung, so dass die PDF-Seiten-Nummern entsprechend verschoben sind!
Inhaltsverzeichnis
- Einführung, 1. Vorlesung, Dienstag 24. Mai 2011
- Octave, 1. Übung, Dienstag 24. Mai 2011
- Modelle, 2. Vorlesung, Freitag 27. Mai 2011
- Lineare Programme, 3. Vorlesung, Dienstag 31. Mai 2011
- LOA mit Computer, 2. Übung, Dienstag 31. Mai
- Lösung von LOA, (ursprünglich 4. Vorlesung), Dienstag 7. Juni 2011
- LOA, (ursprünglich 3. Übung), Dienstag 7. Juni 2011
- Simplex-Algorithmus, 4. Vorlesung, Freitag 10. Juni 2011
- Dualität, 5. Vorlesung, Dienstag 21. Juni 2011
- Lösung LOA, 3. Übung, Dienstag 21. Juni 2011
- Ganzzahlige lineare Optimierung, 6. Vorlesung, Freitag 24. Juni 2011
- ILP-Algorithmen, 7. Vorlesung, Dienstag 28. Juni 2011
- Kombinatorische Optimierung, 4. Übung, Dienstag 28. Juni 2011
- Analytische Optimierung ohne Nebenbedingungen, 8. Vorlesung, Freitag 1. Juli 2011
- Probeklausur am Montag, 4. Juli 2011
- Analytische Optimierung mit Gleichungsnebenbedingungen, 9. Vorlesung, Dienstag 5. Juli 2011
- Analytische Optimierung, 5. Übung, Dienstag 5. Juli 2011
- Analytische Optimierung mit Ungleichungsnebenbedingungen, 10. Vorlesung, Freitag 8. Juli 2011
- Numerische nichtlineare Optimierung, 11. Vorlesung, Dienstag 12. Juli 2011
- Auswertung Probeklausur, 6. Übung, Dienstag 12. Juli 2011
- Newtonverfahren, 12. Vorlesung, Freitag 15. Juli 2011
- Klausur, Dienstag 9. August 2011, 9:30-11:30 Uhr
- Klausur Wiederholung, Dienstag 20. September 2011, 12:30-14:30 Uhr
Einführung, 1. Vorlesung, Dienstag 24. Mai 2011
Die erste Vorlesung dient vor allem dazu, dass Sie sowohl einen Überblick über den Aufbau der Vorlesung mit den Übungen bekommen als auch eine Vorstellung vom Fachgebiet der Optimierung entwickeln.
Leseauftrag
Schauen Sie sich die Homepage zur Vorlesung an und verschaffen Sie sich einen Überblick über die dort angebotenen Materialien. Lesen Sie Kapitel 1 (Einleitung), Seiten 1–15 im Gerdts-Skript. Lassen Sie sich dabei auch etwas von den folgenden Kontrollfragen leiten. Welche Schreibweisen sind Ihnen nicht bekannt? Bereiten Sie Fragen vor, damit Sie sich selbst und dem Vorlesenden gegebenenfalls Lücken aufzeigen können. Nutzen Sie auch die Möglichkeit, Ihr bisheriges Mathematikwissen zu wiederholen. Beachten Sie auch, dass die Materialien Fehler enthalten können. Seien Sie kritisch und fragen Sie im Zweifel bitte nach!
Die Befehle für das Computer-Algebra-System Maple werden wir nicht weiter untersuchen.
Kontrollfragen
- Was für Lehrmaterialien werden angeboten und wie können Sie diese für sich nutzen?
- Wie sieht ein Optimierungsproblem in allgemeiner Form aus? Nennen Sie Beispiele!
- Warum ist jedes Standard-Optimierungsproblem auch ein allgemeines Optimierungsproblem?
- Definieren Sie die Begriffe lokale und globale Optimallösung einer Optimierungsaufgabe! Was kann man sich anschaulich darunter vorstellen?
- Was meint man damit, eine Optimierungsaufgabe zu lösen?
Sonderfragen
- Wie kann man ein allgemeines Optimierungsproblem als Standard-Optimierungsproblem schreiben?
Octave, 1. Übung, Dienstag 24. Mai 2011
In der ersten Übung sollen Sie den praktischen Umgang mit GNU Octave (und folglich auch mit Matlab) in den Grundzügen kennen lernen.
Modelle, 2. Vorlesung, Freitag 27. Mai 2011
Die 2. Vorlesung legt den Schwerpunkt auf mathematische Modelle zur Beschreibung von Problemen der realen Welt. Dafür ist eine Übersetzungsleistung in beide Richtungen nötig, sowie auch eine angemessene Portion Misstrauen. Weiterhin bekommen Sie einen Überblick über einige wichtige Klassen von speziellen mathematischen Optimierungsaufgaben.
Leseauftrag
Wiederholen Sie Kapitel 1 (Einleitung), Seiten 1–15 im Gerdts-Skript. Achten Sie dabei besonders auf die Beispiele 1.0.7, 1.0.8 und 1.0.9.
Kontrollfragen
- Worin unterscheiden sich verschiedene Klassen von Optimierungsaufgaben? Warum ist es wichtig, eine gegebene Optimierungsaufgabe einer Klasse zuordnen zu können?
- Nennen Sie ein oder zwei Beispiele von Klassen von Optimierungsaufgaben. Wodurch zeichnen sich diese aus?
Sonderfragen
- Nennen Sie Gründe, warum die Lösung des mathematischen Modellproblems das Anwendungsproblem nicht tatsächlich löst. Warum interessiert man sich trotzdem für dessen Lösung?
Lineare Programme, 3. Vorlesung, Dienstag 31. Mai 2011
Ziel der Vorlesung ist der sichere Umgang mit linearen Optimierungsproblemen in seinen verschiedenen algebraischen Formen. Sie können anschließend lineare Optimierungsprobleme mathematisch formulieren und sowohl in Normalform als auch Standardform darstellen.
Leseauftrag
Lesen Sie im Kapitel 2 im Gerdts-Skript (mindestens)
- den Abschnitt 2.1 bis zur Ungleichung (2.2), Seiten 16–17, und
- den Abschnitt 2.2 bis vor den Satz 2.2.3 plus Bemerkung 2.2.6, Seiten 20–21, 24.
Kontrollfragen
- Wann können Sie eine Anwendungsaufgabe mit Hilfe einer linearen Optimierungsaufgabe lösen? Wie gehen Sie vor?
- Wie können Sie eine lineare Optimierungsaufgabe mit Hilfe eines Computers lösen?
- Was sind Schlupfvariablen?
- Wie bringt man ein lineares Optimierungsproblem in Normalform?
- Wie bringt man ein lineares Optimierungsproblem in Standardform?
- Überlegen Sie sich ein praktisches Beispiel für eine lineare Optimierungsaufgabe, die keine zulässigen Punkte hat.
Sonderfragen
- Nennen Sie ein Beispiel für eine "lineare Optimierungsaufgabe" mit unendlich vielen Restriktionen. Was sind Probleme und Chancen solcher Darstellungen?
LOA mit Computer, 2. Übung, Dienstag 31. Mai
Sie üben, Probleme der Praxis als lineare Optimierungsprobleme zu formulieren und mit Hilfe von Software (GLPK) zu lösen.
Lösung von LOA, (ursprünglich 4. Vorlesung), Dienstag 7. Juni 2011
Diese Vorlesung entfällt leider wegen dem Dies academicus. Die Inhalte werden auf den 31. Mai und 10. Juni mit verteilt.
Wir lernen zwei einfache Lösungsstrategien für lineare Optimierungsprobleme kennen. Dafür interpretieren wir die Aufgaben geometrisch und behandeln die Idee des Simplexalgorithmus.
Leseauftrag
Lesen Sie nun den Rest von 2.1 und 2.2 (die Beweise dürfen Sie auslassen) sowie den Abschnitt 2.3 bis vor den Beginn von 2.3.1, Seiten 16–27 im Gerdts-Skript.
Kontrollfragen
- Wie sieht die zulässige Menge einer linearen Optimierungsaufgabe geometrisch aus?
- Was muss erfüllt sein, damit man eine lineare Optimierungsaufgabe einfach geometrisch lösen kann?
- Was haben Optimallösungen mit Ecken zu tun?
- Wann bewerten wir eine Ecke besser als eine andere?
Sonderfragen
- Wie viele Ecken kann ein Polyeder höchstens haben?
LOA, (ursprünglich 3. Übung), Dienstag 7. Juni 2011
Diese Übung entfällt leider wegen dem Dies academicus.
Simplex-Algorithmus, 4. Vorlesung, Freitag 10. Juni 2011
In dieser Vorlesung wollen wir uns die Details des Simplexverfahrens anschauen. Dies soll Sie in die Lage versetzen, selbst ein Simplexverfahren zu implementieren.
Leseauftrag
Lesen Sie die Abschnitte 2.3.1–2.3.6, Seiten 27–40, im Gerdts-Skript.
Kontrollfragen
- Was ist eine Basislösung und wie lässt sie sich beschreiben?
- Welche Wahlmöglichkeiten hat man beim Basisübergang?
- Was ist das Simplex-Tableau und welche Informationen enthält es?
- Wie kann man die Pivotzeile bestimmen? Und wie die Pivotspalte?
- Welche Formen kann das Ergebnis des Simplex-Algorithmus annehmen?
- Wie kann eine zulässige Basislösung gefunden werden um das Verfahren starten zu können?
- Erklären Sie die Begriffe Basis, Nichtbasis, Basisvektor und zulässiger Basisvektor für das Polyeder \(X = \{ x \in R^n : Ax = b, x \ge 0 \}\). Was haben diese Begriffe mit den Ecken des Polyeders zu tun?
- Erläutern Sie den grundsätzlichen Ablauf eines Schrittes im Simplex-Algorithmus. Wie kann man erkennen, ob das LP unbeschränkt ist?
- Wie kann man erkennen, ob das LP unzulässig ist?
Sonderfragen
Dualität, 5. Vorlesung, Dienstag 21. Juni 2011
In dieser Vorlesung geht es um Dualität in der linearen Optimierung. Sie lernen, jedem (primalen) linearen Optimierungsproblem ein neues –duales– Optimierungsproblem zuzuordnen und Beziehungen zwischen Optimalwert und Optimallösung der beiden Probleme auszunutzen.
Leseauftrag
Lesen Sie den Abschnitt 2.4, Seiten 40–44, im Gerdts-Skript.
Kontrollfragen
- Was versteht man unter dem schwachen Dualitätssatz? Wie beweist man ihn?
- Was sind die Komplementaritätsbedingungen?
- Wie bilden Sie das duale lineare Optimierungsproblem?
- Welche Informationen bekommen wir aus dem dualen Optimalwert?
- Welche Informationen bekommen wir aus einer dualen Optimallösung?
- Was besagt der starke Dualitätssatz?
Sonderfragen
- Was ist der duale Simplex-Algorithmus? Wann ist dieser besser als das primale Simplexverfahren?
Lösung LOA, 3. Übung, Dienstag 21. Juni 2011
Sie implementieren einen ersten Algorithmus zum Lösen von linearen Optimierungsaufgaben und lösen mit der graphischen Methode Optimierungsaufgaben. Sie implementieren das Simplexverfahren mit Octave.
Ganzzahlige lineare Optimierung, 6. Vorlesung, Freitag 24. Juni 2011
Was ändert sich für lineare Optimierungsprobleme, wenn unsere Variablen nicht mehr beliebige reelle Zahlen sein dürfen, sondern nur noch ganze Zahlen? Beispiel: Wollen wir einen Produktionsplan optimieren, macht es oftmals nur Sinn, wenn wir die Produkte in festen Einheiten oder Stücken herstellen. In dieser Vorlesung konzentrieren wir uns auf Spezialfälle, die gutartig sind.
Leseauftrag
Lesen Sie den Anfang von Kapitel 3 vor Abschnitt 3.1, Seiten 45–49, im Gerdts-Skript.
Kontrollfragen
- Beschreiben Sie das Rucksackproblem! Wie kann man es lösen?
- Beschreiben Sie das Problem des Handlungsreisenden (Traveling Salesman Problem) sowohl als praktisches Problem als auch als ILP.
- Was ist eine Relaxierung? Was sagt uns im allgemeinen die Lösung eines relaxierten Problems?
- Seien \(A \in Z^{m \times n}\) eine Matrix und \(b \in Z^m\) ein Vektor mit ganzzahligen Einträgen. Haben dann die Ecken des Polyeders \(X = \{ x \in R^n : x \ge 0, Ax = b \}\) immer ganzzahlige Koordinaten? Warum ist diese Fragestellung überhaupt wichtig?
- Nennen Sie Beispiele linearer Optimierungsaufgaben, die auf Graphen definiert sind. Warum spielt die Ganzzahligkeit der Lösung oft eine Rolle? Erläutern Sie eines der Beispiele genauer: Was sind die Matrix \(A\), rechte Seite \(b\), Kostenvektor \(c\), sonstige Beschränkungen an \(x\)?
- Was ist ein allgemeines Transportproblem?
- Wie kann man Transportprobleme lösen?
- Was ist das Heiratsproblem? Erläutern Sie die Begriffe bipartiter Graph und Matching.
- Wie kann man das Heiratsproblem als Optimierungsaufgabe formulieren? Welche Eigenschaften hat diese Aufgabe? Kann man sie mit dem Simplex-Verfahren lösen?
ILP-Algorithmen, 7. Vorlesung, Dienstag 28. Juni 2011
Wir lernen Algorithmen kennen, um auch nicht-gutartige ganzzahlige lineare Optimierungsprobleme lösen zu können.
Leseauftrag
Lesen Sie die Abschnitte 3.1 und 3.2, Seiten 50–60, im Gerdts-Skript.
Kontrollfragen
- Was ist eine Schnittebene?
- Was versteht man unter Branch-and-Bound?
- Was für untere Schranken für ein Minimierungsproblem kennen Sie?
- Was für obere Schranken für ein Minimierungsproblem kennen Sie?
Kombinatorische Optimierung, 4. Übung, Dienstag 28. Juni 2011
Analytische Optimierung ohne Nebenbedingungen, 8. Vorlesung, Freitag 1. Juli 2011
Wir betrachten nichtlineare Optimierungsaufgaben und verallgemeinern das aus der Schule bekannte Verfahren zum Optimieren von Funktionen: extremwertverdächtige Stellen finden wir durch Nullsetzen der ersten Ableitung. Diese stationären Punkte müssen wir dann weiter untersuchen. Die zweite Ableitung kann uns manchmal garantieren, dass wir ein Maximum oder Minimum vorliegen haben.
Leseauftrag
- Wiederholen Sie den Begriff der partiellen Ableitungen von Funktionen mehrerer Veränderlicher, z.B. im ALA-Skript Abschnitt 7.1, Seiten 142–145.
- Wiederholen Sie den Abschnitt 7.2 aus dem ALA-Skript, Seiten 145–150.
- Lesen Sie den Anfang von Kapitel 4 inklusive 4.2, Seiten 61–73, im Gerdts-Skript. Auf Seite 68 können Sie den Text vor Satz 4.1.9 mit Eigenwerten gern auslassen. Wir werden uns auf die Charakterisierung der Definitheit aus dem ALA-Skript beschränken.
Kontrollfragen
- Was ist der Gradient einer Funktion?
- Wie bestimmt man die Hessematrix einer Funktion?
- Hat jede Funktion einen Gradienten und eine Hessematrix?
- Was sind Gradient und Hessematrix einer Funktion f mit genau einer Veränderlichen?
- Was ist der Unterschied zwischen hinreichenden und notwendigen Bedingungen (z.B. für Optimalität)?
- Was sind konkrete hinreichende bzw. notwendige Bedingungen für lokale Minima für unrestringierte Optimierungsprobleme mit glatter Zielfunktion?
- Was verbirgt sich genauer hinter dem Begriff glatt?
Probeklausur am Montag, 4. Juli 2011
Sie haben die Gelegenheit, eine Generalprobe der schriftlichen Prüfung mitzumachen. Besonders realistisch wirkt das mit Aufsicht zu einem Sondertermin (4. Juli 2011, 16:15 bis 17:45 Uhr) im Hörsaal H1 (Geomatikum). Sie können die Aufgaben aber auch zu Hause bearbeiten und bis Mittwoch, 6.7. 11 Uhr bei Dr. Düvelmeyer abgeben. Die Teilnahme ist freiwillig, die Korrektur dient Ihnen nur zur Vorbereitung und wird anderweitig nicht gewertet.
Analytische Optimierung mit Gleichungsnebenbedingungen, 9. Vorlesung, Dienstag 5. Juli 2011
Wir wollen die Methoden der freien nichtlinearen Optimierungsaufgaben auch auf Optimierungsprobleme mit Gleichungsnebenbedingungen anwenden. Dafür nutzen wir eine Methode von Lagrange.
Leseauftrag
Lesen Sie im ALA-Skript die Abschnitte 7.4 und 7.5, Seiten 153–160
Kontrollfragen
- Nennen Sie eine Möglichkeit, Regularität für den Lagrange-Ansatz sicherzustellen.
- Was kann beim Lagrange-Ansatz schief gehen, wenn die Regularität verletzt ist?
- Welche Aussagen zur freien Optimierung übertragen sich dank der Lagrange-Methode auf Gleichungsnebenbedingungen?
Analytische Optimierung, 5. Übung, Dienstag 5. Juli 2011
Analytische Optimierung mit Ungleichungsnebenbedingungen, 10. Vorlesung, Freitag 8. Juli 2011
Wir schauen uns die Karush-Kuhn-Tucker Bedingungen an.
Leseauftrag
Entfällt diesmal.
Numerische nichtlineare Optimierung, 11. Vorlesung, Dienstag 12. Juli 2011
Wir behandeln das allgemeine Abstiegsverfahren zur Suche von lokalen Extremstellen.
Leseauftrag
Lesen Sie Abschnitte 4.3 und 4.4, Seiten 73–78, im Gerdts-Skript.
Kontrollfragen
- Wie lange benötigt das allgemeine Abstiegsverfahren, um ein Minimum exakt zu finden?
- Wie hängt das Ergebnis einer Optimierung mittels Abstiegsverfahren vom Startpunkt ab?
- Welches Verhalten eines Abstiegsverfahrens wünscht man sich (realistisch)?
- Können sich viele kleine Rechenfehler im Verlaufe eines Abstiegsverfahrens zu gravierenden großen Fehlern im Endergebnis auswirken?
- Was für Garantien bringt unsere mit Abstiegsverfahren berechnete Lösung mit?
- Was für Wahlmöglichkeiten haben Sie, um eine Abstiegsverfahren durchzuführen?
- Was besagt der Konvergenzsatz für das Gradientenverfahren mit Armijoregel?
- Welche Schrittweitenstrategien für das allgemeine Abstiegsverfahren kennen Sie?
- Was ist ein Orakel 2. Ordnung für Abstiegsverfahren?
Auswertung Probeklausur, 6. Übung, Dienstag 12. Juli 2011
Besprechung der Probeklausur
Newtonverfahren, 12. Vorlesung, Freitag 15. Juli 2011
Wir lernen das lokale und das globale Newtonverfahren kennen und analysieren deren Konvergenzverhalten.
Leseauftrag
Lesen Sie Abschnitte 4.5 bis 4.7, Seiten 78–88, im Gerdts-Skript.
Kontrollfragen
- Was besagt der Konvergenzsatz für das lokale Newtonverfahren?
- Was besagt der Konvergenzsatz für das globale Newtonverfahren?
- Was ist lineare, superlineare und quadratische Konvergenz?
- Was kann in der Praxis die Anwendung des Newtonverfahrens schwierig machen?
- Welche Gestalt (Formel) hat eine lineare Funktion \(f : R^n \to R\)? Und eine quadratische Funktion?
- Was versteht man unter einem linearen bzw. einem quadratischen Modell einer Funktion \(f(x)\) in der Nähe eines Punktes \(\bar x\)?
Klausur, Dienstag 9. August 2011, 9:30-11:30 Uhr
(Termin wurde am 8.6. aktualisiert, Ort am 20.6.)!
Die Klausur mit 120 Minuten Arbeitszeit soll prüfen, ob Sie die Ziele der Vorlesung erreicht haben und damit den Teil des Moduls bestanden haben. Dies findet im Hauptgebäude, in den Hörsäalen ESA A und ESA B statt. Bitte ab 9 Uhr da sein. Personalausweis und Schreibpapier bitte nicht vergessen.
Zugelassene Hilfsmittel
- Schreibgeräte etc. (Wecker sind erlaubt sofern sie leise bleiben; nicht erlaubt: Handy, Smartphone und sonstige Kommunikationsgeräte)
- ausreichend eigenes unbeschriebenes Papier
- nicht programmierbarer Taschenrechner
- Tafelwerke ohne eigene Ergänzungen (im Zweifel melden Sie Ihr Tafelwerk beim Dozenten bitte an!)
- Vorlesungsmitschriften/Skript sind nicht direkt zugelassen.
Es wird eine vorlesungsspezifische Prüfungshilfe geben, die Sie selbst erarbeiten und den Klausuraufgaben beigefügt wird.
- Deren Umfang ist auf 2 Seiten A4 beschränkt.
- Sie reichen bei Dr. Düvelmeyer Vorschläge per Email ein, bis zum 18.7.2011 (Montag nach der letzten Vorlesung).
- Vorschläge können vom Dozenten ohne Grund abgewiesen werden.
- Keine Garantie für die Exaktheit der Notizen.
- Bekanntgabe der Klausurversion der Hilfe am 20.7.2011.
Bewertung
Ziel ist, dass Sie Standardtechniken der Optimierung erfolgreich auf praktische Probleme anwenden können. Um dies zu überprüfen, wird es Aufgaben aus drei Bereichen geben.
- Wissensfragen: Wiedergabe und Erklärungen zu theoretischen Aspekten.
- Modellierung: Aus Textbeschreibungen eines Problems soll eine mathematische Problemformulierung gewonnen werden.
- klassisches Rechnen: mathematische Probleme sollen rechnerisch gelöst werden.
Klausur Wiederholung, Dienstag 20. September 2011, 12:30-14:30 Uhr
Der zweite Versuch zum Bestehen der Klausur kann dann im Audimax 1 starten. Bitte ab 12 Uhr da sein.