TIB: NP-Vollständige Probleme (Lernziele KE4 2/2, Update)
Lernziel 3
Wie ist der Vollständigkeitsbeweis zu ?
steht für das englische satisfiability. Also ein Erfüllbarkeitsproblem. Es wird gefragt ob eine aussagenlogische Formel erfüllbar ist (erinnert ihr euch an KNF/DNF aus der technischen Informatik? Das hier ist nicht weit weg...).
Da eine Formel nur endlich viele variablen enthält, die nur mit und belegt werden können, haben wir eine endliche Anzahl an Möglichkeiten. Wenn wir alle durchprobieren, kommen wir (oder nicht) irgendwann dahin, dass die Formel wahr wird. Haben wir Variablen, so müssen wir im worst case Kombinationen betrachten. Damit benötigen wir für einen Exponentialzeitalgorithmus und diese gelten für die Praxis als unwichtig, steigt der Aufwand für größere doch massiv an. Hätten wir zu dem Problem einen Polynomialzeitalgorithmus, sähe die Sache ganz anders aus.
Aber es gibt einen Lichtblick: Wenn wir nicht jede Möglichkeit durchprobieren wollen, kann das Prüfen einer vorgegebenen Lösung für in Linearzeit erfolgen. Haben wir Variablen, so müssen wir sie erst kurz belegen und die Formel dann auswerten. Beides geht jeweils in Linearzeit. Damit haben wir schon einmal den ersten Schritt getan: wir haben eine angegeben, die die Hilfseingabe (unsere zu prüfende Belegung der Variablen) auf wahr oder falsch kontrolliert. Okay, haben wir nicht. Aber wir könnten es mit wenig Aufwand (vielleicht reiche ich so eine bei Gelegenheit hier nach) tun. Damit ist der erste Schritt vollbraucht .
Kümmern wir uns nun um den zweiten Schritt, die -Härte. Aber ohne die Abkürzung der Reduktion zu nehmen. Das folgende Beispiel basiert auf dem Buch von Prof. Dr. Dirk W. Hoffmann (oben rechts verlinkt). Die Credits also ausnahmslos an ihn. Und auch wenn ich mich wie eine kaputte Schallplatte anhöre: das Buch ist ein Lifesaver für theoretische Informatik und gehört in jedes IT-Bücherregel, daher absolute Kaufempfehlung. Der Herr gehört unbedingt unterstützt.
Wir müssen hier also beweisen, dass wir ausnahmslos alle Probleme aus auf reduzieren können. Da wir keines haben, müssen wir uns eins basteln, wo einzusehen ist, dass es alle Probleme aus "widerspiegelt" und dieses auf reduzieren. Nehmen wir also ein beliebiges Problem und eine namens , die das Problem entscheidet. Wir müssen jetzt zeigen, dass wir für jedes Eingabewort für eine Formel konstruieren können, für die gilt:
terminiert im Endzustand ist erfüllbar.
D.h. nur wenn unsere Maschine mit dem Eingabewort terminiert, so ist auch unsere Formel mit dem gleichen Eingabewort erfüllbar und andersrum. Wir müssen in polynomieller Zeit konstruieren. Dazu werden zunächst Variablen eingeführt:
Nach Schritten, steht an Position das Zeichen .
Maschine befindet sich nach Schritten im Zustand .
Maschine befindet sich nach Schritten auf Bandposition .
Die Laufzeit der Maschine ist polynomiell durch das Polynom beschränkt, denn ist die Länge der Eingabe . Die Indizes von liegen also im Intervall . Auch bewegt sich der Schreib-Lese-Kopf maximal Positionen nach links oder rechts, so dass wir den Bandinhalt auf dem Teilstück betrachten müssen. Der Kopf steht über der Position . Ausprobiert wird das an der Sprache mit dem Alphabet .
Diese Sprache wird von einer erkannt, die nur zwei Zustände hat. wenn das Zeichen auf dem Band eine ist (Eingabewort ) und wenn es ein (Blank) ist. Da die Berechnung hier bereits nach einem Schritt endet, ist die Laufzeit der Maschine . Wir haben also ein "Problem", dass in polynomieller Zeit durch die entschieden werden kann und damit in liegt (das ist ja nur das Orakeln der Eingabe). Nun müssen wir nur noch polynomiell in eine -Instanz codieren.
Um den Bandzustand, den Zustand der Maschine und die Position des Lesekopfes als eine Formel zu codieren, werden die oben eingeführten Variablen verwendet. Ist z.B. , so befindet sich auf dem Band jetzt auf Position das Zeichen . Durch die oben gemachten Einschränkungen, haben wir verschiedene Bandvariablen, die wir mit oder belegen können um den Bandzustand zu repräsentieren ( ist das Blank).
Der Zustand von codieren wir mit:
Für die Kopfposition haben wir sechs Variablen:
Mit diesen Variablen haben wir alle Variablen repräsentiert, die die Maschine einnehmen kann. Wenn wir die Maschine also in abbilden wollen, sieht die Formel dann so aus:
Was bedeutet es?
: Startbedingung. Initiale Konfiguration von . Die Maschine befindet sich in , das Eingabewort ist auf dem Band, der Rest ist leer und der Kopf befindet sich auf Position .
: Randbedingungen, die zu jeder zeit erfüllen muss, d.h. Diese sind:
: Maschine befindet sich zu jedem Zeitpunkt in nur einem Zustand
: Der Schreib-Lese-Kopf befindet sich immer nur an einer Position.
: Es befindet sich nur ein Symbol an jeder Bandstelle zu jedem Zeitpunkt.
: Transitionsbedingungen. In dieser Teilformel werden die möglichen Konfigurationsübergänge codiert, d.h. Sie bestehen aus:
: Maschine geht in Folgekonfiuration über.
: Inaktive Maschine, terminiert.
: Bandinhalt wird geändert.
: Akzeptanzbedingung. Hier wird codiert, dass die das Wort dann annimmt wenn es im Endzustand anhält. Der Zustand muss in weniger als Berechnungsschritten erreicht werden.
Und nun kommt der Spaß an der Sache. Alle Bedingungen können wir als Formel codieren.
Beispiel: nehmen wir an, das Wort besteht aus , d.h. auf dem Band steht . Die oben in Prosa verfasste Startbedingung, wäre dann:
In Worten ausgedrückt: Die Maschine befindet sich nach Schritten im Zustand (erste Bedingung), der Lesekopf nach Schritten auf Position (zweite Bedingung) und auf dem Band steht auf Positionen eben (dritte, vierte und fünfte Bedingung). Und wenn das alles stimmt, die Variablen also alle mit einer belegt sind, dann evaluiert die Formel bei Auswertung zu . Oh mein Gott! Das ist genau das, was wir für die Maschine festgelegt und nun in eine Formel gequetscht haben.
Haben wir z.B. ein leeres Wort , d.h. auf dem Band steht , so sieht unsere Startbedingung wie folgt aus:
Gleiches gilt für Rand-, Transitions- und Akzeptanzbedingungen, die wir eben auch als Formel darstellen können. Ist nur alles ziemliche Schreibarbeit. Wenn die alle erfüllt sind, evaluiert auch unsere Gesamtformel (siehe oben) zu einer . Eventuell schreibe ich die kompletten Rand- und Transitionsbedingungen bei Gelegenheit hier nochmal hin.
Wie wir also sehen können, können wir die Bedingungen für eine Maschine in eine Formel quetschen, die genau das tut, was wir wollen. Wir haben also gezeigt, wie eine polynomiell auf eine aussagenlogische Formel reduziert werden kann, die genau dann erfüllbar ist, wenn in einem Endzustand terminiert.
Ein ausführlicher Beweis ist z.B. auch hier zu finden.
Hier entfaltet seinen Charme: wir können viele Algorithmen auf zurückführen, indem wir den Ablauf in die Formel hineincodieren und damit das Problem auf reduzieren. Und was passt hier besser als Beispiel, als ?
Antwort zum Lernziel: wir codieren eine komplette Aussagenlogische Formel in ein Wort für eine Turingmaschine, deren Laufzeit polynomiell beschränkt ist. Die Maschine terminiert nur wenn die aussagenlogische Formel wahr ist. Es ist leicht einzusehen, dass diese initiale Turingmaschine, also praktisch unser -vollständiges Problem (wo leicht einzusehen ist, dass es tatsächlich in liegt), in polynomzeit durch eine Kontroll-Turingmaschine entschieden werden kann.
In die Eingabe dieser Maschine dieses wird dann die zu prüfende, aussagenlogische -Formel codiert und von dieser ebenfalls in Polynomzeit entschieden.
Lernziel 4
Wie führt man eine einfache, polynomielle Reduktion aus?
Reduktion von auf
Die Frage bei ist:
Gibt es eine erfüllende Bedingung bei aussagenlogischen Klauseln mit maximal Literalen (atomare Aussage, z.B. oder )?
Damit ist eine abgeschwächte Form von . Einschränkung ist, dass die Formel für in der Konjunktivform (mit verknüpft) vorhanden sein muss. Um also zu zeigen, dass ebenfalls -hart ist, müssen wir auf polynomiell reduzieren, formal ausgedrückt:
Was wir tun müssen, ist also eine allgemeine Formel nehmen und sie so umformen, dass die beliebig viele Klauseln, aber nur drei Literale pro Klausel hat. Das machen wir mit Hilfe von Hilfsvariablen. Haben wir also ein Term in der folgenden Form in KNF mit Variablen:
Für jede Klausel mit Variablen entstehen neue Klauseln mit neuen Variablen:
Hilfsvariablen? Ja, Hilfsvariablen. Diese Variablen zeigen uns an, welcher Teil aus der zerteilen Klausel das ganze Konstrukt hat wahr werden lassen.
Beispiel? Klar:
Die erste Klausel wandeln wir also um in Klauseln mit einer neuen Variable. Die zweite Klauseln können wir so lassen, da wir da bereits drei Literale drin haben. Nennen wir unsere neue Hilfsvariable also einfach . Damit sehen unsere beiden neuen Klauseln nun so aus:
Der Trick hierbei ist, dass die Hilfsvariable dann falsch wird, wenn die erste Teilklausel wahr wird und wahr wird wenn die zweite Teilklausel wahr wird. Stellen wir doch eine kleine Wertetabelle für den umgeformten Term zusammen, wie wir das auch in der technischen Informatik (Computersysteme 1&2) gemacht haben:
Ich habe Excel etwas vergewaltigt, nehmt mir das nicht übel. Die Spalten haben folgende Bedeutung:
- In den Spalten A-D stehen alle unsere Variablenbelegungen .
- In Spalte E steht die umzuformende Klausel .
- In Spalte F steht die so entstandene erste Teiltklausel,
- In G die zweite.
- In Spalte H steht unsere Hilfsvariable , die falsch wird wenn die erste Teilklausel in Spalte F wahr ist und wahr wird wenn die zweite Teilklausel in Spalte G wahr wird. Der Inhalt von spielt keine Rolle wenn die Klausel sowieso negativ werden würde (grünes Kästchen).
- In Spalte I und J stehen unsere neuen Teilklausen mit der Hilfsvariable, die wir dann verwenden um die alte Klausel zu repräsentieren.
- Spalte K beherbergt dann beide Klauseln aus I und J mit einem verknüpft. Genau diese Klausel
- in Spalte K ist dann:
Und sie tut genau das gleiche wie die initiale Klausel aus den vier Literalen, die wir umformen wollten: . Lange Rede, kurzer Sinn:
Klauseln mit nur einem Literal bekommen zwei Hilfsvariablen, Klauseln mit zwei Literalen eine, Klauseln mit drei Literalen werden nicht angefasst und Klauseln mit mehr als drei Literalen werden nach dieser Vorgehensweise rekursiv in Klauseln mit drei Literalen umgewandelt. Die Anzahl der Literale hat sich also nur linear erhöht und wir haben einen Weg gefunden auf in Polynomzeit zu reduzieren. Nun können wir auch für andere Schweinereien benutzen!
Antwort zum Lernziel: am beispiel von sehen wir die Reduktion, indem wir eine aussagenlogische Formel so umformen, dass wir zwar beliebig viele Klauseln, aber nur drei Literale pro Klausel haben. Schaffen wir diese Reduktion in Polynomzeit durchzuführen, so ist sie uns gelungen.
Lernziel 5
Angabe einiger NP-vollständigen Probleme
Im Skript werden noch weitere Probleme besprochen, die -vollständig sind. Zwei davon sind und . Fangen wir doch zunächst mit an. Definition (erneut geklaut aus dem Buch von Hr. Hoffmann):
Graph mit Knotenmenge und Kantenmente
Fragestellung: Existieren Knoten , die paarweise durch eine Kante aus verbunden sind?
Menge mit dieser Eigenschaft heißt der Größe
In klaren Worten ist eine eine Menge von Knoten, die alle miteinander verbunden sind.
Beispiel: mit
und
(die Kanten in die andere Richtung habe ich aus Faulheit ausgelassen, denkt sie euch einfach dazu)
Hier haben wir Cliquen mit den Knoten identifiziert. Um zu beweisen, dass wir eine Clique der Größe gefunden haben, müssen wir nur eine geeignete Knotenmenge raten und prüfen ob paarweise durch eine Kante verbunden sind. Raten wir z.B. , müssen wir auf folgende Kanten prüfen: . Jaja, ungerichteter Graph, ich weiß: ein vorhandener Weg von nach impliziert den Weg von nach . Aber wir tun uns mit der Prüfung aller Möglichkeiten nicht weh, da dieser sowieso polynomiell beschränkt bleibt. So können wir aber auch ungerichtete Graphen in die Betrachtung mit einbeziehen.
Liegen die Kanten also in unserer Menge , so haben wir eine Clique gefunden. Man sieht leicht, dass mit der zu suchenden Cliquen-Größe der Aufwand, d.h. die Anzahl der zu prüfenden Kanten, quadratisch () in Abhängigkeit von zunimmt. Da wir eine Lösung raten und sie mit quadratischem Aufwand prüfen können, liegt unsere .
Jetzt kümmern wir uns um den aufwendigeren Teil, die -Härte von . Dazu reduzieren wir einfach auf . Wir müssen also eine Formel konstruieren, dass gilt:
ist erfüllbar enthält eine Clique der Größe
Achtung: wir verfolgen den Weg von einer Formel zum Graphen und nicht anders herum. Wir überführen also eine Formel, die wahr wird wenn sie eine Belegung hat in einen Graphen, der genau bei dieser Belegung eine Clique hat. Machen wir das am besten an einem Beispiel:
Beispiel:
Wie basteln wir uns daraus einen Graphen? Nach folgenden Regeln:
- Jedes Literal wird ein Knoten
- Zwischen jedem Knoten gibt es eine Kante wenn
- sie nicht in der selben Klausel stehen und
- wenn sie gleichzeitig erfüllbar sind ( und sind z.B. nicht gleichzeitig erfüllbar)
Ganz einfach. Um es deutlicher zu machen, beschriften wir die Knoten mit . ist die Nr. der Klausel und die Nummer des Literals in der Klausel. Z.B. wäre der Knoten, der das Literal in der ersten Klausel beschreibt, beschriftet mit .
Mit den Knoten können wir auch direkt eine Belegung für die Formel ableiten, die sie wahr werden lässt: . Wäre ein Knoten negativ, so würden wir das Literal setzen. Probiert es mal selbst an der folgenden Wertetabelle aus und bastelt euch eine Formel und den dazugehörigen Graphen
Übung:
Viele fragen sich auch, wie man eine Reduktion von zu erreichen kann, also genau der umgekehrte Weg weil es irgendwie natürlicher erscheint einen Graphen in eine Formel statt eine Formel in einen Graphen zu stecken. Es sei gesagt, dass es natürlich geht. Jedes Problem, dass -Vollständig ist, lässt sich polynomiell in ein anderes, -vollständiges Problem überführen. Jedoch evtl. nicht direkt. Der Weg von zu ist kein direkter, sondern führt über Teilgraph-Isomorphismus nach , und schließlich auf Vertex Cover, was wiederum auf zurückgeführt werden kann. Ein Weg dazu wurde von Larcheri Paolo hier beschrieben.
Ein weiteres Problem, dass im Skript angesprochen wurde war . Damit beschreibt man die Frage ob es in einem Graphen eine Menge unabhängiger Knoten gibt. Die Suche nach der maximalen Anzahl ist -Vollständig. Da und sehr nah verwand sind (ein unabhängiges Set ist im Komplementgraph eines Graphen eine Clique) kann man beide aufeinander reduzieren. Ich spare mir hier die Reduktion (erstmal), Details könnt Ihr z.B. hier, hier oder hier nachlesen.
Weitere -vollständige Probleme sind z.B.
- Hamilonkreis (siehe Beitrag zu KE3)
- Traveling Salesman
- Vier-Farben-Problem
- Rucksack
- Partition
- ...
Im Skript wird auch über Optimierungsprobleme gesprochen. Ein klassischer Vertreter davon ist das Scheduling: die Verteilung von Prozessen mit entsprechenden Ausführungszeiten auf eine bestimmte Anzahl von Prozessoren, so dass die Gesamtzeit minimal ist. Vielen -vollständige Problemen kann man ein Optimierungsproblem zuordnen, was deren Bedeutung für die Informatik unterstreicht.
Da sie alle -hart sind und sich für große Eingaben eben einer effizienten Lösung entziehen, muss man nach sog. Approximationsalgorithmen ausschau halten, die sich einem optimalen Ergebnis möglichst nah annähren. Ein schlecht approximierbares Problem ist das angesprochene (das Verhältnis zwischen der größten Clique im Graphen und der größten gefundenen Clique lässt sich nicht durch eine Konstante beschreiben), während das Rucksackproblem mit dem Greedy-Algorithmus sehr nah an einer guten Lösung sein kann.
Antwort zum Lernziel: einige -vollständige Probleme sind Hamilton, CLIQUE, Traveling Salesman, Rucksack und Partition. Weitere Probleme finden sich z.B. hier.
Lernziel 6
Warum ist vollständig für ?
Letztes Lernziel! Also, was ist ? Es ist ein einfaches Erreichbarkeitsproblem in einem Graphen. Gibt es einen Weg von Knoten zu Knoten ? Die Tiefen- und Breitensuche löst das Problem in Polynomzeit. Für den Platzbedarf sind wir aber bei (d.h. der Platzbedarf entspricht der Anzahl der Knoten), ein Algorithmus, der nur logarithmischen Platz beansprucht, ist nicht bekannt.
Eine kann das Problem jedoch mit der Bandschranke erkennen. Die Achillesferse dabei ist: der Algorithmus ist gedächnislos. Besuchte Knoten und Wege werden vergessen, wir haben evtl. das Problem von Zyklen. Entschärft wird das durch die von uns gegebene Schranke: der Knotenanzahl im Graphen. Der Algorithmus bricht ab wenn die maximale Anzahl der Knoten () besucht wurde.
Der Beweis im Skript zeigt einen sehr engen Zusammenhang zwischen und :
Also warum beansprucht tatsächlich nur logarithmischen Platzverbrauch wenn er von einer erkannt wird (hier bitte Vorsicht, nutzen wir eine normale , müssen wir alle Knoten durchprobieren und dürfen uns mit begnügen)? Der beschriebene Algorithmus arbeiten in etwa wie folgt ( ist Start- und ist Endknoten):
- (setze Startknoten und maximale Knotenanzahl als längster Weg gesetzt)
- Wenn , akzeptiere, ansonsten Schritt 3 (wenn Endknoten erreicht).
- rate neuen Knoten . Setze , Schritt 4 (neuer Knoten aus Graph wird geraten und ein Schritt vom Weg abgezogen).
- Wenn oder , verwerfen und nochmal neu raten: Schritt 3. Sonst Schritt 5 (wenn maximale Anzahl an Knoten besucht wurde, d.h. der längste Weg beschritten, ist der Weg mist. Gleiches gilt wenn ein Folgeknoten geraten wurde, und es zu diesem keine Kante/keinen direkten Weg gibt).
- , Schritt 2 (es gibt also einen direkten Weg von nach , d.h. das wird unser nächster Knoten von dem wir losgehen).
Alle Knoten und Zahlen (insg. 5) werden als Dualzahlen gespeichert und wir verbrauchen damit weniger Speicherplatz als die anderen Algorithmen mit . Da der Algorithmus gedächnislos ist, speichern wir auch keine Adjazenzmatrix und auch nicht den Weg. Raten wir also in Schritt 3 mehrmals ziemlich blöd, so laufen wir ggf. die ganze Zeit im Kreis. Wir fragen aber nicht nach dem kürzesten Weg, sondern ob es überhaupt einen gibt.
Damit ist zunächst . Nun müssen wir eine Reduktion zeigen. Dazu wird eine Maschine mit Bandschranke erstellt, die entscheidet und die Eingabe der Maschine als Graph codiert. Die Knoten sind alle Konfigurationen der Maschine bei der Eingabe von . Gibt es bei der Eingabe von von einem Zustand ausgehend einen Folgezustand, so ist das eine Kante im Graphen. Führt also zu einer Endkonfiguration, so gibt es auch einen Weg in diesem Graphen von zum Endzustand. Damit sind wir mit der Reduktion auch schon durch.
Achtung: die Reduktionen beziehen sich immer auf Zeit. Polynomialplatz ist zu mächtig für Reduktionen. Während sich immer auf Platz bezieht, da wir zeitlich nicht einmal die Eingabe hätten lesen können bei dieser Reduktion.
Antwort zum Lernziel: das Erreichbarkeitsproblem wird mit logarithmischem Platzverbrauch mit einer entschieden weil der Algorithmus gedächnislos ist. Es können also Zyklen entstehen, die wir nicht erkennen können. Der maximale Platzverbrauch ist jedoch die maximale Anzahl an Knoten weil der Algorithmus abbricht wenn die Anzahl der besuchten Knoten der Anzahl der Knoten im Graph entspricht. Da wir aber nicht nach dem kürzesten Weg fragen, sondern nur ob es einen gibt reicht uns das aus.
Die Reduktion der Eingabe auf eine Maschine mit Bandschranke erfolgt wie oben beschrieben.
Wieder: wer Fehler findet, bitte ab damit in die Kommentare oder eine Mail an mich.
Sie können zum Ende springen und ein Kommentar hinterlassen. Pingen ist im Augenblick nicht erlaubt.