Dual Tourney 2002
Das Dual Tourney 2002 war nun das größere Projekt, welches ich schon in der Schlussbemerkung der CPU Masters 2001 angekündigt hatte. Als Hardwareplattform stand mir diesmal ein aktuelles Dual-System mit ausreichend viel Arbeitsspeicher zur Verfügung. Dadurch war es möglich, einen Vergleich aktueller Schachprogrammpakete (im Sinne von Engine plus Eröffnungsbuch) bei Turnierbedenkzeit und einer hinreichend hohen Partienanzahl vorzunehmen. Die Liste der Teilnehmer wurde stetig erweitert, bis schließlich 10 Programme getestet und damit insgesamt 900 Partien gespielt worden waren. Die Ausgangsmotivation bei diesem Projekt war, eine statistisch nicht unbeachtliche Anzahl von Partien bei Turnierbedenkzeit und daraus resultierend einen relativ aussagekräftigen Vergleich der Programmpakete zu ermöglichen. Am Ende sollte dabei erstens ein Turniersieger feststehen (um eine gewisse Spannung herzustellen) und zweitens eine relativ verlässliche Rangliste der teilnehmenden Programme aufzustellen sein.
| 01. Fritz 7.0.0.6 |
| 02. Shredder 6.02 |
| 03. Chess Tiger 14.0 |
| 04. The King 3.12d (Default) |
| 05. Gandalf 4.32h (UCI) |
| 06. Crafty 18.14 |
| 07. Junior 7 |
| 08. Hiarcs 8 |
| 09. Aristarch 4.4 |
| 10. Ruffian 1.0.1
11. CM8000_Pillen |
| Dual AMD Athlon Thunderbird | |
| 1400 MHz | |
| 768 MB RAM | |
| 2x 20 GB Maxtor IDE-HD (RAID-0) | |
| (beide 5400 U/min) | |
| Mainboard: Tyan Tiger MP S2460 (AMD-760 MP) | |
| OS: Windows XP Professional |
| - 120min für 40 Züge, danach 60min für den Rest |
| - 256 MB Hashtables (soweit unterstützt) |
| - 3-, 4- und 5-Steiner Tablebases (32 MB Tablebase-Cache) |
| - Alle Programme mit Standard-Settings |
| - Alle Programme mit eigenem Buch, sofern vorhanden |
| - Auf Gegnerzeit rechnen: Eingeschaltet |
| - Turniermodus: Jeder gegen jeden 20 Partien |
| - Nach jeder Begegnung werden Buch- und Positionslerndateien wieder entfernt |
Gestartet wurde das Turnier am 22.03.2002, am 14.01.2003 wurde die letzte Partie gespielt (Turnierlänge in etwa 9 Monate, da im September 2002 nicht gespielt wurde).
Offizieller Endstand des Turniers (mit CM8000_Pillen):
alle Partien downloaden (als pgn gezipped): HIER
zusätzliche Partien des CM8000 (Default) downloaden: HIER
Lieblings- / Angstgegner der Programme bei diesem Turnier:
| Programm | Lieblingsgegner | Angstgegner |
| Fritz | Aristarch (16 - 4) | Chess Tiger (9.5 - 10.5) |
| Junior | Aristarch (14.5 - 5.5) | Hiarcs (9 - 11) |
| Shredder | Crafty (15.5 - 4.5) | Fritz, Chess Tiger (jeweils (7 - 13) |
| Chess Tiger | Aristarch (13.5 - 6.5) | CM8000_Pillen (7.5 - 12.5) |
| Ruffian | Aristarch (14.5 - 5.5) | Fritz, CM8000_Pillen (jeweils 8 - 12) |
| Hiarcs | Aristarch (13 - 7) | Ruffian (8 - 12) |
| CM8000_Pillen | Chess Tiger (12.5 - 7.5) | Fritz (7.5 - 12.5) |
| Gandalf | Aristarch (13 - 7) | Fritz (6 - 14) |
| Crafty | CM8000_Pillen, Aristarch (jeweils 11 - 9) | Shredder (4.5 - 15.5) |
| Aristarch | CM8000_Pillen, Crafty (jeweils 9 - 11) | Fritz (4 - 16) |
Wieviel besser hat das Chessmaster Spezial-Setting abgeschnitten?
----------------------------------------------------------------------------------------------------
CM8000 (default) holte 77.5 Punkte aus 180 Partien: 43.1%
CM8000_Pillen holte 88.5 Punkte aus 180 Partien: 49.2%
Eine Leistungssteigerung um ca. 6%, nicht enorm, aber dennoch sehr beachtlich. Es lohnt sich also, spezielle Settings für den Chessmaster zu benutzen, wenn er gegen viele verschiedene Gegner spielen muss.
----------------------------------------------------------------------------------------------------
Gegen welche Programme lief es besser, gegen welche schlechter?
Besser:
Tiger (7-13 vs. 12.5-7.5!), Ruffian (7.5-12 vs. 12-8!),
Hiarcs (9-11 vs. 11.5-8.5), Aristarch (8.5-11.5 vs. 11-9)
Schlechter:
Shredder (10.5-9.5 vs. 8.5-11.5), Gandalf (10-10 vs. 8.5-11.5)
----------------------------------------------------------------------------------------------------
Meine Einschätzung der Programme:
Fritz: Der Turniersieger hat auf der ganzen Linie überzeugt. Nur eine knappe Niederlage (gegen Tiger) musste er einstecken, während er den anderen Gegnern teilweise sehr deutlich gezeigt hat, wo es langgeht. Fritz ist in der Version 7 nachwievor taktisch nahezu unüberwindlich und hat nun das nötige Wissen, dessen Abwesenheit ihm früher einige Punkte gekostet hat. Erstaunlich ist bei diesem Programm, dass es gegen alle Engines gleichermaßen überzeugen konnte und keinen wirklichen Angstgegner zu haben scheint. Insgesamt also eine herausragende Überlegenheit von Fritz in dieser Gruppe (und unter diesen Bedingungen), denn ein solches Turnier mit über 10 Punkten Abstand zu gewinnen ist schon eine eindrucksvolle Leistung.
Junior: Junior hat mich sehr positiv überrascht in diesem Turnier. Ich hätte es vorher nicht für möglich gehalten, dass ein Programm mit einem derart riskanten (=opferfreudigen) Spielstil so weit oben landen könnte. Doch Junior zeigte vom Resultat her gemessen kaum Schwächen und musste gegen keinen Gegner hohe Niederlagen einstecken, auch wenn es insgesamt nicht so rund lief wie bei Fritz. Von der Spielanlage her gesehen bietet Junior sicherlich das nach meinem Geschmack attraktivste Schach. Da verzeiht man es ihm, wenn sich dann ab und zu das eine oder andere Opfer als inkorrekt herausstellt oder ein tollkühn geführter Angriff einfach abgewehrt wird und Junior am Ende mit einer Verluststellung da steht. Eine andere Sache, die mir an Junior sehr gefällt ist sein Zeitmanagement, denn es war zu beobachten, dass er sich in kritischen Situationen oft mehr Zeit nimmt als andere Programme.
Shredder: Shredder profitierte vom Eingreifen des CM8000_Pillen, da seine direkten Tabellennachbarn gegen diesen schlechter abschnitten, Shredder selbst jedoch besser punkten konnte als gegen den Standard-Chessmaster. Trotzdem geht der dritte Platz in Ordnung, auch wenn man sagen muss, dass die Leistungsdichte bei den nachfolgenden Plätzen sehr hoch war. Shredder schnitt gegen Fritz, Junior und Tiger eher schlecht ab, konnte dafür jedoch teilweise sehr deutlich gegen alle anderen Programme punkten. Die Partien waren zum Teil hochspannend, da der Verdacht aufkam, Shredder verfolge oftmals einen konkreten Plan anstatt nur im Trüben zu fischen. Die Version 6 des viermaligen Weltmeisters lässt sich taktisch nicht mehr so leicht auskontern wie die Vorgänger und scheint außerdem etwas angriffslustiger geworden zu sein.
Chess Tiger: Einer der ältesten Teilnehmer bei diesem Turnier konnte trotzdem noch auf weiten Strecken überzeugen! Auch wenn der Tiger nicht die attraktivsten Partien spielte, so wusste er oftmals besser als seine Gegner, wie man erfolgreich Schach spielt. Nur zweimal lief es für den Tiger weniger gut (gegen Junior und CM_Pillen), doch für die meisten Gegner war er ein Fels in der Brandung, den man kaum überwinden konnte.
Ruffian: Vielleicht DIE Überraschung des Turniers! Ein Amateur, der auch Profis das Fürchten lehren kann und dabei über viele Partien hinweg erfolgreich spielt. Während alle anderen Amateure gegen die Profi-Programme meist bittere Niederlagen verbuchen mussten, konnte Ruffian vor allem gegen Junior, Tiger und Hiarcs überzeugen. Das Programm ist taktisch sehr sicher, spielt attraktives Schach und scheint kaum Schwächen zu haben. Sicherlich steckt aber noch viel Potential in dieser neuen Engine, der ich durchaus zutraue, irgendwann einmal ganz oben mitzumischen.
Hiarcs: Für mich war Hiarcs bei diesem Turnier eine leichte Enttäuschung. Zwar gibt es sicherlich deutliche Fortschritte in dieser neuen Version gegenüber der alten, jedoch konnte Hiarcs nie mit den Topprogrammen auf Tuchfühlung an der Spitze gehen. Zwar setzte es auch niemals deutliche Niederlagen, aber ebensowenig gab es überzeugende Siege. Ich hatte oftmals den Eindruck, dass Hiarcs sich eine vorteilhafte Stellung selbst kaputt machte, indem er beispielsweise einfach mal eine Qualität opferte und dann sogar noch ums Remis kämpfen musste. Trotzdem hat das englische Programm einen unwiderstehlichen Charme, da es die geringste Knotenleistung aufweist und trotzdem mit den schnellen Rechnern mithalten kann. Außerdem habe ich den Eindruck, dass Hiarcs mehr von der Bauernführung versteht als andere Engines.
CM8000_Pillen: Der Chessmaster mit den Settings von Markus Pillen konnte einige deutliche Zeichen setzen (gegen Tiger, Ruffian und Hiarcs), hat jedoch über eine längere Partiedistanz keinen Anschluss mehr an die Spitze des Feldes. Auch wenn der Chessmaster über weite Strecken hinweg schöne Partien spielte, so fehlte ihm sicherlich im Endspiel einige Male der Tablebase-Support, auch wenn man sagen muss, dass er trotzdem über ein sehr gutes Endspielwissen verfügt. Mit knapp 50% hat das Programm noch Anschluss an das Mittelfeld und konnte seinen ärgsten Verfolger Gandalf im Fotofinish überholen.
Gandalf: In der Version 4.32h auch einer der Oldies im Feld, konnte das dänische Programm durch einige spektakuläre Siege beeindrucken. Eine herbe Match-Niederlage gab es nur gegen Fritz, während Gandalf gegen die restlichen Programme noch einigermaßen mithalten konnte. Von der Spielanlage her ähnlich einfallsreich und angriffslustig wie Junior, fehlt Gandalf doch oftmals das letzte Quäntchen Biss (oder Glück?), um erfolgreich zu sein. Trotzdem geht von diesem Zauberer eine unwiderstehliche Anziehungskraft aus, die sich vor allem bei längeren Bedenkzeiten entfalten kann.
Crafty: Crafty stellte für viele Amateurprogramme über einen langen Zeitraum eine fast unüberwindbare Hürde da. In diesem Turnier zeigte sich nun, dass zumindest Ruffian diese Hürde deutlich übersprungen hat. Crafty konnte den starken Profiprogrammen oftmals wenig entgegensetzen, doch es gab auch einen Achtungserfolg gegen den Chessmaster. Das Programm spielt nicht unattraktiv, ist jedoch vom Anschluss an die Riege der schwächeren Profis ein ganzes Stück weit entfernt.
Aristarch: Im Vorfeld schon als neuer bester Amateur bejubelt, konnte das deutsche Programm gegen die Gegner dieses Turniers einfach nicht überzeugen. Die Engine war Lieblingsgegner der meisten Engines und konnte keinen einzigen Matchsieg erringen. Das lässt nur einen Schluss zu: Um gegen Profi-Programme ebenso erfolgreich zu punkten wie etwa Ruffian, muss noch viel Entwicklungsarbeit in diese Engine gesteckt werden. Der Chessmaster in der Default-Einstellung schien Aristarch zwar zu liegen, doch ansonsten war Ari leider nur Punktelieferant für die anderen Programme und spielte nicht in derselben Liga. Trotzdem produzierte Aristarch einige schöne Partien, denn an Angriffswillen fehlt es der Engine nicht.
Auch dieses Projekt hat wieder sehr viel Spaß gemacht und war trotz der wesentlich höheren Partienzahl weniger aufwändig als das CPU-Masters 2001, da nur auf einem einzigen PC gespielt wurde. Es ist einfach spannend, wenn man wieder ein neues Programm ins Rennen schickt um zu sehen, wie es sich gegen die anderen Engines schlägt. Natürlich ist es auch sehr interessant, die teilweise hochspannenden Partien zu beobachten oder mit seinem Lieblingsprogramm mitzuleiden. Trotzdem werde ich ein Projekt in dieser Größenordnung nicht noch einmal durchführen. Die Grund dafür ist, dass am Ende eines solchen Mammut-Turniers schon wieder aktuellere (und damit meist stärkere) Versionen der Programme im Umlauf sind. Das hat wiederum zur Folge, dass man sich weniger für den Endstand eines solchen Turniers mit nicht mehr ganz aktuellen Engines interessiert und lieber die neuen Versionen spielen sehen möchte. Allerdings steht durch dieses Turnier jetzt eine große Anzahl von Turnierpartien zur Verfügung, welche auch bei der Beurteilung neuerer Engines helfen kann: Findet z.B. die neuere Version des Programms X in Stellung Y jetzt einen besseren Zug als die hier verwendete? Diese oder ähnliche Untersuchungen könnten nun folgen.
Mein nächstes größeres Vorhaben ist die Teilnahme am CSS-Engine-Masters 2003. Danach werde ich sicherlich auch wieder eigene Projekte in Angriff nehmen, jedoch wird es entweder eine Kürzung bei der Bedenkzeit oder bei der Anzahl der Partien geben.