I sidste måned besejrede computeren Libratus fire af verdens bedste heads-up-spillere – endda med enorm stor margin over hele 120.000 hænder.Det var klart den mest imponerende præstation af en computer nogensinde, og det var en milepæl i pokerverdenen.I mange år har software-programmører arbejdet på at skabe kunstig intelligens, der kunne slå selv de bedste pokerspillere. Der er allerede blevet skabt programmer, som kan banke selv de bedste spillere i skak og backgammon, men med poker er det noget sværere, da der er mere ufuldstændig information.PokerListings.coms Arthur Crowson ser her nærmere på den udvikling, som poker-computerne har gennemgået helt tilbage fra 1984:
1984
Mike Caro og Orac
Pokerspilleren Mike Caro lavede et program, som dystede mod flere pokerspillere ved WSOP i 1984.Mike Caro
Det tog ham to år at udvikle Orac (hans efternavn stavet baglæns) på en Apple II. Det var et simpelt program sammenlignet med Libratus, men faktisk formåede det at vinde over Doyle Brunson i et enkelt opgør.
Orac var desuden udsat for et grumt bad beat i et opgør mod Bob Stupak på Stratosphere-casinoet. I den første af tre matcher gik Orac all-in, og Stupak kaldte.
Computeren ramte trips på floppet, men ifølge Caro var der en, som ”kom til” at trække stikket til den, så den måtte genstarte. Ret shady må man sige…
1991
Forskere fra University of Alberta starter deres arbejde
En gruppe forskere fra University of Alberta i Canada var de første til at gå i gang med at skabe et program med fokus på poker.
Blandt deltagerene var den tidligere pokerspiller Darse Billings, og senere kom Michael Bowling med på holdet. Han skulle vise sig at blive en meget aktiv person i arbejdet med at skabe en pokerbot.
1996
Deep Blue besejrer Garry Kasparov
Den tidligere verdensmester Garry Kasparov dystede mod IBMs computerprogram Deep Blue og ender med at tabe.
Dette skabte et boom i forskere, som programmerede computere til at besejre mennesker i spil som Go og backgammon samt poker.
Poker er noget anderledes end skak, da man i skak har flere informationer tilgængelige. Derfor er det mere simpelt at programmere.
Interessant nok var det Carnegie Mellon University, som oprindeligt startede projektet med Deep Blue. Libratus og forgængeren Claudico er netop udviklet på dette universitet.
1997
University of Alberta introducerer Loki
Loki var den første rigtige pokerbot. Forskerne fra University of Alberta havde blandt andet bruge pokerfora som ressource i deres research.
Darce Billings var hovedbagmanden bag Loki, som var designet til at spille på et full ring-bord (ni spillere). Det er et spil, som pokerbots selv i dag ikke kan formå at være vindende i.Darce Billings
Der blev desuden spillet Limit Hold’em og ikke No-Limit Hold’em, som først blev populært nogle år senere.
Forskerne havde håb om, at Loki en dag kunne blive avanceret nok til at deltage i WSOP, men Caesers ændrede siden hen reglerne, så kun mennesker kunne deltage (det hjalp heller ikke at et firma prøvede at købe en abe ind i Main Event i 2006…).
Lokis niveau var lidt under en gennemsnitlig pokerspillers niveau dengang, så noget geni var den ikke.
1999
Loki bliver til Poki
University of Alberta gik videre med projektet og lancerede i 1999 programmet Poki, hvor der var fokuseret på heads-up. Pokis niveau var nu på højde med en gennemsnitlig pokerspiller.
Mange af disse tidlige bots (og senere bots) bygger på konceptet Nash-ligevægt, hvilket kort fortalt handler om at tage den bedste beslutning, hvor man også tager modspillerens beslutning i betragtning.
Poki blev senere brugt i computerspillet Stacked, hvor Daniel Negreanu også medvirkede.Spil mod Poki og Negreanu!
2002
PsOpti/Sparbot viser stort potentiale
University of Alberta er nu tæt på at have løst heads-up Limit Hold’em med PsOpti og Sparbot.
Den professionelle pokerspiller Gautam Rao dyster mod computeren, og selvom han vandt var han meget imponeret over dens styrke:
”I har et meget stærkt program. Når I har tilføjet modstandermodeller til programmet, vil den slå alle”.
Forskerne bag går nu i gang med at se nærmere på, hvordan modstanderne spiller på forskellige måder.
2003
Udviklere går væk fra skak-modellen
Dette var et stort skridt, da udviklerne begyndte at lave deres egne metoder for pokerbots i stedet for at bygge det på de metoder, som man havde brugt til skak-computere som Deep Blue.
Desuden skal det nævnes, at Michael Bowling, som lavede sin PhD på Carnegie Mellon, begynder at arbejde hos University of Alberta, hvor han bliver drivkraften i deres arbejde med at skabe en pokerbot de næste 10 år.
2004
Carnegie Mellon begynder på at udvikle pokerbot
Holdet fra Carnegie Mellon University, som senere skulle komme til at udvikle Libratus, starter op på deres arbejde med at udvikle kunstig intelligens indenfor poker.Noam Brown og Tuomas Sandholm fra Carnegie Mellon University.
Manden bag er den finske professor Tuomas Sandholm, men også Sam Ganzfried og Noam Brown kommer til at spille hovedroller i projektet.
En anden nyhed det år var, at der for første gang laves en No-Limit Hold’em-turnering mellem forskellige bots fra hele verden. Ace Gruber fra University of Toronto ender med at vinde.
2005
WSOP for robotter
Pokerboomet er over os, og Golden Palace er vært for en turnering for robotter med $100.000 til vinderen.
Der var seks deltagere, og vinderen blev PokerProbot, som var udviklet af en 37-årig bilsælger. Den besejrede en modificeret version af Poki, som blev kaldt Poki-X.
Phil Laak dystede i øvrigt mod PokerProbot i en heads-up inden turneringen.
- Om tre til fem år vil robotterne vinde, sagde pokerproen og tidligere softwareingeniør Kenneth ’The Clone’ Jones til LA Times dengang.
2007
Polaris vs Phil Laak
University of Alberta har nu udviklet Polaris, som skulle blive en af de mest berømte pokerbots takket være en meget omtalt heads-up mod Phil Laak.Phil Laak vandt over Polaris.
Polaris var faktisk et sammensat program, som bygger på flere bots, der arbejder sammen. Hver bot havde sin egen strategi, og dem blev der så skiftet mellem undervejs i duellen mod Laak.
Det var ikke nogen specielt meget krævende bot og kunne faktisk køre på en almindelig computer dengang. Den kunne til gengæld kun spille No-Limit Hold’em heads-up.
Phil Laak endte med at vinde.
2008
Polaris imponerer i test
Ved Gaming Life Expo kan man komme til at spille mod Polaris, som var blevet forbedret i forhold til duellen mod Laak.
Den ender med at vinde over tre mennesker, taber to og en enkelt uafgjort.
2009
University of Auckland skaber Sartre
Sartre var den første succesfulde pokerbot, som ikke var skabt af forskere fra Carnegie Mellon eller University of Alberta. Den var i stedet udviklet af forskere fra University of Auckland i New Zealand.
Sartre stod for Similarity Assessment Reasoning for Texas Hold'em via Recall of Experience og skulle vise sig at blive meget dygtig.
2011
Full Tilt og PokerStars slår ned på bots
Tidligere var bots simpelthen ikke gode nok til at vinde over mennesker i online poker, men i takt med udviklingen var det kun et spørgsmål om tid, før hobbyprogrammører begyndte at forsøge sig. Allerede i 2008 begyndte der at være rygter om bots på forskellige sider.PokerStars og Full Tilt havde fået nok af bots.
Darce Billings fra University of Alberta mente, at de fleste pokerbots er ret dårlige, og 90% af dem vil tabe penge. Men det stoppede ikke virksomheder som Shanky Technologies åbenlyst at sælge pokerbots, som endda kunne spille PLO.
I 2011 annoncerede både PokerStars og Full Tilt, at nu ville de forsøge at udrydde bots. Hvis de fandt frem til en spiller, som brugte en bot, ville spilleren omgående blive udelukket og alt indestående ville blive konfiskeret.
Bots er ikke så stort et problem i dag som dengang, da der er blevet lavet flere tiltag i pokerklienterne, der kan stoppe de fleste bots fra at spille.
2014
Tom Dwan dyster mod Limit Heads-up-computer
IGT, som er mest kendt for at lave spillemaskiner og video poker maskiner, designede en spillemaskine, som man kunne spille Limit Heads-up imod. Softwaren var udviklet af Fredrik Dahl fra Oslos Universitet.
Phil Hellmuth og Johnny Chan blev sat på som blikfang for maskinen, men den blev aldrig specielt populær blandt spillerne af en eller anden grund.
Tom Dwan skulle dog efter sigende have vundet en stor sum penge på en af dem.
I Bellagio-casinoet i Las Vegas står der stadig en af maskinerne med Phil Hellmuts billede på.
2015
Cepheus løser Limit Hold’em
Efter mange års udvikling lancerer University of Alberta endelig en bot, som har løst heads-up Limit Hold’em.
Cepheus var navnet på computeren, som mestrede Limit Hold’em efter at have spillet mod sig selv i to måneder. Cepheus byggede samtidig på de erfaringer, som University of Alberta havde fra de andre bots.
Dette var en milepæl for forskerne, da Limit Hold’em var det første spil med utilstrækkelig information, som kunne betragtes som at være løst.
Cepheus blev dengang kaldt uslåelig, men det var faktisk ikke helt rigtigt. Den kunne faktisk godt tabe penge, men det var meget svært at slå den over en lang periode.
Limit Hold’em er også et forholdsvist simpelt spil, mens No-Limit Hold’em er så meget sværere at løse på grund af de større muligheder for bets.
Målet bag Cepheus og andre lignende computerprogrammer er f.eks. at hjælpe forsvaret til at forbedre strategier og taktikker eller at hjælpe længer med at tilrettelægge behandlinger. Her er der ligesom i poker også information, som ikke er fuldstændig, men man lærer af erfaringerne undervejs.
Du kan selv prøve at dyste mod Cepheus på University of Albertas website.
Claudico taber til menneskene i Brains vs AI Challenge
Samme år som Cepheus er Carnegie Mellon klar med deres egen pokerbot Claudico, der er specialiseret i No-Limit Hold’em heads-up.
Universitetet laver en konkurrence med $100.000 på højkant, hvor Claudico dyster mod fire professionelle pokerspillere, Doug Polk, Jason Les, Bjorn Li og Dong Kim. De var alle kendt som nogle af verdens bedste heads-up-spillere.
Der skulle spilles 20.000 hænder per spiller, og til slut endte menneskene at vinde med et stort overskud på $732.713. Blandt bottens svagheder var blandt andet mærkelige bet-størrelser.
Jason Les fortalte bagefter, at han mente, at det kun var et spørgsmål om kort tid, før computeren kunne slå menneskene.
2017
University of Alberta skaber DeepStack AI
Deepstack AI skulle være den første den første bot til at slå en professionel pokerspiller i heads-up No-Limit Hold’em. Den bygger på en algoritme, som formår at lære ved at spilles mod sig selv og samtidig kan efterligne en menneskelig intuition.Michael Bowling
I udviklingen deltog mange forsøgspersoner, dog ikke så kendte navne som Doug Polk eller Dong Kim. Der blev spillet over 44.000 hænder, og der var endda kontante præmier til de bedste menneskelige modstandere.
DeepStack er unik i og med, at den var i stand til at blive en vindende pokerspiller uden hjælp fra pokerspillere på højeste niveau. Det er dog stadig omdiskuteret, om den er så god, for den har ikke dystet mod verdens bedste spillere som Claudico og Libratus har.
Libratus lammetæver menneskene i Brains vs AI 2
I januar 2017 fik vi så det foreløbige højdepunkt – eller lavpunkt om man vil - i historien om pokerbotsene mod menneskene.
Libratus, som var Carnegie Mellon Univertitets viderebygning på Claudico, vandt ikke bare over fire af verdens bedste heads-up-spillere – den smadrede dem.
Da den sidste af 120.000 hænder var blevet spillet, var Libratus foran med hele $1,766.250.
De fire menneskelige spillere var Dong Kim, Jason Les (som også var med i opgøret mod Claudico) Dan McAulay og Jimmy Chou.
Dong Kim var bedst af de fire og tabte kun $85.649, men alligevel følte han bagefter, at han var oppe mod overmagten.
”Jeg følte, at jeg spillede mod en, der snød, som om den kunne se mine kort. Jeg beskylder den ikke for at snyde. Den var bare så god”.
Libratus, som betyder ”balanceret” på latin, var ganske vist en efterfølger til Claudico, men den blev faktisk programmeret fra bunden.
Den havde ikke en fastsat strategi, men i stedet brugte den en algoritme, der udregnede strategien.
Spillerne mærkede, at Libratus ændrede sin måde at spille på hver dag, hvilket sikkert har noget at gøre med, at den analyserede sit eget spil efter hver dag og kunne korrigere fejl.
Til gengæld skulle den også bruge en super-computer, der er 7.250 gange hurtigere end en gennemsnitlig bærbar computer og koster millionvis af dollars.
Desuden kan Libratus kun spille heads-up og ville få store problemer, hvis den skulle spille mod to eller flere modstandere.
Det er altså håb for os mennesker lidt endnu.
