Computerprogrammet Libratus vandt overbevisende stort over fire af verdens bedste pokerspillere. Betyder det, at computere snart overtager pokerbordene?
Det endte med en overbevisende sejr til computeren Libratus, da den dystede over 120.000 hænder mod fire professionelle pokerspillere i Heads-up No-Limit Hold’em.
Libratus er skabt af forskere fra Carnegie Mellon University, som for et par år siden udviklede et andet poker-program, som var oppe imod blandt andet Doug Polk i en lignende dyst.
Dengang vandt menneskene, men med en sejr til Libratus på $1,76 millioner denne gang er det relevant at spørge sig, om poker er blevet ”løst” af computere?
Computere er allerede bedre end mennesket i spil som skak, backgammon og Go, så måske forsvinder det sjove ved online poker fuldstændig fremover?
Vil Libratus’ sejr ændre den måde, som os mennesker spiller poker på?
Det prøver vi at gå lidt i dybden med her.
Fra fisk til haj på to år
For to år siden havde et hold ingeniører fra Carnegie Mellon University udviklet computerprogrammet Claudico, som skulle forsøge at slå de bedste spillere i Heads-Up No-Limit Hold’em.Claudico tabte første omgang.
Det er en kompleks pokervariant, og Claudico endte også med at tabe til fire professionelle spillere. Udviklerne af programmet arbejdede dog videre og har brugt de to år til at forbedre programmet.
Derfor var folkene bag det nye program Libratus meget overbeviste om, at de ville vinde denne gang.
De fire professionelle pokerspillere var denne gang Dong Kim, Jason Les, Jimmy Chou og Daniel McAulay – fire specialister i heads-up.
Kim er en af verdens mest succesfulde online highstakes-spillere. Les har to gange været tæt på at vinde en bracelet ved WSOP. Chou vandt Assia Championship of Poker for et år siden. McAulay har vundet adskillige hundredetusinder af dollars i onlineturneringer.
Specielle regler for at gøre spillet mindre tilfældigt
Revancheopgøret blev spillet over 120.000 hænder – 30.000 per spiller – fra den 11. til 30. januar. I hver hånd startede begge med 20.000 chips og blinds på 50/100.
Dette sikrede, at hver hånd blev spillet med en stack på 200 big blinds – altså dybt nok for spillerne til at lave strategiske træk i hver hånd.
For at gøre spillet mindre tilfældigt var der samtidig indført to specielle regler:Noam Brown og Tuomas Sandholm fra Carnegie Mellon University.
1. Alle hænder blev spejlet. For eksempel hvis Spiller A får esser mod konger på et bord mod computeren, ville Spiller B få konger mod computerens esser samtidig. På den måde ville ingen af parterne være mere heldige end modparten.
2. Ingen hårde all-ins. Når en hånd var all-in før river, ville der ikke blive vist flere kort, og hver spiller fik chips i forhold til equity. Altså hvis en spiller kom all-in på turn og var favorit med 70% ville han få 70% af potten og modstanderen ville få 30%. Dermed var der ikke held indblandet i all-ins.
Resultaterne
Efter 20 dage og 120.000 hænder var resultatet meget entydigt. Libratus havde slået alle fire professionelle spiller og vundet i gennemsnit $14,71 per hånd.
Altså ville computeren have vundet 14,7 big blinds per 100 hænder, hvilket man selv tilbage i pokerens velmagtsdage ville have været overordentligt godt tilfreds med, hvis man var pokerspiller.
Alle fire mennesker tabte klart, mens Dong Kim var tættest på at vinde.
Sådan endte det efter 120.000 hænder:
| Spiller | Tab | Per hånd |
| Dong Kim | -$85,649 | -$2,85 |
| Jimmy Chou | -$522.857 | -$17,43 |
| Jason Les | -$880.087 | -$29,33 |
| Daniel McAuley | -$277.657 | -$9,25 |
| Sum / gennemsnit | -$1.766.250 | -$14,71 |
Måske var computeren bare heldig?
Som tidligere nævnt var der specielle regler for at mindske tilfældighederne i spillet så meget som muligt, men derfor kan held fortsat spille ind.
Derfor kan man selvfølgelig hævde, at spillerne bare var uheldige, mens computeren var heldig. Men lad os se lidt nærmere på nogle af de statistiske facts.Dong Kim havde ikke så meget at grine af efter matchen mod Libratus.
Computeren vandt 14,7 big blinds per 100 hænder. 120.000 hænder blev der spillet, og standardafvigelsen var på et stem mellem 100 og 200 big blinds per 100 hænder.
Dette er grove skøn for variansen, men som vi kan se, er grænserne ganske dækkende. Med de tal kan vi lave udregninger i en varians-kalkulator og svare på dette spørgsmål:
Hvad er sandsynligheden for, at menneskene faktisk spillede bedre end computeren men endte med at tabe med en rate på 14,5 big blinds per 100 hænder over 120.000 hænder?
Sandsynligheden er meget lav: Et sted mellem 0,0001% (nederste grænse) og 0,53% (øverste grænse).
Det er altså meget, meget usandsynligt, at computeren bare har været heldigere end menneskene i dette forsøg. Libratus har bare været den bedre spiller i Heads-Up No-Limit Hold’em.
Hvordan virker Libratus?
Libratus har kort sagt et enormt udvalg af strategier, som definerer hvordan man skal spille i en givet situation. Her to eksempler, som dog ikke relaterer til, hvordan Libratus spillede:
- Hvis computeren har 7♦ 4♥ pre-flop og er først til at acte, vil den raise til 3 big blinds 50% af gangene, raise til 5 big blinds 30% af gangene og folde 20% af gangene.
- Hvis vi er på turn, og computeren er oppe mod et raise og er blevet raiset på floppet med har et flush-træk med es-høj på et lavt board, vil den kalde 40% af gangene og gå all-in 60% af gangene.
Der er altså en utællelig masse forskellige situationer, som computeren vil blive udsat for, men den har en strategi for hver af dem.Supercomputeren Bridges kan ikke lige sætte sig ved et pokerbord...
Det er værd at bemærke, at de fleste strategier er som ovenstående, hvor der er to eller flere løsninger. Her tager computeren en tilfældig beslutning baseret på oddsene og balancerer sin range.
For at kunne lave alle de udregninger har folkene bag Libratus brugt en super-computer ved navn Bridges. Den er ca. 30.000 gange hurtigere end en almindelig computer, har 274 terabytes RAM og koster $9,65 millioner.
Computeren har spillet imod sig selv milliardvis af gange for at prøve de forskellige strategier og lære, hvad der fungerer bedst.
Hvis en strategi har virket, vil den blive brugt oftere. Hvis den ikke virkede, ville den blive brugt mindre. Kort sagt har computeren øvet sig ligesom os mennesker gjorde, da vi begyndte med at spille poker.
Libratus stoppede dog ikke med at lære der. Efter hver dags dyst mod menneskene justerede den sine strategier for at udnytte de svagheder, som den fandt hos modstanderen.
Men hvad med bluffs?
En computer har ingen mavefornemmelse. Den har heller ingen intuition. Så hvordan vil den kunne håndtere et bluff og kan den selv bluffe?
Jo, den kan bluffe, men den kan selvfølgelig ikke bruge mavefornemmelsen til at vurdere, om modstanderen bluffer.
Til gengæld spiller den perfekt poker og kan håndtere milliardvis af forskellige situationer perfekt, så den ender med at tage den rigtige beslutning i de fleste tilfælde.Jo, Libratus kan bluffe.
Pokerprofferne forsøgte flere gange at spille ret risikofyldt med mange bluffs, men den strategi gav simpelthen bagslag, da Libratus kunne regne ud, at der var stor sandsynlighed for et bluff.
Alt, hvad man har brug for er en supercomputer, som kan håndtere et utal af forskellige situationer, anvende milliardvis af bytes og er lynhurtig. Så skal man have et team af skarpe og kloge mennesker til at programmere den og udnytte dens power, og så er man der.
Et spørgsmål om tid
Libratus er kun begyndelsen, da computeren stadig har mange mangler.
For eksempel differentierer den måske ikke mellem et flush-draw med K-J og K-T eller forstår forskellen på at bette 55% af potten og 60%.
Den har dog en allerede udviklet perfekt strategi – i hvert fald god nok til at tæve os mennesker. Med mere tid og computerkraft end den nuværende computer til $9,65 millioner kan den kun blive bedre.
Og det er nok også kun et spørgsmål om tid, hvornår den også vil kunne slå mennesker i spil, der ikke bare er heads-up.
For to år siden lavede University of Alberta computeren Cepheus, som kunne spille perfekt Limit Heads-up. Det er ikke forkert at sige, at den variant er løst.
No-Limit er dog noget sværere, og Libratus er måske fortsat et stykke fra at spille perfekt, men det er sikkert kun et spørgsmål om tid.
Men hvad med andre pokervarianter? Poker med mere end to spillere er langt mere komplekst end heads-up, og det samme gælder for varianter som Omaha.
Men med computere, hvor udviklingen går eksponentielt, er det kun et spørgsmål om tid.
Den gode nyhed for os mennesker er, at en bot som Libratus er så kompleks, at det kræver brug af en super-computer for at bruge den. Og den spiller stadig meget langsomt. Derfor er der ikke fare for, at du vil komme til at spille mod den online lige foreløbig.
Er vi der ikke allerede?
Det skræmmende er, at bots ikke engang behøver at spille perfekt. Og de behøver ikke at slå de allerbedste spillere.
De skal bare være i stand til at slå den gennemsnitlige spiller. Og her kan man godt hævde, at vi er der allerede.
Der findes allerede nu poker-bots, der spiller bedre end den gennemsnitlige spiller i alle pokervarianter. Så selvom poker generelt ikke er løst rent teoretisk, er spillet løst nok til, at en gennemsnitlig bot kan slå en gennemsnitlig spiller.
Det samme så man i skak for nogle år siden, også før computeren Deep Blue slog verdensmesteren Garry Kasparov i 1997. Helt tilbage i 1981 formåede en computer at opnå en ELO-rangering på højde med en stormester i skak.
I poker er vi nok et sted midtvejs mellem de to punkter lige nu.
Er dette enden på poker?
Når computere kan slå de bedste pokerspillere er det relevant at spørge, om dette er enden på poker? Svaret kan deles op i to, da man bør skelne mellem live og online poker.
Det skal også med, at dette ikke er en ny problematik i pokerverdenen. Libratus’ sejr er ikke første gang, at computere har bevist, at de kan slå en gennemsnitlig pokerspiller.
For fem år siden havde Bellagio i Las Vegas installeret en computer, som man kunne spille $2/$4 Limit Hold’em imod. Botten tog ikke rake, den tjente bare penge på at slå de andre spillere.
I online poker har det været et problem med bots de seneste otte år, og alle sites tillader selvfølgelig ikke brugen af dem. Bliver man taget i at bruge en bot, får man sine penge konfiskeret, og modstanderne får tabte beløb tilbage.
Derfor ændrer Libratus’ sejr ikke så meget på den udfordring, som pokerverdenen har – udover at den sætter fokus på den enorme udvikling, som man har opnået inden for kunstig intelligens.
Ingen ændringer i live poker
For live poker vil der ikke være de store ændringer i den nærmeste fremtid. Vi vil ikke se spillere bruge deres smartphones til at udregne perfekte strategier ved bordet, og det vil heller ikke være tilladt at få gode råd fra railen.
Nogle professionelle spillere vil helt sikkert bruge avancerede bots til at forbedre deres egne strategier og spil. Men dette sker allerede nu.
Folk vil fortsat komme og spille poker på et casino på samme måde som folk spiller skak og følger med i verdensmesterskaberne i skak, selvom de bedste ikke kan slå en computer. De bedste pokerspillere vil fortsat kæmpe om titler, hæder og millioner i mange år ved den grønne filt.
Online poker skal udvikle sig
For online poker kan det dog godt se lidt sort ud. Her er det i den grad op til pokersiderne at sikre, at poker spilles på lige vilkår.
De skal sørge for, at mennesker spiller mod andre mennesker. Alle store sites gør meget for at sikre dette allerede, men det vil altid være et kapløb, som botsene kommer til at føre.
Online poker vil ikke blive berørt lige nu, da kun meget få varianter er løst, og her skal man bruge en super-computer. Men vil man have et indblik i, hvordan fremtiden ser ud for online poker, skal man igen kigge på skal.Online pokerens dage kan dog være talte.
Her vil ingen fornuftige mennesker spille skak for et betydeligt beløb online. Skak online for sjov? Gerne. Men for penge? Aldrig!
Online poker handler dog alt sammen om penge, og på et tidspunkt vil det være sandsynligt, at selv pokersidernes bedste sikkerhedsforanstaltninger ikke vil være i stand til at sikre et bot-frit miljø. Det er kun et spørgsmål om tid, før online poker skal udvikle sig til noget nyt, hvis det ikke skal gå i glemmebogen. Og her taler vi ikke om årtier, måske bare 5-10 år.
En af Libratus’ ofre, Dong Kim, svarede følgende på spørgsmålet, om dette er slutningen på online poker:
- Ikke i den nærmeste fremtid, men vi bør være bekymrede. Jeg er ikke raketforsker, men jeg formoder, at alt med computere vokser ekspotentielt.
- Enden er nær. Det var et godt løb.
