Forum » Allmänna diskussioner » The NukkAI Challenge

The NukkAI Challenge

45 inlägg / 0 nya
Senaste inlägg

Sidor

Björn Hjalmarsson
The NukkAI Challenge

NukkAI has now come so far in the development of a bridge program that they will challenge 10 International Champions 2022-03-24/25, 800 Boards.

It will only be the card play and without computer power. It will be sent live on YouTube.

Info about the match on Likedlin
Registration and tickets (free)

Will be very interesting to watch…

More info about NukkAI here

Björn

Sidor

Castor Mann

Mycket spännande

Sidor

Björn Hjalmarsson

Kompletterande info som svar på frågor i Bridgewinners:

The conditions of the play:

  • « Champions » team of 8 players (4 male 4 female) with a World title
  • Each player plays 100 deals, all deals are different so no competition between humans - 8 segments of 10 deals each
  • This challenge is about cardplay as declarer
  • Contract is 3NT and bidding sequence is 1NT 2NT 3NT (to maximize the number of «difficult deals »)
  • Score: 10 points if contract is won + 1 for each overtrick and -1 for each undertrick. This is IMP without the vulnerability effect
  • Defense is played by WB5 (best free bot) that is deterministic, ie will produce the same defence when the sequence of cards is identical

Very important: We do not claim to have solved Bridge, we just want to show that our innovative algorithm has allowed a major breakthrough using a restriction of Bridge. We intend it as a first step. Next steps will involve other contracts, then defense, then someday the bidding and we need the whole Bridge community to help along this road Smile

We use our own platform but will have a YouTube feed that everybody will be able to watch or to use via Twitch or other platforms.

Jean-Baptiste Fantun
CEO NukkAI

Sidor

Björn Hjalmarsson

Jag kommer att lägga upp länkar till videos på YouTube efter matchen på www.computerbridge.se, för dom som inte kunde titta live.

Mera info om NukkAI finns här

Björn

Sidor

Björn Hjalmarsson

Sidor

Conny Gustafsson

Finns det inte en risk att NukkAI är bättre tränad på att spela mot WB5-bottar än vad åtta mänskliga världsmästare är? Detta skulle ju kunna leda till att resultaten kan bli skeva till NukkAI:s fördel om den är optimerad för att spela mot bottar.

Får världsmästarna spela ’provgivar’ mot WB5 för att få en känsla för tendenser eller dylikt, eller börjar de från scratch?

Sidor

Castor Mann

Ja, det är problematiken som jag också kan se i detta. Dessutom spelar WB5-bottarna deterministiskt, vilket betyder att NukkAI har en enorm fördel då de kan ”testa” flera tänkbara fördelningar av korten mot WB5 algoritmen, och vid varje fördelning kan man direkt avgöra om den är möjligt eller ej, baserat på om botten hade spelat de korten som faktiskt har spelats givet den fördelningen. Efter ett par spelade kort kommer det förmodligen vara möjligt att begränsa antalet möjliga fördelningar så pass mycket att det går att brute force DD-analysera varje möjlig fördelning, eller i alla fall alla möjliga fördelningar som är väsentligt olika varandra.

Känns som man borde ge människorna som ska tävla mot bottarna tillgång till ett program där de i alla fall kan skriva in olika fördelningar och se om vilka kort som bottarna i det fallet hade spelat stämmer överens med vad de spelat, d.v.s. det skulle kunna liknas vid att människorna har möjlighet att ”fråga” bottarna om deras överenskommelser. Om den möjligheten inte finns betyder det att NukkAI har en enorm (och orättvis) fördel, och allt annat än en fullständig slakt av människorna vore ett stort misslyckande från NukkAI.

Sidor

Emanuel Unge

Men de har väl inte sagt att NukkAI vet hur de spelar?

Det är avgörande om ditt påstående ska vara korrekt.
Ja om WB5-algon av någon anledning är med i NukkAI så blir det orättvist, annars tycker jag inte det.

Sidor

Emanuel Unge

Huruvida de spelar deterministiskt eller inte tycker jag kvittar faktiskt.
Det är nästan bara bra för då kan man inte skylla på otur mot robotarna.

Oavsett om man väver in en uns av randomisering, så måste en bra bot spela på bästa sätt, vilket i slutändan är samma line varje gång. Bara vid specifika tillfällen ges chans till variation. Kvittar i detta fall i det långa loppet tror jag.

Sidor

Castor Mann

Absolut. Skulle vilja höra från utvecklarna en mer detaljerad beskrivning av NukkAI algoritmen, eller i alla fall ett svar på om dom har tillgång till WB5 algoritmen eller ej. Men i vilket fall som helst så har de haft 4 år på sig att utveckla programmet, och därför har de ju haft lång tid på sig att träna en modell mot just WB5 bottarna, så de är ju definitivt vana vid just WB5 algoritmen då. Skulle vi se samma resultat om man plötsligt ändrade försvarande bottarna till någon annan än WB5?

Sidor

Stefan Olausson

Mja… vilka erfarenheter som kan tänkas dras av detta lilla experiment, vet vi kanske möjligen i efterhand…

Intressant att följa oavsett, tycker jag Smile

Att specialbygga en ”AI” för att möta just WBridgens algoritm skulle jag betrakta som rent fusk,
så det tror/hoppas jag inte att det handlar om.
Då skulle ju resultatet knappt säga ett skvatt om spel-förmågan.

Mest anmärkningsvärt annars, tycker jag, är väl hur (till synes) lite, rent bridgemässigt, detta projekt verkar kunnat åstadkomma under så lång tid som det pågått.

Det som här presenteras verkar ju möjligen/i bästa fall vara ett förfinande av algoritmerna som Matt Ginsberg designade för 20-25 år sen.

Och tävlingsformen i denna ”challenge” är ju fortf oerhört förenklad jämfört med det spel som vi kallar för Bridge.

Intrycket blir att det är låååångt kvar, innan vi ser nån motsvarighet till ”Deep Blue” eller ”AlphaGo” inom Bridgen.

Tyvärr är ju NukkAI verkligen inga stjärnor direkt på att presentera/informera om vad dom håller på med.
Om det är ”kommersiella skäl” (förhoppning om en framtida inkomstbringande produkt) som ligger bakom ”förtegenheten”, vet jag ej.

Men när dom testat sitt program mot andra robotar, vilket antyddes i nåt av de få papper jag sett, så borde man väl t ex kunna visa upp några faktiska giv-exempel på när deras (förmodade) förbättringar av spel-algoritmen (”pareto fronts”, etc) ger mätbart utslag mot andra robotar.
Det tycker jag hade varit mest intressant.

Men blir ändå intressant se vad som kommer ut av spelet denna vecka, som sagt Smile

Sidor

Castor Mann

Håller med dig, Stefan.

Sidor

Emanuel Unge

Sidospår: Är inte robotarna redan grymma kortspelare och det är mest budgivning där det finns mycket att önska, egentligen?

Sidor

Ola Brandborn

Defense is played by WB5 (best free bot) that is deterministic, ie will produce the same defence when the sequence of cards is identical

”Hur identisk” behöver denna identiska sekvens vara? Du får utspel i en färg, och kastar dig på din långfärg, vs jag som lyfter ett sidoess först och sedan kastar mig på långfärgen. Spelar roboten på samma sätt nu, eller olika? Om olika, så finns ju här möjligheter för vakna spelförare att föra in lite varians i spelet, om det behövs.

Sidor

Stefan Olausson

Ola Brandborn skrev:


”Hur identisk” behöver denna identiska sekvens vara? Du får utspel i en färg, och kastar dig på din långfärg, vs jag som lyfter ett sidoess först och sedan kastar mig på långfärgen. Spelar roboten på samma sätt nu, eller olika?

I det generella fallet: olika, skulle jag utgå ifrån.

Lyfter du på Ässet först, så har robotarna sett ett specifikt kort hos sin partner – och även hos spelföraren om Ässet låg i bordet – vilket då påverkar monte-carlo samplingen, och kan leda till olika utfall.

Även om du från handen spelar ”likvärdiga kort” i olika ordning så påverkar det förstås samplingen hos försvarsrobotarna.
Ex: Ässet först vs Kungen först från AK på handen, ger ju uppenbart olika info till opps.
Kanske 2an först vs 3an först från xx32 på handen också gör…. finns säkert några lägen där det kan påverka outcome Smile

Hur det är med likvärdiga kort från träkarlen beror förstås på exakt hur robotarnas algoritm är skriven – går nog att svara på endast om man känner till koden i detalj.

Sidor

Stefan Olausson

Emanuel Unge skrev:


Sidospår: Är inte robotarna redan grymma kortspelare och det är mest budgivning där det finns mycket att önska, egentligen?

Nja, grymma kanske, så länge det räcker att bara ”tänka nästa kort” Smile

Men det finns flera saker dom traditionellt inte klarat särskilt bra.
Ex-vis:

  1. Eliminations-spel ”ser” roboten ofta inte förrän det är för sent…
    Den ”tror” ju att den alltid kommer ”gissa rätt” på t ex en tvåvägsmask, så den ”ser” inte behovet av vissa eliminiationsspel
    förrän den står där med skägget i brevlådan och faktiskt måste bestämma sig – ska jag nu ta Kungen eller Knekten?

  2. Mer grundläggande är, att dom har svårt dra slutsatser från TIDIGARE spelade kort.
    Typ, ”Om Väst har hj-Dam, hade hen då verkligen vänt i klöver då hen var inne?”
    Eller bara, ”I NT-kontrakt, varför började spelföraren med just spader så fort hen kom in på bordet?”
    För oss är det självklart att hen ofta har lite stick att odla i färgen, men BBO-robotarna syns ju alltför ofta vända tillbaka i spelförarens färg, eftersom dom har svårt att ta in sådan (för oss självklar) info, om färgen är objuden.

Det första fallet, att göra en spelplan ”hela vägen”, lär ju Matt Ginsberg ha gjort en hyfsat bra lösning för, innan han försvann från scenen för ca 20 år sen.
Han kallade den algoritmen för ”Gibson” – vilken tyvärr inte ingår i BBO’s GIB robotar, vad jag vet.
Hur bra dom andra robotarna (WBridge, Jack, MicroBridge, m fl) hanterar detta idag, vet jag ej.

Pkt 2 – att granska spelarnas tidigare val av spelkort i given, och dra slutsatser från om dom verkar vettiga eller ej, är nog i stora delar fortfarande rätt olöst, skulle jag tro.
Med ”oändlig beräkningskraft” kan man ju fixa det, men det blir väl nån typ ”exponentiell kurva” att hela tiden gå igenom och analysera rekursivt alla tidigare val av dom andra spelarna vid bordet.

Sen finns ju också problem som t ex

  • När ska man markera ärligt, och när bör man inte göra det? Om man nu ens spelar med markeringar öht … Mmm

  • Hur lirar man på ett sätt som håller motståndarna i mörker, eller ”gillrar en fälla”; att ”ge nån en falsk bild” av läget…

Etc …

Går förmodligen fylla på med rätt många saker i sådan lista…

Sidor

Ola Brandborn

Hur det är med likvärdiga kort från träkarlen beror förstås på exakt hur robotarnas algoritm är skriven – går nog att svara på endast om man känner till koden i detalj.

Så i praktiken kan man räkna med att utspelet är lika vid alla borden, och därefter kanske inte så mycket mer.

Sidor

Stefan Olausson

Ola Brandborn skrev:

Hur det är med likvärdiga kort från träkarlen beror förstås på exakt hur robotarnas algoritm är skriven – går nog att svara på endast om man känner till koden i detalj.

Så i praktiken kan man räkna med att utspelet är lika vid alla borden, och därefter kanske inte så mycket mer.

Mja…. så länge spelförarna lägger exakt samma kort i samma ordning, så kommer försvaret bedrivas exakt likadant.

Lägger man olika kort vid de två borden,
så finns det förmodligen ingen generell garanti längre, nej Smile

Det är samma princip som robotarna på BBO följer också.

Sidor

Johan Nilsson

livesändning från 10.

https://www.youtube.com/watch?v=pKzzIOyHJhQ

Sidor

Lennart Johansson

Hos mig händer det inget med denna adress

Sidor

Stefan Andersson

Vad babblar de om? Är det google translate?

Sidor

Stefan Olausson

Stefan Andersson skrev:


Vad babblar de om? Är det google translate?

Jag tror det är nån krypterad data-ström,
med en krypto-algoritm som kallas ”franska”.

Sidor

Stefan Olausson

Så roboten leder samtliga 8 matcher efter 2 omgångar…

Det här var ju intressant!

Kommer uppenbarligen finnas en del att analysera efter detta evenemang! Bigsmile

Sidor

Leif Malvefors
Bild för Leif Malvefors

Botarna blir kanske uteslutna…

Sidor

Joakim Nordlindh

Franska kommentatorer och ingen resultatrapportering… Man blev avkyld väldigt fort… Men heja Micke, jag har ingen aning om vad siffrorna betyder men han verkar gå bra.

Sidor

Mikael Rimstedt

Dag 1 / 2 avklarad och kan väl ge en liten snabb rapport efter många spekulationer.

Först och främst så har själva bridgedelen absolut inget med bridge att göra. Man spelar endast kontraktet 3NT efter 1NT-2NT-3NT så hela bordet vet hur poängen är fördelade.
Innan spelet drog igång så fick alla ett häfte med försvarets utspelskonventioner samt utspelsprioriteringar. Bara för att ge en snabb sammanfattning så är prioriteringsordningen ungefär som följande:

1) 5k+ färger
2) Sekvens med minst 3kort (minst 4k-färg)
3) xxx
4) 3k färger med minst två kort i en sekvens (JTx, QJx, KQx osv)
5) 4k färger

Alltså kommer roboten som ett exempel med…
Jxxx
JT9
JT9
9xx

…spela ut kl9 eftersom ”xxx” har prioritet i utspelshäftet. Roboten markerar slaviskt enligt standard count i varje stick och suit preference existerar inte. Budgivningen är alltid ostörd trots självklara inkliv från utspelshanden över 1NT.

Som ni märker är allting väldigt basic programmerat för att testa hur den själva ”AI-roboten” spelar gentemot oss ”8-champions” när man fått all information serverat på silverfat.

Dock som jag nämnde tidigare så har detta absolut inget med bridge o göra. Varför då? Jo, jag ska ge ett exempel på en hand från Roy Wellands bord:

Robot
Kxx
xx
D98
Dkn10xx
Robot
Exx
K1098xx
x
xxx
Roy Welland
xxx
Ekn
Kknxxx
EK9
Robot
Dkn109
Dxx
E10xx
xx
1
Nord
Öst
Syd
Väst
Nord giv
Ingen i zonen

Roboten spelade ut spQ och Roy valde att ducka utspelet för att sedan få en fortsättning med spJ som täcktes till Östs spA. Nu fungerar roboten som så att den kommer ta med alla färger i beräkningarna för att räkna ut hur många stick en vända kommer generera i genomsnitt. Efter de två första sticken så valde nu roboten att vända med hjärter och Roy kunde snabbt claima två bet efter ha vunnit sina klöverstick.

AI-roboten täckte utspelet direkt på andra bordet och då valde Öst att fortsätta med spader enligt ”medelsticksuträkningen” som jag nämnde ovan. När Väst hade cashat klart sina spadrar så fortsatte Väst med låg ruter. Det kan tyckas se ut som en oerhört konstig vända men den hade säkert någon fiffig uträkning. Efter att AI-roboten hade vunnit för alla sina klövrar och sakat både hjJ och ruJ från handen så valde Väst att hålla stenhårt i Qxx i hjärter och sakade därmed bort samtliga rutrar inklusive ruA för jämn hemgång.

Detta är bara ett smakprov på vad som har hänt efter dagens spelade brickor. På en bricka hade Brad Moss Qx - xx i spader och mot honom tog de de fem första spelen för en bet. Mot AI-roboten tog de endast de fyra första sticken innan det var dags att skifta i klK från KQxx trots en sexa i ruter på bordet och AI-roboten kunde därför rista in +600.

Detta är bara det första testet av många och det kommer säkerligen ta årtionden innan man ens har börjat med budgivningen.

Kan säkert försöka skriva någon uppföljande rapport efter morgondagens sista spel men hittills har själva bridgedelen inte imponerat på oss åtta bridge champs.

//Mikael

Sidor

Ola Brandborn

På en bricka hade Brad Moss Qx - xx i spader och mot honom tog de de fem första spelen för en bet. Mot AI-roboten tog de endast de fyra första sticken

Intressant, jag antar här att spelföraren och bordet sakade olika kort än AI-botten gjorde. Finsn det något här man kan lära sig för att krossa robotarna? Och egentligen, till vilken nytta…

Sidor

Stefan Olausson

Tack Michael!

Mkt intressant att se vad du skriver, även om man förstås börjar undra… hmmm… vad pågår här egentligen… Smile

Det ger ju en lite annan bild (minst sagt) än bara siffrorna, som tycks visa att boten är helt överlägsen… Smile

Alltså… tankar som dyker hos mig är, typ:

Kan det då vara så att Nukkai-botten blivit machine-learning ”AI-trained” på miljontals givar mot just WBridge5…?
Det är ju faktiskt en ganska trolig strategi att dom kan ha använt, när man tänker efter…

Det du skriver att dom har 5 snabba stick men bara cachar 4 av dom, är ju uppenbarligen en ren opatchad bugg i Wbridge5 – kan omöjligt beskrivas som något annat.
Det skulle då kunna vara så att Nukkai-botten helt enkelt genom enbart statistik på stora datamängder (utan att nån insett det) bara ”lärt sig” hur man ska lägga korten för att trigga fram buggen i Wbridge.

Och, mer generellt, lärt sig dra nytta av alla specifika svagheter/buggar i Wbridge.

Och som du säger, har ju i så fall noll med spelet Bridge att göra.

”Budgivningen är alltid ostörd trots självklara inkliv från utspelshanden över 1NT.”

Detta är ju ytterst anmärkningsvärt.
Solklart att sådana givar borde sållats bort ur urvalet.
Tyder ju på att den som plockat fram givarna helt saknar grundläggande bridge-kunskaper och ”bara vet hur man programmerar”, typ.

För att få lite mer variation, förstår jag heller inte varför man inte tog med sekvenser som exvis
1NT-2KL-2HJ-3HJ-4HJ
liknande inviter med accept.

”När Väst hade cashat klart sina spadrar så fortsatte Väst med låg ruter. Det kan tyckas se ut som en oerhört konstig vända…”

Mmmm… särskilt som partnern också får tillfälle att ge en markering på sista spadern… Även att den dessutom sakar fel i slutet borde ju inte kunna hända när dom spelar med markeringar.

Jaja…

Hoppas du vill skriva mer om dina erfarenheter från detta!

Och även, förstås, om det finns några givar där botten faktiskt har hittat nån genialisk spelplan som primaten missat Smile

Tyvärr är ju Nukkai-gänget själva, enligt mig, totalt under isen i att kommunicera vad dom pysslar på med… man undrar bara om dom inte kan, eller inte vill…?

Och hur man kan sätta upp detta event utan att ha någon engelsk-språkig videoström …. så insnöat att man bara vill kräkas Sadsmile
Tror dom fortfarande att hela världen bara pratar franska?

Sidor

Castor Mann

Låter som att det definitivt är så att dom har tränat sin bot mot WB5 specifikt om sådana saker har hänt… Micke, kan du skriva ut hela given med Qx till xx samt exakt vilka kort som spelades vid de två borden?

Sidor

Björn Hjalmarsson

Auto-textning/översättning funkar inte med franska för live video, endast för engelska. Däremot för uppladdat och tydligen för live video när den är klar. Nu finns i alla fall textning och auto-översättning för båda delarna. Tyvärr är kvaliten på översättning dålig, troligen på grund av att översättningen av franska till text inte är så bra.
”skit in -> skit ut+”. Har efterlyst en editering av texterna. Det går att göra enkelt i YouTube Studio, men det är en hel del jobb och blir nog inte gjort…

Sidor

Björn Hjalmarsson

Jag har skickat en begäran till Jean-Baptiste Fantun om redigering av den franska texten. Om någon kan se till att det blir gjort är det han….

Sidor

Logga in för att kommentera