Artículo Xataka IA ganadora en 6 max

18 respuestas

1
de 1
  • 17 CanarioDel90

    Imagen de CanarioDel90
    • Universidad
    • 17 mensajes
    1

    Pues eso gente acabo de leer éste artículo diciendo que caralibro (facebook) ha desarrollado una IA que ha ganado a 5 jugadores en la misma mesa (todos ellos ganadores de más de un millón de dólares). Aunque está claro que el que escribió el artículo no sabe de poker, os lo dejo escrito y espero vuestras opiniones (copy paste tal cual).

    SAludos.

    En lo que podemos calificar de hito en los enfrentamientos entre hombre y máquina sobre un tablero de juego, una IA ha sido capaz de ganar a otros cinco jugadores (profesionales, todos ellos ganadores de al menos un millón de dólares) en la modalidad de póquer Texas Hold'em sin límite, la primera vez que se logra en un juego así de complejo frente a más de dos jugadores.

    En estos últimos años, los juegos han tenido un papel protagonista en muchos de los hitos de la inteligencia artificial. Las técnicas de aprendizaje por refuerzo, que se encuentran en pleno auge y permiten que sea la propia máquina quien aprenda a jugar por sí misma, están detrás de las últimas victorias de IAs en partidas de ajedrez, shogi y Go.

    ¿Qué tiene de especial el póquer multijugador?

    Pero todos estos hitos se han limitado a juegos para dos jugadores. Sin embargo, concretamente en el caso del póquer lo habitual es jugarlo entre más personas. Pero los juegos multijugador presentan retos adicionales, ausentes en los de uno contra uno.

    Y es importante dar respuesta a dichos retos, porque la mayoría de las interacciones estratégicas del mundo real involucran información oculta y más de dos jugadores, lo que hace mucho más difícil abordarlas tanto en la teoría como en la práctica.

    Nadie había visto jugar jamás así a Magnus Carlsen, el campeón del mundo de ajedrez, y la culpa es de AlphaZero

    La importancia del póquer, por otra parte, reside en que, gracias a los 'faroles' y otros recursos del juego, "ningún otro juego recreativo popular captura los desafíos de la información oculta con la misma eficacia" que el mismo, según explican Noam Brown y Tuomas Sandholm, investigadores de la Univ. Carnegie Mellon y de Facebook. De hecho, varios de los textos más relevantes de la Teoría de Juegos han utilizado el póquer como modo de ilustrar sus conceptos.

    De ahí la importancia del artículo 'Superhuman AI for multiplayer poker' que acaban de publicar en Science Brown y Sandholm. En el mismo presentan a Pluribus ('muchos', en latín), una IA capaz de derrotar a los grandes profesionales del póquer de la modalidad Texas Hold'em sin límite (la más popular), en partidas para seis jugadores.

    A vueltas con la Teoría de Juegos

    Lo que tienen en común los juegos que hemos citado antes es todos ellos, además de ser para dos jugadores, son juegos de suma cero (lo que un jugador pierde, el otro lo gana). Por eso, las IAs exitosas en ese campo ganan buscando el 'equilibrio de Nash', una estrategia imbatible en este contexto: si se encuentra, lo peor que puede hacer el jugador en empatar.

    Sin embargo, aproximarse al equilibrio de Nash en un juego entre más de dos jugadores, aunque posible en algunos pocos casos, resulta bastante complejo por la dificultad para coordinar estrategias entre ellos.

    [Las IAs ya pueden humillarnos jugando a nuestro videojuego favorito, ¿cómo aprenden a hacerlo?]
    EN XATAKA
    Las IAs ya pueden humillarnos jugando a nuestro videojuego favorito, ¿cómo aprenden a hacerlo?

    Por eso, los investigadores han optado por dejar a un lado la teoría:

    "En el caso del póker para seis jugadores, partimos de la base de que nuestro objetivo no debería ser hallar la solución a partir de un concepto específico de la Teoría de Juegos, sino más bien crear una IA capaz de derrotar en la práctica oponentes humanos, incluyendo profesionales".

    La novedad de Pluribus es que es capaz de "jugar una estrategia fija que no se adapta a las tendencias observadas de los oponentes" y ganar incluso si no busca un equilibrio de Nash.

    La estrategia de Pluribus se basa en una versión modificada del algoritmo conocido como 'Efficient Monte Carlo Counterfactual Regret Minimization', que le permite evaluar sus opciones con algunos pasos de antelación. La IA diseña una estrategia "sobre plano", antes de estar frente a un oponente (el sistema estuvo jugando contra sí mismo durante 12 días aproximadamente 10.000 manos), e ir enmendándola más tarde, en base a los sucesos que se van dando durante la partida.

    Esto, según Darren Elias, el jugador profesional que ayudó a entrenar el algoritmo, permitió al robot "pasar de ser un jugador mediocre a poder competir con los mejores del mundo en unas pocas semanas. Su fortaleza radica en su capacidad para usar estrategias mistas, del mismo modo en que lo hacen los seres humanos".

    Pero, al contrario que nosotros, es capaz de hacerlo de forma perfectamente aleatoria. Por ejemplo, la IA logró eliminar a sus competidores humanos utilizando prácticas que los humanos acostumbramos a evitar, como colocando más 'donk bets' que ellos.

    Los investigadores creen que la estrategia usada para entrenar a Pluribus puede ir más allá del póquer, y aplicarse en otras situaciones en los que numerosos actores tienen una capacidad limitada para coordinarse, como las subastas, los atascos de tráfico o las finanzas.

     

  • 50 erd188

    Imagen de erd188
    • Cum Laude
    • 1.697 mensajes
    • 80 respuestas premiadas
    • VIP
    3

    A mí me falta mucha información en ese artículo la verdad. Contra quién jugaba? Cuantas manos? Cuanto tiempo? La matemática será con aplicada pero algo tienen que poner...
    Está claro que las máquinas podrán ganar a los humanos, pero para mí ese artículo está fatal.

  • 17 CanarioDel90

    Imagen de CanarioDel90
    • Universidad
    • 17 mensajes
    4

    he encontrado el articulo original en ingles y estos son los jugadores Jimmy Chou, Seth Davies, Michael Gagliano, Anthony Gregg, Dong Kim, Jason Les, Linus Loeliger, Daniel McAulay, Greg Merson, Nicholas Petrangelo, Sean Ruane, Trevor Savage, and Jacob Toole. 

    y este es el articulo original.

    https://science.sciencemag.org/content/early/2019/07/10/science.aay2400

  • 18 revelation

    Imagen de revelation
    • Universidad
    • 81 mensajes
    6

    Yo lo he leído esta mañana en la BBC también. Ocurrirá como en tantos otros oficios (como por ejemplo en el sector del transporte) en los que se prevé que en un futuro poco lejano la inteligencia artificial desplace en gran medida a la humana?? Esto parece una SCARY CARD no?

  • 18 revelation

    Imagen de revelation
    • Universidad
    • 81 mensajes
    7

    Por lo menos para el juego por internet, por fortuna nos quedan las modalidaes presenciales, hasta que construyan droides que se confundan con humanos!! Jajajj

  • 41 Drbanana

    Imagen de Drbanana
    • Licenciado
    • 295 mensajes
    • 44 respuestas premiadas
    • VIP
    8

    48bb/1000 que son 4,8bb/100 en 10k hands contra un % elevado de regs que no son de sh online y sin rake... 

    Es lo mismo que tener un reg competente en la mesa, solo que el bot no se adapta al recre y el reg si. Mientras sea el tipo de bot típico que  los programadores meten 20 en la sala, no habrá problema porque las salas decentes si que los banean. Con esos wr dudo mucho que sea rentable ponerlo a funcionar si solo metes 1 por sala para que no te lo detecten tan fácil. Además que mientras haya/hayan recres aunque este ese bot se va a ganar igual xD.

    Yo no me preocuparía mucho.

     

  • 40 farreli80

    Imagen de farreli80
    • Licenciado
    • 862 mensajes
    10

    Además jugaban sin HUD, aunque no se si servirá de algo el HUD contra esos jugadores o no.

    Un saludo

  • 40 farreli80

    Imagen de farreli80
    • Licenciado
    • 862 mensajes
    11

    Lo que más me preocupa es que dicen que se puede ejecutar contratando potencia en la nube, pagando unos 150$/mes

  • 0 ManuelNunez

    Imagen de ManuelNunez
    • Guardería
    • 42 mensajes
    12

    Hola!

    Me gustaría comentar brevemente (bueno, soy profe, lo de brevemente…) el impacto que puede tener Pluribus en NLHE online. Como ya se ha dicho en este hilo, durante los últimos dos días la prensa se ha hecho eco de un artículo de Science sobre Pluribus. Se trata de un sistema que le ha metido una buena curra a pros en NLHE 6-max. LHE HU lleva resuelto matemáticamente hace unos años (creo que el paper se publicó en PLOS ONE) y hace 18 meses los mismos investigadores que han hecho Pluribus hicieron Libratus, que metía curras en NLHE HU (aunque no resuelven el problema, es decir no calculan exactamente GTO, el sistema es muy bueno). El doctorando que llevó el peso de la investigación dijo que en 18 meses podría tener un sistema que ganara en 6-max y aquí está.

    No he leído todavía los detalles técnicos del artículo, pero tiene pinta de que cualquier equipo de investigación potente, y que por tanto tenga acceso a computadores “grandes”, que haga machine learning será capaz de hacer sistemas parecidos a Pluribus en poco tiempo (me atrevería a decir que menos de dos años, pero tampoco soy Nostradamus). Claro, si los investigadores hacen esto para publicar papers y son superhonestos, pues no pasa nada: bussiness as usual, la gente sigue jugando con sus tablitas de OR, 3bet, adapta los tamaños y frecuencia de apuestas según marca “la moda” y ya está: se puede seguir batiendo límites. Claro, Pluribus ha desarrollado (exitosamente) estrategias no estándar como hacer donk bet con mucha más frecuencia de lo habitual y tamaños de apuesta muy inusuales, pero bueno, no pasa nada, eso no llegará por debajo de NLx. Desgraciadamente, no creo que todos los investigadores en Informática del mundo tengan como único objetivo ganar el premio Turing. Bots decentes ha habido toda la vida (recordad el follón reciente en partypoker) como ha habido scripts de autosentado rapidísimos y demás software que era claramente ilegal o se encontraba muy cerca de la frontera. Creo que Pluribus es un paso adelante muy importante para la aparición de bots superpotentes que no van a jugar solo NL200+. Aunque la gente de CMU no libere el código, y aunque lo hiciera hace falta un sistema de computación importante para entrenar al bot, la teoría para desarrollarlo va a estar accesible y, mucho me temo, replicable.

    ¿Soy pesimista? Sí, pero eso ya venía de serie. ¿Pluribus es el fin del NLHE online? Creo que no a corto plazo, pero a medio plazo creo que sí. ¿Nos ponemos todos a aprender PLO, OFC y demás variantes menos comunes? El problema va a ser que al menos ahora sabemos que hay un sistema (prácticamente) imbatible para NLHE pero es muy probable que no nos enteremos de la existencia en el futuro de sistemas similares para otras variantes.

    My two cents.

    Manuel.

  • 22 Adancapaldi

    Imagen de Adancapaldi
    • Universidad
    • 1.506 mensajes
    • 24 respuestas premiadas
    13

    Que vuelvan las mesas con cam de 888 jajajajajajajaj y listo!

  • 41 Drbanana

    Imagen de Drbanana
    • Licenciado
    • 295 mensajes
    • 44 respuestas premiadas
    • VIP
    14

    He leido un hilo que hay en 2+2 y hay un tio que trabajaba como para otro grupo de ias de poker que dice que este otro grupo son bastante vende humos.

    Y ahora que lo pienso bien creo que nos están vendiendo humo.

    En las partidas que han jugado a cada mano se reseteaban los stacks a 100bbs cada jugador. Aqui está el truco, me explico, piosolver resuelve igual que el bot y lo que más afecta al tamaño del árbol es lo pequeño/grande que sea el spr postflop, jugar todas las manos con todos los jugadores de la mesa con stacks simétricos en cada mano lo que hace es que la capacidad de computación necesaria sea bastante menor. Cosa que dista mucho de la realidad en una mesa.

    Con esto, el bot puede ser bueno en x situaciones, pero va a haber muchas otras en las que no va a poder reaccionar en una mesa real o va a cometer errores, al menos en esta versión.

    Todos hemos visto muchas veces titulares de: descubierta la cura contra el cáncer y luego lees el articulo y en realidad solo se trata de la cura para un tipo de cáncer que representa un 1% de los casos y luego te dicen también que la tasa de curación con el tratamiento es del 90%. Ojo que no intento frivolizar con este ejemplo, que es un tema incomparablemente más serio y de mucho más valor que el tema del bot, simplemente es el primer ejemplo que se me ha ocurrido.

    Aun así es que joder, si juntas todas las manos  el bot gana a unas 3,5bbs en mesas en las que solo hay un regular de sh y sin rake!! Y si cambiamos al bot por Raul que wr sacaría en esas mesas sin rake?

    Pienso que el único daño que podría hacer el bot o un bot similar a corto-medio plazo 3-4 años, sería si se masificara tipo el bot de ipoker y ya sabemos en que salas no habría que jugar, una o dos cuentas por sala jugando así no pienso que destruyeran el poker online al menos no a medio plazo. 

    Alomejor estoy equivocado pero bueno aquí mi opinión jaja, un saludo!!!

  • sillyuser

    Imagen de sillyuser
    15

    50balonmano-19 said:

    /ai.acebook.com/blog/pluribus-firai-to-beat-pros-in-6-player-poker/

    Aquí se puede encontrar algunas manitas de como juega, los comentarios que se hacen en el vídeo son un poco patéticas.

     


    Madre mía, el all in en la primera mano. :roto2: haces eso en micros y te hace call hasta el dealer.

    Y en high stakes, teniendo en cuenta como juega esa gente, no se la cuelas con ese farol.

  • 50 erd188

    Imagen de erd188
    • Cum Laude
    • 1.697 mensajes
    • 80 respuestas premiadas
    • VIP
    16

    El bot no realiza jugadas pensando este me va a pagar de más o no. Tiene un equilibrio y una matemática detrás, de hecho hace cosas muy random en un % muy pequeño para no ser explotable.
    Es una pena que ya existan estos bots, aunque por el momento son detectables, si ves 5 HUDs idénticos pues bueno... Por otra parte si ves que hacen manos random y que encima son correctas GTO (Oborra style), pues es otra pista.

    Todo está en manos de las salas, confiemos?
    Claro que sí guapi!!

  • 24 cesarzgz

    Imagen de cesarzgz
    • Diplomado
    • 913 mensajes
    17

    En tres años los bots serán capaces hasta de tirar tomates en 888, súmale lo que habrá subido el rake y va a quedar una maravilla de juego

  • 43 ferd

    Imagen de ferd
    • Doctorado
    • 3.033 mensajes
    • 213 respuestas premiadas
    • Premium
    18

    Leí hasta 10.000 manos y dejó de interesarme el artículo...

    Saludos

  • 17 ElBarquero

    Imagen de ElBarquero
    • Universidad
    • 51 mensajes
    19

    24cesarzgz said:

    En tres años los bots serán capaces hasta de tirar tomates en 888, súmale lo que habrá subido el rake y va a quedar una maravilla de juego

    En tres años... yo me veo a los bots quejándose de que esto está rigged. Tiempo al tiempo.

    La solución pasará por hacer lo que los chinos, jugar online en clubs privados, dónde tengas referencias de la reputación de quién lo gestiona y dónde el registro de entrada y de quién hay sentado a la mesa en cada momento esté rigurosamente chequeado, que no es algo que a mí me guste particularmente, pero con el tiempo, lamentablemente, será imprescindible

1
de 1