В 2015 году во время изнурительного покерного турнира в Техасский холдем ряд ведущих в мире игроков сразились с созданным на основе суперкомпьютера ИИ под названием Claudico.
По результатам прошлой серии игр нельзя было говорить о безоговорочном превосходстве человека или ИИ. В матче-реванше этого года с призовым фондом в $200000 против ИИ Libratus играют четыре профессиональных игрока в покер. Состязания пройдут в Питсбурге в казино Rivers c 11 января. Один из участвовавших в создании Claudico и Libratus специалистов считает, что ИИ сможет победить лучших игроков из людей в течение следующих нескольких лет, если не ранее. «Я по-прежнему считаю, что это произойдет в течение ближайших пяти лет, но может случиться и в следующем месяце, - говорит Туомас Сандхольм, ученый-компьютерщик из Университета Карнеги-Меллона. - Вполне возможно, что люди смогут победить в этом состязании, но это не очевидно».
Игровой ИИ освоил несколько версий покера. Но вариант безлимитного Техасского холдема представляет собой особо сложную задачу с 10160 возможными сценариями на разных этапах игры (это, возможно, даже больше, чем число атомов во Вселенной). Столь высокая сложность обусловлена тем, что в этой версии покера два игрока могут делать ставки без ограничений.
Чтобы освоить такую игру многие ИИ полагаются на алгоритм под названием гипотетическая минимизация потерь (counterfactual regret minimization - CFR). Обычно алгоритмы CFR пытаются действовать в таких играх, как покер, через несколько шагов в каждой точке принятия решений. Во-первых, они придумали гипотетические значения, представляющие различные исходы игры. Во-вторых, они применяют подход минимизации потерь, чтобы увидеть, какая стратегия приводит к лучшим результатам. И в-третьих, они обычно усредняют самые последние стратегии со всеми прошлыми стратегиями.
Проблема с подходом CFR заключается в том, что никакой суперкомпьютер не может в любой момент разгадать всевозможные варианты игры в парный безлимитный Техасский холдем. Вместо этого алгоритмы CFR, как правило, решают упрощенные версии покера и используют полученные стратегии для несовершенной игры в полной версии покера. Даже в этих упрощенных версиях нужно отследить в каждой точке множество ответвлений алгоритма.
Но Сандхолм и его аспирант Ноам Браун создали во всех отношениях более эффективный алгоритм Libratus. Их новый вариант CFR может обрезать определенные ответвления и эффективно решать небольшие по объему вариантов игровые варианты, что снижает вычислительную нагрузку и приводит к ускорению расчета. Эффективность алгоритмов Libratus также устраняет проблему того, что называется несовершенной напоминающей абстракцией, которая возникает, когда алгоритмы СFR должны «забывать» часть вариантов игровой истории так, чтобы можно было сосредоточиться на вычислении более рафинированных текущих моделей.
ИИ по-прежнему нужно многому научиться, чтобы сравняться с лучшими игроки в покер. Но Libratus имеет качественные преимущества, основанные на его способности использовать идеально сбалансированный подход к игре. Например, он будет блефовать в определенных случаях с точно рассчитанными значениями, чтобы сбалансировать риск и вознаграждение.
Может ли Libratus обрести способности, которых не хватало Claudico? Сандхольм отказался подтвердить или опровергнуть информацию о том, что новый ИИ Libratus может адаптироваться к своим человеческим противникам. Узнать, насколько хорош усовершенствованный ИИ в реальной игре мы сможем в процессе турнира.
Комментарии
(1) Добавить комментарий