Один из ведущих программистов компании Google Эрик Джексон всегда занимался деятельностью связанной с разработкой искусственного интеллекта, а после увольнения плотно занялся созданием покерных ботов. В своем последнем интервью он поведал о том, как пришел в этот вид деятельности и как этот работает.
«Я всегда считал эту работу интересной и любил создавать искусственный интеллект. После ухода из Google я посвятил себя этой работе около шести лет жизни. Она была похожа на деятельность с неполным рабочим графиком, ведь после создания бота проходит несколько месяцев на самообучение, а я слежу за тем, чтобы он работал корректно. Потом требуется ещё месяц, чтобы протестировать его и привести в окончательный вид».
«Я всегда работал только с холдемом, а если точнее с лимитным и безлимитным хедс-апом. У меня всегда были разные боты для разных столов и форматов, но все они имели общий алгоритм работы. Перед первой игрой мой бот максимально приближается к Равновесию Нэша в игре, но затем не улучшает свою игру и не адаптируется к живому оппоненту».
«Если говорить об обучении бота, то этот процесс можно назвать игрой против самого себя. Я использую широко известный алгоритм под названием контрфактуальная минимизация сожаления. В первую очередь мы начинаем с произвольных стратегий для двух позиций, а именно с батона и большого блайнда. Потом позволяем каждой стратегии играть против друг друга и с каждым шагом разрабатываем новую стратегию для другой позиции. Финалом всего является целостная стратегия, которая есть средним значением всех изученных стратегий на каждой стадии. Вот так и появляется новый рабочий покерный бот».
