Наприклад, у проблемі заміни машини з погіршенням продуктивності з часом особа, яка приймає рішення, після спостереження за поточним станом машини вирішує, чи продовжувати її використання, чи ініціювати технічне обслуговування (профілактичний чи коригувальний) ремонт, або замінити машину.

У розділі 6 ми визначили напівмарківський процес (SMP) як процес, який здійснює переходи від стану до стану, подібно марковському процесу, але в якому кількість часу, витраченого в кожному стані до переходу в наступний стан, є довільною. випадкова змінна, яка залежить від наступного стану, в який увійде процес.

Термінологія процесу прийняття рішень Маркова Наприклад, робот, якого навчають пересуватися по будинку, не розбиваючись. Середовище: середовище – це середовище, з яким взаємодіє агент. Наприклад, будинок, де рухається робот.

основна відмінність між MRP і напівмарковським процесом полягає в тому, що перший визначається як два кортежі станів і часів, тоді як другий є фактичним випадковим процесом, який розвивається з часом, і будь-яка реалізація процесу має визначений стан на будь-який час.

SMDP є розширення формалізму MDP, що узагальнює поняття часу—зокрема, дозволяючи часовим інтервалам між переходами станів змінюватися стохастично.

Найпростіший приклад ланцюга Маркова настільні ігри з кубиками. Наступний стан гри залежить лише від поточного стану гри та результату кубиків. Це не залежить від того, як стан гри там досягнуто. Моделі випадкового блукання та погоди є ще одним прикладом моделі Маркова.