L'objectif de cet ouvrage est de présenter à un large public (étudiants, ingénieurs, chercheurs) des techniques permettant la prise de décisions séquentielles optimales dans l'incertain. Ces techniques sont issues de travaux en intelligence artificielle autour du formalisme des processus de décision markoviens (MDP). L'ouvrage, rédigé par la communauté francophone PDMIA, fait le point sur les progrès dans ce domaine qui rendent ces approches utilisables pour de nombreuses applications: robotique mobile, micro-manipulation, logistique, optimisation de procédés, agriculture, gestion de systèmes naturels. Le premier tome propose une présentation introductive des bases et des principaux cadres de ce domaine. Dans le second tome est rassemblée une sélection des travaux plus avancés consistant en des extensions de ces cadres généraux, extensions permettant de résoudre efficacement des classes de problèmes de décision spécifiques. Chacun des deux tomes est complété par des chapitres applicatifs illustrant l'utilisation pratique de ces outils théoriques.