Algorithme de cotes

En théorie de la décision, l'algorithme de cotes (ou algorithme de Bruss) est une méthode de recherche mathématique des stratégies optimales dans le domaine des problèmes d'arrêt optimal. Les solutions découlent de la stratégie des cotes, et son importance réside dans son caractère optimal.

L'algorithme des probabilités est appliqué à une catégorie de problèmes appelés problèmes du dernier succès. Formellement, ces problèmes visent à maximiser la probabilité d'identifier, dans une séquence d'événements indépendants observés séquentiellement, le dernier événement satisfaisant un critère spécifique (un "événement spécifique"). Cette identification doit se faire au moment de l'observation, sans possibilité de révision des observations précédentes. Généralement, un événement spécifique est défini par le décideur comme un événement présentant un véritable intérêt dans la perspective de "s'arrêter" pour entreprendre une action bien définie. Ces types de problèmes se rencontrent dans diverses situations.

Exemples

Modèle:Section à recycler Deux situations distinctes mettent en lumière l'importance de maximiser la probabilité de s'arrêter sur un dernier événement spécifique.

1. Supposons qu'une voiture soit mise en vente au plus offrant (meilleure « offre »). Laissons n acheteurs potentiels répondre et demander à voir la voiture. Chacun insiste pour que le vendeur décide immédiatement d'accepter ou non l'offre. Définissons une offre comme intéressante, et codée 1 si elle est meilleure que toutes les offres précédentes, et codée 0 sinon. Les enchères forment une séquence aléatoire de 0 et de 1. Seuls les 1 intéressent le vendeur, qui peut craindre que chaque 1 successif ne soit le dernier. Il résulte de la définition que le tout dernier 1 est l'offre la plus élevée. Maximiser la probabilité de vendre sur le dernier signifie donc maximiser la probabilité de vendre au mieux.
2. Un médecin, utilisant un traitement particulier, peut attribuer le code 1 à un traitement réussi, 0 sinon. Le médecin traite une séquence de n patients de la même manière, cherchant à minimiser toute souffrance et à traiter chaque patient réactif dans la séquence. S'arrêter sur le dernier 1 dans une séquence aussi aléatoire de 0 et de 1 permettrait d'atteindre cet objectif. Puisque le médecin n'est pas un prophète, l'objectif est de maximiser la probabilité d'arrêter sur le dernier (voir utilisation compassionnelle)

Définitions

Considérons une séquence de n événements indépendants. Associons une autre séquence d'événements indépendants $I_1,I_2,\dots ,I_n$avec les valeurs 1 ou 0. Ici, $I_k=1$succès, représente l'événement où la k-ième observation est intéressante (selon le décideur), et$I_k=0$pour non intéressant. Ces variables $I_1,I_2,\dots ,I_n$ sont observées séquentiellement, le but étant de sélectionner correctement le dernier succès lorsqu'il se produit.

Soit $p_k=P(I_k=1)$ la probabilité que le k-ième événement soit intéressant. Définissons également$q_k=1-p_k$ et $r_k=p_k/q_k$.$r_k$ représente les chances que le k-ième événement soit intéressant, expliquant ainsi le nom de l'algorithme des cotes.

Procédure algorithmique

L'algorithme des cotes résume les cotes dans l'ordre inverse

$r_n+r_{n-1}+r_{n-2}+\cdots ,$

jusqu'à ce que la somme dépasse 1 pour la première fois, enregistrant l'indice s et la somme correspondante.

$R_s=r_n+r_{n-1}+r_{n-2}+\cdots +r_s.$

Si la somme des cotes n'atteint pas 1, il définit s=1. En même temps, il calcule

$Q_s=q_n{q}_{n-1}\cdots q_s.$

La sortie est

1. $s$, le seuil d'arrêt
2. $w=Q_s{R}_s$, la probabilité de gagner.

Stratégie de cotes

La stratégie des cotes consiste à observer les événements successivement et à s'arrêter au premier événement intéressant à partir de l'indice s, le cas échéant, où s est le seuil d'arrêt de la sortie.

L'importance de la stratégie des cotes et de son algorithme associé réside dans le théorème des cotes suivant.

Théorème des probabilités

Le théorème des probabilités stipule que

1. La stratégie des cotes est optimale, c'est-à-dire qu'elle maximise la probabilité de s'arrêter sur le dernier 1.
2. La probabilité de gain de la stratégie des cotes est égale à $w=Q_s{R}_s$
3. Si $R_s\ge 1$, la probabilité de gagner $w$ est toujours au moins Modèle:Formule , et cette limite inférieure est la meilleure possible.

Caractéristiques

L'algorithme des cotes calcule simultanément la stratégie optimale et la probabilité de gain optimale, avec un nombre d'opérations (sous)linéaire en n. Cela en fait un choix optimal comme algorithme, car aucun algorithme plus rapide ne peut exister pour toutes les séquences.

Sources

Modèle:Référence Harvard sans parenthèses a créé et nommé l'algorithme des cotes, également connu sous le nom d'algorithme de Bruss. Des implémentations gratuites sont disponibles en ligne.

Applications

Les applications incluent les essais cliniques médicaux, les problèmes de secrétaire, de vente, de sélection de portefeuille, de recherche unidirectionnelle, de trajectoire et de stationnement, de maintenance en ligne, et d'autres encore.

Le théorème des cotes s'applique aux processus d'arrivée en temps continu à incréments indépendants tels que le processus de Poisson ( Modèle:Référence Harvard sans parenthèses ). En l'absence de cotes préalables, l'application directe de l'algorithme des cotes peut être impossible. Dans de tels cas, des estimations séquentielles des probabilités peuvent être utilisées, notamment lorsque le nombre de paramètres inconnus n'est pas important par rapport au nombre d'observations n. La question de l'optimalité devient plus complexe et nécessite des études supplémentaires. Les généralisations de l'algorithme des cotes autorisent différentes récompenses en cas d'échec ou d'arrêt incorrect, et peuvent remplacer les hypothèses d'indépendance par des hypothèses plus faibles (Ferguson 2008).

Variantes

Modèle:Référence Harvard sans parenthèses ont traité du problème de sélection des derniers k succès.

Modèle:Harvnb a démontré un théorème des cotes multiplicatives pour un problème d'arrêt aux derniers \(\ell\) succès, et Modèle:Harvnb. ont obtenu une borne inférieure serrée de la probabilité de gain.

Modèle:Référence Harvard sans parenthèses ont traité du problème de sélection de $k$ parmi les derniers $\ell$ succès, obtenant une borne inférieure serrée de la probabilité de gain. Lorsque $\ell =k=1,$le problème est équivalent au problème des cotes de Bruss. Si le problème est similaire à celui discuté dans Modèle:Harvnb. Un problème traité par Modèle:Harvnb est également obtenu.

Problème à choix multiples

Un joueur a $r$ choix et gagne si l'un d'entre eux est le dernier succès. Modèle:Référence Harvard sans parenthèses ont discuté des cas $r=2,3,4$ pour le problème classique du secrétaire. Le problème des chances avec $r=2,3$ est discuté par Modèle:Référence Harvard sans parenthèses. Pour d'autres cas de problèmes de cotes, voir Modèle:Référence Harvard sans parenthèses.

Une stratégie optimale pour ce problème utilise un ensemble de nombres seuils $(a_1,a_2,...,a_r)$, où$a_1>a_2>\cdots >a_r$.

Imaginez avoir $r$ lettres d'acceptation étiquetées de 1 à $r$. Vous avez $r$ agents responsables des demandes, chacun détenant une lettre. Vous interviewez les candidats et les classez sur un tableau visible par chaque responsable des candidatures. L'agent $i$ enverra sa lettre d'acceptation au premier candidat meilleur que tous les candidats de 1 à $a_i$. (Les lettres d'acceptation non envoyées vont par défaut aux derniers candidats, comme dans le problème standard du secrétaire.)

Pour $r=2$, Modèle:Référence Harvard sans parenthèses ont montré que la limite inférieure étroite de la probabilité de victoire est $e^{-1}+e^{-\frac{3}{2}}.$. Pour $r$ entier positif général, Modèle:Référence Harvard sans parenthèses ont prouvé que la limite inférieure étroite de la probabilité de victoire est celle de la variante du problème de secrétaire où les k meilleurs candidats sont choisis en utilisant seulement k tentatives.

Pour $r=3,4,5$, les limites inférieures serrées des probabilités de victoire sont respectivement$e^{-1}+e^{-\frac{3}{2}}+e^{-\frac{47}{24}}$, $e^{-1}+e^{-\frac{3}{2}}+e^{-\frac{47}{24}}+e^{-\frac{2761}{1152}}$ et $e^{-1}+e^{-\frac{3}{2}}+e^{-\frac{47}{24}}+e^{-\frac{2761}{1152}}+e^{-\frac{4162637}{1474560}}.$

Pour d'autres valeurs de $r$ (de 6 à 10) et un algorithme général, consultez Modèle:Harvnb.

Bibliographie

• Modèle:Article
• Modèle:Article
• —: "A note on Bounds for the Odds Theorem of Optimal Stopping", Annals of Probability Vol. 31, 1859–1862, (2003).
• —: "The art of a right decision", Newsletter of the European Mathematical Society, Issue 62, 14–20, (2005).
• Modèle:Article
• Modèle:Article
• Modèle:Article
• Modèle:Article
• Modèle:Article
• Shoo-Ren Hsiao and Jiing-Ru. Yang: "Selecting the Last Success in Markov-Dependent Trials", Journal of Applied Probability, Vol. 93, 271–281, (2002).
• Modèle:Article
• Mitsushi Tamaki: "Optimal Stopping on Trajectories and the Ballot Problem", Journal of Applied Probability Vol. 38, 946–959 (2001).
• E. Thomas, E. Levrat, B. Iung: "L'algorithme de Bruss comme contribution à une maintenance préventive", Sciences et Technologies de l'automation, Vol. 4, 13-18 (2007).

Liens externes

• Algorithme de Bruss

Articles connexes

• Cote (probabilités)
• Essai clinique
• Problème du secrétaire