La méthode de Laplace - Laplace's method

En mathématiques , la méthode de Laplace , du nom de Pierre-Simon Laplace , est une technique utilisée pour approximer les intégrales de la forme

où est une fonction deux fois dérivable , M est un grand nombre, et les extrémités a et b pourraient éventuellement être infinies. Cette technique a été présentée à l'origine dans Laplace (1774) .

En statistiques bayésiennes , l' approximation de Laplace fait référence à une application de la méthode de Laplace pour approximer une distribution a posteriori avec une gaussienne centrée sur l' estimation a posteriori maximale .

L'idée de la méthode de Laplace

a un maximum global à 0. est affiché en haut pour M  = 0,5 et en bas pour M  = 3 (tous deux en bleu). Au fur et à mesure que M grandit, l'approximation de cette fonction par une fonction gaussienne (indiquée en rouge) s'améliore. Ce constat sous-tend la méthode de Laplace.

Supposons que la fonction ait un maximum global unique à x 0 . Soit une constante et considérons les deux fonctions suivantes :

Notez que x 0 sera le maximum global de et aussi. Observez maintenant :

À mesure que M augmente, le rapport pour augmentera de façon exponentielle, tandis que le rapport pour ne changera pas. Ainsi, les contributions significatives à l'intégrale de cette fonction ne proviendront que des points x au voisinage de x 0 , qui pourront alors être estimés.

Théorie générale de la méthode de Laplace

Pour énoncer et motiver la méthode, nous avons besoin de plusieurs hypothèses. Nous supposerons que x 0 n'est pas un point final de l'intervalle d'intégration, que les valeurs ne peuvent pas être très proches à moins que x ne soit proche de x 0 , et que

On peut développer autour de x 0 par le théorème de Taylor ,

où (voir : notation grand O ).

Depuis a un maximum global à x 0 , et puisque x 0 est pas un point final, il est un point fixe , de sorte que le dérivé de Vanishes à x 0 . Par conséquent, la fonction peut être approchée à l'ordre quadratique

pour x proche de x 0 (rappel ). Les hypothèses assurent l'exactitude de l'approximation

(voir l'image à droite). Cette dernière intégrale est une intégrale gaussienne si les limites d'intégration vont de -∞ à +∞ (ce qui peut être supposé car l'exponentielle décroît très rapidement à partir de x 0 ), et donc elle peut être calculée. Nous trouvons

Une généralisation de cette méthode et une extension à la précision arbitraire est fournie par Fog (2008) .

Déclaration formelle et preuve

Supposons qu'il existe une fonction deux fois continûment différentiable sur et qu'il existe un unique point tel que :

Puis:

Preuve

Borne inférieure : Soit . Puisque est continue il existe tel que si alors Par le théorème de Taylor , pour tout

On a alors la borne inférieure suivante :

où la dernière égalité a été obtenue par un changement de variables

Rappelez-vous que nous pouvons prendre la racine carrée de sa négation.

Si nous divisons les deux côtés de l'inégalité ci-dessus par

et prenons la limite que nous obtenons :

puisque cela est vrai pour arbitraire, nous obtenons la borne inférieure :

Notez que cette preuve fonctionne aussi quand ou (ou les deux).

Borne supérieure : La preuve est similaire à celle de la borne inférieure mais il y a quelques inconvénients. Encore une fois, nous commençons par choisir un mais pour que la preuve fonctionne, nous avons besoin d' assez petit pour que Alors, comme ci-dessus, par continuité de et le théorème de Taylor, nous pouvons trouver que si , alors

Enfin, par nos hypothèses (en supposant qu'elles soient finies) il existe un tel que si , alors .

On peut alors calculer la borne supérieure suivante :

Si nous divisons les deux côtés de l'inégalité ci-dessus par

et prenons la limite que nous obtenons :

Puisque est arbitraire, nous obtenons la borne supérieure :

Et en combinant cela avec la borne inférieure donne le résultat.

Notez que la preuve ci-dessus échoue évidemment quand ou (ou les deux). Pour traiter ces cas, nous avons besoin de quelques hypothèses supplémentaires. Une hypothèse suffisante (pas nécessaire) est que pour

et que le nombre comme ci-dessus existe (notez que cela doit être une hypothèse dans le cas où l'intervalle est infini). La preuve procède autrement comme ci-dessus, mais avec une approximation légèrement différente des intégrales :

Quand on divise par

on obtient pour ce terme

dont la limite telle qu'elle est . Le reste de la preuve (l'analyse du terme intéressant) se déroule comme ci-dessus.

La condition donnée dans le cas de l'intervalle infini est, comme dit ci-dessus, suffisante mais pas nécessaire. Cependant, la condition est remplie dans de nombreuses applications, sinon dans la plupart : la condition dit simplement que l'intégrale que nous étudions doit être bien définie (pas infinie) et que le maximum de la fonction à doit être un "vrai" maximum (le numéro doit exister). Il n'est pas nécessaire d'exiger que l'intégrale soit finie pour mais il suffit d'exiger que l'intégrale soit finie pour certains

Cette méthode repose sur 4 concepts de base tels que

notions
1. Erreur relative

L'« approximation » dans cette méthode est liée à l' erreur relative et non à l' erreur absolue . Par conséquent, si nous posons

l'intégrale peut s'écrire sous la forme

où est un petit nombre quand est un grand nombre évidemment et l'erreur relative sera

Séparons maintenant cette intégrale en deux parties : la région et le reste.

2. autour du point stationnaire quand est assez grand

Regardons le développement de Taylor d' environ x 0 et traduisons x en y parce que nous faisons la comparaison dans l'espace y, nous obtiendrons

Notez que parce que est un point stationnaire. À partir de cette équation, vous constaterez que les termes supérieurs à la dérivée seconde dans ce développement de Taylor sont supprimés dans l'ordre de ce qui se rapprochera de la fonction gaussienne, comme le montre la figure. Outre,

Le chiffre de avec est égal à 1, 2 et 3, et la ligne rouge est la courbe de fonction .
3. Plus la plage est grande , plus la plage de est liée

Parce que nous faisons la comparaison dans l'espace y, est fixé dans lequel provoquera ; cependant, est inversement proportionnel à , la région choisie de sera plus petite lorsque est augmenté.

4. Si l'intégrale dans la méthode de Laplace converge, la contribution de la région qui n'est pas autour du point stationnaire de l'intégration de son erreur relative tendra vers zéro à mesure qu'elle grandit.

En se basant sur le 3ème concept, même si nous choisissons un très grand D y , sD y sera finalement un très petit nombre lorsqu'il sera porté à un grand nombre. Alors, comment pouvons-nous garantir que l'intégrale du reste tendra vers 0 lorsqu'elle sera suffisamment grande ?

L'idée de base est de trouver une fonction telle que et l'intégrale de tendra vers zéro lorsqu'elle grandira. Parce que la fonction exponentielle de sera toujours supérieure à zéro tant qu'il s'agit d'un nombre réel, et cette fonction exponentielle est proportionnelle à l'intégrale de tendra vers zéro. Pour plus de simplicité, choisissez comme tangente au point comme indiqué sur la figure :

est désigné par les deux lignes tangentes passant par . Lorsque devient plus petit, la zone de couverture sera plus grande.

Si l'intervalle d'intégration de cette méthode est fini, nous constaterons que peu importe ce qui se passe dans la région de repos, il sera toujours plus petit que celui indiqué ci-dessus lorsqu'il est suffisamment grand. D'ailleurs, il sera prouvé plus tard que l'intégrale de tendra vers zéro lorsqu'elle sera suffisamment grande.

Si l'intervalle de l'intégration de cette méthode est infini, et pourrait toujours se croiser. Si tel est le cas, nous ne pouvons garantir que l'intégrale de tendra finalement vers zéro. Par exemple, dans le cas de divergeront toujours. Par conséquent, nous devons exiger que puisse converger pour le cas de l'intervalle infini. Si c'est le cas, cette intégrale tendra vers zéro lorsqu'elle sera suffisamment grande et nous pouvons la choisir comme croix de et

Vous pourriez vous demander pourquoi ne pas choisir comme intégrale convergente ? Permettez-moi d'utiliser un exemple pour vous montrer la raison. Supposons que le reste de is alors et que son intégrale diverge ; cependant, lorsque l'intégrale de converge. Ainsi, l'intégrale de certaines fonctions divergera lorsque le nombre n'est pas grand, mais elles convergeront lorsqu'il sera suffisamment grand.

Sur la base de ces quatre concepts, nous pouvons déduire l'erreur relative de cette méthode de Laplace.

Autres formules

L'approximation de Laplace s'écrit parfois

où est positif.

Il est important de noter que la précision de l'approximation dépend de la variable d'intégration, c'est-à-dire de ce qui reste et de ce qui entre dans .

La dérivation de son erreur relative

Tout d'abord, utilisez pour désigner le maximum global, ce qui simplifiera cette dérivation. On s'intéresse à l'erreur relative, notée ,

Donc, si on laisse

et , on peut obtenir

depuis .

Pour la borne supérieure, notons qu'ainsi on peut séparer cette intégration en 5 parties avec 3 types différents (a), (b) et (c), respectivement. Par conséquent,

où et sont similaires, calculons simplement et et sont similaires aussi, je vais simplement calculer .

Car , après la traduction de , on peut obtenir

Cela signifie que tant qu'il est suffisamment grand, il tendra vers zéro.

Pour , nous pouvons obtenir

et devrait avoir le même signe de pendant cette région. Choisissons comme tangente au point en , c'est- à -dire qui est représenté sur la figure

est les lignes tangentes à travers le point à .

À partir de cette figure, vous pouvez constater que lorsque ou devient plus petit, la région satisfait l'inégalité ci-dessus deviendra plus grande. Par conséquent, si nous voulons trouver un approprié pour couvrir l'ensemble pendant l'intervalle de , aura une limite supérieure. De plus, comme l'intégration de est simple, permettez-moi de l'utiliser pour estimer l'erreur relative apportée par ce .

En se basant sur l'expansion de Taylor, on peut obtenir

et

puis les replacer dans le calcul de ; Cependant, vous pouvez constater que les restes de ces deux expansions sont tous deux inversement proportionnels à la racine carrée de , laissez-moi les supprimer pour embellir le calcul. Les garder c'est mieux, mais ça va rendre la formule plus moche.

Par conséquent, il tendra vers zéro lorsqu'il grandira, mais n'oubliez pas que la limite supérieure de doit être prise en compte lors de ce calcul.

A propos de l'intégration près de , nous pouvons également utiliser le théorème de Taylor pour le calculer. Lorsque

et vous pouvez constater qu'il est inversement proportionnel à la racine carrée de . En fait, aura le même comportement quand est une constante.

En conclusion, l'intégrale près du point stationnaire deviendra plus petite à mesure qu'elle grandira, et les parties restantes auront tendance à zéro tant qu'elle sera suffisamment grande ; Cependant, nous devons nous rappeler que cela a une limite supérieure qui est déterminée par le fait que la fonction est toujours plus grande que dans la région de repos. Cependant, tant que nous pouvons en trouver un satisfaisant cette condition, la borne supérieure de peut être choisie comme directement proportionnelle à puisque est une tangente à travers le point de à . Donc, plus c'est gros, plus c'est gros .

Dans le cas multivarié où est un vecteur de dimension et est une fonction scalaire de , l'approximation de Laplace s'écrit généralement :

où est la matrice hessienne d' évaluée à et où désigne le déterminant matriciel . De manière analogue au cas univarié, la Hessienne doit être définie négative .

Soit dit en passant, bien qu'il désigne un vecteur de dimension, le terme désigne ici un volume infinitésimal , c'est-à-dire .

Extension de la méthode de Laplace : Descente la plus raide

Dans les extensions de la méthode de Laplace, l' analyse complexe , et en particulier la formule intégrale de Cauchy , est utilisée pour trouver un contour de descente la plus raide pour une intégrale équivalente (asymptotiquement avec un grand M ), exprimée comme une intégrale de ligne . En particulier, si aucun point x 0 où la dérivée de s'annule n'existe sur la droite réelle, il peut être nécessaire de déformer le contour d'intégration en un contour optimal, où l'analyse ci-dessus sera possible. Là encore, l'idée principale est de réduire, au moins asymptotiquement, le calcul de l'intégrale donnée à celui d'une intégrale plus simple qui peut être explicitement évaluée. Voir le livre d'Erdelyi (1956) pour une discussion simple (où la méthode est appelée descentes les plus raides ).

La formulation appropriée pour le plan z complexe est

pour un chemin passant par le point selle en z 0 . Notez l'apparition explicite d'un signe moins pour indiquer la direction de la dérivée seconde : il ne faut pas prendre le module. Notez également que si l'intégrande est méromorphe , il peut être nécessaire d'ajouter des résidus correspondant aux pôles traversés en déformant le contour (voir par exemple la section 3 de l'article d'Okounkov Fonctions symétriques et partitions aléatoires ).

Autres généralisations

Une extension de la méthode de descente la plus raide est la méthode dite de phase stationnaire non linéaire/descente la plus raide . Ici, au lieu d'intégrales, il faut évaluer asymptotiquement les solutions des problèmes de factorisation de Riemann-Hilbert .

Etant donné un contour C dans la sphère complexe , une fonction définie sur ce contour et un point spécial, disons l'infini, on cherche une fonction M holomorphe à l'écart du contour C , avec un saut prescrit à travers C , et avec une normalisation donnée à l'infini. Si et donc M sont des matrices plutôt que des scalaires, c'est un problème qui en général n'admet pas de solution explicite.

Une évaluation asymptotique est alors possible selon la méthode linéaire stationnaire/descente la plus raide. L'idée est de réduire asymptotiquement la solution du problème de Riemann-Hilbert donné à celle d'un problème de Riemann-Hilbert plus simple, explicitement soluble. Le théorème de Cauchy est utilisé pour justifier les déformations du contour du saut.

La phase stationnaire non linéaire a été introduite par Deift et Zhou en 1993, sur la base de travaux antérieurs de Its. Une méthode de descente non linéaire (à proprement parler) a été introduite par Kamvissis, K. McLaughlin et P. Miller en 2003, sur la base des travaux antérieurs de Lax, Levermore, Deift, Venakides et Zhou. Comme dans le cas linéaire, les "contours de descente les plus raides" résolvent un problème min-max. Dans le cas non linéaire, elles s'avèrent être des "courbes en S" (définies dans un contexte différent dans les années 80 par Stahl, Gonchar et Rakhmanov).

La méthode non linéaire de phase stationnaire/descente la plus raide a des applications à la théorie des équations aux solitons et aux modèles intégrables , aux matrices aléatoires et à la combinatoire .

Généralisation de la méthode de Laplace : approximation du point médian

Dans la généralisation, l'évaluation de l'intégrale est considérée comme équivalente à la recherche de la norme de la distribution de densité

Désignant la distribution cumulative , s'il existe une distribution gaussienne difféomorphe avec densité

la norme est donnée par

et le difféomorphisme correspondant est

où désigne la fonction de distribution normale standard cumulative .

En général, toute distribution difféomorphe à la distribution gaussienne a une densité

et le point médian est mappé sur la médiane de la distribution gaussienne. La correspondance du logarithme des fonctions de densité et de leurs dérivées au point médian jusqu'à un ordre donné donne un système d'équations qui détermine les valeurs approximatives de et .

L'approximation a été introduite en 2019 par D. Makogon et C. Morais Smith principalement dans le contexte de l' évaluation de la fonction de partition pour un système de fermions en interaction.

Intégrales complexes

Pour les intégrales complexes sous la forme :

avec on fait la substitution t = iu et le changement de variable pour obtenir la transformée de Laplace bilatérale :

On divise ensuite g ( c + ix ) dans sa partie réelle et complexe, après quoi on retrouve u = t / i . Ceci est utile pour les transformées de Laplace inverses , la formule de Perron et l'intégration complexe.

Exemple : approximation de Stirling

La méthode de Laplace peut être utilisée pour dériver l'approximation de Stirling

pour un grand entier  N .

De la définition de la fonction Gamma , nous avons

Maintenant, nous modifions les variables, ce qui permet de rebrancher ces valeurs pour obtenir

Cette intégrale a la forme nécessaire à la méthode de Laplace avec

qui est deux fois différentiable :

Le maximum de se trouve à z 0  = 1, et la dérivée seconde de a la valeur -1 à ce point. Par conséquent, on obtient

Voir également

Remarques

Les références

  • Azevedo-Filho, A.; Shachter, R. (1994), « Approximations de méthode de Laplace pour l'inférence probabiliste dans les réseaux de croyances avec des variables continues », dans Mantaras, R. ; Poole, D. (éds.), Incertitude dans l'intelligence artificielle , San Francisco, Californie : Morgan Kaufmann , CiteSeerX  10.1.1.91.2064.
  • Deift, P.; Zhou, X. (1993), "Une méthode de descente la plus raide pour les problèmes oscillatoires de Riemann-Hilbert. Asymptotique pour l'équation MKdV", Ann. des mathématiques. , 137 (2), pp. 295–368, arXiv : math/9201261 , doi : 10.2307/2946540 , JSTOR  2946540.
  • Erdelyi, A. (1956), Expansions asymptotiques , Douvres.
  • Fog, A. (2008), "Méthodes de calcul pour la distribution hypergéométrique non centrale de Wallenius", Communications in Statistics, Simulation and Computation , 37 (2), pp. 258-273, doi : 10.1080/03610910701790269.
  • Laplace, PS (1774), "Mémoires de Mathématique et de Physique, Tome Sixième", Statistical Science , 1 (3) : 366-367, JSTOR  2245476
  • Wang, Xiang-Sheng ; Wong, Roderick (2007). « Analogues discrets de l'approximation de Laplace ». Asymptote. Anal . 54 (3-4): 165-180.

Cet article incorpore du matériel d'approximation du point de selle sur PlanetMath , qui est sous licence Creative Commons Attribution/Share-Alike License .