Descenso de gradiente

En optimización y análisis numérico, el método de descenso de gradiente (también llamado método de gradiente, método de descenso más pronunciado o método de descenso más pronunciado) es una técnica que le permite determinar los puntos máximos y mínimos de una función de múltiples variables. El método fue desarrollado y publicado en 1847 - el matemático francés Augustin-Louis Cauchy en un intento de resolver el problema de determinar la órbita de un cuerpo celeste a partir de sus ecuaciones de movimiento.

Luego y, moviéndose en un círculo de x 0 {\displaystyle \mathbf {x} _{0}} : Estos cálculos muestran que, para identificar puntos-cerca de x 0 {\displaystyle \mathbf {x} _{0}} - para los cuales la función tiene un valor menor que f ( x 0 ) {\displaystyle F (\mathbf {x} _{0})} , es aconsejable moverse a lo largo de direcciones que tienen la componentes primero y tercero x 1 , x 3 {\displaystyle x_{1}, x_{3}} componente más pequeño o segundo x 2 {\displaystyle x_{2}} más grande Supongamos que desea minimizar la función f ( x 1 , x 2 , x 3 ) = x 1 2 − x 2 + x 3 {\displaystyle f (x_{1}, x_{2}, x_{3})=x_{1}^{2} - x_{2}+x_{3}} y elegir el vector como la solución inicial x 0 = T {\displaystyle \mathbf {x} _{0} = ^{T}} . Además, hay direcciones preferenciales a lo largo de las cuales la función f {\displaystyle F} disminuye más rápido (por ejemplo, elija una coordenada x 1 {\displaystyle x_{1}} más pequeño es preferible, por ejemplo, que disminuir x 3 {\displaystyle x_{3}} ). El procedimiento se puede iterar desde un nuevo punto, por ejemplo x 1 = T {\displaystyle \mathbf {x} _ {1} = ^{T}} para identificar un mínimo de f {\displaystyle F} . El ejemplo muestra que un procedimiento que actualiza iterativamente la solución en función de la información disponible localmente puede llevar a identificar un punto mínimo para la función asignada.

Desea resolver el siguiente problema de optimización sin restricciones en el espacio y {\displaystyle n} - dimensional R y {\displaystyle \ mathbb {R} ^{n}} la técnica de descenso del segundo gradiente se basa en el hecho de que, para una función dada f ( x ) {\displaystyle f (\mathbf {x})} , la dirección del descenso máximo en un punto asignado x ¯ {\displaystyle {\bar {\mathbf {x} }}} corresponde a la determinada por el opuesto de su gradiente en ese punto p k := − ∇ f ( x ¯ ) {\displaystyle \ mathbf {p} _{k}:= - \ nabla f ({\bar {\mathbf {x} }})} Por lo tanto, el método de gradiente implica partir de una solución inicial x 0 {\displaystyle \mathbf {x} _{0}} arbitrariamente y proceder iterativamente actualizarlo como donde α k ∈ R + {\displaystyle \ alpha _{k} \ in \ mathbb {R} ^{+}} corresponde a la longitud del escalón de descenso, cuya elección es crucial para determinar la velocidad con la que el algoritmo converge a la solución requerida En este último caso, una opción conveniente, pero computacionalmente más costosa que un método estacionario, es optimizar, una vez que se determina la dirección de descenso p k {\displaystyle \mathbf {p} _{K}} la función de una variable f ~ k ( α k ) := f ( x k + α k p k ) {\displaystyle {\tilde {f}}_{k} (\alpha _ {k}):=f (\mathbf {x} _{k}+ \ alpha _{K}\mathbf {P} _{k})} analíticamente o aproximadamente Esta elección para la dirección de descenso asegura que la solución tiende a un punto mínimo de f {\displaystyle F} . Hablamos de método estacionario en caso de que elija un paso α k = α ¯ {\displaystyle \ alpha _ {k}={\bar {\alpha }}} constante para cada k {\displaystyle k} , por el contrario, el método se define como Dinámico. Tenga en cuenta que, dependiendo de la elección del paso de descenso, el algoritmo puede converger a cualquiera de los mínimos de la función f {\displaystyle F} , ya sea local o global. El esquema general para optimizar una función f ( x ) {\displaystyle f (\mathbf {x})} por el método de gradiente es el siguiente: .

Por las propiedades de A {\displaystyle A} la solución de este problema es equivalente al procedimiento de minimizar la forma cuadrática asociada: de hecho: de la cual para la función Q {\displaystyle Q} tienes esa dirección de descenso máximo en el punto x k {\displaystyle \mathbf {x} _{k}} es: coincidente con el residuo r k {\displaystyle \ mathbf {r} _ {k}} del sistema lineal Un caso particular de aplicación del método de gradiente consiste en la resolución de sistemas lineales de la forma donde A {\displaystyle A} es una matriz positiva simétrica y definida. Así que la dirección de descenso elegida en cada iteración es p k = r k {\displaystyle \mathbf {p} _{k}= \ mathbf {r} _{k}} . También se aplica la siguiente relación: que permite calcular analíticamente el paso α k {\displaystyle \ alpha _ {k}} óptima. De hecho, al imponer la condición estacionaria obtenemos el algoritmo del método de gradiente para la resolución de sistemas lineales, por lo que en la aritmética de punto flotante la condición del ciclo while se puede evaluar verificando que la norma residual ‖ r k ‖ {\displaystyle \ / \ mathbf {R} _{K}\|} no menor que una tolerancia establecida por el usuario. En muchos casos es posible acelerar la velocidad de convergencia del algoritmo mejorando las propiedades de acondicionamiento de la matriz A {\displaystyle A} . Para ello se introduce una matriz de preacondicionamiento P {\displaystyle P} simétrico y definido positivo. El esquema de resolución en este caso se convierte en : el método de gradiente conjugado constituye una variante del método de gradiente en el que se hace una elección diferente, pero especialmente conveniente en el caso de sistemas lineales simétricos positivos y definidos, para las direcciones de descenso p k {\displaystyle \mathbf {p} _{K}} . ¿Es posible probar que el error cometido en el k {\displaystyle k} - th iteración del método de gradiente satisface la siguiente estimación: donde κ ( A ) {\displaystyle \ kappa (A)} indica el número de condicionamiento en la norma 2 {\displaystyle 2} de A {\displaystyle A} y ‖ x ‖ A := x T A x {\displaystyle \ / \ mathbf {x} \ / _ {A}: = \mathbf {X} ^{t}A \ mathbf {x} } es la norma inducida por A {\displaystyle A} Esta elección garantiza la convergencia del método (en aritmética exacta) en un número de iteraciones igual al tamaño más del sistema a resolver. En el caso preacondicionado se aplica la misma estimación con un ejemplo de posible implementación del método gradient en la versión preacondicionada compatible con los lenguajes de programación Octave y MATLAB.

Álgebra lineal numérica

Optimización

Investigación operativa

Algoritmo de Strassen

En matemáticas, y más particularmente en álgebra lineal, el algoritmo de Strassen es un algoritmo (debido al matemático alemán Volker Strassen) destinado a calc...

Existencias y flujos

Los sectores de la economía, el comercio, la contabilidad y otros sectores conexos suelen distinguir entre cantidades que son existencias (reservas, existencias...

Terminología económica

Contabilidad

Gestión de la empresa

Representaciones gráficas

Teoría de sistemas

Teoría del control

Esta página se basa en el artículo de Wikipedia: Fuente, Autores, Licencia Creative Commons Reconocimiento-CompartirIgual.
This page is based on the Wikipedia article: Source, Authors, Creative Commons Attribution-ShareAlike License.
contactos
Política de privacidad , Descargos de responsabilidad