Capas de normalización por lotes.
Sistema de red neuronal (100) implementado por uno o más ordenadores,
comprendiendo el sistema de red neuronal:
una capa de normalización por lotes (108) entre una primera capa de red neuronal (104) y una segunda capa de red neuronal (112), donde la primera capa de red neuronal genera primeras salidas de capa presentando una pluralidad de componentes, y donde la capa de normalización por lotes está configurada para, durante el entrenamiento del sistema de red neuronal con un lote de ejemplos de entrenamiento: recibir una primera salida de capa respectiva para cada ejemplo de entrenamiento del lote; calcular una pluralidad de estadísticas de normalización para el lote a partir de las primeras salidas de capa;
normalizar cada componente de cada primera salida de capa utilizando las estadísticas de normalización para generar una respectiva salida de capa normalizada para cada ejemplo de entrenamiento del lote;
generar una respectiva salida de la capa de normalización por lotes para cada uno de los ejemplos de entrenamiento a partir de las salidas de capas normalizadas; y
proporcionar la salida de la capa de normalización por lotes como entrada a la segunda capa de red neuronal;
donde la pluralidad de componentes de primera salida de capa se indexan por dimensión, y donde calcular una pluralidad de estadísticas de normalización para las primeras salidas de capas comprende: calcular, para cada una de las dimensiones, una media de los componentes de la primera salida de capa en la dimensión; y
calcular, para cada una de las dimensiones, una desviación estándar de los componentes de las primeras salidas de capa en la dimensión.
Tipo: Patente Internacional (Tratado de Cooperación de Patentes). Resumen de patente/invención. Número de Solicitud: PCT/US2016/015476.
Solicitante: Google LLC.
Nacionalidad solicitante: Estados Unidos de América.
Dirección: 1600 AMPHITHEATRE PARKWAY MOUNTAIN VIEW, CA 94043 ESTADOS UNIDOS DE AMERICA.
Inventor/es: IOFFE,SERGEY, CORTES,CORINNA.
Fecha de Publicación: .
Clasificación Internacional de Patentes:
PDF original: ES-2714152_T3.pdf
Patentes similares o relacionadas:
Red y método para sistemas informáticos escalables accionados por eventos, del 8 de Julio de 2020, de UNIVERSITAT ZURICH: Una red que comprende una pluralidad de circuitos de núcleo interconectados , en la que cada circuito de núcleo comprende: - una matriz […]
Procedimiento de procesamiento de señales de descarga parcial y aparato que emplea una red neuronal, del 11 de Septiembre de 2019, de PRYSMIAN S.P.A.: Procedimiento de procesamiento de señales de descarga parcial que comprende: establecer un primer criterio de discriminación entre los siguientes criterios: […]
Sistema de red neuronal artificial de tipo asincrónico, del 10 de Julio de 2019, de THE UNIVERSITY OF BATH: Un sistema de red neuronal artificial asíncrono que comprende una pluralidad de neuronas, cada una de las cuales se utiliza para recibir señales de entrada que representan […]
Sistema para aplicar una red convolucional a datos espaciales, del 3 de Julio de 2019, de Atomwise Inc: Un sistema informático para predecir afinidad de unión de un compuesto químico a un polímero objetivo usando datos espaciales, comprendiendo el sistema informático: al […]
PROCEDIMIENTO Y SISTEMA DE GENERACIÓN DE RESÚMENES DE TEXTO EXTRACTIVOS UTILIZANDO APRENDIZAJE PROFUNDO NO SUPERVISADO Y AUTOCODIFICADORES, del 13 de Junio de 2019, de UNIVERSIDAD DE LEON: Procedimiento y sistema para la generación de resúmenes de texto extractivo utilizando aprendizaje profundo no supervisado y autocodificadores. Se […]
Sistema informático para entrenar redes neuronales, del 8 de Mayo de 2019, de Microsoft Technology Licensing, LLC: Un método implementado por ordenador para entrenar una red neuronal que comprende: determinar matrices de gradientes de un […]
Procedimiento y dispositivo de control de un dispositivo de ayuda a la visión, del 6 de Marzo de 2019, de CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (C.N.R.S.): Dispositivo de tratamiento de señal para el control de un dispositivo de ayuda a la visión , que comprende una entrada que recibe una señal de entrada (f) representativa […]
METODO DE MANTENIMIENTO DE UN MATERIAL RODANTE, del 13 de Junio de 2011, de METRO DE MADRID, S.A.: La presente invención hace referencia a un método de mantenimiento de un material rodante. Dicho material rodante comprende al menos un coche, dicho coche comprende […]