Visualización y Análisis de los Resultados
Tras haber sido entrenados, se procedió a la visualización y posterior análisis de los datos. Para ello, se emplearon las librerías Matplotlib y SciencePlots, mediante las cuales se extrajeron las gráficas correspondientes al error y exactitud frente a las iteraciones, así como los campos de presión y velocidad resultantes. De todos los procesos de entrenamiento se han elegido los dos más representativos de cada modelo.
Primer modelo: experimento 1
Se entrenó el modelo a partir de los hiperparámetros especificados en la Tabla 1. Asimismo,
la arquitectura del modelo contó con 21 capas convolucionales, 5 capas de agrupación
máxima, 5 capas de concatenación y 5 capas de convolución transpuesta.
Posteriormente, se visualizó la evolución del error y exactitud del modelo durante el
entrenamiento y fase de validación, frente a las iteraciones. Esto se realizó tanto con los casos de los campos de velocidad como con los de presión.
A continuación, se realizó un análisis de los resultados obtenidos. Primeramente, se observa
como el número de épocas finales nunca alcanzó las 100 establecidas debido al
EarlyStopping, evitando de este modo el sobreaprendizaje. Además, el error alcanzado en el
conjunto de datos test fue en los campos de velocidad en el eje X (Vel1) de 229,70, en el eje
Y (Vel2) de 175,05 y en los campos de presión de 86,05, mientras que en el caso de la
exactitud siempre se alcanzó el 100%. Por ello, al ser el error bajo (véase la exactitud), se
infiere un correcto funcionamiento. Más aún, en todos los casos el error en los datos de test es
menor que durante el entrenamiento, indicando una buena capacidad de generalización y por
consiguiente aplicabilidad a gran escala del modelo. En lo referente a la exactitud, se
concluyó que no era una métrica relevante a monitorizar ya que rápidamente alcanzaba el
100%, debido al alto número de parámetros, aun cuando el modelo no hubiese alcanzado una
tasa de error cuadrático medio igual a 0, dificultando el análisis del desempeño de los
distintos hiperparámetros. Posteriormente, se visualizaron de manera gráfica los campos de
presión y velocidad resultantes (Figura 31).
Primer modelo: experimento 2
A la luz de los resultados anteriores, se ajustaron los hiperparámetros (Tabla 2) y se añadió
más complejidad y profundidad al modelo a través de un mayor número de parámetros a
entrenar y 2 capas convolucionales más, resultando en 23 capas convolucionales, 5 capas de
agrupación máxima, 5 capas de concatenación y 5 capas de convolución transpuesta.
Igualmente, se ajustó tanto el tamaño del lote de entrenamiento como de validación al que
había resultado en un menor error en el experimento anterior, 24.
Una vez más, se visualizó la evolución del error del modelo en los campos de velocidad y presión, frente a las iteraciones durante el entrenamiento y validación. No obstante, ya no se monitorizó la exactitud.
Una vez visualizados, se examinaron los resultados. En primer lugar y al igual que en el
primer experimento, no se completaron las 100 iteraciones. Similarmente, también se observa
un notable mejor desempeño del modelo en las primeras épocas (Figuras 32, 33 y 34), en
Figura 34. Valores de pérdida (presión) del primer modelo en su segundo experimento ocasiones de más de 10.000 puntos de error cuadrático medio (Vel1), achacable a la mayor
profundidad del modelo. En cuanto al MSE en los datos test, en los campos de velocidad en el
eje X (Vel1) alcanzó 214,28, en el eje Y (Vel2) 161,90 y en los campos de presión 84,55. En
resumen y en contraposición a los resultados del primer experimento, el segundo experimento
fue un 6,8%, un 7,6% y un 1,8% mejor respectivamente. Igualmente, el error en los datos de
validación y test fue de nuevo menor que los de entrenamiento. A continuación, se visualizó
el desempeño del modelo gráficamente en los campos de velocidad y presión en la Figura 35,
comprobando que es en las regiones más cercanas al vehículo, especialmente hacia la zona
trasera, donde se acumula un mayor error (azul oscuro en Error comparativo), lo que
responde a la mayor imprevisibilidad del fluido y mayor número de vórtices en esta área.
Segundo modelo: experimento 1
Para el entrenamiento del segundo modelo, se aumentó considerablemente el tamaño del lote
(Tabla 3) debido al mayor número de datos y menores dimensiones de las imágenes. Con
relación a la arquitectura, consistió en 8 capas convolucionales, 3 capas de agrupación
máxima, 1 capa flatten, 1 capa completamente conectada y 1 capa dropout.
Una vez entrenado, se analizaron los resultados y desempeño del modelo. Al igual que con el primero, primeramente, se visualizó la evolución del error del modelo durante el entrenamiento y la fase de validación, frente a las iteraciones.
Posteriormente, se analizaron los resultados obtenidos. En primer lugar, y de manera similar a los experimentos del primer modelo, se observa como el entrenamiento se detiene antes de alcanzar las 100 épocas preestablecidas al no producirse mejoras significativas en el rendimiento. Igualmente, el error cuadrático medio (Figura 36) alcanzado en el conjunto de datos test fue de 0'005, en lo que supone una exactitud del 83,29%. Más aún, el error en los datos de validación y test fue siempre inferior a los de entrenamiento, denotando una buena respuesta del modelo frente a datos con los que no había sido previamente entrenado. Referente a la distribución de los resultados, en la Figura 37 se representan las predicciones realizadas por el modelo en el conjunto de datos test frente a su valor original y frente a su exactitud correspondiente ( 𝑉𝑎𝑙𝑜𝑟 𝑝𝑟𝑒𝑑𝑖𝑐ℎ𝑜 / 𝑉𝑎𝑙𝑜𝑟 𝑜𝑟𝑖𝑔𝑖𝑛𝑎𝑙 ). En ellas, se observa como la exactitud es cercana a 1 para aquellos valores (0,35) con un mayor número de datos y como el desempeño del modelo disminuye para los valores con un menor número de muestras similares.
Segundo modelo: experimento 2
Se entrenó el modelo de acuerdo con los hiperparámetros establecidos en la Tabla 4. No obstante, y a diferencia de lo realizado en el segundo experimento del primer modelo, no se modificó la estructura de la red neuronal convolucional a la luz de los buenos datos cosechados en el primer experimento, sino que únicamente se reconfiguraron los hiperparámetros, haciendo especial hincapié en el tamaño del lote.
A continuación, se recopilaron y visualizaron los resultados tras los cambios realizados.
Significativamente, los cambios se tradujeron en un modelo que continuó aprendiendo durante más iteraciones, reduciendo la tasa de error cuadrático medio (Figura 38) a 0'0039, en lo que supone una mejora del 22%, por otro lado, la exactitud mejoró a un 85,58%. Referente a la distribución de resultados (Figura 39) y a diferencia del primer experimento, se observa un importante aumento de la exactitud para aquellos valores menos habituales, indicando una mayor capacidad generalización del modelo ante perfiles de automóviles desconocidos.