Aprendizaje por refuerzo bayesiano para el control adaptativo de la recuperación de energía en brazos de excavadoras hidráulicas

Por qué importan excavadoras más inteligentes

Las excavadoras hidráulicas son las máquinas de trabajo en la construcción y la minería, pero consumen mucho diésel y desperdician gran parte de la energía que extraen del motor. Cualquier mejora en su uso de la energía puede traducirse en facturas de combustible más bajas para los contratistas y en menos emisiones para todos. Este estudio explora una nueva forma de hacer que los brazos de las excavadoras «piensen por adelantado» sobre las condiciones variables del terreno y el desgaste de la máquina, de modo que puedan recuperar y reutilizar energía con mayor eficacia sin salirse de límites de seguridad estrictos.

Excavar exige mucho combustible

Las excavadoras modernas suelen operar sus sistemas hidráulicos a presiones altas y fijas, ya sea que estén perforando roca dura o alisando suelo suelto de forma delicada. Ese enfoque de talla única mantiene la fiabilidad de las máquinas pero desperdicia energía en forma de calor, especialmente durante tareas ligeras y cuando el brazo baja por su propio peso. Aunque algunos diseños recientes incluyen dispositivos que pueden capturar ese exceso de energía en acumuladores hidráulicos, la mayoría de las máquinas aún se apoyan en reglas simples y fijas para decidir cuándo y cómo usarlos. El resultado es un consumo de combustible hasta un 20% superior al necesario y una mayor huella de carbono en las obras de todo el mundo.

Un sistema de control que aprende para el brazo

Los autores diseñan un modelo virtual detallado de un brazo de excavadora de 21 toneladas, incluidos sus cilindros, bomba, válvulas y un acumulador cargado con gas que almacena energía cuando el brazo desciende y la libera para ayudar a levantar la carga después. Su controlador debe afrontar muchas incertidumbres del mundo real: suelo que se vuelve repentinamente más duro o más blando, aceite que se espesa o adelgaza con la temperatura, componentes que se desgastan lentamente y sensores ruidosos o con sesgos leves. En lugar de asumir que todo se conoce y permanece constante, el sistema trata el estado real de la máquina como parcialmente oculto y actualiza continuamente su mejor estimación usando métodos bayesianos. Un filtro de partículas estima factores ocultos como la resistencia del suelo y si el acumulador está ligeramente sobrecargado o infracargado respecto a su punto de diseño.

Enseñar a la máquina a adaptarse de forma segura

Sobre este estimador de estado, el equipo entrena una política de aprendizaje por refuerzo (RL), un algoritmo que descubre gradualmente buenas estrategias por prueba y error en simulación. En cada instante, la política recibe la «creencia» actual sobre la condición de la máquina y elige comandos continuos para la presión de la bomba y la apertura de las válvulas. Una capa de seguridad dedicada revisa estas sugerencias y las limita a un rango estrictamente seguro: las presiones hidráulicas deben mantenerse entre 5 y 35 megapascales en general, el acumulador debe permanecer dentro de su ventana de 12–28 megapascales y los movimientos de las válvulas se limitan para que no sacudan el sistema. El proceso de aprendizaje recompensa al controlador por terminar cada ciclo de excavación con rapidez, usando la menor energía hidráulica posible y manteniendo la pala en el objetivo, y penaliza acciones que llevarían el sistema hacia regiones inseguras.

Qué tan bien funciona el controlador inteligente

Los investigadores realizan co-simulaciones extensas a 100 actualizaciones por segundo, comparando su controlador RL bayesiano con dos configuraciones más tradicionales: una con parámetros fijos y otra que imita a un operador hábil haciendo ajustes manuales simples de presión y velocidad. Todos los controladores afrontan el mismo trabajo guionado de 20 minutos, en el que la dificultad del suelo cambia en varias etapas y el aceite se calienta de frío a caliente. El controlador basado en aprendizaje detecta cambios en el suelo en cuestión de segundos, aumenta la presión cuando el terreno se endurece para mantener tiempos de ciclo constantes y la reduce cuando excavar se vuelve más fácil para ahorrar energía y crear más oportunidades de cargar el acumulador. A lo largo de muchas ejecuciones aleatorizadas, reduce el uso de energía por ciclo de excavación en aproximadamente un 20–22% respecto al controlador fijo y en torno a un 14–18% respecto al ajustado por el operador, al tiempo que acorta los tiempos de ciclo y mejora la precisión con la que la pala alcanza las posiciones objetivo. Los eventos de seguridad, como presiones que intentan exceder los límites o válvulas de alivio abiertas durante largos periodos, se vuelven menos frecuentes a pesar de que el sistema empuja más el rendimiento.

Qué significa esto para máquinas reales

Para un lector no especializado, el mensaje clave es que el brazo de la excavadora puede aprender a ser a la vez cuidadoso y ahorrador. Al actualizar constantemente su comprensión de lo difícil que es excavar, de la salud de sus componentes y de cuánta energía hay almacenada en el acumulador, el controlador decide en tiempo real cuándo ahorrar energía y cuándo gastar un poco más para mantener la productividad. El estudio aún se basa en simulaciones en lugar de ensayos de campo, y se centra en una sola gama de tamaño de máquina, pero muestra que combinar razonamiento probabilístico con control basado en aprendizaje puede hacer que la maquinaria pesada sea significativamente más eficiente sin sacrificar seguridad o velocidad. Si enfoques similares se transfieren a excavadoras reales, podrían ayudar a los contratistas a mover la misma cantidad de tierra con menos combustible, menos desgaste y menores emisiones.

Cita: Hu, P., Wen, T., Zhang, D. et al. Bayesian reinforcement learning for adaptive control of energy recuperation in hydraulic excavator arms. Sci Rep 16, 6195 (2026). https://doi.org/10.1038/s41598-026-35391-y

Palabras clave: excavadora hidráulica, recuperación de energía, aprendizaje por refuerzo, control bayesiano, eficiencia de maquinaria pesada