Ensemble Learning under the Era of Deep Learning

• Title：MAIB-Talk-021: Ensemble Learning under the Era of Deep Learning
• Date：10:00pm US East time, 07/08/2023
• Date：10:00am Beijing time, 07/09/2023
• Zoom ID：933 1613 9423
• Zoom PWD：416262
• Zoom: https://uwmadison.zoom.us/meeting/register/tJcudu-prTIuGNda1MsF8PKyRQlnGn06TP2E

Presentation Record(Previous Presentation will be showed here if the video is not released for this talk)

MAIB: Manifold learning, Artificial Intelligence, Biology Forum (MAIB)

Dr. Yongquan Yang

Due to the dominant position of deep learning (mostly deep neural networks) in various artificial intelligence applications, recently, ensemble learning based on deep neural networks (ensemble deep learning) has shown significant performances in improving the generalization of learning system. However, since modern deep neural networks usually have millions to billions of parameters, the time and space overheads for training multiple base deep learners and testing with the ensemble deep learner are far greater than that of traditional ensemble learning. Though several algorithms of fast ensemble deep learning have been proposed to promote the deployment of ensemble deep learning in some applications, further advances still need to be made for many applications in specific fields, where the developing time and computing resources are usually restricted or the data to be processed is of large dimensionality. An urgent problem needs to be solved is how to take the significant advantages of ensemble deep learning while reduce the required expenses so that many more applications in specific fields can benefit from it. For the alleviation of this problem, it is essential to know about how ensemble learning has developed under the era of deep learning. Thus, in this article, we present discussions focusing on data analyses of published works, methodologies, recent advances and unattainability of traditional ensemble learning and ensemble deep learning. We hope this article will be helpful to realize the intrinsic problems and technical challenges faced by future developments of ensemble learning under the era of deep learning.

Ensemble deep learning, which combines multiple deep neural networks, has emerged as a powerful approach for improving the generalization of learning systems. However, the large size of modern deep neural networks poses challenges in terms of training time and resource requirements for ensemble learning. Although some fast ensemble deep learning algorithms have been proposed, further advancements are needed to enable its widespread adoption in applications with limited resources or high-dimensional data. The aim is to reduce the expenses associated with ensemble deep learning while harnessing its benefits. This article focuses on the development of ensemble learning in the era of deep learning, including data analysis of published works, methodologies, recent advances, and the limitations of traditional ensemble learning and ensemble deep learning. By addressing these issues, we hope to shed light on the inherent problems and technical challenges that need to be overcome for future advancements in ensemble learning under the influence of deep learning.

A major challenge in the field of ensemble deep learning is the high computational and resource requirements. Modern deep neural networks often have millions or billions of parameters, which significantly increases the time and space overheads for training and testing multiple base deep learners within an ensemble. This poses a challenge for applications with limited computing resources or large-dimensional data. The development of efficient and scalable algorithms for ensemble deep learning is crucial to address this challenge and enable wider adoption of ensemble methods in specific fields where resources are restricted. Finding ways to reduce the computational burden while maintaining the advantages of ensemble deep learning remains an urgent problem to be solved.

杨永全，人工智能算法研究和应用工程师，Artificial Intelligence Review等期刊审稿人。近年来主要研究方向为深度学习时代背景下的集成学习和弱监督学习算法，及其在医学智能辅助诊断中的应用，包括基于全数字玻片图像的组织区域识别、癌区域分割、乳腺癌新辅疗效预测标志物构建，以及乳腺癌术后残余癌分割等。相关工作发表在Artificial Intelligence Review, Patern Recognition, Journal of Translational Medicine, NPJ Breast Cancer 等期刊，授权专利3项。

Reference:

Yang, Y., Lv, H., & Chen, N. (2023). A Survey on ensemble learning under the era of deep learning. Artificial Intelligence Review, 56(6), 5545–5589. https://doi.org/10.1007/s10462-022-10283-5

Yang, Y., Lv, H., Chen, N., Wu, Y., Zheng, J., & Zheng, Z. (2021). Local minima found in the subparameter space can be effective for ensembles of deep convolutional neural networks. Pattern Recognition, 109, 107582. https://doi.org/10.1016/j.patcog.2020.107582

Background:

由于深度学习（主要是深度神经网络）在各种人工智能应用中占据主导地位，最近基于深度神经网络的集成学习（集成深度学习）在提高学习系统的泛化性能方面表现出显著的效果。然而，由于现代深度神经网络通常具有数百万到数十亿个参数，与传统的集成学习相比，训练多个基础深度学习器并使用集成深度学习器进行测试所需的时间和空间开销要大得多。虽然已经提出了一些快速集成深度学习算法来推动集成深度学习在某些应用中的部署，但对于许多特定领域的应用来说，仍然需要进一步的进展，因为这些领域的开发时间和计算资源通常受限，或者要处理的数据具有较高的维度。一个迫切需要解决的问题是如何在减少所需费用的同时发挥集成深度学习的显著优势，以便更多的特定领域应用能从中受益。为了缓解这个问题，了解集成学习在深度学习时代的发展非常重要。因此，在本文中，我们提出了关于已发表作品的数据分析、方法论、最新进展以及传统集成学习和集成深度学习的局限性的讨论。我们希望这篇文章对于认识在深度学习时代下集成学习未来发展所面临的固有问题和技术挑战具有帮助。

集成深度学习，即结合多个深度神经网络的方法，已经成为提高学习系统泛化能力的一种强大方法。然而，现代深度神经网络的规模较大，训练多个基础深度学习器并使用集成深度学习器进行测试时，时间和资源需求方面存在挑战。虽然已经提出了一些快速的集成深度学习算法，但需要进一步的进展，以在资源有限或高维数据的应用中广泛采用集成方法。目标是在降低集成深度学习相关费用的同时利用其优势。本文重点关注在深度学习时代集成学习的发展，包括已发表作品的数据分析、方法论、最新进展以及传统集成学习和集成深度学习的局限性

集成深度学习（Ensemble Deep Learning）是一种将多个深度学习模型组合起来形成一个更强大、更准确的模型的方法。在集成深度学习中，多个深度学习模型被训练来解决同一个问题，然后它们的预测结果被整合或者投票来得到最终的预测。

集成深度学习可以通过减少模型的方差、提高模型的鲁棒性以及降低过拟合的风险来提高预测性能。通过使用不同的初始条件、不同的模型架构、不同的超参数或者不同的训练数据子集，集成深度学习可以获得多个互补的模型，从而提高整体预测的准确性。

常见的集成深度学习方法包括：

投票集成（Voting Ensemble）：多个模型的预测结果进行投票，选择获得最高票数的结果作为最终预测。

平均集成（Averaging Ensemble）：将多个模型的预测结果取平均值，得到最终预测。

堆叠集成（Stacking Ensemble）：将多个模型的预测结果作为输入，再训练一个元模型（meta-model）来生成最终的预测。

Boosting集成（Boosting Ensemble）：逐步训练一系列模型，每个模型都试图纠正前一个模型的错误，从而逐步提高整体性能。

集成深度学习方法可以应用于各种深度学习任务，包括图像分类、目标检测、语音识别和自然语言处理等。它们通常能够在复杂的数据集上获得更好的泛化能力，并提高模型的稳定性和可靠性。

在过去几年中，集成深度学习领域取得了一些重大进展。以下是其中几个突出的方面：

1. 自适应权重融合方法：为了更好地利用集成中不同深度学习器的预测能力，研究人员提出了多种自适应权重融合方法。这些方法根据不同模型的性能和置信度动态调整权重，从而提高整体性能和鲁棒性。

2. 神经架构搜索：神经架构搜索（NAS）的发展为集成深度学习带来了重要的突破。NAS可以自动搜索最佳的神经网络架构，以提高集成的泛化性能。这种方法大大减少了人工设计网络架构的需求，并取得了显著的性能提升。

3. 增量学习和在线学习：传统上，集成深度学习需要在全部数据上重新训练模型。但是，近年来的研究集中于增量学习和在线学习方法，允许模型在接收新数据时进行动态更新，而无需重新训练整个模型。这使得集成深度学习更加适用于实时和大规模数据的场景。

4. 知识蒸馏技术：知识蒸馏是一种通过将大型模型（教师模型）的知识传递给小型模型（学生模型）来改善集成深度学习性能的技术。这种方法不仅能提高小型模型的泛化性能，还能减少模型的计算和存储开销，使得集成深度学习更加高效和可扩展。

这些进展为集成深度学习的应用提供了更强大的工具和技术，使其能够在更广泛的领域和应用中发挥作用，并取得更好的性能和效果。未来，随着技术的不断发展，集成深度学习有望进一步提升，为人工智能领域带来更多创新和突破。

在未来十年内，集成深度学习领域仍然面临一些核心问题需要解决：

1. 计算效率和资源需求：目前，集成深度学习的计算和资源需求仍然较高。为了推动其在各个领域的广泛应用，需要研究更1加高效和可扩展的算法和技术，以减少计算开销并优化资源利用。

2. 解释性和可解释性：深度学习模型通常是黑盒模型，难以解释其决策过程和推理逻辑。在一些敏感领域如医疗和金融中，解释性和可解释性是至关重要的。因此，需要研究如何增加集成深度学习模型的解释性，提高其可解释性和可信度。

3. 鲁棒性和安全性：集成深度学习模型对于对抗性攻击和数据扰动可能存在脆弱性。在未来十年内，需要进一步研究如何提高集成深度学习模型的鲁棒性，使其能够在面对噪声、干扰和恶意攻击时具有更好的性能和安全性。

4. 高维数据和稀缺数据：随着数据规模和维度的增加，集成深度学习在处理高维数据和稀缺数据方面面临挑战。在未来的研究中，需要考虑如何有效地利用高维数据的信息，并如何在数据稀缺的情况下进行集成学习，以提高模型的性能和泛化能力。

5. 动态学习和在线学习：未来十年将更加注重动态学习和在线学习的方法。集成深度学习需要能够快速适应新数据、新环境和新任务，并在不断变化的情况下进行实时学习和更新。因此，需要研究更加灵活和自适应的集成学习方法，以应对实时和动态环境的需求。

通过解决这些核心问题，集成深度学习将能够更好地应对未来十年中各个领域和应用的挑战，并取得更大的突破和进展。