半监督学习

半监督学习（SSL）是机器学习中的一种基本学习任务类型，介于监督学习（SL）和无监督学习（UL）之间。它结合了两者的优点，在训练过程中同时使用有标签数据和无标签数据，以较低的训练成本实现目标任务。SSL诞生于20世纪90年代，当时它主要专注于图论和概率模型。进入21世纪，随着大数据和深度学习的兴起，SSL在计算机视觉和自然语言处理领域获得了更多关注并取得了显著进展，尤其是在使用未标记数据进行模型训练方面。自2013年以来，SSL的研究重点转向提高模型的泛化能力和稳定性，并开始与深度学习相结合。2023年，基于半监督学习算法的半监督学习-多通道卷积神经网络（SSL-MCCNN）已应用于煤油-柴油加氢裂化等复杂过程。 www.qwbaike.cn

半监督学习的目标是使用有限的已标记数据来提高模型的性能，并从未标记数据中分类或提取特征。根据不同的使用场景，半监督学习可以分为分类、回归、聚类和降维四个任务。每个任务包括不同的算法模型，如模型生成、半监督支持向量机、熵正则化和自训练。随着时代的发展，SSL已应用于计算机视觉、生物化学、医疗诊断、经济等复杂领域。 www.qwbaike.cn

半监督学习通过使用少量的标记数据来训练模型，在监督学习的预测能力和无监督学习的数据结构探索能力之间架起了桥梁。它使用无监督学习技术从无标签数据中提取有用信息，并将这些信息集成到有监督学习模型中以增强模型性能。它不仅使用无监督特征学习算法从所有样本（包括已标记样本和未标记样本）中学习样本的隐藏特征或隐藏变量表示，还使用有监督分类器对未标记样本对应的隐藏特征进行分类，从而间接实现目标任务；在桥接过程中，半监督学习被迭代优化，并通过假设检验和约束来保证学习过程的稳定性。最后，半监督学习实现了在标记数据稀缺时提高学习效率和预测精度的目标。 www.qwbaike.cn
www.qwbaike.cn

与之相比，监督学习可以在大量标注数据的情况下实现较高的准确率，但成本较高；无监督学习不依赖于标记数据，适用于数据探索和模式发现，但在特定任务中的性能可能不如监督学习和半监督学习。 www.qwbaike.cn
www.qwbaike.cn

传统算法出现

20世纪90年代，一些学者开始尝试使用未标记样本来提高分类器的性能。早期的半监督学习是在传统的监督学习模型中探索未标记样本的价值。大多数学习算法是对传统机器学习算法的改进，并通过在监督学习中添加未标记样本来实现。 www.qwbaike.cn

从20世纪90年代到21世纪初，直接支持向量机（直推式SVM）和S3VM相继诞生。S3VM的目标函数在传统支持向量机的基础上增加了未标记样本的约束项，以防止分类超平面穿过样本密集区。直接求解非常困难，并且计算量随着数据集的增加而急剧增加，这使得早期的算法很难在实际中应用。与此同时，最大似然分类器、贝叶斯分类器、多层感知器和支持向量机也相继出现，但半监督支持向量机和协同训练仍有较大影响力。 www.qwbaike.cn

多样化成熟算法
www.qwbaike.cn

由于SVM是一个非凸的离散组合优化问题，很难求解并获得全局最优解，并且对协同训练的假设苛刻，人们开始尝试其他方法进行半监督学习。在2000年之后的十年里，大量的半监督学习算法开始出现。这一时期的标志是明确提出了“半监督学习”的概念并形成了全新的算法体系，使半监督学习逐渐形成了一种不同于传统监督学习和无监督学习的相对独立的学习方法。这一时期的半监督学习主要包括混合模型、伪标签（自训练）、图论半监督学习、流形半监督学习等。

www.qwbaike.cn

现代半监督算法研究

www.qwbaike.cn

伪标签法是2013年前后提出的一种简单有效的方法。通过为未标记数据生成伪标签并将其纳入训练过程，利用未标记数据提高了模型的性能。该方法为后续半监督学习研究提供了新思路。随后，梯形网络的推出标志着深度学习技术与半监督学习相结合的趋势。梯形网络不仅可以学习数据的表面特征，还可以通过结合生成模型和判别模型来捕获数据的深层结构，这使得模型即使在有限的标记数据下也表现出良好的泛化能力。

www.qwbaike.cn

2016年，时态集成方法通过在训练过程中引入时态一致性约束来增强模型的泛化能力。该方法通过计算模型参数的指数移动平均值并鼓励当前模型输出与该平均值一致来减少训练过程中的噪声。同时，Mean Teacher方法进一步促进了SSL技术的发展。该方法结合了伪标签和临时集成的优点，通过使用模型参数的指数移动平均值作为目标网络来提高半监督学习的稳定性和性能。 www.qwbaike.cn

半监督深度学习

半监督深度学习的发展是对深度学习领域中标记数据依赖性的回应。随着深度学习在图像识别、自然语言处理和语音识别等领域取得的显著成就，研究人员开始探索如何利用大量未标记数据来辅助训练深度模型。Weston等人首次尝试将图论中的拉普拉斯正则化项引入神经网络，为多层神经网络的半监督训练奠定了基础。随后，研究人员提出了多种半监督深度学习算法，包括无监督特征学习、正则化约束和生成对抗网络（GAN）。这些方法的发展不仅提高了未标记数据的利用效率，而且增强了模型的泛化能力。 www.qwbaike.cn

www.qwbaike.cn

半监督深度学习的研究进展，特别是在处理标记数据稀缺的实际问题时，显示出巨大的潜力和应用价值。随着深度学习技术的不断进步，预计未来半监督深度学习方法将在理论和应用两方面取得更多突破。2023年，中海油惠州石化有限公司利用半监督学习算法生成虚拟数据样本集，通过数据增强提升模型提取丰富的特征信息。提出的半监督学习-多通道卷积神经网络（SSL-MCCNN）还用于加氢裂化等复杂工艺过程，可以有效提取过程中的时间和空间特征，提高模型的预测性能。

www.qwbaike.cn

认知心理学的启示:半监督学习为理解人类学习过程提供了见解。在学习过程中，人类经常使用无标记信息来提高学习效率。半监督学习模型可以模拟这一过程，从而更好地理解人类认知机器。

减少对标签数据的依赖:在某些情况下，可能很难获得高质量的标签数据，例如在医学图像分析或文本分类中。半监督学习可以减少对大量标记数据的需求，从而减少数据准备的成本和时间。

www.qwbaike.cn

理论价值:半监督学习的研究推动了机器学习理论的发展，特别是在探索如何从有限的已标记数据中进行有效学习以及如何利用未标记数据的结构信息方面。这为开发新的学习算法和理论框架提供了动力。

www.qwbaike.cn

www.qwbaike.cn

协作培训：在实际应用中，获取大量的标注数据往往是昂贵或不可行的。协同训练利用有标签数据和无标签数据的互补优势，通过迭代过程来提高模型的预测能力:首先，用有标签数据训练一个初始模型，并由该模型为无标签数据分配标签，从而创建一个伪标签数据集，然后将该伪标签数据集与原始有标签数据集合并以训练新模型并进行迭代，每次迭代都可能产生更准确的伪标签数据，从而逐步提高模型的性能。

半监督学习

www.qwbaike.cn

自我训练：自训练是半监督学习中的一种迭代方法。在开始时，它使用少量的标记数据来训练一个初始分类器。然后，使用该分类器预测未标记数据的标签，这些预测称为伪标签。在随后的迭代中，这些伪标签被包含在训练集中以更新和改进分类器。重复该过程，直到满足某个停止标准，例如性能不再提高或达到预定的迭代次数。

多视角学习：半监督多视图深度区分表示学习（SMDDRL）旨在学习多视图数据中的表达性特征表示。核心原理是使用两个网络来投影每个视图的数据，一个用于提取共享信息，另一个用于提取特定信息。然后，将所有视图的共享信息和特定信息组合起来表示样本，以同时学习多视图数据的共享信息和特定信息。该方法可以充分利用多视图数据的一致性和互补性，减少学习表示中的冗余。 www.qwbaike.cn

半监督学习已经广泛应用于各个行业，以解决现实生活中遇到的各种问题。主要应用领域有:图像识别、图像分类、信息检索、生物信息学、经济金融等。

生物学、化学信息学：在化学和生物学领域的应用减少了相关科研团体投入的时间和资金。在生物信息学中，半监督学习可用于构建软传感器以监测乙醇生产过程中乙醇浓度的变化，如病毒毒性预测和DNA结构重建。在化学信息学中，它不仅仅限于预测化学药物的毒性，还可以预测药物对某些疾病症状的治疗效果，同时可以根据半监督学习分析药物结构的图像。 www.qwbaike.cn

图像和语音分析：图像和音频文件通常没有标签，给它们加标签是一项昂贵而艰巨的任务。在人类专业知识的帮助下标记一个小数据集。一旦训练了数据，就实施SSL来标记剩余的音频和图像文件，从而改进图像和语音分析模型。

www.qwbaike.cn

网络内容分类：互联网上有数十亿个网站，它们有不同的分类内容。为了使网络用户能够获得这些信息，需要一个庞大的人力资源团队来组织和分类网页上的内容。半监督学习可以通过标记内容并对其进行分类来提供帮助，从而改善用户体验。包括百度和谷歌在内的许多搜索引擎在其搜索结果中使用半监督学习模型对网页进行标记和排名。 www.qwbaike.cn

经济和金融：SSL在经济和金融领域的应用主要体现在信用评估、欺诈检测、市场预测和风险管理等方面。它可以结合借款人有限的标记数据和大量未标记的交易记录来提高信用风险预测的准确性。而且，SSL可以识别异常交易模式，帮助金融机构及时发现并防止潜在的欺诈行为。此外，通过分析股价和成交量等未标记数据，半监督学习有助于提高对市场趋势的预测能力。半监督学习通过有效利用未标记数据增强了模型的泛化能力，对于提高经济和金融行业的质量和效率具有重要意义。 www.qwbaike.cn