无所不能or限制重重一文探索深度学习的限制和未来前景

“深度学习作为人工智能领域的重要分支，近年来在各个领域都取得了显著的成就，从语音识别到图像处理再到自然语言处理，似乎无所不能。然而，深度学习并非没有局限性，其在某些方面面临着挑战。本文将深入探讨深度学习的局限性，并展望其未来前景。

『 一、深度学习1.0的局限性 』

1.对模型架构和超参极度敏感

深度学习的开发流程的每个环节都涉及到很多模型架构和超级参数的选择，他们就像一个个的转扭，对深度学习算法的最终性能影响很大，如果调试的不好，往往无法让深度学习达到预期的效果，甚至发现深度学习的性能还不如传统算法。想要准确地设计优化它们其实需要较高的AI专业知识、项目经验以及耗时耗力的反复尝试。这一痛点在工业视觉场景中会进一步放大，因为：

a、工业检测任务往往高度碎片化、多样化的需求，不同人物差异巨大，需要定制，而定制AI解决方案所需要的人力和时间成本非常昂贵；

b、工业检测任务的数据与常用的深度学习研究数据差异比较大，意味着其他深度场景下最优的模型和参数并不一定适用于工业检测任务；

c、工业场景往往需要优化多个需求目标和/或多个硬件限制（例如，检测精度，检测速度，工控机算力上限），大大增加了优化的难度，因为人工调试时很难同时平衡多个指标；

这个局限性导致大家在工业检测任务上用深度学习时，往往无法达到预期的效果。

2.对误判过度自信

目前常见的深度学习算法普遍以一个黑盒的形式呈现：根据输入的数据，算法反馈给用户一个预测的答案，但是无法解释其判断的依据，且在遇到训练数据类型不同的未知数据或异常样本时，深度学习容易盲目自信，很肯定地给你一个错误的判断，误导人类用户。（图3-1-2）（例子，狗，猫，熊猫），并对自己的错误判断表示极度自信。

在工业缺陷检测场景中，也是如此，一旦产线上可能会出现之前训练数据中从未出现过的缺陷类型类型，深度算法会将这些样本盲目地归类到训练数据中已知的缺陷类型，并对自己的错误判断表示极度自信，而不是提醒人类用户有异常样本的存在，可能需要分开处理或更新模型。

这个局限性让大家对AI解决方案的可靠性产生质疑，导致一些高风险、高成本的工业视觉应用不敢直接用深度学习。

3.对数据需求量高

深度学习的最大优势就是能从数据中自动学习提取特征，而发挥这个优势往往需要依靠大量的数据进行训练，这也是大家最熟知的深度学习的一个痛点。

不同于数据丰富的安防或者互联网场景，工业检测场景通常是数据量很少，我们称为小样本场景：尤其是缺陷样本更加稀缺，且不同缺陷类别样品数量的分布非常不均衡，有的比较常见，有的非常少见。这大大增加了深度学习在工业检测场景的应用难度和数据收集成本，甚至直接劝退了很多人来考虑使用深度学习。

需要大量标注数据来训练模型

『 二、深度学习2.0在工业领域的前景 』

伴随着深度学习以及其他AI领域关键技术的进步，新一代的深度学习技术（深度学习2.0) 已经很大程度上解决了这些局限性，让深度学习更易用、好用且适用于工业视觉应用场景。接下来，将与大家探讨深度学习2.0在工业检测领域的应用前景。

1.让AI开发更自动化

AutoML算法（自动化机器学习）旨在让AI算法来代替人类AI工程师，自动高效地完成这些深度学习开发过程的重要环节。这为工业检测场景带来的变革是：

a、降低AI方案的开发门槛，加速定制效率：之前我们需要了解很多AI模型的知识才能准确地根据任务数据类型和需求选择对的模型，现在可以利用AutoML，只需要十几小时就可以个让AI自己根据任务数据和目标，设计最优的模型结构，且性能能超越人类AI专家手动设计的网络。这大大降低定制化AI方案所需要的专业知识门槛，以及开发所需的时间和成本。

b、平衡多个目标，辅助硬件适配。不同深度学习算子在不同芯片硬件上的部署效果不同。对于有国产化硬件要求的工业任务，我们识渊的AutoML算法AutoML可以辅助我们，针对不同国产AI芯片的特点和限制，高效优化深度学习模型，提高其在不同国产硬件上的部署性能。

c、底层黑盒优化算法应用潜力巨大：不仅局限于优化深度学习的多个环节，在材料筛选、EDA、工业/半导体设计、生产流程优化等众多场景都可解决高难度优化问题。例如在我们自研的智能光源中，我们就利用AutoML的底层算法优化了100多个维度的光照参数，能根据不同的被测物体，快速自动找到了最优的缺陷打光。

深度学习1.0带来的变革是将传统算法中的特征提取自动化，从而不需要人类专家手动提取特征，那么AutoML驱动下的深度学习2.0，解放我们的双手，将深度学习模型的选择、设计和优化自动化，不需要AI专家手动调试，将会让深度学习在工业视觉方向的通用性和泛化性迈上一个新的台阶。

2.让 AI更可信和更安全

第二类深度学习2.0算法，旨在让这些AI算法通过改进深度学习的模型或者处理模型的输出，能让深度学习在给出预测的同时，也告诉我们算法对自身判断有多不确定，从而帮助人类用户精准识别出产线上的异常数据，在高风险应用中提示引入额外人工复检的必要，保障方案的可靠性。例如，算法之前只见过虚焊、歪斜和OK，在遇到错件时，我们的可解释算法虽然会给出一个错误的缺陷分类，但也会输出更高的不确定性，来提示我们这些异常/未知缺陷。

此外，随着一些可解释AI技术的发展，我们现在也可以在很多情况下打开深度学习的黑盒，让算法进一步向人类用户提供/解释其判断的依据，辅助人工复查，进一步提升深度学习在高风险高成本的工业视觉领域的可信度。

在很多类似军工这类的对数据保密有需求的场景，联邦学习等隐私计算相关的AI技术近年来也有了很大的进步和突破。例如我们在不同客户处部署同一个AI模型，然后只让模型回传更新的梯度信息而非数据，在云端整合信息统一更新模型后，再将新模型更新下发到各个客户本地。让我们可以在无需获取客户真实数据的前提下，依然对AI模型进行分布式训练和更新。

3.让AI数据依赖更低

深度学习对于数据的依赖也已经从供给和需求侧被大幅度缓解。

在供给侧，AI内容生成算法AIGC（例如：近期爆火的StableDiffusion和ChatGPT）在艺术创作、内容生成方面引起了巨大的反响，在工业检测方面，这类生成算法也有很大的应用前景。例如，我们就自研AIGC模型，根据SMT缺陷描述，生成逼真的缺陷数据，来辅助检测模型训练，缓解了SMT缺陷检测中不同真实数据样本分布不均衡、采集成本高的痛点。

在需求侧，无监督/自监督/半监督等学习策略的持续进步也让深度学习算法本身对数据的依赖大大减少。例如，在一个锂电池表面缺陷检测任务上，我们自研的无监督缺陷检测算法，只依赖ok样本，不需要任何缺陷数据，进行训练，就可以准确地检测表面缺陷区域。而在我们的另一个智能光源项目中，我们设计的无监督目标也让我们在不知道缺陷具体位置和类型的情况下，高效自动地优化打光，拍出高质量的缺陷图。

以上这些关于深度学习的最新应用方向，我们也会集成到识渊科技自研的算法平台和训练平台中，帮助我们的客户更好地完成多种定制化工业检测项目，并且提供无代码模式，方便用户使用平台进行开发。

识渊科技将通过持续优化算法和提升系统性能，积极推动制造业的国产化替代进程，为行业提供更为先进的解决方案，为国家经济的可持续发展贡献力量。