领域知识与机器学习融合:提升工业应用智能化的新路径
在大多数工业应用的开发中,领域知识起着关键作用。当谈到面向领域的需求工程案例时,领域知识对于需求工程师理解业务上下文和业务目标至关重要。例如,在安全工程领域,有多种用于评估潜在危害事件的方法和工具,如危险和可操作性分析(hazard and operability analysis, HAZOP)[194]、故障模式和影响分析(failure modes and effects analysis, FMEA)[195]、影响和关键性分析(effects and criticality analysis, FMECA)[196]、保护层分析(layer of protection analysis, LOPA)[197]、故障树分析(fault-tree analysis, FTA)[198]和事件树分析(event tree analysis, ETA)[199]等。广泛应用于化工、制药和核电安全工程领域研究与实践,领域从业者依此构建信息系统来评估和管理潜在的事故风险。近年来,相关的领域分析工具开发商也在对现有功能进行智能化扩展。
为构建可用的机器学习应用,机器学习与领域知识的融合必不可少,其中有些依靠领域中的数据特性,而更显著的结合要依靠领域中的先验知识。单纯的机器学习模型开发过程,仅仅将数据输入机器学习数据流,经过调参验证等生成模型,未在方法论上给特定领域知识留出空间。因此,我们需要新的机器学习模型设计方法,将知识纳入机器学习的开发过程中。Rueden 等人[91]完成了知识与机器学习融合的综述,描述了不同的知识表示(如代数方程、逻辑规则或模拟结果)如何用于机器学习。该工作提出了 4 个集成方向,包括训练数据生成、假设集定义、学习算法改进和最终假设检查。该工作描述了 30 多种不同知识和机器学习的整合策略。例如,科学知识可以作为深度学习模型损失函数的设计约束。基于图拉普拉斯矩阵的正则化表示可以约束相关变量在模型预测中的表现。图 2 中给出知识与机器学习融合的可能方式。
适用场景:领域知识有多种表示形式,其形式化程度也不同。例如,数学方程表示足够具体,因此可以直接用于需求分析和开发。有的机理知识虽然是明确的,但在分析应用需求时,需要业务专家与领域专家综合考虑业务上下文和机理知识的关联性。另外,业务规则也是极为常见的知识表达形式,广泛存在于工业应用中。还有一些特殊形式的知识则以不同的方式发挥着各自的特殊作用。例如,知识图用于表示因果关系,领域专家的经验可以用于特征选择和模型检验。同时,领域知识通常是不完备、有缺陷的。对于可靠性及实效性较差的领域知识或复杂多变的业务规则,则不建议与机器学习技术融合运用,以免引入更多不确定性,导致技术方案难以评价和改进。同样地,可以通过机器学习模拟或者修正领域知识,持续提升对领域的认知,可以看做通过机器学习技术实现的从数据中挖掘领域知识的方法。对于这种从数据加工得到的领域知识,其可解释性较弱,在使用时并不完全等同于原有的领域知识,但可以降低人工数据分析的难度。典型场景如机器学习辅助数据标注,以及机器学习辅助天气预报等。
挑战与应对:知识与机器学习的融合过程需要建立知识、规则、数据间的一种平衡,通过该平衡降低机器学习技术的风险,加强技术方案的可解释性。但如何达到高效、适度的平衡需要较多专家经验,融合方案往往需要具体问题具体分析,尚无普适的经验,过于偏重知识和规则会限制通用机器学习技术发挥价值。为实现更好的知识融合运用,机器学习技术的发展需要深入应用领域,在应用领域中定义新问题,从而形成面向特定领域的机器学习方法论,建立领域内的知识融合技术。
详细讲解一下段落中对于图的理解内容:这段段落指出,在大多数工业应用的开发中,领域知识起着关键作用,特别是在面向领域的需求工程案例中。举例来说,在安全工程领域,有多种用于评估潜在危害事件的方法和工具,如HAZOP、FMEA、FMECA、LOPA、FTA和ETA等。这些方法被广泛应用于化工、制药和核电安全工程领域,用于评估和管理潜在的事故风险。领域从业者根据这些方法构建信息系统,以评估和管理潜在的事故风险。
为了构建可用的机器学习应用程序,领域知识与机器学习的融合至关重要。有些应用依靠领域中的数据特性来进行融合,而其他更显著的融合则需要依靠领域中的先验知识。然而,仅仅依靠机器学习模型的开发过程,将数据输入到机器学习流程中进行训练和调参,未能为特定领域的知识留出空间。因此,需要新的机器学习模型设计方法,将领域知识纳入机器学习的开发过程中。
文章还提到了Rueden等人的综述研究,描述了知识与机器学习的融合方式,包括训练数据生成、假设集定义、学习算法改进和最终假设检查等方面。他们描述了30多种不同知识和机器学习的整合策略,包括将科学知识作为深度学习模型的损失函数设计约束,以及使用图拉普拉斯矩阵的正则化表示来约束相关变量在模型预测中的表
原文地址: https://www.cveoy.top/t/topic/HFq 著作权归作者所有。请勿转载和采集!