数据挖掘建模技术
模型的验证

模型的评估

来源:数海时代  发布时间:2012-11-9 16:01:40  点击数:3325

回顾构建模型的步骤
   到目前为止,我们评判模型的好坏还仅仅是凭规则在构建决策树或子集的适合度上。从数据分析的角度考虑,在这一阶段中,您已经建立了一个或多个高质量的模型。但在最终部署运用这些模型前,更加彻底的评估模型,回顾在构建模型过程中所执行的每一个步骤,确保模型达到商业目标是非常重要的。一个关键的评价指标就是看,是否仍然有一些重要的商业问题还没有被充分地加以注意和考虑。在这一阶段结束之时,应就数据挖掘结果的使用达成一致的决定。

评估模型
   前面建模阶段的验证,也是一种评估工作,不过当时主要处理诸如模型精确度和普遍有效性(generality)等的因素,因此当时重点考察模型对训练集和测试集的预测结果都令人满意。
   而本阶段则主要评估模型在多大程度上符合商业目标,寻找并确定模型不完善的商业原因。
   例如,在银行信贷数据中挖掘项目中,正如在“一致性矩阵”中显示的,我们可能会犯两种错误:拒绝“好”的客户和接受“坏”的客户。很明显,这两种错误造成损失并不相等:接受“坏”的客户,银行可能会遭受较大的违约风险;而拒绝“好”的客户,可能的损失则是贷款利息,或银行对客户作进一步了解所发生的较小费用。分析结果显示,CART 接受“坏”客户有3例,而C5.0 有9 例。因此,在构建模型时,我们就可能要把这些成本因素考虑进去。
   评估阶段的另一项可选的任务就是在时间和经费允许的条件下,将模型置于实际应用的测试阶段中加以检验。

评估数据挖掘产生的其它结果

   虽然数据挖掘的模型,不一定在业务方面可以清晰的解释,但尝试理解模型的含义和规则对应的业务特征,仍是重要的评估工作。啤酒和尿布之间的购买关联,从得到模型后能够更进一步透彻地理解背后的规律,一定对业务有好处。
   数据挖掘结果既包括与原来商业目标有必然联系的模型,同时也包括其它的发现,这些发现可能与原来的商业目标没有必然的联系,但却有可能揭露出了额外的挑战以及指引将来发展方向的信息或者暗示。

结果
参照商业成功标准进行的数据挖掘结果评估,包括项目是否符合初始商业目标的最终陈述。经最终核准的模型,就成为评估核准的模型。

 
分享到: