大数据应用的未来挑战计算机数据挖掘与模式识别_计算机-数据挖掘与模式识别.pdf

大数据应用的未来挑战一一大数据治理 北京时代远景信息技术研究院李安颖 在大数据应用的悄景下，数据治理的复杂度在提高，给大数据应用提出很多新 的挑战。主要有如下儿个：1）如何建立组织大数据治理框架；2）如何保证大数据分析的质量；3）基于大数据分析的决策应山谁负责 4）如何提升大数据应用和投资的价值 5）如何防范大数据应用中的风险6）如何保证大数据应用与法规的遵从（-）数据治理框架 数据治理是企业投资者对企业数据资源开发和利用的一种管控制度安排，它包 括标准、政策和流程、组织结构、技术架构等制度和机制，确保数据资源的开发和 利用符 合组织的业务和IT战略。数据治理主要关注数据质量管理、数据保护、信息安全与隐私管理、数据风 险审计等 流程。数据治理的制度/安排涉及标准、政策和流程、组织、技术等儿个方 面。在大数 据时代，数据治理的范畴更广、内容也更多，但仍遵循基本的数据治理框架。（二）数据质量管理 大体量的数据意味着传统的数据质量算法不经过优化性能很难满足大数据汁 算的要求;传统的数据质量算法基本上是基于关系数据的，对于非结构化文档类型支 持不够；高速度也是一个严峻的挑战，数据采集过程本来就是数据质量问题的一个主 要来源，采集速度快,不能及时进行数据质量处理，会导致数据质量问题的堆积。数据质量不仅仅是数据准确性的问题,它是一个综合性的指标要求，包含很多 其他重 要内容，涉及很多定量和定性指标，对数据质量的关注度不同所采取的数据质 量管理 措施也不同。（三）大数据的组织、角色和责任 企业的大数据应用需要组织机构的支撑，需要对资质进行适应性变革，以承担 大数 据的使命和责任。大数据应用的组织设汁的基本流程是设定H标，分析环境与 评估现状,设定业务愿景和方向，一句业务方向进行组织结构设计，并不断根据业务 环境的 变化实施组织变革。在很多大数据应用的领先企业,大数据应用是企业业务的重大创新，大数据应 用组杂度在提高给大数据应用提出很多新的挑战主要有如下儿个如何建立组织大数据治理框架如何保证大数据分析的质量基于大数据分析的决策应山谁负责如何提升大数据应用和投资的价值如何防范大数据应用中的风险如何保证大数据准政策和流程组织结构技术架构等制度和机制确保数据资源的开发和利用符合组织的业务和战略数据治理主要关注数据质量管理数据保护信息安全与私管理数据风险审计等大数流程数据治理的制度安排涉及标准政策和流程组织技术意味着传统的数据质量算法不经过优化性能很难满足大数据汁算的要求传统的数据质量算法基本上是基于关系数据的对于非结构化文档类型支持不够高速度也是一个严峻的挑战数据采集过程本来就是数据质量问题的一个主要来源采织未来将是企业重要的业务战略单元，因此大数据业务部门成为了战略性的业 务事业部。这种类型的大数据事业部通常有首席信息官、数据科学家、数据分析师 以及产品、营销和服务人员等角色。大数据应用事业部需要企业重要职能部门的重 要支持，主要 是来自信息技术部门的支持。而两个部门的联动是通过首席信息官的统一协 调来实现的。杂度在提高给大数据应用提出很多新的挑战主要有如下儿个如何建立组织大数据治理框架如何保证大数据分析的质量基于大数据分析的决策应山谁负责如何提升大数据应用和投资的价值如何防范大数据应用中的风险如何保证大数据准政策和流程组织结构技术架构等制度和机制确保数据资源的开发和利用符合组织的业务和战略数据治理主要关注数据质量管理数据保护信息安全与私管理数据风险审计等大数流程数据治理的制度安排涉及标准政策和流程组织技术意味着传统的数据质量算法不经过优化性能很难满足大数据汁算的要求传统的数据质量算法基本上是基于关系数据的对于非结构化文档类型支持不够高速度也是一个严峻的挑战数据采集过程本来就是数据质量问题的一个主要来源采