教授讲座第四讲智能物流信息处理教案.ppt
《教授讲座第四讲智能物流信息处理教案.ppt》由会员分享,可在线阅读,更多相关《教授讲座第四讲智能物流信息处理教案.ppt(156页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、教授讲座第四讲智能物流信息处理 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望主要内容数据仓库数据挖掘相关应用神经网络决策支持系统2数据仓库概念按照DSS的需要对企业数据信息的重组,面向主题的、整合的、稳定的、且时变的收集以支持管理决策的数据结构形式,它具有强有力的从运行系统中取出数据的能力;可操作的管理能力和进一步支持决策的分析能力。企业管理和决策的完整数据结构:3数据仓库技术 面向主题 集成的 随时间变化而变化 稳定可靠的 4数据仓库的实现数据仓库的关键技术包
2、括数据的抽取、清洗、转换、加载和维护技术。5数据仓库的实现 InfoMart:信息集市,是一个应用功能(或从应用功能产生的输出)可多次运行数据仓库,它是对应业务问题的答案。DataMart:数据集市,是数据仓库的一个数据子集,对应最终用户的信息需求,比数据仓库中的数据要更加归纳、汇总一些数据集市主要面向部门级业务,并且只是面向某个特定的主题,数据集市可以在一定程度上缓解访问数据仓库的瓶颈,在此基础上在通过其他工具处理、分析数据挖掘等,最后进行再分析,产生真正能够为决策支持带来帮助的有用信息 6数据集市 7数据仓库的展现在数据仓库实现的基础上产生的对管理和决策人员提供决策支持的信息的方式,通常通
3、过查询报表,在线分析等方式展现,具体形式多为图表等直观、易于理解的界面信息流上主要表现为:经过数据确认、数据转化、数据整合以及数据汇总等数据处理步骤,形成各种主题表,在经过汇总形成汇总表。主题表和汇总表都是不同程度上的有用信息。8数据仓库的展现9数据仓库应用数据仓库的应用主要包含:OLAP(在线分析处理)、BI(商业智能)、DataMining(数据挖掘)以及决策支持系统 10数据仓库应用数据仓库的应用主要包含:OLAP(在线分析处理)、BI(商业智能)、DataMining(数据挖掘)以及决策支持系统 11数据仓库用途:客户跟踪数据仓库是根本任务:把数据加以整理归纳,并及时提供给相应的管理决
4、策人员,供他们做出改善其业务经营的决策,使信息发挥作用,支持决策。网站在你不知不觉中记录你的行踪,抓到你的喜好。如果你在网上点击一下衬衫,之后又看了一下裤子。网站就会让住你的点击顺序,记下你在每个产品上停留的时间以及你买了什么,没买什么,这些信息都由数据仓库保存整理。假如你买了裤子,没实衬衫,下次你上网时,数据仓库会跟你说,“欢迎再次光顾,上次您买了裤子,现在我们有一件衬衫可以优惠卖给您。您感兴趣吗?有了数据仓库,就可以了解客户是谁,他要什么,怎样提供更好的服务给他,并以此创造更多利润。但目前84%的在线交易没有对客户进行跟踪;96%的在线交易没有为客户提供个性化的服务;75%的在线交易无法辨
5、认重复客户。这使那些电子商务公司的经营长时间处于无序和迷茫之中,虽然他们急于想抓住已有的客户并发展潜在的客户,但实际上却在忽视他们,渐渐丢失这部分最重要资源。而面对客户个性化需求的不断增长,电子商务公司更是一筹莫展。1213数据仓库用途:减少跳线率跳线:客户从甲公司跳到乙公司,三个月后,他又回到了甲公司。这种现象就使企业浪费了巨额资金。如果你有了数据仓库,就能预测“跳线”,知道谁可能跳线到竞争对手那里。在客户跳走之前,公司就可以和他们接触一下,劝他们不要离开。这样减少跳线率的收益将是十分巨大的。4、14数据仓库用途:一对一服务传统模式的公司一般都比较以自我为中心,他们开发了一个新产品,就希望大
6、家都来买。新一代一对一商业模式侧重客户的需求,以信息定制产品,没有数据仓库,这种一对一的商业模式就不可能实现。随着一对一的销售和个性化的销售正逐渐成为企业利润增长的重要来源,数据仓库也将是造成电子商务时代企业竞争差异的关键。15数据仓库用途:决策信息服务数据仓库有效集成了企业的业务数据,提供了标准的报表和图表的功能,从而为企业提供了多方们的决策支持数据仓库可以按照面向主题的原则对灾些数据进行清洗和加工,使它们成为统一的格式的易于使用的支持决策的数据。多维分析是通过把一个实体的多项重要的属性定义为多个维度,使得用户能方便地汇总数据集,简化了数据的分析处理逻辑,并能对不同维度值的数据进行比较,而维
7、度则表示了对信息的不同理解角度,例如时间和地理区域是经常采用维度。应用多椎分析可以在一个查询中对不同阶段的数据进行纵向或横向比较。在数据仓库的基础上进行数据挖掘,可以针对整个企业的状况和未来发展做出比较完整、合理、准确的分析和预测。16主要内容数据仓库数据挖掘相关应用神经网络17主要内容动机:为什么要数据挖掘?什么是数据挖掘?数据挖掘:在什么样的数据上挖掘?数据挖掘功能所有的模式都是有趣的吗?数据挖掘的主要问题18为什么要数据挖掘?数据的爆炸性增长:从TB到PB数据收集和数据可用性自动的数据收集工具,数据库系统,Web丰富数据的主要来源商业:Web,电子商务,事务,股票,科学:遥感,生物信息学
8、,科学仿真,社会:新闻,数码相机,我们正淹没在数据中,但却渴望知识!“需要是发明之母”数据挖掘自动化的大规模数据集分析19数据库技术的演化1960s:数据收集,数据库创建,信息管理系统IMS和数据库管理DBMS1970s:关系数据模型,关系DBMS实现1980s:RDBMS,高级数据模型(扩展关系的,OO,演绎等.)面向应用的DBMS(空间,科学,工程等.)1990s:数据挖掘,数据仓库,多媒体数据库,和Web数据库2000s流数据管理和挖掘数据挖掘和它的应用Web技术(XML,数据集成)和全球信息系统20什么是数据挖掘?数据挖掘(从数据中发现知识)从海量数据中提取感兴趣(重要的,隐含的,以前
9、未知的 和 潜在有用的)模式或知识21为什么要数据挖掘?潜在的应用数据分析和决策支持市场分析和管理目标市场定位,客户关系管理(CRM),购物篮分析,交叉销售欺诈检测和不寻常模式的检测(离群点)其他的应用文本挖掘(新闻组,email,文档)和Web挖掘流数据挖掘生物信息学和生物数据分析22Ex.1:市场分析和管理数据从哪来?信用卡交易事务,会员卡,优惠券,客户投诉电话,公众生活方式研究目标市场寻找“榜样”客户的聚类,他们共享相同的特征:兴趣,收入水平,消费习惯等 确定客户在一段时间的购买模式交叉市场分析寻找产品销售之间的关联/相关性,以及基于这些关联进行预测客户轮廓(profile)什么类型的客
10、户买什么产品(聚类或分类)23知识发现(KDD)过程数据挖掘知识发现过程的核心数据清理数据清理数据集成数据集成数据库数据库数据仓库数据仓库任务相关的数据任务相关的数据选择选择数据挖掘数据挖掘模式评估模式评估24数据挖掘:多种技术的融合 数据挖掘数据挖掘数据库技术统计学机器学习模式识别算法其他技术可视化25数据挖掘:在什么样的数据上进行?面向数据库的数据集及其应用关系数据库,数据仓库,事务数据库高级数据集和高级应用数据流和传感器数据时间序列数据,序列数据(包括生物序列数据)多媒体文本数据库World-Wide Web26数据挖掘功能频繁模式,关联规则,相关性 vs.因果关系牛奶 面包 0.5%,
11、75%(相关还是因果?)分类和预测 为将来的预测构建模型(函数)来描述和区分类或者概念例,将国家基于气候来分类,将汽车根据耗油量来分类预测某些未知的或丢失的数值。27数据挖掘功能(2)聚类分析类标签是未知的:将数据分组形成新的类别,最大化类内相似性并最小化类间相似性离群点(孤立点)分析离群点:数据对象并不遵从常见的数据行为噪音还是异常?在欺诈检测中有用,罕见事件的分析28应用例子关联规则挖掘Web使用挖掘空间数据挖掘29关联规则挖掘动机:寻找数据中固有的规律什么产品会经常在一起购买?啤酒和尿布?!买了一台电脑之后接着会买什么?哪种 DNA对新药是敏感的?我们能够自动分类Web文档吗?应用购物篮
12、分析,交叉销售,分类设计,销售活动分析,Web 日志(点击流)分析,以及DNA 序列分析.30关联规则挖掘购物篮分析购物篮分析商店的经理想了解顾客的购物习惯“什么商品组或集合顾客多半会在一次购物时同时购买”可以帮助制定营销策略:有选择地安排货架按比例进货31关联规则挖掘项集 X=x1,xk找到所有的满足最小支持度和最小置信度的 X Y 规则支持度,s,一个包含X Y的事务的概率置信度,c,一个包含X也包含Y的事务的条件概率设 supmin=50%,confmin=50%关联规则:A D (60%,100%)D A (60%,75%)Customerbuys diaperCustomerbuys
13、 bothCustomerbuys beerTransaction-idItems bought10A,B,D20A,C,D30A,D,E40B,E,F50B,C,D,E,F32Web使用挖掘Web使用挖掘的主要目标是从Web的访问记录中抽取感兴趣的模式。WWW中的每个服务器都保留了访问日志,记录了用户访问和交互的信息。分析这些数据可以帮助理解用户的行为,从而改进站点的结构,或为用户提供个性化的服务。Web使用挖掘在旅游电子商务网站中的应用群集客户提高旅游者的忠诚度33Web使用挖掘34Web使用挖掘群集客户群集客户 例如:经常性浏览探险刺激类旅游项目(如漂流,生态,探险等)的访客,可以将它们
14、聚集为青年旅游市场,迎合这一细分市场的旅游需要,对这类访客提供新奇、动感、参与性强、刺激性强的旅游项目推荐;经常性浏览历史文化类旅游项目(如历史遗产参观,历史事件发生参观等)的访客,可以聚集为中老年旅游市场,为这类访客提供更多历史类、文化溯源等项目推荐。35Web使用挖掘提高旅游者的忠诚度提高旅游者的忠诚度 通过分析访客的行为模式,帮助网站采取一些行动将这些访客变为现实旅游者,将一次性的顾客变为长期的忠实顾客,并信赖旅游网站。例如:通过序列模式的发现,客户在一周以来经常浏览关于某旅游地方面的资料,可以预测他有去该地的想法。这时可以把有关该旅游地最近的旅游活动和广告发送到客户的邮箱,以满足他对旅
15、游信息的需求。36商务智能37BIBI实际上是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合商业智能是通过收集、存储、挖掘和分析数据,为决策者提供相应的决策依据。BI通过独有的数据仓库、联机分析处理和数据挖掘等技术,帮助你从业务数据中提取有用的信息,然后根据这些信息来采取明智的行动,从而告别“拍脑袋”决策。38BI与ERP、CRM等的关系尽管ERP理论上包括商务智能(BI)和客户关系管理(CRM),但实际上并不如此,甚至很多公司只是执行了ERP方案中的财务部分。ERP是面向操作的软件,而BI是面向决策的软件,两者在功能上有着显著的区别BI可以建立在ERP系统己收集原始数据的基础
16、上,弥补ERP在分析、决策功能上的不足,但绝不是简单的ERP附属模块而CRM的主要目的是从一个单一的、完整的,从企业角度理解的谁是真正的消费者,他们对公司的感觉如何,他们喜欢公司什么,不喜欢公司什么,哪些东西盈利性好,能给“最优”的消费者提供较高的价值和服务。39当前,很多企业ERP上线前,在某些时候没有数据可以分析:上了ERP之后,有时,面对海量数据,却又难以分析,企业老总的决策也不能得到确定对于这些企业来说,仅仅实施了ERP的信息化系统仍然是不够的,它还需要商务智能系统。商务智能就能够帮助经营和决策者发现企业本身的问题和不足,并且给他们提供一种后果的设想,帮助他们选择最佳的方案和渠道,来影
17、响执行层面的行为。所以,ERP和BI是可以并驾齐驱的两个系统。40如:运输成本分析通过运输成本分析可以清楚地了解何种方式运到不同目的地的成本比较和差别,从而使决策者可以决定以何种运输方式运输不同的目的地,从而大大降低成本,提高企业的核心竞争力可以了解到何种车型用何种运输方式比较经济,何种运距以何种运输方式经济等甚至发现有些目的地采用混合运输的方式更为经济,可能先采用铁路,再采用公路等方式41承运商运输成本分析供应商运输成本分析运输线路成本分析42其它分析了解不及时调度的车辆有多少不能及时调度的量集中在哪个厂家,哪个仓库等订单处理是否及时,没有及时处理的订单有多少,集中在哪个操作部门,那个厂家等
18、43基于个性化技术的物流信息系统44个性化技术概述个性化服务:指针对不同用户的不同特点提供不同的服务策略和服务内容的服务模式。个性化服务具有主动性,可定制性,智能性等特点。主动性:指根据用户提出的明确要求,或基于用户的学科、偏好等个人特征,主动向用户提供其可能需要的信息和服务。可定制性:指用户可以定制自己的兴趣爱好,呈现布局等。智能性:指个性化服务中使用了一些智能技术,如数据挖掘,聚类分析等,它能够根据用户的浏览习惯来更新用户的兴趣模型。45个性化技术简介推荐系统是个性化技术中最普遍的应用之一,根据用户行为和用户偏好自动地过滤用户不感兴趣的东西、预测用户感兴趣的东西。常用的推荐技术有三类(协同
19、过滤)46协同过滤技术是目前应用最为广泛的推荐技术利用相似的行为和特征来进行个性化推荐协同过滤技术基于历史用户数据找到与当前用户相似的用户群,并基于相似用户群的喜好向当前用户提供推荐47传统物流信息系统存在的问题信息量大,查全不易系统用户界面复杂检索系统千篇一律48信息量大,查全不易当前的物流信息系统中信息量越来越庞大且动态变化、形式多种多样在这个海量仓库里有配送、运输、仓库、物流广告等内部或外部信息,这些信息严重超载网络使得用户面临从信息不足逐渐过度到选择过多的问题上来。49系统用户界面复杂如果一个物流信息系统要涵盖物流的各个方面,系统界面势必非常复杂而对于用户来说,往往只关心物流的某些局部
20、信息,复杂的操作界面或操作流程无疑是一种累赘因此用户迫切希望有一个适合自己的操作界面。50检索系统千篇一律不同用户有着不同的兴趣爱好与信息需求,而且这种兴趣与需求在基本稳定的同时还可能不断漂移然而当前的检索系统往往对所有的用户呈现同样的界面,用户所需求的信息往往混杂在大量无关信息中,使得用户找到期望的信息变得更加困难。51基于个性化技术的物流信息系统把数据挖掘技术加入到系统中使用数据挖掘技术不断更新用户的兴趣模型,使个性化推荐能够根据用户兴趣模型得到更准确的推送信息以解决传统检索系统千篇一律的问题。把物流信息分为几类信息,采用推荐算法进行运算时能够更好地缩小范围,减少运算量,提高搜索速度及质量
21、,解决传统系统中搜索信息过多的问题。52系统设计框架框架主要分为三个部分第一部分为信息收集部分:使用组件抓取XML文件信息,接着对XML解析得到具体信息最后把具体信息存入元数据库中。第二部分为信息分析部分信息显示部分:评分后的信息按照用户个性化设置的要求显示到用户的界面上来。53信息分析数据库包括了用户兴趣模型信息、用户兴趣文档信息、用户基本信息、用户日志信息和物流交易信息、物流流通信息、物流基本信息这三种物流信息。使用数据挖掘技术将元数据库中的信息进行聚类分析,把聚类后信息归属为不同的物流信息类中。聚类分析技术是将具有相似爱好、兴趣的用户分配到相同的簇。54信息分析当用户浏览物流信息时,首先
22、把服务器中的用户访问记录存储到数据库中然后对数据库中的日志信息进行挖掘得到用户的兴趣文档信息接着根据用户的兴趣文档更新用户的兴趣模型最后依据用户兴趣模型采用个性化推荐技术对具体信息进行评分,评分的高低反应了用户对信息的喜好程度。55基于关联规则的数据挖掘在集装箱追踪系统中的应用56目标通过对海量数据的采集、分析,挖掘出客户发货去向之间发现发货种类与发货去向之间的关联关系可缩短营销的时间,加快了市场营销的步伐57货物数据转换1类货物为金属制品,如铁丝、钢丝、铁管、不锈钢器具、炉具和通信电缆等,用数字1表示;2类货物为饮食品,如食糖、挂面、米粉、膨化食品,肉制品和乳制品等,用数字2表示;3类货物为
23、工业原料品,如煤、石油、金属矿石和水泥等,用数字3表示;4类货物为高精端产品,如计算机、打印机和数码相机等,用数字4表示;其他货物类型按数字升序以此类推。58站名数据转换可将到站为北京东、唐山、赤峰等办理站的归为北京方向,以字母A表示;到站为乌鲁木齐西、吐鲁番、库尔勒等办理站的归为乌鲁木齐方向,以字母B表示到站为成都东、重庆东、宜宾等办理站的归为成都方向,以字母C表示到站为上海西、杨浦等办理站的归为上海方向,以字母D表示。其他到站类型按字母升序以此类推596061结果分析可发现如:往北京方向发货的客户同时还向上海方向发货的可能性为51%,往乌鲁木齐方向发货的客户同时还向上海方向发货的可能性为4
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 教授 讲座 第四 智能 物流 信息处理 教案
限制150内