大数据_智能物流-22bud.pptx

大数据及智能物流物联网大数据及智能物流物联网什么是大数据？什么是大数据？具有具有4V特性特性的数据：的数据：Volume(巨大的数据量巨大的数据量):Variety(数据类型多数据类型多):文本文本/图片图片/视频视频 等非结构化等非结构化/半结构化数据半结构化数据Velocity(处理速度快处理速度快):要求系统要求系统在短时间内做出反应在短时间内做出反应Value(价值密度低价值密度低):单条数据无价值单条数据无价值,无用数据多无用数据多,综合价值大综合价值大 3亿用户,每天上亿条微博.巡天望远镜,已收集140兆兆字节数据2015年全球移动终端产生的数据量6300PB 案例 两年半前海地地震，海地人散落在全国各地，援助人员为弄清该去哪里援助手忙脚乱。传统上，他们只能通过飞往灾区上空来查找需要援助的人群。一些研究人员采取了一种不同的做法：他们开始跟踪海地人所持手机内部的SIM卡，由此判断出手机持有人所处的位置和行动方向。正如一份联合国(UN)报告所述，此举帮助他们“准确地分析出了逾60万名海地人逃离太子港之后的目的地。”后来，当海地爆发霍乱疫情时，同一批研究人员再次通过追踪SIM卡把药品投放到正确的地点，阻止了疫情的蔓延。非结构化数据相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。技术演进历史揭示未来是大数据驱动的智慧型经济模式用途？以上介绍的互联网上的数据看起来数量庞大却用处寥寥，但事实上，只要处理好这些数据，就能给商家带来巨大的利益。举一个简单的例子：商家消费意向通过网页浏览记录通过人人、微博等消费水平通过淘宝等消费记录通过社交平台信息消费位置通过手机软件定位客户针对性地给客户提供广告与优惠信息消费消费服务服务大数据的意义-为每位用户量身打造用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析，比用户自己更了解用户，比用户自己更了解用户，从而洞悉用户的潜在的、真实的需求，形成预判从而洞悉用户的潜在的、真实的需求，形成预判。这是传统企业花费重金都难以企及的梦想。大数据-现状2012年各行业大数据市场规模l2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。l由于各个行业都存在大数据应用需求，潜在市场空间非常可观。l2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。l2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。大数据-国外已经投资应用美国国务院采用大数据技术开发新的美美国国务院采用大数据技术开发新的美国护照系统。国护照系统。IBM宣布投资宣布投资1亿美元用于大数据研究；亿美元用于大数据研究；美国美国IT公司开始意识到大数据技术能够公司开始意识到大数据技术能够为公司创造价值；为公司创造价值；大数据公司引入汽车行业高管人员扩展大数据公司引入汽车行业高管人员扩展营销业务；营销业务；大数据-问题数据的爆炸式增长为全球各行业均带来了管理上的问题。例如，在电信行业的呼叫数据记录管理、金融行业的交易数据和客户资料管理、零售行业的供应链管理以及制造行业的业务绩效管理等等。对于企业用户来说，大数据的来临也无形中增加了他们所需承担的责任以及成本。企业必须保持这些数据在很长一段时间内的可用性，并满足这些庞大数据量在存储方面的需求。这就导致了企业需要采购和维护所需的硬件设备，并且还要不断的进行监督与管理。大数据处理要求对大数据进行实时分析.现今的分析仅局限在企业的现有数据库还不够，还需要保持数据与当前社会乃至全球的相关性。这意味着企业需要从社交媒体、地理位置、CRM系统、政府的公开数据、手机信息等非专有的渠道获取数据，进行额外的分析。对于实时分析来说，当前的移动应用潜力也才刚刚开始出现，其移动分析或将比预期的影响更加深远。大数据是否侵犯了用户隐私？用户面对“不搜即得”的结果是否会有被窥视的感觉？如何消除这种感觉？大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合什么技术是Big大数据技术Data技术大数据前景-互联网互联网行业拥抱大数据的关键因素互联网行业拥抱大数据的关键因素网网络终端端设备网络技术的升级和终端设备的爆发，使今天的用户能够使用多种设备、从不同位置、通过多种手段来接入互联网，并在这一过程中不断创造新内容在在线应用和服用和服务越来越丰富的在线应用和服务，不断激励用户创造和分享信息，尤其是社会化媒体业务，带动图片、视频等非结构化数据飞速增长与各垂直行与各垂直行业的融合的融合互联网作为一个高渗透力的行业，正在与各垂直行业发生深度的融合，原本隐藏于先下的孤岛信息，源源不断的输入到线上。l互联网行业对数据实时分析要求较高，例如广告监测、B2C业务，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验和快速准确营销的目的。l目前互联网企业面对大数据，会普遍感觉到实时分析能力差、海量数据处理效率低、缺少分析方法、分析软件能力差等问题。互联网行业大数据分析面临的主要问题互联网行业大数据分析面临的主要问题互互联网大数据技网大数据技术的的应用，会首先用，会首先带动社会化媒体、社会化媒体、电子商子商务的快速的快速发展，其他的互展，其他的互联网分支也会网分支也会紧追追其后，整个行其后，整个行业在大数据的推在大数据的推动下将会蓬勃下将会蓬勃发展。展。大大我的近期研究:智能文本分析支持的金融风险预警系统行信用卡中心）行信用卡中心）13大数据大数据挑战挑战l l信息量信息量增长迅增长迅速速l l金融金融数数据增长迅据增长迅速速l人工分析已经不可能实现。需求需求可扩可扩展的智能代理解展的智能代理解决方案决方案各种文本的自动搜索各种文本的自动搜索,分析分析,推理推理.如果必要如果必要,自动发出自动发出风险预警。采用大数采用大数据方案后据方案后价值体现价值体现实时实时的商务智能的商务智能信信息获取智能代理息获取智能代理:搜搜索互联网索互联网,找到有关联的文本找到有关联的文本,进行预处理进行预处理本本本本文挖掘文挖掘文挖掘文挖掘智能代理智能代理:根据各种关键词计算出文本的根据各种关键词计算出文本的”影响影响指数指数”可可靠靠性分析智性分析智能代理能代理:根根据作者据作者,来来源源,下载次数等分析出下载次数等分析出可靠性可靠性关关系系分析智能代理分析智能代理:分析文本对于目标的分析文本对于目标的关关系程度系程度综合分综合分析智能代理析智能代理:给出最后的给出最后的风险预警1421互联网行业大数据主要应用在社交和网购方面互联网行业大数据主要应用在社交和网购方面结合位置数据、消费数据进行实时营销信息推送是电结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景信行业大数据应用主要场景社交网络社交网络B2CB2C业务业务精准营销精准营销在线音视频业务在线音视频业务广告监测广告监测100%80%60%40%20%0%83.4%75.5%51.6%39.4%20.9%数据来源：数据来源：CCW Research,2012/4互联网行业大数据应用场景实时营销实时营销线路监控线路监控新业务挖掘新业务挖掘业务推送业务推送100%80%60%40%20%0%76.6%42.3%30.7%15.9%数据来源：数据来源：CCW Research,2012/4电信行业大数据应用场景3证券证券/股票投资股票投资险种开发险种开发信用卡欺诈信用卡欺诈电子支付业务电子支付业务100%80%60%40%20%0%80.9%73.1%60.3%57.0%数据来源：数据来源：CCW Research,2012/4金融行业大数据应用场景金融行业大数据应用场景主要集中在投资方面金融行业大数据应用场景主要集中在投资方面4供应链优化供应链优化产品研发产品研发仓储监控仓储监控企业统一管理企业统一管理100%80%60%40%20%0%72.5%66.3%50.9%24.8%数据来源：数据来源：CCW Research,2012/4制造行业大数据应用场景制造行业具有多环节、多地域特色，各个环节的优制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景化是制造行业最关注的大数据应用场景大数据应用领域智能物流物联网Industry-level transformation to new logistics(新型物流产业新型物流产业转型）转型）：e-commerce based logistics information integration across industries to reduce national logistics cost(GDPs 18%in China v.s.9%in US)Firm-level information sharing:inter-firm ERP interface to reduce the rate of empty returnsProblems still unsolved:oHigh cost of logistics information sharing and integration:especially inter-firm ERP transactions(due to incompatibility)o High cost of infrastructure-dependent logistics technologies and operations(due to inflexibility)2023/3/2115Our approach Internet of Logistics Things(IoLT)Logistics things(e.g.,containers,transport vehicles,warehouses,etc.)are“inter-netted”with a mission-based intelligent moving device(called“transportable warehouse”;TW)which we build as a basic unit of the IoLT technologyEach TW is intellectualized with an intelligent I.D.and a mission-based ERP system2023/3/2116Internet of Logistics Things(IoLT)Mission-based TW ERP and dynamic integrationFor each logistics mission,a specific TW ERP is virtually createdThe TW ERP obtains and integrates information relevant to the mission from all possible related parties.Based on the consolidated information,the TW ERP finds the best supply chain and logistics routes to achieve the mission Once the mission is completed,the TW can be reset for further missions.Information sharing can be decentralized and individualized:oHigher efficiency and saving costoNew business models,organizations and applications2023/3/2117Core Challenges and Problems4PL operations：Inter-stage coordination and management of 5-stage supply chain,with general applicability to a wide range of applications and situationsInter-firm ERP information system:Inter-stage supply chain information technology yet to be developed2023/3/2118ProposalAn information system for border-crossing trade logistics,with following highlights:Mission-oriented IoLT logistics information system:Mission-oriented information integration for RatonMESCF Optimization Model Raton implementationServices integration for RatonPrototype system development and implementation for RatonLocal devices and sub-systems for trade logistics service Information services that interconnects with Internet of Things(IoT),without interfering current business operations2023/3/2119The Business Process of IoLT2023/3/2120Information LayerPhysical Transportation LayerSupplier ERPLogistics Company ERPRetailer ERP/Customer ERP Customs SystemWarehouse Management SystemIoLTDynamic ERP 1Dynamic ERP 2Dynamic ERP Supplier Logistics CompanyRetailer/Customer CustomsWarehouse Transportable WarehouseTW 2TW TW 1IoLT-CloudCommunication management:control and manage the communication with IoLT-Pad,including identification of communication protocols,data encryption and decryption functions Data and information managementCloud storage for logistics data and information and transport factors(including the object of traffic,transport,infrastructure,transportation goals,etc.)The integration and sharing of transport information and resources The cloud platform to integrate logistics information and services Open platform for developing and publishing logistics apps and services2023/3/2121H.Wang-22希望今后有机会合作希望今后有机会合作!