dbe财务大数据课程心得.pdf

dbe 财务大数据课程心得 大数据时代已经悄然到来，如何应对大数据时代带来的挑战与机遇，是我们当代大学生特别是我们计算机类专业的大学生的一个必须面对的严峻课题。大数据时代是我们的一个黄金时代，对我们的意义可以说就像是另一个“80 年代”。在讲座中秦永彬博士由一个电视剧大太监中情节来深入浅出的简单介绍了“大数据”的基本概念，并由“塔吉特”与“犯罪预测”两个案例让我们深切的体会到了“大数据”的对现今这样一个信息时代的不可替代的巨大作用。在前几年本世纪初的时候，世界都称本世纪为“信息世纪”。确实在计算机技术与互联网技术的飞速发展过后，我们面临了一个每天都可以“信息爆炸”的时代。打开电视，打开电脑，甚至是在街上打开手机、PDA、平板电脑等等，你都可以接收到来自互联网从世界各地上传的各类信息：数据、视频、图片、音频这样各类大量的数据累积之后达到了引起量变的临界值，数据本身有潜在的价值，但价值比较分散;数据高速产生，需高速处理。大数据意味着包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。遂有了“大数据”技术的应运而生。现在，当数据的累积量足够多小的时候到来时，质变引发了量变。“大数据”通过对海量数据存有针对性的分析，剥夺了互联网“智商”，这使互联网的促进作用，从直观的数据交流和信息传达，下降至基于海量数据的分析，一句话“他已经开始思索了”。简言之，大数据就是将碎片化的海量数据在一定的时间内顺利完成甄选、分析，并整理沦为有价值的资讯，协助用户顺利完成决策。利用大数据企业的决策者可以快速认知市场需求变化，从而使得他们做出对企业更不利的决策，使这些企业具有更弱的创新力和竞争力。这就是继在云计算、物联网之后 IT 产业又一次颠覆性的技术变革，对国家环境治理模式、对企业的决策、非政府和业务流程、对个人生活方式都将产生非常大的影响。后工业社会时代，随着新兴技术的发展与互联网底层技术的革新，数据正在呈圆形指数级快速增长，所有数据的产生形式，都就是数字化。如何搜集、管理和分析海量数据对于企业专门从事的一切商业活动都变得尤为重要。大数据时代是信息化社会发展必然趋势，我们只有紧紧跟随时代发展的潮流，在技术上、制度上、价值观念上做出迅速调整并牢牢跟进，才能在接下来新一轮的竞争中摆脱受制于人的弱势境地，才能把握发展的方向。首先，“大数据”究竟就是什么?它存有什么用?这就是当下每个人初碰触“大数据”都会有的疑点，而这些疑点在秦博士的讲座中我们都了解到了。“大数据”的“小”不仅就是单单是小妹指数量上的“小”，而是在诸多方面上阐述了“小”的含义，就是彰显在数据信息就是海量信息，且在动态变化和不断快速增长之上。同时“大数据”在：速度(Velocity)、多样性(Variety)、价值密度(Value)、体量(Volume)这四方面(4v)都存有彰显。其实“大数据”归根结底还是数据，其就是一种简单化的数据叙述形式，不同于以往对于数据信息的抒发，大数据更多地女性主义于抒发网络用户信息、新闻信息、银行数据信息、社交媒体上的数据信息、购物网站上的用户数据信息、规模少于 TB 级的数据信息等。了解了“大数据”的“大”之后我们也该了解它所具有的巨大价值。就目前来说“大数据”的来源主要还是互联网，来自互联网上的大多数不被重视信息都是具有巨大开发价值的，其具备巨“小”的商业价值，我们所缺乏的只是一些数据分析等手段。比如：在如今，电商已经沦为了一种风潮，网上也涌现出了为淘宝、京东、亚马逊等一系列的购物网站。而在这些网站之中，顾客的下载记录，出售记录等等都就是一些非常大商业价值的信息。先进经验“塔吉特”的先例，我们可以利用“大数据”技术搜集分析，就可以预测市场需求、供给和顾客习惯等，努力做到精准订货、精准导入，达至利益压缩的效果。从全球范围来看，很多人都把年看作就是大数据时代的元年。在这一年里，很多行业在大数据方面的管理、规划和应用领域已经苏醒。电商、金融、电信等行业数据有著长期的数据累积。事实上，很多互联网公司，比如亚马逊、Google、腾讯，更愿将自己定位为数据企业。因为信息时代，数据沦为经营决策的强有力依据，给企业增添了发展和助推行业的机遇。银行也同样具有多样的数据矿藏，不仅存储处置了大量结构化的账务数据，而且随着银行渠道快速渗透到社交网络、移动端的等媒介，海量的非结构化数据也在等候被搜集和分析。未来的金融业将更多地受科技创新力的驱动，也越来越女性主义于零售营销：对于金融业来说，大数据意味著非常大的商机，可以加强客户体验，提升客户忠诚度。大数据技术的发展增添企业经营决策模式的转型，驱动着行业变革，派生出来代莱商机和发展契机。操控大数据的能力已被证实为领军企业的核心竞争力，这种能力能协助企业超越数据边界，绘制企业运营全景视图，作出最优的商业决策和发展战略。金融行业在大数据浪潮中，必须以大数据平台建设为基础，打牢大数据的搜集、存储、处置能力;重点大力推进大数据人才的梯队建设，打造出专业、高效率、有效率的大数据分析团队;不断提高企业智商，发掘海量数据的商业价值，从而在数据新浪潮的变革中忽得头筹，获得先机 在如此快速的到来的大数据革命时代，我们还有很多知识需要学习，许多思维需要转变，许多技术需要研究。职业规划中，也需充分考虑到大数据对于自身职业的未来发展所带来的机遇和挑战。当我们掌握大量数据，需要考虑有多少数字化的数据，又有哪些可以通过大数据的分析处理而带来有价值的用途?在大数据时代制胜的良药也许是创新的点子，也许可以利用外部的数据，通过多维化、多层面的分析给我们日后创业带来价值。借力，顺势，合作共赢。把自己的心门打开，像海绵般吸取积极、正能量的东西。4 月 13 日下午，在湖南大学东楼 205 出席了关于大数据时代的读书交流活动。通过相互交流学习，并使我更深层次的认知了大数据时代的利与弊，机遇和挑战。在写下心得体会前，我想要再再次检视一下关于大数据的历史沿革和现实意义。一、大数据的历史沿革及现实意义 首先，最早明确提出“大数据”时代到来的就是全球著名咨询公司麦肯锡，麦肯锡表示：“数据，已经渗透到当今每一个行业和业务职能领域，沦为关键的生产因素。人们对于海量数 据的发掘和运用，预示着着新一波生产率快速增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存有尚无时日，却因为近年来互联网和信息行业的发展而引发人们高度关注。大数据做为云计算、物联网之后又 IT 行业又两大颠覆性的技术革命。云计算主要为数据资产提供更多了看管、出访的场所和渠道，而数据才就是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人可视化信息、边线信息等，其数量将远远打破现有企业 IT 架构和基础设施的承载能力，实时性建议也将大大超越现有的计算能力。如何盘活这些数据资产，并使其为国家环境治理、企业决策乃至个人生活服务，就是大数据的核心议题，也就是云计算内在的灵魂和必然的升级方向。其次，进入年，大数据(big data)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过纽约时报华尔街日报的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。正如纽约时报年 2 月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”最后，随着云时代的到来，大数据(Big data)也迎合了越来越多的高度关注。著云台的分析师团队指出，大数据(Big data)通常用以形容一个公司缔造的大量非结构化和半结构化数据，这些数据在浏览至关系型数据库用作分析时会花费过多时间和金钱。小数据分析常和云计算联系至一起，因为实时的大型数据集分析须要像是 MapReduce 一样的框架去向数十、数百或甚至数千的电脑分配工作。“大数据”在互联网行业所指的就是这样一种现象：互联网公司在日常运营中分解成、积累的用户网络犯罪行为数据。这些数据的规模就是如此巨大，以至于无法用 G 或 T 去来衡量。大数据到底存有多小?一组名叫“互联网上一天”的数据说我们，一天之中，互联网产生的全部内容可以金字 1.68 亿张 DVD;收到的邮件存有亿封之多(相等于美国两年的纸质信件数量);收到的社区帖子超过 200 万个(相等于时代杂志 770 年的文字量);买进的手机为 37.8 万台，低于全球每天长大的婴儿数量 37.1 万，截至至年，数据量已经从 TB(GB=1TB)级别跃居至 PB(TB=1PB)、EB(PB=1EB)乃至 ZB(EB=1ZB)级别。国际数据公司(IDC)的研究结果表明，年全球产生的数据量为 0.49ZB，年的数据量为 0.8ZB，年快速增长为 1.2ZB，年的数量更是高达 1.82ZB，相等于全球每人产生 200GB 以上的数据。而至年年才，人类生产的所有印刷材料的数据量就是 200PB，全人类历史上说道过的所有话的数据量大约就是 5EB。IBM 的研究表示，整个人类文明所赢得的全部数据中，存有 90%就是过去两年内产生的。而至了年，全世界所产生的数据规模将达至今天的 44 倍。二、读书心得体会 首先，谈谈大数据领略到生活的转型。大数据已经就是信息产业发展的必然趋势，可以说道，大数据现在已经已经开始慢慢扩散进我们的生活，例如：现在盛行的坐车软件、三维立体化社区的创建、某些专门从事生产销售的行业利用大数据去优化规模和同时实现利益最大化。而我们很多人对大数据还很陌生，只是被动的适应环境着大数据给生活增添的发生改变。大数据时代就是以云计算为基础的，所以，必须同时实现大数据，有关的很多的硬件设备都必须更新换代，信息处理系统、信息传输系统、信息反馈系统、信息决策系统都将遭遇代莱挑战，有关产业都必须再次调整产业结构，在那时，可以生硬的说道，信息就是黄金，信息就是石油。大数据时代的到来可以革命更多的劳动生产力，势必将可以更加激化生产力短缺的现状，社会两极分化现象可以更加显著，掌控没法信息资源，很难再东山再起，必须避免信息寡头垄断增添的可怕局面。大数据时代的到来可以并使人们的生活节奏急速大力推进，信息的时效性同意了它的流通速率，人们的生活节奏必须跟上信息流通的速率，就不得不大力推进自己的节奏，人们可以越来越忙碌，至那时，就像是现在的日本，可能将想要打听个人听到你说说话，真的就是一件很难的事。第二，关于数据管理的看法。大数据时代，数据管理是一件很重要的工作，如何才能避免自己的数据被非法窃取、丢失和被盗?我的看法是，人防、技防、物防一体化。人防，即我们要从思想上牢固树立信息安全防范的意识，不主动泄露信息，要管理好自己身边的信息设备;技防，就是要运用软件来管理和处理数据，经常检查更新数据库，定时查杀电脑病毒，确保电脑状况安全;物防，就是重要的数据一定要备份保留，而且应当做到备份与原始文件是物理隔离，无关的信息应当及时删除，减轻硬盘的压力。三、怎么维护自己的隐私。隐私，顾名思义，就是不愿使别人看见的东西，所以，在大数据时代，更必须管理不好自己的隐私，以免对自己和家人导致麻烦和损失。越是隐私的信息，越必须靠近网络，不要再官方的社交网络储存和展现个人图片、资料等信息，以免被非法人士使用和盗取。建议还是用纸质的日记替代电脑日记，防止信息传播范围太小，管理不好自己的日记本。研发一种代莱硬件连接器，总是以随机码去维护自己真实 IP 地址，提升网络安全的可靠性，强化对联网信息的管理和维护。三、结论 不论我们情不情愿，大数据时代都会到来，现实社会就是我们高喊着迈向大数据时代，其实大数据时代已经向我们走过，所以与其被动拒绝接受，不如主动自学，从中找出自己的解决之道，沦为大数据时代的建设者和受益者。奥伦艾奇奥伦(Oren Etzioni)创立的从文本中挖掘信息的公司 ClearForest，已经被路透社收购。美国股市每天成交量高达 70 亿股，而其中三分二的交易都就是由建产在数学模型和算法之上的计算机程序自动顺利完成的。farecast 经过了年立项，到年被收购。经历了 5 年的时间，数据从最早了条到亿条。大数据的平台存有：谷歌的 MAPREDUCE 和开源 HADOOP 平台(最初来源于雅虎)。NOSQL更优先于 MYSQL.大数据所用的数据记录单位：拍字节 PB(2 的 50 次方)和艾字节 EB(2 的 60 次方)，泽字节 ZB(2 的 70 次方)，太字节 TB。1EB=10 亿 GB。1ZB=EB 20 xx 年，所有数据中只有 7%就是存储在报纸、书籍、图片等媒价上的演示数据，其余全部就是数字数据。20 xx 年世界上存储的数据预计能达到约 1.2 泽字节，其中非数字数据只占不到 2%。人类存储信息量的增长速度比世界经济的增长速度慢 4 倍。而计算机数据处理能力的增长速度则比世界经济的增长速度慢 9 倍。大数据告诉我们“是什么”而不是“为什么”。在大数据时代，我们不必知道现象背后的原因。大数据的算法从因果关系向有关关纱转变。这也就是思维方式的转型。推荐电影点球成金MONEYBALL 大数据的三个思维方式：1、不要依靠分析少量的数据样本，不要抽样调查。要分析与某事物相关的所有数据。2、不要崇尚精确性，必须乐意拒绝接受纷繁复杂的数据。3、不要探求难以捉摸的因果关系，转而关注事物的相关关系。大数据中的“小”不是绝对意义上的大，虽然在大多数情况下就是这个意思。大数据就是指不必随机分析法这样的捷径，而使用所有数据的方法。LYTOR 相机(光场相机)就是对拍照场景的应用。将传统相机的拍摄照片的样本进行全收集，成为样本=总体的应用代表。不幸的案例：如果把一个在社区内有很多连接关系的人从社区关系网中剔除掉，这个关系网会变得没那么高效，但却不会解体。但是如果把一个与所在社区之外的很多人有着连接关系的人从这个关系网中剔除，整个关系网奶快就会破碎成很多的小块。节点的做用。社交网络的多样性就是存有额外价值的。这就是一个人在社会关系网中的存有价值。互联网可以使数据达到精确吗?只有 5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下的 95%的非结构化数据都无法被利用。只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。数据与算法那个更关键呢?直观的算法+大数据，还是繁杂的算法+大数据。结论就是大数据比算法智能系统更关键。