信息获取渠道与技巧教学资料.ppt
信息获取渠道与技巧大纲一、信息获取渠道二、数据挖掘方法三、注意事项2022/11/17寻本溯源，洞悉万象2.国内互联网公司数据报告网站列表1、讲座PPT-腾讯大讲堂2、Tencent 腾讯-业绩报告3、腾讯大数据-腾讯云数据分析出来的行业报告4、百度开放服务平台-百度云数据分析出来的行业报告5、百度数据研究中心 提供行业研究报告、行业分析报告-百度数据中心报告6、首页-阿里研究院-阿里行业研究报告7、腾讯MXD移动互联网设计中心8、https:/ Annie Blog-app指数报告3、https:/ Intelligence-business insider的报告5、Todays Articles on Digital Marketing and Media-emarker的报告6、http:/ Press Release Archives-gartner侧重于硬件的出货量，包括智能机和PC等8、IDC-Search Results-IDC的硬件出货量全球报告9、Yozzo Telecom News10、J.P.Morgan Home-摩根投行报告11、德勤中国|审计,企业管理咨询,财务咨询,风险管理,税务服务及行业洞察12、Precisely Everywhere-comscore的互联网行业报告13、Ericsson-A world of communication（Global移动行业报告）2022/11/17寻本溯源，洞悉万象3.国外咨询机构网站数据报告列表（2）14、GamesIndustry.biz（Global游戏行业报告）15、http:/ Market Research,Data&Consultancy（通信无线报告）18、Home|GfK Global（终端比较专业的报告）19、Kantar Worldpanel（主要统计Android和ios的市场份额）20、PwC publications（皮尤的所有用户，市场研究报告）21、Fiksu|Data-fueled mobile marketing（统计app用户获取成本和应用商店下载频次的监测）22、https:/www.weforum.org/reports（世界经济论坛的报告，揭示国内外发展的大趋势）23、Insights-Jampp（Jampp是国外的app 的粘性和转化漏洞的网站，在insights里还有行业的app的retention等benchmark的数据，有些类似flurry的行业数据）24、罗兰贝格行业评论 战略和行业评论和报告25、普华永道:blog 各个行业的主要发现和行业报告26、Website Traffic&Mobile App Analytics（similar web 以色列的网站分析工具，可以分析任何网站，包括用户，来源，终端，分布等等，数据非常棒）2022/11/17寻本溯源，洞悉万象4.各大公司不定期发布的报告1、高德地图：2015年度中国主要城市交通分析报告2、微信城市服务发布微信政务民生白皮书3、淘宝：发布中国消费趋势数据4、互联网增长的第一本数据分析手册-Growing IO的公开手册5、移动游戏运营数据分析指标白皮书2022/11/17寻本溯源，洞悉万象5.企业信息报告1、新三板在线-中国最大的新三板生态平台（各行各业新三板上市公司财务、高管数据等）2、企查查|企业查询（查询企业的产品，品牌和法人信息）3、企业注册信息查询（天眼查，同企查查）4、SEC.gov|Home（美国上市公司年度财务报告）5、巨潮资讯网（中国上市公司季度年度财务报告）6、Baidu|Investors（各大上市公司季度财报，IR.XX公司.com，比如百度这个）2022/11/17寻本溯源，洞悉万象6.投资机构的统计网站1、IT桔子|IT互联网公司产品数据库及商业信息服务（中国创业公司投融资数据和报告）2、天天投-专业高效的免费创业投融资服务平台！（创业公司数据库）3、投资人列表|FellowPlus（投资人列表和支持数据库查询）4、研究院_ChinaVenture投资中国网-（投中的每个季度的行业融资报告，不定期有专项分析报告）5、CB Insights-Blog（CBI insights的一系列产品，包括公司的估值，独角兽公司列表等）6、The Downround Tracker（公司估值下降的趋势）7、The Complete List of Unicorn Companies（独角兽公司列表）8、IPO Center:IPO Market,IPO News,IPO Calendars,IPO Pricings,IPO Voting（IPO相关新闻和趋势报告）9、PrivCo|Private Company Financial Intelligence（美国金融数据公司，主要关注未上市公司的所有投融资资料，目前涵盖的公司包括全世界，当然也包括中国公司）10、券商行业研究报告（国内券商的行业报告，策略报告，可以筛选行业，筛选报告类型）11、https:/ 投融资行业报告）Tencent Holdings Ltd-Trefis（各个公司的revenue model的预测和key driver的趋势）2022/11/17寻本溯源，洞悉万象6.政府统计类网站/数据库1、各级政府的统计年鉴、特定领域统计年鉴，如国家统计局数据库、文化文物统计年鉴2、各级政府的统计局网站：如，中华人民共和国国家统计局http:/ http:/ http:/ http:/ 文化产业数据库http:/ spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。微型爬虫框架，含有一个小型HTML解析器SpidermanSpiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。灵活、扩展性强，微内核+插件式架构，通过简单的配置就可以完成数据抓取，无需编写一句代码ThinkUpThinkUp 是一个可以采集推特、facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号中的数据，对其存档以及处理的交互分析工具，并将数据图形化以便更直观的查看。采集推特、脸谱等社交网络数据的社会媒体视角引擎，可进行交互分析并将结果以可视化形式展现。网络矿工Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的提供，甚至要比一些商用软件的功能还要丰富。功能丰富，毫不逊色于商业软件Sinawler国内第一个针对微博数据的爬虫程序。原名“新浪微博爬虫”。登录后，可以指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系搜集用户基本信息、微博数据、评论数据。该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持，但由于新浪微博API的限制，爬取的数据可能不够完整（如获取粉丝数量的限制、获取微博数量的限制等）1、6个后台工作线程，最大限度挖掘爬虫性能潜力2、界面提供参数设置，灵活方便3、抛弃app.config配置文件，自己实现配置信息的加密存储，保护数据库帐号信息4、自动调整请求频率，防止超限，也避免过慢，降低效率5、任意对爬虫控制，可随时暂停、继续、停止爬虫6、良好的用户体验HawkHAWK是一种数据采集和清洗工具，依据GPL协议开源，能够灵活，有效地采集来自网页，数据库，文件，并通过可视化地拖拽，快速地进行生成，过滤，转换等操作。其功能最适合的领域，是爬虫和数据清洗。其前端界面使用WPF开发，支持插件扩展。通过图形化操作，能够快速建立解决方案。2022/11/17寻本溯源，洞悉万象二、数据挖掘方法数据分析举例1.词典资源知网中文版（http:/ GitHub（https:/ NLPIR.orgfxsjy/jieba GitHub（https:/ Demo（http:/
