【AI技术生态论】清华博士肖智清：强化学习可实现强人工智能是“矮个里挑高个”的说法-精品文档资料整理.docx

《【AI技术生态论】清华博士肖智清：强化学习可实现强人工智能是“矮个里挑高个”的说法-精品文档资料整理.docx》由会员分享，可在线阅读，更多相关《【AI技术生态论】清华博士肖智清：强化学习可实现强人工智能是“矮个里挑高个”的说法-精品文档资料整理.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、【AI技术生态论】清华博士肖智清：强化学习可实现强人工智能是“矮个里挑高个”的说法 CSDN首页 业界 订阅业界RSS 【AI技术生态论】清华博士肖智清：强化学习可实现强人工智能是“矮个里挑高个的讲法 发表于 2020-03-26 16:37:18 受访者 | 肖智清 记者 | 伍杏玲 出品 | CSDN ID:CSDNnews 是CSDN提议的“建议下的重要组成局部 与、一起 打造一个覆盖百万开发者的AI生态联盟。 2020年度 AI技术生态论栏目将对1000 AI生态大咖进展系列访谈 勾勒出AI生态最具影响力人物图谱以及AI产业全景图 百万人学AI你也有份 介入文章评论 评论区留言入选 可

2、获得价值299元的2020 AI开发者万人大会在线直播门票一张。 受访者 | 肖智清 【导读】强化学习是机器学习的一个重要分支 主要用来解决连续决策的问题。2016年度3月 人工智能界发生一件里程碑事件AlphaGo 战胜李世石 其核心技术的深度强化学习引起开发者的关注以及研究。 强化学习是如何的一项技术 又该怎样学习呢 有一位清华博士 肖智清 为了帮助开发者更好地学习AI 紧跟技术潮流 撰写配套TensorFlow 2代码的强化学习教程书?强化学习 原理与Python实现?。下面一起来看看这背后的故事。 清华学霸炼成记 肖智清的履历看起来便是那位“别人家的孩子 肖智清在北京邮电大学本科阶段

3、专业成绩排名年度级第一 并成为当时唯一同时获得北京市大学生高等数学竞赛 当时还没有全国高数竞赛 、全国局部地区大学物理竞赛、全国大学生英语竞赛、北京市电子设计竞赛四大竞赛的一等奖的学生。后来以学分绩专业排名第一的成绩推研清华大学信息学院攻读博士学位。 在博士期间发表SCI/EI检索论文十余篇 其中包括在IEEE Transactions on Information Theory(T-IT)发表第一作者论文 成为清华大学近年度来首个在T-IT上以第一作者发表论文并在毕业前见刊的博士研究生。 同时 肖智清还是IEEE T-IT、IEEE T-Computers、IEEE T-Communicat

4、ions等期刊以及会议的审稿人。 强化学习应用到真实环境有哪些优势 谈到强化学习应用的问题 肖智清表示 强化学习能用同一套代码并搭配同一套参数完成不同的任务 具有一定的普适性。 比方 AlphaGo的最新改良版算法AlphaZero 它可以用同一套代码搭配同一套参数 学会怎样下围棋、怎样下国际象棋、怎样下日本将棋 并且做的比其他AI都更好。 再例如 深度强化学习算法DQN可以用同一套代码搭配同一套参数玩各种不同的游戏 比方吃豆人、打飞机等等。这两个案例在他写的书里都有详细的介绍以及配套代码 可以解析一下它们是怎样用同一套代码搭配一样的参数来求解各种各样不同的问题的。 强化学习是实现强人工智能的

5、祈望 有人认为强化学习是实现强人工智能的祈望 对此 肖智清表示 强化学习可以用同一套算法搭配同一套参数解决多种不同的问题 具有普适性。 同时我们也要意识到还有其他算法也有普适性 比方自动机器学习以及元学习。它们都是强人工智能的祈望。讲它们是强人工智能的祈望 是相对于其他算法而言的 这是一种矮个里挑高个的讲法 而不是讲用这样的技术就最终一定能实现强人工智能。 强化学习的将来 谈及强化学习的将来研究前沿以及演进方向 肖智清表示 在研究方面 强化学习可以以及元学习结合 也就是目前常讲的强化元学习 使得强化学习可以用较少的资源学得各种各样复杂问题的解决方法。 肖智清戏称 做一个不负责任的预计 强化元学

6、习至少还有100篇顶会文章可以发。另外 多智能体强化学习、随机决策时间的强化学习仍然是可以研究的内容。 在工程方面 将自动机器学习以及强化学习结合 开发类似于Auto-sklearn的强化学习系统 有可能根本性改变强化学习的生态。 在落地应用方面 强化学习可以以及终身学习结合 使得人工智能系统可以在一个比拟长的时间跨度内适应不断变化的环境 长期效劳于真实世界的场景。 人人编程时代 AI开发者何去何从 如今人工智能课程已纳入中小学的课程中 很多人相信将来编程将会以及英语一样 成为学生必修课 全民编程时代很快降临 一些AI专业的学生难免对职业将来担忧。 对此 肖智清表示 程序员以及其他劳动者并没有

7、本质区别 简单的编程技术并不比砖瓦工人的砌砖技术或者是月嫂的育儿技术更困难 本来就不应该比它们更值钱。 当一个技术不断普及、门槛越来越低的时候 劳动报酬自然就会回归到以及无差异劳动时间吻合的程度。 随着自动机器学习技术的开展以及应用 需要的调包侠、调参侠越来越少 想把自己的调包效劳、调参效劳卖出去自然就会越来越困难。 他强调 一个技术或者产业越来越重要或者是不可或者缺 并不代表对应的岗位会增加、薪资会进步。就比方英语的例子 英语对当今社会越来越重要 并不代表英语专业同学的就业前景越来越好。同样的 人工智能越来越重要 并不代表着人工智能的岗位会越来越多、薪水越来越高。 但与上述相反的是 近年度来

8、有一些企业高新聘用AI工程师 肖智清表示 稀缺资源需要花大代价才能获得。 校招生拿年度薪百万Offer早已不是新颖事。当肖智清在校时 常听讲有研究生甚至本科生拿到了百万Offer 近年度也常听讲有200多万的校招Offer。 他认为薪水是表达公司对人才重视程度的最直接度量。一个公司给的薪水越高 那么它就越重视人才。无论对于学生还是对于职场人士 假如想争取高薪 都要努力成为稀缺的人才。 他以强化学习为例 假如只是解析几个常见强化学习算法 那花几天时间看看博客文章就可以。假如能对整个强化学习研究的理论有全面扎实的解析 那就有一定的稀缺性。 假如技术者能始终走在研究前沿并稳定输出顶会论文 那就是真正

9、稀缺的业界大咖。假如你想拿高薪 那就要让自己成为大咖。 建议IT专业学生 用好搜索引擎 谈及对于刚步入大学的学生 有哪些编程习惯以及编程思维越早掌握越好 肖智清表示 最重要的一点是用好搜索引擎。遇到问题请先上网搜索下 无论是编程遇到Bug 还是不理解某个概念 还是想得到资料或者经历 都请先试图上网搜索下。有人会直接把问题贴到各种微信群、QQ群或者是其他社群里 结果往往是各种吹水 浪费时间 还没有收获 最后还是得自己重新用搜索引擎搜索才解决。 假如确实有编程问题无法通过搜索解决 这时候就要用到另外一个大杀器“最小可复现样例 英文叫做Minimal Working Example 缩写是MWE。详

10、细而言 遇到程序报错或者是行为异常时 可以试图简化程序 不断删除次要逻辑 最终用最少的代码复现出错误或者异常行为。在绝大多数的情况下 最终形成的MWE不会超过20行。在制作MWE的经过中 你很可能会自行发现程序中的错误。假如真的制作出MWE并且还没有找到解决方案 那么你带着MWE去提问 获得满意答复的概率也会大大增加。 建议开发者 保持激情 不断学习 在肖智清的职场经历中 他认为作为一名开发者 最关键的一点是要保持激情 不断学习。技术更新换代非常快 只有激情才能让我们不断学习、保持在最前沿。 还是以强化学习为例 深度强化学习仅仅是最近几年度才有的事情 强化学习在短短几年度之间已经发生了翻天覆地

11、的变化 编程工具也在快速演进中。在2019年度 强化元学习已经成为研究新热点 TensorFlow 2已经成为风头正劲的工具。这些东西在他刚入职场的时候都是不存在的。 开发者假如没有不断学习 就会被淘汰。 写一本全面介绍古典算法以及当代算法的强化学习书 2016年度 肖智清从清华大学获得博士学位 随后进入一家国际投行从事研发工作。开场撰写AI教程书 目前已出版有PyTorch 1纸质教程书?神经网络与PyTorch实战?以及配套TensorFlow 2代码的强化学习教程书?强化学习 原理与Python实现?。 为何开场撰写 ?强化学习 原理与Python实现? Google的AlphaGo激发

12、了很多人学习强化学习的兴趣。但是 目前在全球范围内 可以完好地将古典的非深度强化学习以及前沿的深度强化学习算法全面阐述的强化学习教程可以讲是几乎没有。有的教程可能侧重于非深度强化学习算法 然后只是简单地增加了两三个根底的深度强化学习算法 无法使学习者深化解析深度强化学习算法 另外有一些教程那么侧重深度强化学习算法 但是由于没有系统地介绍古典知识 就没有方法全面剖析那些深度强化学习算法的设计思路以及收敛性。 实际上古典算法以及深度强化学习算法有非常直接的关系 前沿算法的很多改良思想在古典算法中已经有非常类似的研究。 所以肖智清就想写一本可以全面介绍古典算法以及当代算法的强化学习书籍 使得学习者可以将它们融会贯穿。这本书的亮点之一是它逐章配套代码 十分是深度强化学习局部的配套代码是用TensorFlow 2写成的。 这本书的电子版首次于2018年度末至2019年度初上线各大浏览平台 随书代码也同时在GitHub上公开 大众只需要访问本书的GitHub页面 就能在线查看所有代码以及运行结果 假如有需要还可以下载到本地运行。每个算法的实现相对独立 行数大多都在数十行内 大多数代码用普通笔记本电脑就可以运行出结果。 【End】