云安全联盟大中华区-ChatGPT的安全影响-2023.06-55页-WN6.pdf

《云安全联盟大中华区-ChatGPT的安全影响-2023.06-55页-WN6.pdf》由会员分享，可在线阅读，更多相关《云安全联盟大中华区-ChatGPT的安全影响-2023.06-55页-WN6.pdf（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 2023 云安全联盟大中华区版权所有1 2023 云安全联盟大中华区版权所有22023 云安全联盟大中华区-保留所有权利本文档发布在云安全联盟大中华区官网(http:/www.c-)，您可在满足如下要求的情况下在您本人计算机上下载存储展示查看打印此文档：（a）本文只可作个人信息获取，不可用作商业用途；(b)本文内容不得篡改;(c)不得对本文进行转发散布;(d)不得删除文中商标版权声明或其他声明；（e）引用本报告内容时，请注明来源于云安全联盟大中华区 2023 云安全联盟大中华区版权所有1 2023 云安全联盟大中华区版权所有4致致谢谢ChatGPT的安全影响（Security Implica

2、tions of ChatGPT）由 CSA 工作组专家编写，CSA 大中华区秘书处组织翻译并审校中中文文版版翻翻译译专专家家组组（排名不分先后）：组组 长长：王安宇翻翻译译组组：顾春辉侯汉书蓝靖李冰洁李晓明薛琨审审校校组组：顾春辉侯汉书蓝靖李冰洁研研究究协协调调员员：李宗澧感感谢谢以以下下单单位位的的支支持持与与贡贡献献：OPPO广东移动通信有限公司杭州虎符网络有限公司广州熠数信息技术有限公司深信服科技股份有限公司新华三技术有限公司浙江齐安信息科技有限公司注意：本白皮书为候选版可能会不定期更新 2023 云安全联盟大中华区版权所有5英英文文版版本本编编写写专专家家作作者者:Kurt Seif

3、riedSean HeideBogdan FilipVishwa ManralLars RuddigkeitWalterDulaEric E.CohenBilly ToneySupro GhoseMarinaBregkou其其他他人人员员:Stephen Lumpe(封面插图，Midjourney提供协助)在此感谢以上专家如译文有不妥当之处，敬请读者联系CSA GCR秘书处给与雅正!联系邮箱researchc-；国际云安全联盟CSA公众号 2023 云安全联盟大中华区版权所有6序序言言伴随着数字化转型的进一步深入，人工智能（AI）的广泛应用，各行各业的生产效率迅速提升，人们的工作生活和娱乐也越

4、来越丰富和多样化与此同时，数字世界中，安全隐私的重要性日益凸显，数字化安全，成为数字世界行稳致远的基石在数字化安全领域，AI是一个至关重要的话题，也是一把越来越锋利的双刃剑从攻击者的角度，AI在网络攻击或者漏洞利用的生命周期各个环节，都可以使攻击者更广泛更深入效率更高的发现和利用网络漏洞，达成攻击目标例如，基于MITRE Att&ck 模型，在侦查（recon）环节，AI可以迅速和准确的收集目的系统的大量信息，为攻击者提供线索而从防御者的维度，人工智能用于安全（AI for Security）早已成熟，并应用于一系列的安全产品中如基于无监督学习的聚类算法用于垃圾邮件的自动化识别ChatGPT的

5、火爆，将AI的安全与隐私又一次置于聚光灯下，高智慧AI如果产生对人类的不良意识更将是全新的巨大威胁安全从业者想了解ChatGPT能否有助于自己的工作，企业的管理者想了解能否使用ChatGPT带来业务优势，并规避风险，甚至大众也有AI时代安全与隐私的顾虑和担忧“相信此本白皮书能以专业的视角，清晰和准确的描述ChatGPT的安全影响，给读者信息思考和启发李雨航 Yale LiCSA 大中华区主席兼研究院院长 2023 云安全联盟大中华区版权所有7目录致致谢谢.1序序言言.61.简简介介.82.ChatGPT 是是什什么么.92.1机器学习模型.112.2ChatGPT的局限性.122.3ChatG

6、PT使用条款.132.4基准.142.5过去工具改变安全世界的例子.143.恶恶意意行行为为者者如如何何利利用用它它来来改改进进他他们们的的工工具具集集.153.1枚举.153.2立足点援助.173.3侦察.193.4网络钓鱼.203.5多态代码.214.防防御御者者如如何何将将 AI 运运用用到到网网络络安安全全程程序序中中.224.1过滤安全漏洞.224.2生成安全代码（ChatGPT-Codex）.244.3转换安全代码（ChatGPT-Codex）.254.4漏洞扫描（ChatGPT-Codex）.264.5检测 AI 生成的文本.284.6寻求网络安全问题解决方案.284.7与 SI

7、EM/SOAR 集成.304.8将技术代码/文件转换为英文.314.9 解释安全补丁和更新日志.324.10 创建脚本和转换编程语言.324.11 阅读并解释脚本和配置文件.344.12 用于模糊测试和代码测试的 ChatGPT.364.13 创建查询，如 YARA 或 KQL.375.通通过过恶恶意意提提示示词词攻攻击击 ChatGPT.395.1 图解攻击点.415.2 用户与 ChatGPT建立连接.415.3 选择现有会话或发起新会话.425.4 用户输入.426.如如何何确确保保企企业业安安全全使使用用 ChatGPT.446.1ChatGPT.446.2新必应.456.3Azure

8、认知服务.467.生生成成式式 AI 技技术术的的局局限限性性和和怪怪癖癖.468.未未来来的的攻攻击击与与挑挑战战.489.结结论论.4910.参参考考文文献献.5111.附附录录-格格式式.5311.1风险表.5311.2热力图.54 2023 云安全联盟大中华区版权所有81.简简介介欢迎阅读云安全联盟第一份关于极为流行的生成式人工智能技术ChatGPT的安全影响的白皮书企业国家和网络安全专家都在紧跟ChatGPT的热度，试图理解如何治理和使用该技术为了帮助社区全面了解ChatGPT的背景，并确定适用于所有利益相关者的实际问题，CSA 迅速发布了本版白皮书像 ChatGPT 这样的大语言模

9、型已被认为是可以显著提高各行业生产力的强大工具在网络安全领域，它们在漏洞识别和社会工程等任务上表现出了潜力然而，这种潜力也引发了人们对这些技术在道德和恶意使用之间的微妙界限的关键问题本文旨在概述ChatGPT在网络安全行业中的影响，但不深入探讨人工智能的细节我们将探讨对理解ChatGPT能力至关重要的关键概念和领域，以及对企业的潜在影响在我们研究这些影响的同时，考虑区分合法和恶意使用ChatGPT的挑战至关重要，例如区分营销电子邮件公司通信和网络钓鱼邮件，或者识别待修复漏洞和黑客入口点此外，我们预计ChatGPT的融合将带来网络安全专业人员生产力的提高，并为有志于此领域的人士提供创新的培训方法

10、这项技术还可能改变软件开发实践，特别是在应用程序开发方面通过研究ChatGPT的现状及其潜在影响，我们旨在提供对这种技术如何塑造网络安全行业未来的全面理解我们了解市场上还存在其他多个生成式AI工具，最终CSA无法预测这个市场的发展方向以及哪些解决方案将持久存在随着时间的推移，我们计划广泛覆盖所有技术上的AI安全问题，特别是当它们作为服务交付时然而，由于目前ChatGPT的强大热度，我们被迫仅以公众利益的角度深入研究这项技术 2023 云安全联盟大中华区版权所有92.ChatGPT是是什什么么用ChatGPT自己的话说：ChatGPT是一个由OpenAI使用转换器（Transformer）深度学

11、习算法训练的大语言模型，使用来自互联网和其他来源的大量文本数据训练，旨在能够理解自然语言，并对问题和提示生成类似人类的响应ChatGPT所使用的转换器（Transformer）架构是基于注意力机制的思想构建的，使得模型可以在不同的时间关注输入文本的不同部分这种注意力机制用于构建文本的上下文表示，从而捕捉不同单词和短语之间的含义和关系在训练期间，模型会接收输入文本并尝试预测下一个单词或单词序列这个过程会重复数百万次，模型逐渐学会生成合理符合语法的回复，并能对各种各样的提示和问题做出回应当向ChatGPT提出问题或做出陈述时，该模型会利用其学习到的知识生成一个最可能合理且与输入相关的响应ChatG

12、PT的实现方式是通过比较输入与其内部语言表示并根据学习到的模式生成响应总的来说，ChatGPT是深度学习和自然语言处理能力的惊人范例，有潜力在未来彻底改变我们与计算机和AI系统的交互方式参考：问题：“您能向稍微具备技术背景的听众解释一下ChatGPT是什么以及它是如何工作的吗？”日期：2023-03-08网站：https:/ M.Turing）发表了计算机器与智能一书机器学习领域则与IBM的深蓝（Deep Blue）打败国际象棋大师加里卡斯帕罗夫（Gary Kasparov）相关在2016年，基于深度学习（Deep Learning）算法的Alpha Go在围棋比赛中战胜了韩国职业选手李世石，

13、赢得了五局中的四局虽然DeepBlue和Alpha Go都是游戏算法，但展示了超越人类实现复杂任务的潜力现在我们正处于21世纪20年代的生成式AI时代，全球范围内的ChatGPT运动正在发生 2023 云安全联盟大中华区版权所有10在人工智能（AI）发展的各个阶段，计算能力一直是一个制约因素，限制了有效地处理复杂计算问题的能力如图1所示，这些阶段的特征是AI领域内越来越专业化的子域例如，生成式AI是深度学习的子域，而深度学习又是机器学习的子域至关重要的是，AI的定义也经历了不断的转变以保持与人类历史不同时代的相关性图1:AI领域生成式AI基础模型的家族依赖关系除了采用提示和回复格式的基本网络用

14、户界面外，OpenAI还提供了Whisper，一种基于神经网络的语音识别（语音转文字）系统他们还提供了应用程序编程接口（API），使组织能够无缝地将ChatGPT和Whisper集成到各种应用程序网站产品和服务以及语音界面中然而，ChatGPT的强大功能，特别是通过API的方式，存在潜在的风险，因为恶意行为者可能会利用该工具为网络攻击提供便利*为为确确保保质质量量，必必须须验验证证通通过过ChatGPT获获得得的的所所有有信信息息并并验验证证输输出出可以通过多种选项访问语言模型，例如聊天机器人界面API和云服务每个选项都人工智能机器学习深度学习生成式AI 2023 云安全联盟大中华区版权所有1

15、1针对不同的最终用户，如个人用户或企业客户有些解决方案为个人提供升级版，而另一些解决方案则专为商业用途设计，并且由于合作关系可能在特定的云平台上提供对于企业客户，某些基于云的服务通过REST API软件开发工具包（SDK）或基于Web的界面提供对语言模型的安全隔离的访问这些服务可以与其他云产品集成，并支持虚拟专用网络和通过目录服务管理的身份验证等功能随着技术的不断进步，OpenAI和ChatGPT的集成速度正在以惊人的速度增加许多应用程序平台和工具都在利用这些AI模型的强大能力增强其功能和能力可访问以下链接了解一些当前的集成，该链接提供了许多（但并非全部）现有链接的概述：https:/ 202

16、3 云安全联盟大中华区版权所有12成源代码3.Embeddings：这个系列包括一些专注于文本搜索相似度和代码搜索等特定功能的模型这些模型能够在各种场景中实现更高效的信息检索和处理每个模型都遵循特定的命名约定，包括版本信息，确保在整个平台上具有清晰和一致的命名有关Azure OpenAI服务模型的更多详细信息，请参阅Microsoft Learn上的AzureOpenAI文档2.2ChatGPT的的局局限限性性由OpenAI和Microsoft管理的GPT-3，采用了多项措施防止生成恶意或非法内容例如，当 AI 收到有害的查询时将拒绝提供答案，遵守OpenAI的用例政策，禁止AI语言模型促进或

17、方便有害或非法活动尽管有这些保护措施，但仍然有可能绕过这些限制，正如在有关直接攻击的部分所述，将产生错误或其他不良结果ChatGPT的一个适当的比喻是一名实习生，渴望提供帮助，但偶尔缺乏领域特定知识（DSK）或专业知识此外，ChatGPT的DSK可能不准确或过时，就像在Stack Overflow等平台上的过时答案一样文本摘要是ChatGPT局限性的另一个例子AI可能会过分重视文本的某些方面，尤其是在查询的表述不当的情况下查询的框架方式会对输出结果产生重大影响此外，ChatGPT在执行复杂计算方面存在局限性虽然它可以执行简单的任务，如文本到Base64的转换，但在更高级的计算，如哈希算法计算中

18、则经常会提供错误的结果ChatGPT在脚本生成方面也可能会出现基本错误，例如在Python脚本中未包含必要的导入语句（import），导致代码无法正常运行因此，建议将ChatGPT视为辅助技术而非替代技术微软以2022年制定的负责任AI标准V2管控对Azure OpenAI服务的访问公司必须通过特殊的访问请求表格申请，安全框架采用内容过滤器并保留提示信息30天，以方便负责任的AI团队调查微软还为制药业和金融服务等高度监管行业的客户提供了一个单独的流程，可以选择退出某些功能，从而引发了有关渗透测试用例的潜在问题最后，访问GPT-4需要填写另外一个申请表格，并且必须首先完成第一个表格的申请 202

19、3 云安全联盟大中华区版权所有13微软在其2022年发布的负责任AI标准V2中制定了一些准则，文件名为Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf访问Azure OpenAI服务需要通过一个特殊的访问请求表格Request Access to Azure OpenAI Service申请安全框架采用内容过滤器，并将提示信息存储30天，以便负责任的AI团队调查滥用问题微软允许来自制药业和金融服务等高度监管行业的客户通过另一个申请表格选择退出令人感兴趣的是这个选择退出的范围有多大，如果去除Azure OpenAI服务

20、的内容过滤器，该工具是否可用于渗透测试Azure OpenAI有限访问审查:修改内容过滤器和滥用监测()最后但同样重要的是，访问GPT-4还需要一个新的申请表格Azure OpenAI GPT-4Public Preview Waitlist(M)，先通过第一个表格的申请是前提条件2.3ChatGPT使使用用条条款款在使用OpenAI服务，例如ChatGPT时，了解并遵守其使用条款至关重要这些条款概述了可以访问和使用OpenAI的服务产品和平台的条件如需查看完整的使用条款，请访问以下链接：https:/ 访问：OpenAI可以在特定条件下授予对其API的访问权限用户必须遵守这些条件，OpenA

21、I保留根据违反条款限制暂停或终止访问权限的权利4.用户数据：OpenAI的数据使用政策详细说明了用户数据如何收集存储和利用通过使用 OpenAI 服务，用户同意遵守该政策中概述的数据处理实践5.担保和责任：OpenAI的服务是按照“原样”提供的，没有任何保证，而OpenAI对因使用或无法使用其服务而导致的损害不承担任何责任6.终止：OpenAI保留随时终止或暂停用户访问其服务的权利，如果用户违反使用条款或出于其单方面决定的任何其他原因 2023 云安全联盟大中华区版权所有147.管辖法律：使用条款受加利福尼亚州法律管辖，并且任何争议必须在位于加利福尼亚州旧金山县的适当法院解决确保在使用Open

22、AI的服务之前，仔细阅读并理解其使用条款，因为遵守使用条款对于保持积极和合法的使用体验至关重要2.4基基准准目前，已经发布了几个比较ChatGPT等大语言模型性能的基准测试为全面了解ChatGPT，我们建议从CRFM基准测试开始CRFM（Comprehensive Real-World Fine-tuning Model，综合真实世界微调模型）基准测试由斯坦福大学研发，提供了对各种大语言模型在现实世界任务中表现的详尽分析这些基准测试可以帮助用户评估和比较不同的模式的有效性，并选择最适合自己需求的模型有关CRFM基准的更多信息和深入见解，可以访问以下资源：1.CRFM基准网站:https:/cr

23、fm.stanford.edu/该网站提供详细的关于CRFM基准测试的方法数据集和结果的信息，还提供交互式可视化帮助用户比较不同的语言模型的性能2.CRFM基准研究论文:https:/arxiv.org/abs/2204.06745本论文（arXiv.org可下载）介绍了CRFM基准的全面研究该论文包括基准测试的动机方法论和基准测试过程中的发现，并深入分析了各种大语言模型的性能2.5过过去去工工具具改改变变安安全全世世界界的的例例子子在过去，新黑客工具的发展和广泛传播，也会导致更广泛的担忧一个值得注意的例子是撒旦(分析网络的安全管理员工具)(https:/en.wikipedia.org/wi

24、ki/Security_Administrator_Tool_for_Analyzing_Networks）最初引起了广泛的恐慌然而，它最终并没有成为一个普遍的问题，而是发展成为一家商业公司，为各种安全标准要求提供必要的工具例如，PCI DSS（支付卡行业数据安全标准）条款11.2.2要求组织进行内外部漏洞扫描（至少每季度进行一次），并跟踪网络的任何重大变化 2023 云安全联盟大中华区版权所有153.恶恶意意行行为为者者如如何何利利用用ChatGPT改改进进工工具具集集本节将探讨与恶意行为者利用AI技术增强其工具集相关的潜在风险随着AI变得越来越强大和越来越容易获得，在各种网络攻击阶段滥用A

25、I的可能性也在增加我们将深入研究以下小节，详细介绍如何在网络攻击的不同方面，利用AI驱动的系统，包括枚举立足点协助侦察网络钓鱼和多态代码的生成通过研究这些主题，我们旨在提高对潜在威胁的认识，并强调强有力的安全措施和负责任的AI开发的必要性除了主要内容外，本文的某些章节还包括简要的风险审查和/或对策有效性评级这些评级的目的是帮助可视化与特定领域相关的当前风险水平及其对业务的潜在影响需要注意的是，这不是一个详尽的列表，但可以说明每种风险的可能后果为了更好地理解风险等级及其含义，本文档的术语表提供了热力图和风险表热力图通过对风险的可能性和影响分类，从而直观地表示了风险的严重程度风险表进一步解释了每个

26、类别，使人们能够更全面地了解已实施的任何应对措施的潜在后果和有效性通过参考术语表中的热力图和风险表，读者可以更好地了解当前的风险状况以及可能如何影响他们的组织这些信息可用于作出明智的决定，解决和减轻这些风险，使潜在影响最小化3.1枚枚举举风险：中中等等影响：低可能性：高增强Nmap扫描结果：一个基本的Nmap扫描，识别开放的8500端口，并显示JRun作为活动web服务器这些信息可以用来进一步了解网络的安全态势和潜在的漏洞利用ChatGPT进行应用程序发现：ChatGPT可以有效地用于快速识别与特定技术或平台相关联的最流行的应用程序这些信息有助于理解给定网络环境中的潜在的攻击面和漏 2023

27、云安全联盟大中华区版权所有16洞问：什么应用程序通常运行在端口8500上，并由JRun web提供服务？答：8500端口默认与Adobe ColdFusion关联ColdFusion是一个商业的Web应用程序开发平台ColdFusion应用程序可以使用JRun Web服务器提供服务，JRun是一种基于Java的Web服务器，可以做Java应用程序（包含ColdFusion应用程序）的宿主甚至还可以提问登录方式：提示：ColdFusion的默认登录页面是什么？ChatGPT：ColdFusion的默认登录页面被称为ColdFusion管理器它是一个基于web的管理界面，允许管理员配置和管理Col

28、dFusion服务器和应用程序要访问ColdFusion管理器，您可以打开一个web浏览器，并导航到以下网址:将替换为运行ColdFusion的服务器的IP地址或主机名请注意，确切的URL可能会根据ColdFusion的版本和服务器配置而有所不同一旦您访问了管理员登录页面，系统将提示输入用户名和密码默认情况下，用户名为admin，密码为空(即，没有密码的话)然而，强烈建议为管理员用户设置一个安全的密码，以防止对ColdFusion管理器的未授权的访问 2023 云安全联盟大中华区版权所有173.2立立足足点点援援助助风险:中中等等影响:中中等等可能性:中中等等立足点援助是指帮助威胁行动者在目标

29、系统或网络中建立一个初始存在或立足点的过程这通常涉及到利用漏洞或弱点获得未经授权的访问一旦建立了一个立足点，攻击者就可以进一步渗透到系统收集信息提升权限或发起额外的攻击以实现目标在使用AI工具的背景下，立足点援助可能涉及自动发现漏洞或简化利用漏洞的过程，使攻击者更容易获得对目标的初始访问权当请求ChatGPT检查超过100行的代码样本中的漏洞时，它准确地定位了一个文件包含漏洞其他查询也得到了类似的结果，AI成功地检测出了输入验证不足硬编码凭据和弱密码哈希等问题这凸显了ChatGPT在有效识别代码库中的安全缺陷方面的潜力ChatGPT：给定的代码可能包含以下漏洞：1.SQL注入：该代码在SQL中

30、使用用户输入，且没有适当的验证或清洗变量$_postmovie_id和$_postuser_id直接用于SQL查询中，攻击者可以利用它执行任意的SQL命令2.跨站 脚本攻击（XSS）：代码显示 用户输 入时，未 经过合 适的规避 或者验 证变量rowmovie和rowusername可被攻击者利用，注入恶意的脚本或者窃取用户信息3.本地文件包含（LFI）：代码中使用eval()函数，可执行任意用户输入的代码变量$_POSTinclude直接传递给eval()，可被攻击者利用，执行任意的PHP代码，危害服务器4.不 安 全 的 配 置：代 码 中 使 用 sqlsrv_query()函 数，且

31、没 有 合 适 的 配 置 使 用 配 置array(scrollable=buffered，可能导致性能问题，并允许攻击者执行拒绝服务攻击，耗尽服务器资源推荐执行一次完善的代码检视，实现正确的输入校验清洗输出编码以阻止这些漏洞此外，推荐使用预处理语句和参数化查询以防止SQL注入攻击，且避免使用eval()函数执行任意代码在我们提供给ChatGPT的一个示例代码片段中，存在一个明显的重大安全漏洞，这是 2023 云安全联盟大中华区版权所有18威胁参与者可以利用这类问题获得对系统未经授权访问的一个主要示例本例中的关键漏洞来自于eval()函数的使用，该函数引入了远程代码执行（RCE）的风险eva

32、l()函数以PHP代码的形式执行一个字符串参数，在这个实例中，它会处理用户输入$_GETvariable这允许攻击者通过 variable 参数注入恶意PHP代码，可能导致严重的后果，例如危害服务器或访问敏感数据通过识别和分析代码库中的此类漏洞，威胁行为者可以快速有效地了解如何绕过某些安全措施或参数这些知识使他们能够以更高的成功率执行有针对性的攻击在这个特定的例子中，攻击者可以利用RCE漏洞在服务器上执行恶意代码，潜在地获得未经授权的访问窃取数据或造成其他形式的损害示例代码如下:require_once(./_helpers/strip.php);/first,get a variable n

33、ame based on the user input$variable=strlen($_GETvariable)0?$_GETvariable:empty;$empty=No variable given;/pass the variable name into an eval block,making it/vulnerable to Remote Code Execution(rce).This RCE/isNOTblind.eval(echo$.$variable.;);2023 云安全联盟大中华区版权所有19ChatGPT提供的反馈是：ChatGPT：是的，给定的代码包含一些漏洞最

34、关键的漏洞是eval()函数的使用，可能导致远程代码执行（Remote Code Execution,RCE）eval()函数包含一个字符串参数，并在PHP代码中执行在此案例中，$_GETvariable在eval()函数中使用，允许攻击者通过variable（参数）注入恶意的PHP代码，可能导致攻击者拿到服务器的完全控制权限要缓解此漏洞，需要避免eval()函数直接使用用户输入，而是使用替换方法，例如if语句，switch语句，或者一些安全的数据处理方法提供类似的功能总是校验和清洗用户输入，以避免恶意代码注入为防止远程代码执行（RCE），代码缺乏variable参数校验，可能导致其他的安全问

35、题，例如跨站脚本攻击（XSS）3.3侦侦察察风险:低低影响：中等可能性:低侦察，即网络安全中的恶意威胁行为者，是指在发起攻击之前收集有关目标系统网络或组织的信息的初始阶段这个阶段对攻击者是至关重要的，可以帮助识别潜在的漏洞弱点和切入点攻击者可以利用这些漏洞获得对系统或数据的未经授权的访问侦察可以通过多种方法进行，包括：1.被动侦察：在这种方法中，威胁行为者在不直接与目标系统或网络交互的情况下收集信息他们可能会使用公开可用的资源，如搜索引擎社交媒体WHOIS数据库或DNS记录收集有关目标组织其员工网络基础设施等的信息2.主动侦察：直接探测目标系统或网络以收集信息主动侦察采用的技术包括端口扫描网络

36、扫描和漏洞扫描虽然这些方法更具侵入性，并且可能会被安全系统检测到，但可以产生有关目标的安全状态和潜在漏洞的有价值的信息3.社会工程：威胁行为者可能会使用社会工程策略，例如网络钓鱼或借口，从员工或其他内部人员处收集敏感信息这可能包括密码访问代码或有关内部系统和流程的详细信息 2023 云安全联盟大中华区版权所有20收集全面的数据，如公司高管名录，可能是一个令人畏惧和耗时的过程通过利用Bing ChatGPT，用户可以提出有针对性的问题，例如：1.你能否创建一个堪萨斯州的银行清单，并以CSV文件格式呈现，包括银行的名称和域名？2.你能否提供一份这些银行的高管名单，比如首席执行官和副总裁？Bing

37、ChatGPT可以有效地生成所请求的信息此外，如果用户需要具体的信息，比如某家银行的首席信息安全官，如果无法获得确切的信息，AI可以提供相关的职位这表明了AI驱动的工具在简化和增强各种目的的数据收集过程方面的潜力3.4网网络络钓钓鱼鱼风险：中等影响：低可能性：高网络威胁行为者现在可以毫不费力地为各种目的制作看似合法的电子邮件有了AI工具，拼写错误和语法错误等问题不再是障碍，这使得区分真实的通信和恶意的通信越来越具挑战性这凸显了提高网络钓鱼意识和加强安全措施以防止复杂的网络钓鱼企图的重要性AI技术的快速发展大大提高了威胁行为者创建与真实通信非常相似的欺骗性电子邮件的能力这些电子邮件中的完美语言，

38、上下文相关性和个性化细节使得收件人越来越难以识别这些邮件的网络钓鱼企图因此，组织和个人必须保持警惕，采用多层次的网络安全方法这些方法包括通过定期的员工培训提高意识，实施先进的电子邮件过滤系统，并结合 2023 云安全联盟大中华区版权所有21强大的身份验证方法保护敏感信息此外，应该推广网络安全最佳实践，例如在对任何请求采取行动之前验证发件人的身份，避免点击可疑链接，并保持软件更新通过保持信息灵通和积极主动，可以更好地防御不断变化的威胁形势，并减轻与复杂的网络钓鱼活动相关的风险3.5多多态态代代码码多态代码指的是一种代码，可以使用多态(突变)引擎改变自身，同时保持原始算法的功能多态恶意软件通过这样

39、做，可以改变其外观(内容和签名)以逃避检测，同时仍然执行其恶意意图多态恶意软件的例子包括病毒蠕虫和特洛伊木马，它们可以调整代码结构绕过传统的安全措施，使得检测和消除它们特别具有挑战性风险：高影响：高高可能性：中ChatGPT确实可以用来生成多态shell代码，正如CyberArk的研究所证明的(https:/ 2023 云安全联盟大中华区版权所有224.防防御御者者如如何何将将AI运运用用到到网网络络安安全全程程序序中中4.1过过滤滤安安全全漏漏洞洞最近更新的GitHub Copilot引入了一个AI驱动的漏洞过滤系统，大大提升了代码建议的安全性通过实时检测和预防那些不安全的代码部分，如硬编码

40、凭证SQL注入路径注入（攻击），这些创新的功能可以帮助程序员避免一些常见的代码错误程序员们可以开发出更安全的应用程序，从而防止漏洞通过DevSecOps系统工具链传播参考资料：新型AI模型可以过滤出安全漏洞，GitHub Copilot Update:New AI ModelThat Also Filters Out Security Vulnerabilities（来源：）当谈论网络安全问题的时候，理解各种各样的威胁和漏洞至关重要例如，考虑到T1059.001这个模型，该模型是一个在MITRE ATT&CK框架中的技术标识符这个标识符可能会被系统报告出来，但是一些网络安全专业人员却未必熟悉因

41、此，需要一个简明扼要的注释让我们来问AI一个非常简单的没有上下文语境的问题问：什么是T1059.001？答：T1059.001是MITRE ATT&CK 框架中的技术标识符，它是一个全球可访问的，基于现实世界观察方式下的战术和技术的知识库T1059.001是指命令和脚本解释器：PowerShell技术，该技术涉及Windows PowerShell应用程序在目标系统中执行恶意命令或脚本PowerShell 是一个强大的工具，允许管理员自动执行任务且更有效地管理系统然而，攻击者也可利用PowerShell开展各种恶意行为，包括无文件恶意软件攻击，横向移动攻击，凭据窃取，数据外泄等 因此，T105

42、9.001是防御者需要了解的防御关键技术，以此可以预防和检测基于PowerShell的攻击问题：什么是T1059.001？时间：2023年3月21日https:/ 云安全联盟大中华区版权所有23ChatGPT准确地将代码识别为MITRE ATT&CK标识符，并提供与此标识符相关的特定问题的解释，其中涉及使用恶意PowerShell脚本此外，它还详细阐述了PowerShell的性质及其在网络安全攻击中的潜在用途，并提供了相关示例有了对问题的清晰了解，网络安全专家们必须立刻采取措施避免组织内部T1059.001事件的发生而为了达成这个目标，他们可以寻求最佳实践的指导：问：预防T1059.001事件

43、的最佳实践有哪些？答：一些预防T1059.001事件的最佳实践包括：最小权限化管理限制授予用户和应用程序的权限，包括PowerShell的权限用户只能访问他们执行任务所需要的PowerShell的命令和模块同时限制管理员权限的使用，处理日常事务避免使用管理员账户在不受信任的脚本上禁用PowerShellPowerShell有一个执行策略的功能用于确认PowerShell是否在系统上运行将执行策略设置为Restricted（不允许任何脚本运行），或者AllSigned（只能运行经过数字签名的脚本），从而可以有效防止不受信任的脚本运行PowerShell3启用脚本块日志记录脚本块日志记录可以记录系

44、统上执行的所有PowerShell命令和脚本，从而有助于检测和防止恶意活动这可以帮助防御者识别和调查潜在的攻击4实现网络分段管理网络分段管理通过将关键资产与网络中的其他系统隔离开来，有助于防止横向移动攻击这可以限制基于PowerShell的攻击的影响，并防止攻击者访问敏感数据5保持软件为最新及时更新软件，确保PowerShell和系统上的其他软件安装了最新的安全补丁这可以有助于防止攻击者利用已知的漏洞进行攻击6使用反恶意软件反恶意软件可以帮助检测和防止恶意PowerShell脚本和其他恶意软件在系统上执行持续保持反恶意软件为最新状态，并定期扫描系统中的潜在威胁问题：预防T1059.001事件的

45、最佳实践有哪些？时间：2023年3月21日网址：https:/ 云安全联盟大中华区版权所有24上述问题中，ChatGPT提供了七个示例防止基于PowerShell的攻击前两个和零信任的指导方针一致，强调系统的最小特权配置第三个涉及检测潜在的违规行为的准则第四个涉及数据流的架构注意事项，限制系统被破坏后遭受的横向移动攻击第五个补丁管理，同样遵循零信任的指导方针，去掉已知的漏洞，从而缩小攻击面类似地，反恶意软件有助于防止恶意的PowerShell代码在系统上执行最后，对人员培训至关重要，可以最大限度减少和人相关的因素一个训练有素的人员可以大大减少网络安全事件发生的数量问：你能给我T1059.001

46、的链接么？答：当然你可以在下面的链接了解到更多关于T1059.001的信息https:/attack.mitre.org/techniques/T1059/001/问题:你能给我T1059.001的链接么？时间：2023年3月21日网址：https:/ 2023 云安全联盟大中华区版权所有25要创建Microsoft 365 Defender高级搜索查询，查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录，您可以使用以下查询:该查询首先检索已知的恶意电子邮件，然后根据UserPrincipalName将它们与DeviceLogonEvents连接然后，它会过滤结果，只显示

47、收到恶意电子邮件后30分钟内发生的登录事件最后，查询显示符合这些条件的10个最近的登录事件问题：你能否生成一个微软365安全卫士搜索查询，查找电子邮件收件人在收到已知恶意电子邮件后30分钟内进行的最近10次登录?时间：2023年3月21日https:/ 提供了一个微软365安全卫士的高级搜寻功能，可查询被入侵的电子邮件账号的登录请求情况这有助于阻止攻击者进入系统，同时可以确认用户是否需要修改密码这是一个非常好的实例，可以大大缩短网络安全事件应急响应的行动时间4.3转转换换安安全全代代码码（ChatGPT-Codex）在上述案例中，假设你有同样的问题，并且也找到微软365安全卫士的高级搜索功能，

48、但是你的系统不支持KQL编程语言与其用你想要的语言去寻找案例，倒不如做个语言转换下面的示例就是教你如何生成相对应的SQL代码 2023 云安全联盟大中华区版权所有26问题：你能生成对应的SQL代码么？时间：2023年3月21日网址：https:/ Codex API被证明是一个有效的漏洞扫描器，适用于CC#Java以及JavaScript等编程语言虽然今天看来还不可思议，但我们可以预见那些Codex家族中的大语言模型，将成为未来漏洞扫描器的标准插件例如，可以开发一个扫描器检测和标记各种语言中不安全的代码模式，从而有助于开发人员在潜在的漏洞还未构成安全风险之前就发现并解决它们ChatGPT 漏洞

49、扫描器非常棒!(戴维 梅里恩)2023年2月 2023 云安全联盟大中华区版权所有27以下示例中，提供给ChatGPT的一个易受攻击的代码片段：得到的结果如下：ChatGPT：您提供的代码看起来像是一段PHP脚本，它定义了一个名为 challenge的类处理文件上传下面是该段代码中的一些潜在的漏洞和关注点：1缺乏文件类型验证：代码没有检查上传文件的类型，这可能会导致任意文件上传这可能会给攻击者上传恶意文件的机会该文件有可能会在服务器端执行2不安全的文件命名：代码使用文件的初始名称，而不进行任何数据清洗或验证攻击者可以通过提供恶意文件名（例如：././evil.php）来进行目录遍历攻击3不受限

50、制的文件大小：代码没有对上传的文件大小加以限制攻击者可能会故意上传大文件从而消耗服务器资源，导致拒绝服务（DoS）攻击4未经验证的用户输入代码直接使用$_FILESsolution作为challenge类别的输入，而未经验证和清洗，可能会被代码中的其他漏洞利用关于缓解这些漏洞，以下是一些建议：1验证和限制文件类型：根据MIME类型或文件扩展名，确保只有允许的文件类型可以上传2.规范文件名：从文件名中删除任何可能有害的字符，或者在服务器端生成一个新的安全的文件名3限制文件大小：设置合理的文件大小，防止耗尽系统资源4验证用户输入：对所有用户提供的数据，执行输入验证和清洗，包括上传文件在内 2023