《AIGC安全研究报告》目录 1 .AIGC研究背景 1 . 1AI技术框架安全 1 .2 AIGC内容安全 1 .3 数据安全 1 .4 国内监管政策 1 .5 国外监管政策 2.AIGC技术框架 2. 1 AIGC 2.2 Pr ompt 2.3 ChatGP T 2.4 ChatGP T技术架构 2.5 ChatGP T内部执行逻辑 2.6 T AMER 2. 7 T r ansf ormer 2.8 深度学习框架 2. 9 大模型 2. 10 上层应用 3.AIGC框架安全 3. 1 AI供应链安全 3.2 LangChain安全 3.3 提示注入攻击3.4 提示泄露攻击 3.5 越狱攻击 3.6 数据投毒攻击 3. 7 模型投毒攻击 3.8 拜占庭攻击 3. 9 定向投毒 3. 10 模型萃取攻击 4.AIGC内容安全 4. 1 内容安全 4.2 伦理安全 4.3 安全合规 5.AIGC数据安全 5. 1 数据泄露 5.2 数据污染 5.3 数据合成 6.AIGC安全产品 7 .AIGC安全 实验室介绍 8 . 博特智能介绍 9 . 创业黑马介绍 1 0 . 参考资料www.AIGCLab.cn 《AIGC安全研究报告》 01 01 A I G C 研 究 背 景 自然语言处理（NLP）赋予了 AI 理解和生成能力，大规模预训练模型是NLP的发展 趋势。NLP的两个核心任务分别是自然语言理解（NLU）和自然语言生成（NL G ）， C hat G PT是NLP发展中具有里程碑式意义的模型之一。 C hat G PT是Open AI 从 G PT-3.5 系列中的模型进行微调产生的聊天机器人模型，能够通过学习和理解人类的语言来进行 对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写 邮件、视频脚本、文案、翻译、代码等任务。 从 C hat G PT的突然爆火让人们看到了 AI 一夜之间从一个 0 .1岁的小孩突然变成了一 个3岁的小孩。可以期待的未来正如人类孩子的成长期一样，会随着时间的推移，超级 深度大模型的学习能力会越来越强，越来越智能。 AI 的深度学习已经突破了成长的瓶颈，从算法，数据到底层算力的支撑本质上来讲 所有的技术问题都已经解决。未来将会进入 AI 领域的快速爆发和成长期，让 AI 快速的学 习从3岁的小孩变成8岁甚至18岁。 越智能的技术 背 后的安全问题越发令人担忧，一旦失控所带来的后果将会是颠 覆 性，毁灭性的。因此在发展基于深度学习模型的 AI 技术和应用的同时我们应该提前考虑 整个链路中所产生的新安全问题。 根据过往的 研究 经验 AI 所带来的新安全问题主要包括下面几个方向。 1 . 1 A I 技 术 框 架 安 全 我们 知道目 前所有的 AIGC 所产生的应用都 不 是 单 一的 创 新， 而 是基于过往的 各种 深度学习模型， 开源框架 ，算法的 优化做 的整 体组合 。整个 组装 过程中会 涉及各种开源 框架 ，中间件，算法等。 这些框架 中间件本 身 可能会 存 在 各种各 样的安全问题。 比 如 最 近关注比较多 的 关 于Lan gc ha i n 框架 P rom pt I n j e c t io n安全问题。 研究 这些框架 和算法 尽 可能的从技术底层规 避 安全问题是解决 AIGC 链路上安全的 重 要方向之一。