近年来，作为人工智能的创新应用，利用深度学习、虚拟现实等生成合成类算法，制作图像、音频、视频、虚拟场景等信息的深度合成技术已应用于多个领域。 在刺激新内容创造力的同时，也带来了许多新的威胁。
清华大学人工智能研究院、北京瑞莱智能科技有限公司、清华大学智能媒体研究中心、国家工业信息安全发展研究中心、北京市大数据中心近日联合发布《深度合成十大趋势报告（2023）》，恶意使用深度合成技术已经显示出巨大破坏力，专家
深度合成在影视制作、广告营销、社交娱乐等领域发展了多样化的商业应用，如AI合成主播、虚拟偶像、历史老照片修复、影视剧本土化配音、死于“数字复活”的演员等一些面向公众开发的合成产品也相继问世，据《报告》介绍，视频、音频、文本格式服务，如支持定制风格的特效视频制作软件等风靡网络； 语音方向衍生了语音导航、有声读物、自动新闻广播等应用； 文本合成在新闻报道、诗文创作、聊天答疑等方面起着重要的作用。
瑞莱智慧CEO田天认为，技术成熟是深度合成内容迎来爆发性增长的重要原因。 随着研究论文的不断增加，开源技术工具和众多代表性方法的出现，深度合成内容的效果更加真实，制作也更加高效，尤其是生成对抗网络等算法的出现，合成内容更是“真假难辨”
深度合成在刺激新内容创造力的同时，也带来了新的威胁。 随着技术逐渐“平民化”，不法分子可以轻易伪造音频视频，实施诬告、诽谤、诈骗、威胁等违法行为，捏造国家政治要员言论扰乱社会和政治秩序。 2023年10月，安徽合肥警方查获一起利用深度合成技术伪造手机用户面部视频破解身份证，为黑灰产业提供虚拟手机卡注册等技术支持的案件。 近年来，越来越多的类似事件开始进入公众视野。
深刻的合成内容模糊了真实与虚假的界限，严重影响社会信任、媒体信任、政治信任。 清华大学新闻与传播学院常务副院长陈昌凤提醒，在社会重大事件和政治事件节点，深度合成技术可能被用于舆论意见操控，通过社交媒体传播的虚假信息会在短时间内引发病毒扩散，激化社会矛盾。
中国工程院院士邬贺铨认为，深度合成的管理首先要技术可持续发展，要“一刀切”禁止，不阻碍正向应用和创新。 衍生的安全问题要从源头上解决，利用技术创新、技术对抗等方式，不断提高技术，提高迭代检测的能力。
报告显示，目前学术界和产业界已经在反深假检测方面投入了大量研究，元(原脸书)、谷歌、微软等机构都推出了深度合成视频认证的方法和产品。 国内，清华大学、中科大等高校在深度伪造内容检测方面成效显著，清华大学孵化团队瑞莱智慧推出深度伪造内容检测平台DeepReal等。
清华大学人工智能研究院基础理论研究中心主任朱军认为，深度合成检测面临着持续的攻防和博弈，未来需要融合多模态内容取证分析、基于数字水印的追溯技术等多方面能力，实现准确识别。
对于深度合成内容治理路径的探索，陈昌凤认为可以从技术、伦理和法制等几个方面努力，技术方面通过政府和社会组织的参与、协同治理，伦理方面建立并倡导相关的深度合成原则。
中国社会科学院哲学所科技哲学研究室主任段伟文建议，对深度合成技术引发的社会、法律、伦理问题开展系统、前瞻性的跨学科研究，对其潜在的高风险应用场景进行针对性的管理和监管。
