朱军:多模态大模型安全平台需持续演化

采编:hyt15  来源:集微网  发布时间:2023-07-03 05:55:52 

集微网报道 7月2日,“2023全球数字经济大会人工智能高峰论坛”在京举办。论坛由爱集微、北京集智未来人工智能产业创新基地有限公司、中国电信股份有限公司北京分公司承办,北京人工智能产业联盟、中国信息通信研究院、国家工业信息安全发展研究中心支持。

在论坛上,清华大学计算机系长聘教授、人工智能研究院副院长朱军就《人工智能技术现状、发展趋势与安全态势》进行了深度解读。

朱军提到,过去十年,人工智能最大的变化趋势就是从小模型变成大模型。机器学习常用的模型的规模发生了巨大的变化,呈现指数型增长的趋势。最受关注的典型成果就是ChatGPT大语言模型的横空出世,解决过去机器学习模型从不好用到好用的问题,能够理解意图和上下文等等,实现了超强的能力展示,成为人工智能领域最受关注、使用最广泛的产品。并且,发展速度可谓是日新月异。


(资料图片)

朱军认为,大模型有三大关键技术:内容学习、思维链和指令学习,以及基于人类反馈的强化学习。如果能够标注数据的话可能是最理想、最快和最好的,但这种数据通常成本是非常高的,所以需要解放对人类标注数据的依赖,基于这种偏好机器学习模型可进行打分,然后可用机器实现大量高效的探索优化策略。

如今基于ChatGPT和大语言模型的应用可谓成百上千,业界也非常关注多模态发展,如以大脑为参照,人是多模态感知的系统,天然希望能够处理多模态数据。在很多复杂工程问题中,我们也会遇到图像、文本、语音,甚至是触觉等等各种模态的数据,所以从应用和理论上都需要我们关注多模态模型的发展,这些也将是未来更强的技术基座形态。

目前来看,文本的进展是相对最成熟的,其它模态也是快速发展的过程中,图像、语音、视频、3D,甚至包括分子结构等等,业界都在尝试训练和拥抱这种大规模预训练模型。

围绕目前AIGC的两条技术路线即Transformer语言模型和序列数据和扩散概率模型的图像、视频、3D生成。朱军介绍了团队在AIGC方面的相关进展,通过在模型路线长时间的积累,去年的算法工作被早期的Stable Diffusion和DALLE2采用,还花了很多精力训练多模型扩散的深度模型Diffuser,可以支持任意模态的转化和生成,可以说当时的训练规模是学术界和工业界开源最大的一类。同时,我们也在快速优化模型的性能,目前也在对标行业最好的MidJourney快速追赶。

朱军指出,有了多模态基座模型,应用场景是非常丰富的,除了文本以外,包括视频、图像、音频等等生成任务都有可能受益,甚至启发新的应用。团队发布了基于域训练模型的3D生成,在完全没有3D内容训练的情况下即可做到。同时也可以做3D大场景的陈列,要比OpenAI有显著的效果提升。此外,我们也在探索大模型怎么解决垂直领域的一些问题,即所谓的私域服务。跟公域、通用域不太一样,私域问题的聚焦度更集中,提供的专业深度更强,对数据的要求也更高。这些都是未来比较早布局的点,具有一定的优势。

基于以上进展,朱军认为,在大模型之前的人工智能时代,已发现人工智能本身具有所谓的内在安全问题。在AIGC特别是ChatGPT出现以后,安全问题越来越严重。我们比较关注的大模型本身可能会对Prompt Injection有攻击风险,加入少量编辑就会误导,也存在数据泄露的风险,ChatGPT还会把很多隐私数据上传。现在也有用AIGC技术提升诈骗手段,通过虚假内容实现黑产攻击,包括代码生成实现网络攻击等。此外,生成的虚假内容本身是不良的,存在误导性和欺骗性。除此之外,算法本身是否存在政治偏见和数字鸿沟,数据采集的过程中会不会侵犯知识产权,这些问题在大模型时代变得越来越严峻。

究竟有哪些思路和尝试可以解决这些问题?朱军认为,需要从人工智能基础尝试,因为人工智能大部分都体现在算法层面,算法原理本身是不是能够有可以克服的问题,需要从根本上去解决。针对深度学习、深度神经网络,学术界一直在探索第三代人工智能新的范式,希望能够将数据和知识有机融合在一起,发展更加安全可靠的人工智能框架。

朱军还指出,业界需要提升安全评测能力,如对抗攻击的评测。大模型中文本攻击可以产生Prompt,能不能及早发现并且防御,这些也是需要关心的技术性问题。大模型可能会有角色扮演或者误导欺骗,应该如何识别和防御,数据投毒等等方式和手段也要进行评测。此外,还需要加强标识性能评测、数据安全评测、伦理安全评测等。

这些都需要构建有效的治理工具平台。朱军表示,团队研发企业级人工智能安全平台,通过集成自主研发的世界领先AI对抗攻防技术,提供端到端的模型安全测评解决方案。

朱军最后指出,攻击和防御其实是一个博弈的过程,如同网络安全时代,人工智能时代也需要可行的安全靶场,未来平台需要将人工智能算法早期的风险发现和相应的防御进行有效的诊断、提升和持续演化。

关键词:

关闭
每日时讯!一趟万吨电煤列车行驶在大秦线茶坞至平谷间
朱军:多模态大模型安全平台需持续演化
黄牛烧毁周杰伦演唱会门票,粉丝指责其缺钱花,难道传言是真的?
对话 | 韩帅与《绿夜》:一次与自我博弈的“行为艺术”
赌爆款激众怒,“拉垮”赌客们的音乐节淘金之旅
投奔C罗,再见曼联!滕哈赫不挽留,曝德赫亚接受25万周薪,冲亚冠 实时焦点
降雨100毫米相当于多深_100毫米降雨量有多深
望儿台(对于望儿台简单介绍)
悬念揭晓魅族PRO6真机曝光
当前聚焦:黑茶加盟 黑茶加盟费多少 黑茶加盟怎么样)
世界快讯:王者荣耀助手下载(王者荣耀助手下载官方腾讯
地基承载力检测频率来自哪本规范_地基承载力检测频率 焦点报道
《疯狂元素城》内地票房破亿 累计观影人次为275万 今头条
《夺宝奇兵5:命运转盘》:震撼夺宝冒险,继续传奇探险之旅! 世界速看
第34届金曲奖获奖名单揭晓:A-Lin获最佳华语女歌手奖,宇宙人获最佳乐团奖
2023年度浙江省大学生助学计划启动
梁洛施携家人聚餐,14岁大儿子正脸曝光像爸爸,身高快与妈妈持平-天天播报_世界滚动
每日热讯!《玉骨遥》首播,开局类似封神演义,足够虐恋,任敏肖战演技都行
全球看热讯:汪小菲接孩子回北京,张兰找3个孩子暖场,这次大S不会放鸽子了
世界资讯:肖战《玉骨遥》空降开播!全员颜值实力派,仙偶剧终于又有天花板
曾演三部大尺度电影颠覆清纯甜美!安妮·海瑟薇太惊艳了_环球微动态
333555打一成语谜底-333 555打一成语_全球独家
2023好声音将播,周华健打头阵,情怀这张牌还能打多久? 每日快报
彻底凉凉?央视将蔡徐坤所有视频下架,官方账号相关内容一律除名_全球微动态
全球播报:84岁刘诗昆带2岁女儿出国!爱女意外受伤,坚持登台表演很坚强