齐齐哈尔新闻网北京3月27日电 (贾君玉 张素)记者近日采访清华大学计算机科学与技术系长聘副教授黄民烈获悉,历时两年多时间,由他带领的科研团队建立了大模型安全分类体系,并从系统层面和模型层面等打造了大模型安全框架。
近年来,随着技术突破,大模型获得快速发展并在多个场景得到应用。不过,其存在的事实性错误、知识盲区等问题,以及面临的训练数据来源合规性、生成内容安全性等风险,也已受到广泛关注。
在黄民烈看来,要规避安全风险,降低人工智能对人类的负面影响,关键在于大模型底座。“大规模语言模型(LLM)发展到现在,模型结构和规模已有很大进展,但实用性还有待加强,我们应该通过技术让模型更加安全、可控,使其快速适配更多的应用场景。”他说。
此次,聆心智能联合清华大学CoAI实验室共同发布大模型安全评估框架。作为聆心智能的创始人,黄民烈介绍说,他们希望通过对大模型应用边界进行定义,促进大模型生态健康发展,推动人工智能研究和应用向更有用、更可信、更安全迈进。
据知,黄民烈团队建立的大模型安全分类体系中设定的不安全对话场景,包括犯罪违法、身体健康、心理健康、财产隐私、歧视/偏见、辱骂/仇恨言论等方面。科研人员针对这些安全场景对大模型进行升级,使之具备基本的安全性,“能够在遇到安全问题时给予正确的回复策略,不进行判断误导”。
此外,着眼于容易触发的安全问题类型,科研团队还总结、设计出一般模型难以处理的“安全攻击方式”,使安全体系更加完善。
黄民烈表示,未来,他们将打造中文大模型的安全风险评估的Leaderboard,为国内对话大模型的安全评估提供公平公开的测试平台,并提供针对中文对话的安全场景等,“依托自身核心技术,在可控可信的超拟人大模型基础之上,通过建立安全、可控的模型边界,让人工智能提供可信、可靠的输出”。(完)
【编辑:田博群】