← 返回列表

面向人工智能的软件工程研究与实践

聚合站 SecWiki技术 作者 CodeWisdom 发布 2021年7月28日 22:12 入库 2026-11-18T18:36:22

CodeWisdom

“智能化软件开发沙龙是由CodeWisdom团队组织的围绕智能化软件开发、数据驱动的软件开发质量与效能分析、云原生与智能化运维等相关话题开展的线上沙龙,通过微信群访谈交流等线上交流方式将学术界与工业界专家学者汇聚起来,共同分享前沿研究进展与业界实践,共同探讨未来技术发展方向。”

面向人工智能的软件工程研究与实践

智能化软件开发微访谈·第十七期

背景介绍

随着软件开发及应用数据的不断积累,软件工程(SE)与人工智能(AI)正在研究和实践中不断碰撞出新的火花。除了将人工智能技术应用于软件工程研究(即AI4SE)之外,许多研究者也关注于人工智能应用中的软件工程问题(即SE4AI)。这在很大程度上是因为数据挖掘、机器学习/深度学习、模式识别、自然语言处理等人工智能技术已经被广泛应用于许多软件应用和系统之中,由此引发与之相关的效率和质量等方面的问题。由于人工智能软件的特殊性,其在开发、测试、部署、维护、演化等方面都与传统软件有着显著的区别。因此,人工智能软件的发展也带来了很多新的软件工程问题。

围绕这些问题,本次微访谈邀请了来自学术界的多位专家进行研讨和交流,基于他们的科研以及企业实践与合作经历一起探讨SE4AI的一些基本问题,启发大家共同探讨和思考未来的发展方向。

主持人

彭鑫

复旦大学教授

嘉宾

王昊奋

同济大学百人计划,特聘研究员

刘杨

南洋理工大学领导论坛首席教授

孙军

新加坡管理大学(SMU)终生教授

李戈

北京大学副教授

熊英飞

北京大学副教授

陈振宇

南京大学软件学院教授、博导

马雷

加拿大阿尔伯塔大学副教授

加拿大国家AI战略CIFAR AI Chair

万成城

芝加哥大学博士生

预热讨论

@刘烃@西安交大:数据-模型-代码,未来智能软件的边界在哪,软件质量保障的边界在哪里?

@彭鑫(复旦大学):@刘烃@西安交大好问题。按照传统程序逻辑编写的代码、架构师设计的架构如何与深度学习模型这样的黑盒模型共存共荣构成一个可信智能的系统。深度学习模型这样的AI模型测试学术界也开展了不少研究,定义了不少覆盖度准则和提高测试覆盖度的技术,但这些与实际应用场景中用户和客户所认可的质量要求是否一致,可能也需要探讨。AI模型如果视为一种特殊的软件component,那它有什么特别的地方,如何与其他AI模型及软件component集成,也是个问题。

@CSDN邹欣:例如,一个AI 模型发布到很多用户那里去了,如何更新这个模型?

@彭鑫(复旦大学):@CSDN邹欣这个应该算持续演化和运维保障问题?MLOps应该与此相关。

@CSDN邹欣:@彭鑫(复旦大学)还有,一个模型原来支持识别 10 种狗和猫, 新模型支持识别 10 种狗和 20 种猫,但是某种狗的识别正确率会下降。用户会认为这是产品质量下降(因为他只需要识别狗的场景),如何决定更新?

@彭鑫(复旦大学):@CSDN邹欣这个涉及AI软件质量评价标准了。前两天还和@JLOU(we're hiring) @谢涛@北京大学 @李戈·北京大学聊到过这个问题:传统软件在功能大体不变的情况下通过不断修复优化,质量一般可以单调上升,但是AI软件如你所举的例子那样似乎有些不确定(有点像按下葫芦又起瓢)。

@CSDN邹欣:因为传统软件是基于逻辑, 几乎都可以做测试用例的列举,保证无回归。 但是AI 模块基于统计, 某类数据准确率从 95% 下降到 94%, 那开发者也无力指明哪个因素导致, 如何把准确率再提高。

@彭鑫(复旦大学):@CSDN邹欣所以最后有可能导致不公平:AI模型某次更新可能对有些用户有些场景有利,对其他用户和场景不利。@孙军(SMU)孙老师有AI公平性方面的研究。

@吴文胜@华为:您和@JLOU(we're hiring)  @谢涛 @北京大学@李弋几位老师提到的部分观点,我觉得,也有值得商榷的地方。比如,在功能不变的情况下,传统软件质量是否就是单调上升。这个观点中首先是前提不可能成立:软件只有存在一天,就会有变化,而且经常会有颠覆式的需求。软件人的悲剧就在这里。其次,单调上升不是复杂系统的规律,软件系统的质量不符合钟形曲线,而是和符合这次河南水灾一样的规律,幂律分布:越大的灾难(故障)频率越低。

@彭鑫(复旦大学):@吴文胜@华为这里的重点是想说传统软件通过测试用例等能建立一个相对靠谱的质量baseline,在此基础上通过不断修复和调整缺陷总体上呈下降趋势。而AI模型可能就不一定了,对应的baseline不太好建立。

@谢冰-北大:深度学习模型测试的提法在AI界里头有提的吗?啥叫测试?一个概率性正确的学习模型,存在测试的要求吗?

@彭鑫(复旦大学):@谢冰-北大AI界好像对抗攻击提得更多,似乎不太提测试。@刘杨@南洋理工刘老师应该比较了解。@沙朝锋沙老师补充下。

@刘经@西安交大:我们在关注,与大家合作了一些工程实践,但是没有看到和想出来系统性解决方案。

@孙军(SMU):概率程序也存在测试的问题吧。只是测试oracle是啥就比较难了。

@刘杨@南洋理工:攻击和测试的关注点不一样,安全人员更注重利用和攻击效果(成功率),软工更关注bug和测试覆盖率。写文章的时候也是同样的套路。

@白晓颖:个人一点感叹,“啥叫测试” 这个问题问得好,类似的,“啥叫软件”。回溯一下最初关于测试的争论,现在普遍接受的观点,测试就是以找bug为目标的活动。bug可能是功能的,性能的,安全的,可靠的……各个方面的,学科内部逐步细分为多个领域,找bug的活动也细分为多种特定的技术。从这个意义上说,GAN本质上也是一种测试。

从另外一个角度看,“软件测试”中“软件”应该是指软件系统,从纸带打孔程序,到低级/高级语言程序,到依赖数据库管理/分布式中间件/COST等的复杂系统… 从业务逻辑+数据结构,到数据驱动软件行为,到动态自适应性演化,到配置即代码…… 软件系统的正确性已远远超过程序正确性。

从质量初心来说,测试就是以软件系统找bug为目的的活动,软件系统和测试技术/系统同时在与时俱进。

@孙军(SMU):合理,只要有对错,就有测试的需求。测试以高效的判断是否出错为目的。

@吴文胜@华为:啥叫测试?这个问题问到根子上了!

测试不能为软件质量提供保证,所提供的只是虚假的保证。因为一组事先设计好的测试,只能代表软件团队对软件的一种预测模型和认识(或者说无知)水平,而实际软件有几乎无限的涌现性会超出这种认识水平。所以,这种测试只能用于验证软件交付物和团队此前认识的一致性和没有明显的编码错误。测试并不能用来发现未知的已知和未知的未知。

我现在认为,软件质量或许应该换一个角度来看。测试和实际使用都是用来揭示软件中的信息的,越多的信息(模型猜测)被证实和修补上了,则我们对软件的信心就可以越强。质量baseline可能只会提供虚假的信心。马航370我不相信没有经过“充分的测试”。

@李兵(武汉大学):实际上,软件干的活是把物理世界搬到虚拟世界中去,物理世界的问题在虚拟世界都存在,甚至超出,比如想像的东西。从进化的角度都是在顽强地与熵增对抗,这种对抗是永无止尽的。再好的测试也需要类似瑞士奶酪模型的安全机制。

@孙军(SMU):需求未知(比如某些可能被攻击的方式还没想到),想要测试完美当然不可能。这个世界从来只是我们按照模型理解的世界。

@李兵(武汉大学):所以维特根斯坦说,世界是事实的总和,而不是事物的总和。@孙军(SMU)。

@白晓颖:测试从来都是只证明有错,不保证没错;复杂系统肯定有隐匿错误,只是查出来多少的问题;系统是否交付何时交付,主要取决于在确认还有残余错误没有发现的前提下,对交付成功的confidence@吴文胜@华为。

@吴文胜@华为:考虑到软件的演化,这个残余错误(包括漏洞)的数量可能是无穷大的呢。怎么办?任何一次软件维护或开发活动,都可能让原来的模型发生重大改变。我最近兼职负责的一个内部系统今年就收到了四个不小心就会颠覆原有模型的需求。这只是我知道的,肯定还有不少没有走到我这里(重大需求),直接被开发团队“主动”采用了的需求。

@董震(新加坡国立):测试本身也是有生命周期的。如果需求未知,可能谈就不是测试了,而是对软件本身的认知了。测试定义上讲是简单的,给定规则,测试是否违背。@吴文胜@华为。

@白晓颖:software decay,很多年前就讨论的问题,现在“技术债”也有类似的含义@吴文胜@华为。测试生命周期和被测软件的生命周期密切相关吧,回归测试的定义本身包含了对“变化的需求”(参考早期论文),所以,软件演化过程也是持续的回归测试过程。

@吴文胜@华为:“软件只证明有错,不保证没错”,可能会画出一副虚假的信心图示。这是很多软件质量管理工具的理论基础。一些人的印象中,如果我们能让有错的圆越大,则不能保证的没错的面积,就相对越小。

@董震(新加坡国立):赞同,需求变化没关系,但是是已知的。规则可以变化,但不能未知啊。@白晓颖

@吴文胜@华为:技术债务或软件腐化是站在当前看问题,但这里有两个问题,一是未知的(包括不能检测、不能理解的)算什么?二是未来的算什么?

@董震(新加坡国立):给定时间点,错误存在一个集合上,可能是无穷,但是少一个错误,绝对意义上就是少一个。

@吴文胜@华为:就软件谈软件,可能快不够了。软件工程是不是需要引人一些新的视角?或者重新审视原有的那些概念和工具?去掉一个0.1,对于实数集合有什么影响呢?就算是把(0, 1)以外所有的实数都去掉,又有什么影响?还是一个无穷大。

@董震(新加坡国立):是的,那就是测试的效果问题了吧。绝对意义上,是少的了@吴文胜@华为。

@吴文胜@华为:绝对意义是一个很可怕的词。马航370是绝对意义之内还是以外的呢?本质上,软件是无数关注点的交织。每个关注点本身的变化可能就是实数一样的无穷大。它们的交织,组合起来是一个更高阶的无穷大。这里恐怕没有什么绝对。可怕的是关注点还在不停地移动,增加。

前两年,多了一个可信,韧性;这两年,自动驾驶出来,又必须搞定“功能安全性”;滴滴事件发生,我猜想,隐私大概是将来不得不考虑的事情了。

@董震(新加坡国立):测试是"单纯的",让她完成对软件的认知,难为她了。

@白晓颖:前提是软件是“单纯的”~软件复杂了,测试还单纯,名不副实了。类似还可以问~啥是智能软件?在测试能力需求上,与非智能软件有何“交、并、补”的关系?

@彭鑫(复旦大学):@吴文胜@华为软工领域有个twin-peak模型来解释这事,就是不光需求影响架构,架构也会影响需求,因为大多数时候我们希望在现有架构基础上提新需求而不要让把需求把架构颠覆了。

Bashar Nuseibeh:Weaving Together Requirements and Architectures. Computer 34(3): 115-117 (2001)

@董震(新加坡国立):传统软件的测试规则定义在单个输入上,AI的测试规则定义在一个数据集上,或者被称为超级属性,单个输入难于验证超级属性,比如公平性,(最近被科普的)。

@孙军(SMU):并不准确,是不是hyperproperty 只跟属性本身有关,和什么软件没关系,传统软件如果是测non-interference,也是更多个输入有关。AI如果测的是reachability,一样是单个输入相关。

@董震(新加坡国立):赞同,这个没有明显的边界,需要看具体情况。@孙军(SMU)。

@吴文胜@华为:活了一段时间的系统大抵是这样的。逻辑推演和实践经验都表明,针对第二点的期望基本上做不到。新的需求一定会很快击溃架构!那些没有濒临崩溃的架构,基本上都是系统本身没有生命力了,或者说,系统的应用场景消失或僵死了。最好的AI测试和开发的关系也就是这样子吧!

@宋巍-南京理工大学:既然测试是为了找bug,请问AI部件的bug怎么定义?有哪些种类?

@孙军(SMU):这个看需求。比如有公平性的需求,不公平的就是bug;比如you鲁棒性的需求,不鲁的就是bug。

@白晓颖:我觉得这是根本问题之一,测试用例的基本概念就是:输入,预期输出,正确性判定。输入是怎么多快好省地生成样本,但AI或是概率编程或是量子编程,触发了基本概念重新定义:如何定义预期输出以判定正确性。

@彭鑫(复旦大学):关于刚才大家说的,我有两点看法:

1)AI测试,到底是测还是评:测试中测似乎针对绝对的标准(满足不满足),而评可以是相对的(可以打个分)。AI测试可能评多于测,因为AI测试的任务(对话、推荐、辅助决策等)决定了很多时候好坏是相对而不是绝对的。即使是人脸识别这种相对客观的应用,如果一个人整容了那么即使是人也有可能识别不出来,这时候AI认不出这个人是不是也是合理的(认得出这个人反而有些奇怪)?

2)AI测试的评判标准很多时候不可避免带有主观因素。传统软件所实现的功能具有良好的规格定义,往往在需求定义的时候已经把不确定或主观的部分撇开,例如软件提供数据按需展示查询然后人来做决策,这时候软件的功能正确性基本就可以客观评价了。但是AI应用承载的很多时候是代替或部分代替人的高层决策任务,这种任务本身就带有主观性(如推荐商品、判断某个人行为是否可疑),因此很难定义统一的绝对性标准(例如对你不友好的结果对我可能是好的)。AI的所谓歧视有时候反应的可能是不同人的不同观点,是否属于歧视跟个人偏好甚至世界观相关。

这样说的话,AI测试可能有一部分能够按照统一标准测试,有一部分就只能说众口难调个人有个人的感受了。

访谈主题

面向人工智能的

软件工程研究与实践

今天的主题围绕人工智能软件,访谈前各位嘉宾也探讨了一下这个题目的范围。AI是一个很泛的概念,我们今天的讨论围绕的是一类具体的AI软件,即目前流行的数据驱动的包含机器学习模型的应用软件。

01

人工智能应用软件与传统的软件相比,在开发、测试、部署、运行、维护和演化等各个方面存在哪些不同的特点?

02

据您了解,人工智能应用软件在当前的企业实践中存在哪些典型的软件工程问题?对于这些问题和困难,软件工程师目前采取的应对方案主要有哪些,还存在哪些困难和挑战?

03

您以及您所在的团队是否对于学术界智能化软件开发的相关研究成果(如论文、工具演示等)有所了解?是否进行过相关技术的应用或跟学术界开展相关合作?效果如何?

04

当前业界也越来越重视人工智能应用软件的运行保障和持续演化,因此诞生了与DevOps相结合的MLOps的思想。能否谈一下您对MLOps的理解?MLOps中有哪些新的软件工程问题需要解决?

05

您对面向人工智能的软件工程研究未来的发展怎么看?有哪些有价值的研究方向值得探索?软件工程研究者应当如何与人工智能研究者和业界专家相互合作推动技术和实践的发展?

Q&A记录

Question 1

主持人:人工智能应用软件与传统的软件相比,在开发、测试、部署、运行、维护和演化等各个方面存在哪些不同的特点?可以将人工智能应用软件作为一个整体进行概述,也可以针对某一类人工智能应用软件具体分析。

刘杨:

与传统软件相比,人工智能应用软件的主要核心是AI模型,其没有代码结构。具体来说,在开发过程中主要是以数据驱动的方式训练模型,而不是传统的程序开发;在测试阶段,正如大家所知,AI模型本身不可能100%正确,因此测试过程中哪些错误预测是可接受的,哪些不可接受比较模糊,也就是oracle问题。在测试过程中需要考虑训练集的数据分布,例如有些数据从未在训练集中见过,因此错误预测也不可避免。此外,测试标准以及测试用例生成等都与传统程序都不同。在部署阶段,AI系统需要考虑部署的AI框架以及后台硬件,因为不同版本的框架、平台以及硬件都会导致一些精度差异,从而造成结果不正确。在维护和演化方面,目前AI模型的版本控制以及回归测试等不如传统程序成熟。其更多依赖增加数据、调参或者调整模型结构等方法来更新模型。

因此,总得来说,由于AI模型与软件程序的不同,其在开发、测试、部署、运行、维护和演化等方面都具有不同的特点。

孙军:

从软件开发的角度看,我感觉人工智能现在接近当时编程刚起步的时候。比如当时大家还是goto乱用,也不太注重各种对降低软件开始复杂度有帮助的方法(比如OOP等等)和过程(比如敏捷开发等等)。神经网络太好用也太容易用,大家就高高兴兴了把一堆有的没的都用上了。结果就是测试,debug,维护等等都莫名的艰难。就跟传统程序一下,我感觉慢慢也会有针对人工智能应用软件开始的理论,工具,process以及标注出来。这样慢慢整个过程会变得更可控一些。

总的来说,AI开发是在百业待兴的阶段,大家要抓住机会。

李戈:

直观讲,人工智能软件包含了一系列传统软件开发不包含的步骤,例如数据收集,模型训练,模型验证,以及针对模型的测试等等。如果稍微严格一点的说,人工智能应用软件在需求分析、系统设计、实现、测试、部署、运行、维护、演化各个阶段都有不同。这是因为人工智能软件的基础实现并不是以结构化程序为基础的,以深度学习为例,其智能部分是依赖于概率模型,这导致了传统的软件开发方式在一定程度上的不适用。

熊英飞:

我们之前申请了一个“深度学习系统测试技术”的项目,在申请书中,我们总结了深度学习系统测试和传统测试几个关键不同点。

可控程度:传统软件的可控程度比较高。只需要发现一个能触发错误的输入,程序员就能调试和修复错误。但深度学习系统的可控程度比较低,通常我们就算发现了有输入分类不对,我们也不知道应该如何修复系统。

缺陷来源:传统软件系统的缺陷主要来源于代码,但深度学习系统的缺陷除了来源于深度学习程序代码,还有可能来源于训练数据。

错误阶段:深度学习系统的在构建的时候需要经历一个耗时比较长的训练阶段。很多错误都出现在训练阶段,比如出现NaN的错误,或者梯度消失的错误,这些错误导致大量的训练时间和计算资源被浪费。传统软件的编译阶段耗时相对少很多。

空间大小:传统软件的输入空间往往比较小,比如一个计算加法的程序,其输入只有两个整数。而相对,深度学习系统的输入常常是一个维度比较高的张量。如果我们测试的是训练前的网络模型,因为模型的参数还是未知的,这些参数也都需要考虑为程序的输入,这就导致输入空间进一步变大。这就导致在传统软件上比较有效的“在输入空间中搜索”等方法用在深度学习系统上不一定有效。

陈振宇:

这里大家谈的数据驱动的智能软件,往往依赖数据训练来构建决策模型,在软件需求上往往不明确,从而给后续开发、测试和维护带来很多新的挑战。还有就是这些智能模型几乎没有单独使用,大都是作为一个模块嵌入到传统软件系统。因此还是很需要传统SE。

马雷:

AI应用软件分为很多种,比如早期的基于搜索的,符号的方式都属于AI软件范畴。近年在各领域应用取得突破的更多是基于数据驱动的人工智能软件系统(如:机器学习,深度学习等)。 基于数据驱动的编程范式和传统软件存在着本质的区别,开发工程师的角色从大量人力进行逻辑的编写,转换为对数据的收集,标注,以及学习算法的准备,主要的逻辑是通过学习算法自动获得,在表达方面也与传统软件存在较大差距。 这使几乎在整个MLOps和开发Lifecycle,虽然流程上仍比较相似,但具体的技术与工程方法与传统软件都存在巨大差异。

比如我们与富士通实验室的近期合作中,针对AI语音语言系统进行质量保障相关方法研究。 该系统分为,语音转语言(speech to text),语言分析理解 (NLP/NLU),以及语言转语音(TTS)等多个模块,整体形成一个复杂的AI系统,在开发过程中,数据质量,算法提升,测试,包括后期的部署以及持续质量保障都围绕着数据与模型,而传统软件代码部分更多起到粘结的作用。 然而,从工程方法角度,这个MLOps仍处于进展中,有大量研究和工程问题值得探索。确实如几位老师所说,大量挑战与机遇。

万成城:

人工智能的特性为传统软件的开发和维护带来了许多新的挑战:

  1. 复杂的输入要求。 人工智能组件经常被用于处理图像、文本、音频数据,这些数据通常包含大量潜在信息,而且取值范围远远广于人工智能组件的训练集。在这样的背景下,如何对这些数据进行验证、预处理以适应人工智能组件是一个极富挑战性的任务。

  2. 不确定性。存在三个不确定性。①正确性不确定:与传统软件相比,人工智能引入了准确率的概念:人工智能组件并不能保证每一次运算结果都是正确的。②结果不确定:当人工智能组件通过在线学习进行迭代优化时,同样的输入在不同时刻将得到不同的运算结果。③BUG不确定:当一个单元测试未能通过时,开发者往往很难分辨这是由于人工智能组件本身的缺陷、不妥当的数据预处理、还是对人工智能组件的误使用。

  3. 复杂的权衡。人工智能应用需要做大量的权衡:分类算法和物体识别哪一个更适用于当前图像处理粒度?应当采用泛用模型还是领域模型?多组件协同时应当如何分配计算资源?是否应当采用并行化/近似/早退机制?

我在ICSE21发表的工作对这一问题进行了探讨。

论文:

http://people.cs.uchicago.edu/~cwan/paper/ml_api.pdf

Artifact:

https://github.com/mlapistudy/ICSE2021_421

@孙军(SMU):从测试分析的角度,1和2很大程度上造成了oracle不明确,好多东西就无从下手了。

王昊奋:

AI软件的大范围应用还在起步阶段,SE和AI两边对一些问题认知不太一样,需要多多交流。

AI太偏算法,目前的AI公司,其实好多AI工程师缺乏软件工程的能力和思维。而因为当代软件引入AI元素之后,除了算力原因导致部署和各种配置等有很多复杂度,更大的问题在于数据带来的变数,而数据本身就因为质量问题或存在不断的变化和不确定性,所以原来以功能测试为主的需求变更,会变得更加频繁。

数据本身的变化或线上和离线的不一致导致冲突或复杂度高了不少。

此外,因为AI现在还是以监督学习为主,这就导致之前的上线部署也有所不同。

另外,其实有两类AI软件:

  1. 纯AI软件,看看各种如Kubeflow等都在场景将整个AI系统的开发、部署、测试、优化等在做很多的结合。还有很多如Uber早期的Michelangelo等系统,都是MLaas的典范,集成各种框架,屏蔽各种底层的硬件或系统软件(如OS等)差异来简化整个流程

  2. 部分AI软件,比如智慧城市(可能在整个过程中有CV等视觉模块,或Speech等听觉模块),又如智能客服(有自然语言处理NLP模块或语音Speech模块,但是也有很多业务服务的整合和接入)

我觉得2的范畴和应用范围会更广,也是两个community进行快速交流和对齐的主要场所。

第二类软件其实除了传统要做的功能和性能等测试,还需要特别针对AI模块进行效果测试。当然在功能测试时因为包含了AI模块,case的设计和生成就变得复杂。同时,上线之后的监控,Bug的反馈(AI的bug主要还是效果上的bad case)以及基于此的优化更新的考虑因素就更多。同时因为带有不确定性,所以本身的链路就更长。其实之前在搜索、推荐和广告等互联网智能应用中有不少思考,只是这种思考和实践仅限于少数几家公司,而目前因为AI的普及性和大家对他们的关注,使得大家发现这些经验要被补强和更好的宣传。

当然也有一个不一样的地方,就是目前的AI应用更多其实在于2B和2G,而非互联网时期的2C,这样导致其实技术提供商他不直接拥有一方数据,一方面数据量和互联网相比更少,另一方面部署的环境相对技术提供商更不确定,且很多经验无法直接transfer,这是需要有新的best practice的一个原因。

所以大公司都在尝试努力重新思考AI的Paas平台,大厂通过各种平台的赋能和标准技术输出来统一流程,并培养AI时代的SRE工程师,同时将因为数据引出的各种不确定的优化等交由各种ISV或end2end的应用提供商来思考,所以现在还是一个群雄割据没有一个标准说法的时代。

@孙军(SMU):确实,不少公司都在力争有个一统天下的平台。

@王昊奋:这件事情其实挺难的,因为数据的隐私保护、算法的公平性解决(偏见消除)和平台的垄断性打破,是目前AI治理的重点。

@彭鑫(复旦大学):@王昊奋纯AI软件里面传统软件代码一点没有吗?界面、控制、调度等是不是还是需要一点软件代码。

@王昊奋:是的,有的,正如我上述说的,其实混合型应用(AI模块+传统软件的结合)是主流。

@彭鑫(复旦大学):另外,我感觉针对系统的整体测试有时候可能会比单独针对AI模块的测试更简单一点,不确定性更小一点,或者说更接近传统软件一点。例如,系统整体设计会通过传统算法加上多个AI模块的综合集成追求更加确定和可靠的结果,因此系统整体测试可能会更单纯一点(例如给定输入后期望确定性的输出)。

@万成城(芝加哥大学):是的,AI软件的一大特色是数据和代码一起定义软件行为,这使测试变得尤为复杂。

@孙军(SMU):合理,其实一个比较可行的方案可能就是在AI外围保证有一层基于逻辑的,可以判断对错的软件。

@刘杨@南洋理工:是的,无人驾驶汽车的测试就是系统测试,难度更大。

@彭鑫(复旦大学):@刘杨@南洋理工是更大还是更小?

@马雷:是的,系统层面往往涉及到多个领域的子系统,具有很多不确定性,并不会特别容易。

@刘杨@南洋理工:AI系统测试比纯AI算法的测试更难。

@万成城(芝加哥大学):人工智能的正确与否,很大程度上是人的主观评判。从这个角度来看,一旦给与用户明确的使用场景,他们能更容易地判断正误。

@马雷:是的,这就涉及到对模型能力边界的理解。

@王昊奋:还有各种伦理道德(电车难题)和各种corner cases。

@李戈·北京大学:这个很难吧,如果外面有一层能决定判断是对是错,那AI就不用决策了啊。

@万成城(芝加哥大学):有时可以利用用户反馈,进行AI的在线更新。

@孙军(SMU):至少需要保证不会有严重的错。比如自动驾驶就有人提不管怎么用AI来做perception,必须要有一个额外的不经过AI的保证不撞车的部分。

@马雷:同感,这个过程其实又是一个learning的过程,不过如果有严格的统计分析或许可以有帮助。

@李戈·北京大学:嗯,用于决策边界的控制。

@王昊奋:其实人工智能也有新的区分,有Autonomous Intelligence,以及Argumented Intelligence (AI + Human Intelligence (HI)),对于前者其实只要有明确的优化目标即可,可以不用人来判断,也是相对客观,各种物流调度和棋类等,而难的是辅助决策的增强智能(要靠人,也有伦理问题等)。

@彭鑫(复旦大学):@万成城(芝加哥大学)但是会不会不同的人偏好、立场不一样,从而结论也不一样?

@万成城(芝加哥大学):这很可能会发生,AI领域认为可以通过一个general model和数个user custimized model来解决。

@彭鑫(复旦大学):@刘杨@南洋理工可能是伦理、法律问题等现实问题在系统级出现了。

@刘杨@南洋理工:这个整体测试需要理解问题出现在哪里,这里面也涉及AI和传统程序对接的问题。

@马雷:目前已经很多国家已经推出了指南,并在拟定标准,所以AI系统在产业化过程中都需要考虑这些刚需。

@李戈·北京大学:中国在这方面有相应的动作吗?

@王昊奋:看看中科院和清华这里的工作,代表人物是曾毅老师,参与了中国和国际AI治理的标准和原则制定。晚些时候找找,今年WAIC还有一个相关论坛。

@马雷:https://www.loc.gov/item/global-legal-monitor/2019-09-09/china-ai-governance-principles-released/

Question 2

主持人:据您了解,人工智能应用软件在当前的企业实践中存在哪些典型的软件工程问题?对于这些问题和困难,软件工程师目前采取的应对方案主要有哪些,还存在哪些困难和挑战?

刘杨:

模型测试、调试以及修复是比较典型的软件工程问题。在模型训练后,大家都知道仅依靠测试集是不够的,因此在企业级中仍然缺乏系统的测试方法以及对模型定量分析,例如当前模型的可靠性或者鲁棒性到底有多少,需要定义合适的度量指标来帮助分析AI模型。此外,当发现模型的缺陷后,如何自动化定位以及修复这些问题仍然是很重要的问题。当前,这些问题在传统软件工程已经具有比较成熟的技术,但是在人工智能应用软件中仍然缺乏相应的支撑。目前的方案主要还是以人的经验为主,比如人工收集特定测试场景的数据测试模型(例如,不同环境下的图片,下雨加雾等,不同场合下的语音,嘈杂环境下/安静环境下等)。对于模型的问题定位以及修复,还是依靠人的经验去观察与修复,例如:增加训练数据,删除噪音数据,调参,替换别的模型。近年来一些AutoML技术例如NAS (network architecture search) 已经被提出,其可以帮助自动化的提升模型的性能,但是仍然面临 scalability 等问题。 因此,作为软件工程领域的专家,我们需要将传统软件的测试、调试以及修复经验应用到人工智能应用中。

@彭鑫(复旦大学):@刘杨@南洋理工那就是涉及问题定位了,因为是系统集成测试因此定位必然比模块级测试复杂。

孙军:

和企业实践打的交道不算太多。就我看到的可能所有的方面都有困难,包括各种理论不存在或者不成熟,各种工具也比较粗糙,也没有很好的development process,也缺少各种标准(类似common criteria这种)。当然传统软件也搞了几十年,这些都需要时间。

具体来说,我这边看的相对多的是安全相关的,主要是神经网络方面的。因为神经网络并不是以逻辑为基础的,很多针对传统软件安全的措施就失效了。比如code review,很容易发现传统软件的后门,但这个对神经网络就毫无作用。在比如传统软件通过一些access right policy就差不多能搞定一般的隐私问题(即没有个人信息泄漏),这个对神经网络有也基本毫无作用。别的方面还有诸如人工智能应用软件测试标准,人工智能应用软件的认证等等问题。当然这些问题已经有不少大牛在研究了,具体最后能解决到什么程度暂时还不好说。毕竟软件这么多年也没有完全解决。

熊英飞:

关于这个问题,我们在ISSTA'18上有一篇实证研究论文,基于开源软件的数据分析了测试和定位TensorFlow程序缺陷的挑战,比如正确性定义是概率性的、执行有随机性、容易产生偶发正确等。这些挑战都需要进一步研究解决。

李戈:

如何对智能软件进行测试与验证是个很大的问题。站在开发者的角度,如何高效的验证软件实现是否与需求预期相一致是个费时、困难的问题。目前的开发者们只能通过反复跑测试数据集的方式进行验证,但这一过程非常耗时,而且,测试结果带有概率性质,无法直接对应测试结论。

站在企业的角度,对智能软件的验证与确认也是个非常明显的问题。当前,企业用户只能通过“实际试运行”的方式进行实践性验证,但这种方法非常耗时,验证代价也非常大。不仅如此,这种验证方式也难以直接应对到系统的问题,往往大家只能看到一个最后的综合结果,难以快速确认问题到底发生在哪里。

@熊英飞 北京大学:这样看起来好像可以搞点“增量训练&测试”的技术,改了神经网络之后不用全部重跑。

@李戈·北京大学:怎么说呢,这事儿其实我们已经遇到了,aiXcoder部署到企业的时候,企业要求我们自己证明自己是有效的....但人家可不管训练数据集合适不合适。

@彭鑫(复旦大学):@李戈·北京大学很多企业都很着急啊,没有标准他们不知道往哪个方向发展是合理合法的。政府和社会也着急。

马雷:

几乎传统软件中存在的大量问题,在AI软件系统中仍然存在。 此外,对于数据和AI模型的分析和理解,或许是区别于传统软件的新挑战。 由于对于数据和AI模型缺少可量化分析和直接解释的方法,使得其在AI系统中的作用与角色存在较大的不确定性和风险。 这也使得一些企业在AI应用方面产生诸多困难。然而,AI无论从方法还是从工程角度,在过去3~4年都取得了飞速的进展,其中部分技术也逐渐在企业中得到了一定程度的应用。 在我们和企业的合作中,我们发现大部分企业工程师仍主要采取AI系统识别的精度作为质量的一个评测指标,然而随着欧洲可信AI指南,国内 principles of AI Governance, ISO,IEEE等对于AI系统的指南以及对质量的规范,大量的质量和可靠性相关的指标将变成AI软件在企业使用的硬性指标,比如: 安全,可靠性,可解释,隐私性等。

我们的一些合作企业和相关项目也在及其迫切的推进相关的技术研究,从数据,代码,模型等多方面提供质量保障。

@李戈·北京大学:学习了!我原本以为标准这事儿,怎么也得等到AI本身长全了再说,没想到,已经有了。

@王昊奋:这是最新的,不过不是偏治理,是中电标和上海的AI标准委一起弄的。

@马雷:其中 ISO/IEC 推的trustworhty AI系统是几年前刚成立的一个新的 标准工作组。目前大概在同时推进40个左右相关标准, 有10几个已经发表了。

@孙军(SMU):就是说这些标准偏重process?

@马雷:是的 更多偏重开发过程标准化,其中相当的比例也是对质量保证和工程管理相关。

@孙军(SMU):就是相当于best practice了。

@万成城(芝加哥大学):目前我正在美国微软做相关实践。对于人工智能应用,企业倾向于使用简单且可靠的方案,而非学术研究中青睐的复杂且精准的设计。我认为人工智能研究需要更紧密地与生产场景进行结合,而非仅仅针对实验室场景进行优化。

@彭鑫(复旦大学):@万成城(芝加哥大学)AI对现实世界的渗透性不可避免地把人类社会的很多争议带入到软件开发和测试中。

@陈振宇:事实上,行业里的智能软件应用远没有AI论文常见的数据那么充沛。数据质量也没有实验室那么稳定那么好,企业界智能应用实施需要持续的有标数据进行质量改进(这个后续MLOps的时候在谈)。学术界现在更多讨论的是智能软件模型本身,工业界更在乎的是作为软件系统(智能模型作为一部分)交付实施后的质量保障。

@彭鑫(复旦大学):@陈振宇就是说工业界更关心作为整体系统的质量,这也合理,毕竟最终运行并发挥作用的是系统而非其中的AI模块。

@陈振宇:大部分智能软件行业,正在交付系统中的AI模块远没有大家想象得那么多那么重要。

@王昊奋:工业界要的是一个整体,对于里面的一个螺丝在整体还没搞定的情况下不会特别关心,所以整体的稳定性 VS 部分的精细化设计与充分测试,本身就是有很多矛盾点。甚至会先degrade到专家或规则系统,等都稳定(解决了传统软件的问题)之后,再去upgrade到更多data driven的方法,这样可以在保证整体的同时,将关注点更多侧重在特定的AI模块了。

@李戈·北京大学:的确如此,应用者是看结果的,好的结果对他们来说才是重要的,用了什么没那么重要。

王昊奋:

AI软件其实存在几个特别的问题:

  1. 跨语言性:一般现在AI软件开发(底层是C/C++,而上层主要是Python),而在Production环境(2B和2G)往往是Java或golang等,这时候就意味着需要进行代码的重写,而这对于AI工程师来说其实是比较陌生的,而对于传统的软件工程师,又有可能会存在重写因为不了解算法而产生各种Bug(AI软件测试的不确定性和覆盖率等难度更高)。

  2. 跨硬件:往往会存在训练采用了GPU,而推断(在线服务)时只有CPU机器或甚至需要移植到device,那么这个时候需要考虑指令集的支持,代码的重构,甚至是通过各种蒸馏算法来做模型压缩,这个时候的异构和数据层面和训练推断分离产生的复杂性,会使得AI软件的流程更复杂,隐含问题更多。

  3. 同一个功能或服务的不同模块实现

3.1 往往会有基于规则的(处理hot fix的bug),基于传统统计学习的(在小样本情况下),基于深度学习的(在有大量样本)的相辅相成,他们完成的功能对外观察是一致的,但是往往是适合不同规模的数据,不同情况的程度,甚至是部署在不同的机器上,如果深度学习基于预训练模型,则可能会提供AI Serving服务(在特定的GPU集群上),另一方面随着数据的积累(或通过数据增强或迁移学习,甚至元学习等手段),往往有些规则需要被学习算法甚至是深度学习算法替代,这就导致了不同系统因为对外服务的能力的重叠性,以及更新的不同频度,还有跷跷板问题的解决等变得更加复杂。

3.2 另一方面,机器学习中有一个重要的概念也广泛使用的是集成学习,所以往往会有多个模型同时提供服务,那么这些模型的上下线,更新以及集成学习的性能提升,也是另一个需要考虑的。

特别是3,这是和传统软件开发不太一样的,3.1还可以类比数据库软件,有cache, in-memory和on-disk等,而ensemble learning是另一个完全不同的。

@彭鑫(复旦大学):@王昊奋部署、集成等方面进行了很好的分析。

Question 3

主持人:人工智能应用软件的验证和测试目前得到了广泛关注,能否介绍一下您所了解的当前的研究和实践进展?当前的研究和实践还存在哪些不足,未来发展的趋势如何?

刘杨:

我们组在测试方向做了一些工作。目前软件工程甚至AI领域都出现了一些测试工作。其实与传统软件测试类似,其问题与挑战仍然集中在:

1) 测试用例生成, 如何生成更真实的测试用例。当前的工作仍然使用一些简单的变换,例如加噪音,旋转等,其不一定能够代表真实场景。

2)测试标准,如何衡量测试用例的充分性与完备性。近来一些工作基于神经网络结构来定义 structural coverage criteria,但是其内在的含义仍然不清楚。一些工作也已经质疑并揭示了这些标准的limitation,因此如何定义更具有语义信息的测试标准是一个难题。

3)Oracle 问题。对于没有标注的数据集,无法判断预测结果是否正确。当前的方法是采用 metamorphic testing的思想,来判断加入一些变换后,预测结果是否发生变化。 我个人觉得在以后的研究中,对AI 模型的理解与可解释性是基础核心问题,在理解AI 模型的判定逻辑后,再设计相应的测试算法以更好的测试AI系统。

最近写了一篇综述,里面有比较详细的介绍:

Machine learning testing: Survey, landscapes and horizons

https://ieeexplore.ieee.org/abstract/document/9000651

孙军:

就神经网络的话,验证这块最近比较热门,出了不少很好的文章了。刚开始大家就是把原来传统软件的方法套到神经网络的验证上,比如symbolic execution,比如abstract interpretation,比如statistical model checking等等。当然慢慢的也有一些不一样的东西出来了,比如新的针对神经网络的抽象域慢慢有了,比如DeepPoly和RefinePoly。

测试这块也差不多,刚开始大家就是试着把原来的概念,比如覆盖率啊比如差异测试啊等等的不管好不好先用上吧,后续还有点新的东西出来的。

如果说有什么不足的话,就是神经网络本身还有不少问题,比如神经网络没有很好的结构,不像传统程序一层层抽象做得很好了(比如函数,类,包等等),这样造成的后果就是很多什么只能做global analysis,效果就很不好。比如对验证而言就很成问题。大的网络已经可以有上亿神经元了,验证的话,简单的网络也就几千个就不行了。当然机器学习那边看到了这个问题,比如hinton就在提capsnet这些,想要加结构。

还有就是验证测试都绕不开specification/oracle是啥的问题,这个现在也只有一些简单的,比如robustness, fairness, privacy等等。

@彭鑫(复旦大学):@孙军(SMU)嗯,神经网络不像传统的程序那样有明确的分解和抽象层次。

@马雷:是的,最近流行用连续逻辑(continuous logic)这次词来描述。

@孙军(SMU):是,这个早期程序也类似,希望慢慢会好起来?不顾也不一定,人脑貌似结构就不明显。

@刘杨@南洋理工:现在的AI的趋势就是做抽象,结构化和逻辑化吧。

李戈:

这是我很感兴趣的问题。

先说问题吧,当前针对智能软件的测试方法的研究还处在相对早期的阶段,还存在一些问题。首先,在研究测试方法之前,我们应该清晰地区分测试的对象和目的。

为什么要进行测试?测试的目的是什么?对什么进行测试?对这几个问题的回答决定了我们应该采用什么类型的方法与技术。

从我的角度,针对智能软件的测试应该首先明确测试目的:是要发现智能软件实现中存在的bug?还是要找到智能模型预测或处理不准确的地方?这两个目的截然不同。如果是前者,那智能软件测试就是一个软件工程问题,但如果是后者,那就几乎等同于一个机器学习问题。

我觉得当前的一些工作仍然没有清晰地区分这两个问题,希望在未来能区分清楚。

@CSDN邹欣:【从我的角度,针对智能软件的测试应该首先明确测试目的:是要发现智能软件实现中存在的bug?还是要找到智能模型预测或处理不准确的地方?这两个目的截然不同。如果是前者,那智能软件测试就是一个软件工程问题,但如果是后者,那就几乎等同于一个机器学习问题。我觉得当前的一些工作仍然没有清晰地区分这两个问题,希望在未来能区分清楚。】 但是,我们的企业用户会在我们算法的结果上再构建工程项目, 那么,我们 AI 模块的变化, 又会导致他们工程的变化。 我在微软Azure AI 团队就碰到了这样的问题。

@陈振宇:事实上有时真不容易区分,除了明细的程序逻辑和软件奔溃等问题。

@彭鑫(复旦大学):@CSDN邹欣这里就涉及AI模块跟其他软件模块之间的职责分配和集成问题了吧。

熊英飞:

我对于测试和验证人工智能应用软件(即:训练好的模型)一直是持有疑问的。之前我提到了人工智能软件和传统软件的一个区别是可控程度,测试发现了一个机器学习模型会有分类错误,我们并没有什么有效的手段可以改掉这个错误。之前的一些论文把发现的分类错误数据又加回去训练,确实有时也能带来提升,但从理论来上来说这个做法是有问题的:输入的分布被人为改变了,可能会对学习系统产生误导。所以,与其研究人工智能应用软件的验证和测试,我倒觉得应该重点考虑下面两个方向。

  1. 如何帮助程序员更好的编写深度学习程序。帮助程序员一直是软件工程的根本任务,而在深度学习时代,程序员的任务包括撰写神经网络体系结构代码(即TensorFlow/PyTorch代码),收集/标注数据,清洗数据,转换格式等。这些方面有很多问题可以研究,我们去年的一篇ESEC/FSE论文提出了静态分析查找神经网络体系结构中数值计算缺陷的方法,获得了ACM SIGSOFT杰出论文奖。南京大学之前也有降低程序员标注数据工作量的论文。同时,在这些任务上还有大量问题可以做,比如:神经网络体系结构代码(而不是训练好的模型)应该如何测试?传统单元测试/变异测试等概念应该如何用上来?高质量数据能否更容易地获取或选择?数据转换代码这些临时性代码应该如何测试?

  2. 研究根据测试结果稳定提高深度学习预测精度的方法。目前的测试工作往往是基于蜕变关系等部分规约进行,这些规约虽然不完整,但我们仍然可以找到大量的分类错误。这也意味着,在发现错误的这些输入上,我们是有可能知道对应输出是什么的,因此可能能做出稳定提升深度学习预测准确率的方法,而不是直接把测试发现的分类错误数据加入训练集,对模型质量提升得不到任何保障。我们这边的孙泽宇同学在这个方向已经做了一些探索,描述在他的ICSE'20论文中,不过仍然有很多工作可以做。

马雷:

直观的一个感觉是 AI测试验证相关研究在过去几年进展推进速度惊人,2~3年时间大概已经有上百篇相关工作。整体上和3年前项目,感觉在大的方向上比之前都有了更加深入的理解,目前的研究工作还有进一步思考的空间。 比如:

1)目前大家普遍都是关注图像分类任务,这是比较局限的。 比如语音识别和自然语言处理领域与图形差异很大,所以 应该针对更多的应用领域交叉研究是接下来可以考虑的方向。

2)其次,AI的算法以及模型结构原理差距也比较大,比如在语音,语言应用中使用 LSTM,BERT等AI模型,与CNN等在结构和原理上都有比较大的差异, 因此如何针对各种AI模型结构的,比较深度的测试分析方法仍需要进一步探索。

3)此外,与传统软件不同,AI软件通常给予基于概率的预测, 高度不确定性,所以在进行相关测试中,比较容易会找到一些可以使AI软件出错的测试用例,然而如何理解这些错误以及相关方法仍需要进一步探索。 总体上,测试,以及验证的可解释性应该是一个比较重要的发展方向。刚才几位嘉宾也谈到模型+逻辑保护这种方式,这都需要对原本AI模型能力边界有一个比较准确的理解和量化分析的方法。

万成城:

一个人工智能应用系统由人工智能组件和其他组件组成。当前研究可以分为两类:

  1. 针对人工智能组件本身的测试与优化,包括准确率、耗时、安全性、隐私保护等方面。

目前的研究多数为将已有的方法应用在人工智能上,未来可能会产生针对ML的原生方法,更具针对性地验证和测试人工智能软件。

  1. 系统整体的测试与性能调优,包括软硬件协同设计、人工智能云平台部署、自动化补偿人工智能组件等方面,我在2020年也做过DNN资源动态配置与调度方面的工作(https://alert.cs.uchicago.edu)。

我认为,未来的发展趋势将着重于将人工智能应用软件视为一个有机整体,在开发、测试、维护、软硬件协同、实时系统等方面进行研究,使得人工智能组件能够像传统软件一样进行软件工程的开发与管理。

陈振宇:

目前我们比较关注多模态数据融合相关的智能软件系统质量保障。学术研究受限于装备和环境,往往选择文本、语音、图像的单一模态数据类型作为实验室对象进行深入研究,这当然是必要的,也为我们后续提供了很多基础。目前以无人装备为代表的复杂智能软件系统应用,很少依赖单一模态数据作为输入。这是我们现在的研究重点。多模态数据输入本身依赖不同的感知物理设备,感知设备和计算设备的差异,给模型到软件到系统的集成带来很多实际的工程挑战。

王昊奋:

对于问题3,各位专家已经说了很多了。其实我也再提一下AI其实现在也有两类:

  1. 对于模态(非结构化数据的)理解和感知,包括CV之于视觉,Speech之于听觉,NLP之于文本;

  2. 结构化数据的输入,但是用AI模型做各种预测,比如各种交通的轨迹上的流量预测等,各种生命科学领域的基因,蛋白等结构化数据来做的AI辅助制药

这两类AI算法的输入不同,应用范围也不同,所以会分化出不一样的测试目的,测试手段,和指标。

@万成城(芝加哥大学):第二类可以在一定程度上自验证,比第一类拥有更丰富的训练材料。

@王昊奋:我们往往关注于1更多,但是慢慢2开始变成是目前更加promising的一些方向。

讨论环节

智能软件测试到底测什么?

@李戈·北京大学:关于智能软件测试的事儿,真想好好讨论一下。首先得搞清楚 到底测什么?如果测的是模型的准确性,那么,机器学习领域基本可以放到软件测试领域里了。

@万成城(芝加哥大学):有时候也需要考虑协同关系:传统软件模块和人工智能模块能否补偿对方的错误?

@孙军(SMU):有几个方向是往这方面去的,CapsNet, neural-symbolic learning,这些。

我理解就是oracle的问题,这个以软件的历史来看,不好解决啊。

@马雷:是的, 这个在 joshua benjo最近的一系列talk里都提过, system I 和 system II。这个思路是可行的,我们最近已经有个工作就是在做这个事情, 不过是在智能控制的场景。

@刘杨@南洋理工:就是我们想用算法自动去抽象,但是抽象不好,自然就想到能不能手动做一些抽象,这样就能做到更好的可解释性。

@李戈·北京大学:嗯,这是个很好的主题。随之而来的问题是,人工智能模块输出的边界要清晰确定....

@彭鑫(复旦大学):确实,神经网络的bug缺少准确的定义,毕竟很多时候问题是训练不充分、一些corner case没训练到,而不是明确的逻辑错。而且增加训练数据后按下葫芦起了瓢,可能在一些输入下有改进而在其他输入下反而变差了。

@陈振宇:赞同,作为SE,我们应该更多从软件工程角度谈,而不是还是走AI模型那条线路。

@王昊奋:这块还远没有到去解决抽象等,而是将符号主义和连接主义互相的优势进行结合。

@孙军(SMU):我感觉这个需要从神经网络做起,就跟设计好的编程语言一样,靠后续加效果可能有效。

理论上就应该包括啊。当然所有的准确率啥的都要有一个先验分布,这东西又说不清,...

@CSDN邹欣:我们改进了一个AI模块,原以为所有用户都喜欢,结果一个企业打紧急客服电话️过来,要求我们不要改动,因为他们的逻辑建立在我们的输出上面。后来我们每一个改动都要升级版本。

@孙军(SMU):就是传说中fast/slow thinking。就是有人做了实验说明人的slow thinkin实际很少。

@彭鑫(复旦大学):@孙军(SMU)AI和非AI模块之间的interface和contract怎么定是个新问题。

@白晓颖:这个不仅是AI模块的问题吧,COTS都会有这个问题。

@彭鑫(复旦大学):@白晓颖一般的COTS接口和契约比较容易约定,相对容易评估对客户系统的影响。

@孙军(SMU):这个我感觉也不一定对,人脑有实验证明inference实际远没有大家想象的用的多。

这个我理解就是抽象/interface contract不明确造成的问题?

@刘杨@南洋理工:这个问题是在AI的系统上contract更难定义。

@孙军(SMU):确实。这个定义不明确或者大家不好理解,regression 自然会有问题。

@陈振宇:是的,哪有这么理想的松耦合呢。所以事实上AI模型的缺陷还是传统软件的缺陷在工程中很难区分。

@白晓颖:我理解,相同的是外部依赖问题;区别是耦合的方式和强度。

@彭鑫(复旦大学):所以人们有时候会犯经验主义的错误。@孙军(SMU)但是一开始碰到陌生问题和场景人一般是不是也是先slow thinking,多了之后形成经验了就习惯于fast thinking了。

@王昊奋:也未必,这取决于什么类型的任务,也可能intuitive的fast thiniking也可能会slow thinking(看要做什么了)。

对于流量预测等是可以自验证的(时间序列的),但是对于空间尺度的未必(AI辅助制药)。

@万成城(芝加哥大学):的确。而且很多时候我们的训练材料,相较于输入范围而言非常稀疏,也不容易找到具有代表性的子集。

@彭鑫(复旦大学):@李戈·北京大学AI模型的实现方面的Bug是否常见?都有哪些类型?

@李戈·北京大学:现在看很多测试方面的讨论还是聚焦在AI模型的准确性等方面,但似乎传统软工应该讨论的问题,例如AI模型的实现方面的Bug如何检测?讨论却偏少。

@彭鑫(复旦大学):@孙军(SMU)也是,有时候所谓的理性思考其实也是在大量借鉴过去的经验而不是真的在理性推理。

@孙军(SMU):嗯嗯,我看到一些社会科学的实验貌似是这个结论,可能逻辑推理对人脑而言还是太耗能量了,当然复杂度而言,对电脑也一样。

@李戈·北京大学:传统的软件实现里面的Bug在AI模型中都有可能存在,例如数据上的匹配错误,引用错误等等,对于这一类传统的软件里面也会出现的问题,在AI模型里面却不好检测。

@彭鑫(复旦大学):@李戈·北京大学数据上的匹配错误,引用错误等等:这个是不是算神经网络外围的程序问题?例如数据准备阶段。

@马雷:现在比较大的挑战是AI 模型错误来源过多,很多情况比较难界定是不是实现所造成的。 企业大多数更关注先把AI整体预测性能提升上去。

@彭鑫(复旦大学):@孙军(SMU)哈哈,其实不用研究,我们自己回顾下自己的思考过程就能感觉到。有时候犹豫半天也不过是把正反两方面的case比来比去,看看哪个更符合当前的状况。

@李戈·北京大学:嗯,这的确是现实问题。软工领域里的讨论似乎应该把问题区分清楚,便于大家进一步推进研究。

@夏鑫(Monash):看了一下各位大佬们的讨论,挺好的我目前在想的一个问题是,好像大家一开始就直接往AI软件的测试去开展了,但是如果从整个AI工程端到端打开来看,测试和验证属于其中一块(也可能是最重要一块),但是不见得大家都应该去那边突破。如果可以跳出大家研究的哪块,从全局来看整个AI工程端到端的解决方案,是否可以有一些不同的发现呢(在华为待久了,看问题更喜欢看体系型的创新,而不是单点技术的创新)。

Question 4

主持人:当前业界也越来越重视人工智能应用软件的运行保障和持续演化,因此诞生了与DevOps相结合的MLOps的思想。能否谈一下您对MLOps的理解?MLOps中有哪些新的软件工程问题需要解决?

刘杨:

像传统软件开发一样,AI系统也有一定的开发生命周期,包括数据收集,模型结构与训练算法设计,模型测试,模型部署以及维护。因此,MLOps 为AI系统在开发与部署工程中提供一系列的操作,以保障高可靠的AI系统, 其融合了机器学习,数据工程以及传统DevOps的知识。在整个生命周期内具有多个软件工程问题,例如需求确定、模型训练算法测试、模型部署后的兼容性测试以及鲁棒性测试、模型的迭代与更新等都需要软件工程提供相应的解决方案。

熊英飞:

这个方向我不太了解,不过我的同事刘譞哲老师刚刚在ICSE发表了一篇关于深度学习软件移动部署缺陷的实证研究,或许值得一读。

李戈:

最近才注意到这个概念。看到这个概念的名字就觉得挺有道理,特别是对标DevOps,对于机器学习任务而言,开发与部署更是需要统一考虑的场景。这是将机器学习任务的执行规范化的一种方法,对于缩短模型开发和部署的迭代周期,规范化机器学习任务的执行流程是有积极的推动作用的。

我对MLOps了解并不多,但看到这个概念我就很想知道,对于在开发过程中机器学习模型本身所存在的一些问题,有没有标准的处理方法和手段,例如,有没有一些专门处理数据缺失的策略、数据增强的策略、如果模型训练中出现各种问题有没有各种规范化的处理办法?

陈振宇:

这个是我们前面提到的智能软件模型对数据的持续需求,给MLOps带来机遇,从这个角度看,DevOps更适合在智能软件开发中进行实践。我在很多报告中提到了智能软件从测试到构建的闭环(端对端打通成为可能),测试不再是测试,为后期修复和重新训练(当然也不是简单的数据复用)都提供很多支撑,测试将扮演越来越重要的作用。我们在智能软件系统自动修复领域也做了初步尝试。

DialTest: Automated Testing for Recurrent-Neural-Network-Driven Dialogue Systems ISSTA 2021

马雷:

传统软件在第一次部署后,对于开发lifecycle来讲是一个很大的进展,虽然之后还会进行长期的演变和维护。对于AI软件系统而言,第一次成功部署和应用仅仅走出了一小步, 从统计机器学习理论角度AI软件是基于数据分布学习相应的预测逻辑,来处理类似数据分布的方法。也就是说,在未来数据发生分布迁移时,要想使得AI软件能够持续高质量提供服务, continous delivery, 必须进行更为彻底的运行时数据,系统的质量监测,以及数据分布的分析;并做出相应的演变与升级。 整个过程通常需要大量AI,软件,安全,以及相应领域的方法与工程支持。 比如我们近期关于智能控制的应用,在训练数据上虽然 AI 策略取得了很好的效果,但是实际应用环境中会存在大量复杂和不确定因素以及应用环境差距。 比如从城市A环境,迁移到城市B环境,这都需要对AI软件系统进行相应的适配,MLOps在保障AI软件 continous delievery 上起到重要作用, 具体的工程方法和支持还需要进一步研究。

@万成城(芝加哥大学):AI软件系统在实验室进行测试时的环境通常太过理想化,而实际生产环境需要面对更复杂、未曾被训练材料囊括的场景。

万成城:

我认为MLOps打开了人工智能的黑盒,让它能像传统软件一样(甚至更好地)进行管理,大大增强可维护性和协作效率。人工智能组件极大程度上依赖于数据:它的行为不仅由代码定义,也在极大程度上由数据定义。在神经网络的训练过程中,一个参数依赖于自身的历史、训练数据、其它参数,正由于参数间的耦合性,让它不能像git一样进行版本控制和团队协作。我认为这是MLOps需要解决的一大难点。

另一个新的难点是,人工智能应用系统的在线性能调优、错误恢复、在线更新与演化等。

王昊奋:

数据质量评估,缺失补全,数据增强等在数据挖掘KDD就有不少工作,目前在ML特别是DL又多了不少工具,但是说老实话,AI的人善于设计单点突破的小工具,这些工具如何结合使用,并归纳出最佳实践等还比较空缺,否则炼丹师和早期的特征工程师也不是浪得虚名的。

@彭鑫(复旦大学):现在都谈数字化,未来世间万物都要数字化,都需要软件进行定义和支撑,相应的就需要7*24小时提供服务了,因此都少不了运维。因此,AIOps(AI4OPS)是个很有前途的研究方向,包括AI系统的OPS(OPS4AI)。最终可能是AI4OPS4AI。类似的也可以有AI4SE4AI。

@李戈·北京大学:不过,有个现实问题,现实中有那么多模型需要整天更新吗?不是参数更新,是模型更新,有那么多吗?

@王昊奋:这块同意,因为不是完全正确的,而且因人而异的,所以需要不断演化,所以闭环是必须的,所以AI也有life long learning之说。

@彭鑫(复旦大学):例如,微服务系统可用性保障中有一个策略是服务降级,这个思想应该也适用于AI模型,在性能不足或者发现有问题的时候可以熔断原有的服务然后用一个更简单更确定性的基于规则的模块来暂时替代一下。

@王昊奋:主要是参数更新,但是因为DL发展太快SOTA的工程化也相对迅速,所以补充新模型,做替换或作为集成中的一个模型都是需要考量的。

@彭鑫(复旦大学):@李戈·北京大学 @刘杨@南洋理工AIOPS说是AI,其实还是人兜底,否则那么多运维工程师就不用随时on call了。

@王昊奋:另外,其实在AI软件MLOPS中还会存在open learning的场景,比如新增class label,细化某些label,合并某些label,细化某些label形成sublabel等。

Question 5

主持人:您对面向人工智能的软件工程研究未来的发展怎么看?有哪些有价值的研究方向值得探索?软件工程研究者应当如何与人工智能研究者和业界专家相互合作推动技术和实践的发展?

刘杨:

整体来看,随着人工智能的发展,未来智能软件将会越来越多,许多传统领域也会引入更多的人工智能技术。因此,也亟需面向人工智能的软件工程的技术支撑。人工智能系统既包含传统的软件也包含AI模型。从软件工程的角度来看,未来具有价值的研究方向主要集中在如何构建可靠可信的人工智能系统,包括鲁棒性、隐私性、公平性、可解释性以及安全性等。未来的研究方向包括:针对不同的领域如何对AI系统进行测评与验证,如何定义AI 安全与可靠标准,如何开发AI 系统代码管理支持 (例如 github),如何提升模型,包括online与offline等。 软件工程研究者应该多与产业界交流沟通,不同的领域的需求也不完全一样。例如,一些安全攸关的场景,如无人车,人脸识别等更注重于鲁棒性的测试;而一些普通的分类任务如新闻推荐则不一定有如此高的要求。我们最近也与新加坡的多个公司进行了合作,将我们的技术应用于他们的产品中,其中每个公司的侧重点都不相同。例如一个社交软件公司(NLP领域)希望我们可以将测试技术部署在他们的开发流程中,他们主要利用AI技术来帮助识别恶意或者侮辱性的评论,在与他们的探讨中,他们更关心一些模糊场景,例如有一些语言带有脏字,但是其并不一定是负面评论。而有一些没有任何脏字,但是整体语义具有攻击性。那么如何生成相应的测试用例来测试他们的系统就是一个很大的挑战。另外一个公司是利用AI识别房屋的一些质量问题,这里他们主要关注与隐私问题,因为一些照片会将人也拍进去。为了保护隐私,则需要object detection来识别人脸。他们则关注object detection 任务在不同环境下的稳定性,例如:下雨天,强光下,部分遮挡下等。

总得来说,当前我们已经将一些传统软件工程的技术引入到人工智能系统中,但是其不一定有意义。我们还是应该走出去,多了解企业的真实需求,从而进一步推动该方向的发展。

还有就是可信AI的标准的制定,最近ISO已经出版一些AI的相关标准,新加坡政府也在筹备对应的内容。如果没有人工智能的软件工程研究,这些标准就只能是What。我们要提供How。

最好还是做个广告,新加坡的几所大学里面有AI&SE很好的团队和经费(南洋理工,新加坡管理学院(孙军老师,谢肖飞老师),还有Alberta的马雷老师)。希望在这些方向读博或者博后的同学申请,也欢迎大家交流合作。

孙军:

我感觉现在是一个大好时机啊。一句话就是,啥都缺。比如,我们缺支持各种人工智能的软件工程的理论,传统软件我们有各种逻辑,Hoare Logic, Separation Logic等等,神经网络的貌似还是欠缺不少,就算是最基本的一些概念也该开始定义,比如causality,比如各种属性(robustness,fairness等等)。刚才马老师提到continuous logic,可能有用,但感觉缺了概率恐怕不行?

再比如传统软件已经有一套成熟的process,多好不说,至少敏捷方法啥的大家还是认为有帮助的。人工智能的软件工程这部分我感觉还是有不少可以发展的,比如哪些步骤一定要有,哪里出问题了要怎么解决,怎么保证程序员没有偷工减料或者加后门啊等等。

还有就是机器学习那边还是有不少好的想法的。有些问题还是适合机器学习技术本身来解决。

同样做个广告,我们这边最近刚拿了个挺大的项目就是想做一些有意义的关于这方面的工作,这个月刚开始,有机会大家一起研究哈。

李戈:

讨论会越来越多,软工4AI也会越来越受重视。同时,很现实的,SE领域的研究问题会随着AI的应用而逐渐丰富起来。

系统化的工程科学研究体系 往往是滞后于相应的技术领域的,这是因为工程科学的研究问题往往来源于实践,并专注于解决工程实践里面的共性问题,这些问题的形成也是需要时间的。

就目前而言,我觉得可能大家还是会首先围绕 测试、部署 等环节展开讨论,这些问题会首先与传统的软件工程学科的研究发生碰撞;随着应用的深入,安全性、可靠性等问题也会随之而来;但如果要形成系统化的研究,恐怕还需要一段时间,要等到应用达到一定的规模和数量,才能逐渐形成一些共性的问题、共性的技术,从而形成共性的研究问题。

如前所言,工程科学的研究问题来源于实践,随着应用与实践的深入,肯定会有更多的问题需要我们从工程科学的角度去思考并给出解决方案。

熊英飞:

现在软件工程领域发了很多论文,虽然自己做得热闹,但感觉既没有得到人工智能领域研究人员的关注,也没有对实际人工智能系统的开发实践产生影响。这是一个非常大的问题。我们亟需真正解决一些深度学习开发人员的痛点问题,让业界相信软件工程领域的研究是有价值的。系统领域的很多支持人工智能的研究转换到业界的速度就很快,值得我们学习。

陈振宇:

我们主要研究面向无人装备的智能软件系统质量保障,集中在交通和农业两大领域进行应用(欢迎大家到祖国边疆去看看无人装备和AIoT在农业的应用),研究内容主要包括:多模态融合的数据生成与扩增,领域可解释的智能软件质量分析,物理特性强关联的智能系统质量评估,质量驱动的智能软件缺陷修复和传统行业的示范应用等。欢迎企业界和学术界朋友多交流。

王昊奋:

其实我觉得可能原来精细化分的各种研究方向和实验室,在交叉融合的阶段,或许会先从那些既有做AI的,又有做SE的团队出来实践真知,至少需求到工具到解决是一个小闭环。所以目前需要合作(AI+SE两个团队的合作)以及SE和AI企业(工程化)的合作。

@彭鑫(复旦大学):@王昊奋多跨界多合作,包括AI与SE的合作,也包括学术界与工业界的合作。

马雷:

数据驱动的AI软件或许将在未来与传统软件以并存的形式长期存在,因此相关方法和工程的研究将十分重要。 日本在3年前年建立了2个相关的重要领域交叉领域社区,一个是MLSE (machine learning system engineering community), 另一个是QA4AI (Quality assurance for AI community), 目前2个研究社区都达到百人规模,并有大量研究人员和几十家企业深度参与,共同推进产业结合与标准制定,也取得了一定进展。今年已经推出了2个相关的AI软件质量和工业指南,主要以制造业为主的企业,比如,丰田,马自达,三菱,日立等企业与研究人员一起。相关的内容有许多值得AI软件工程方法和质控参考,目前最新的指南版本仍是日语,英语版本在翻译中。

加拿大的CIFAR AI战略也从最开始的AI理论基础为主,最近开始往多元化,工程化,多个重大领域大科学大工程上转变,比如:能源,动力,医疗,制造等。

无论从研究角度或者企业应用角度,AI软件工程将成为AI,软工,安全以及其他多个领域结合的重要新方向。几年前或许还有很多疑问,目前感觉还是比较明朗。

其中许多核心的方法和思路需要多个领域的深度结合。传统软件工程过程中存在的问题,在AI软件中大部分都存在,同时也存在诸多独特的问题,这些都值得深入的研究。

我们在过去几年也与多位纯AI领域出身的研究人员一起合作,整体的感觉是两个方向的研究人员思考同一个问题的方式,以及解决的问题的思路都存在比较大的差异。 我个人的感觉,在AI学习算法,优化等理论方面,AI研究人员具有很大优势和偏重。但当AI软件复杂到系统层级,需要大规模企业应用和推广时候,工程的思想和方法就成为了同等甚至更为重要的问题,这需要软工领域一起推进。 这个过程中,感觉比较大的一个困难就是信息量过大 (仅仅AI方向顶会上,每年投稿保守估计就有5万篇~以上),既涉及到AI方法,也要对特定领域有一定程度的了解, 多个领域的领域知识和knowhow十分重要。

比如,我们近期在智能控制方面做了一些相关AI 智能控制在机械控制方面可靠性研究,其中涉及到 传统控制理论 (PID, MPC 等),强化学习,深度学习,同时也需要有测试和分析的相关背景。 因此我们也发现在过程中学生短期内比较难深入的了解多个方向并有自己的想法,大部分时间都在熟悉相关的领域内容。学习的曲线相对传统测试更为陡峭。

此外,企业与学术界的交流平台也非常重要,我个人感觉在与企业的开发人员交流过程中受益匪浅,逐步明确了AI软件工程中需要解决的诸多问题以及迫切需求。如果能够建立起交叉方向的平台和机制或许是比较重要的一步。

也跟风做个广告,最近在加拿大Aberta, Amii AI 研究院,日本九州大学赵老师和新加坡南洋理工刘杨老师合作的多个与 trustwothy AI, MLOps 相关项目在同时推进,其中也涉及到多个重要领域场景,希望与大家有机会多多合作。

@彭鑫(复旦大学):@马雷-Alberta大学-Amii系统性很强。

万成城:

无论是哪一类技术,一旦被应用于解决现实问题,总是需要软件工程方法来指导高效的开发、测试和维护。而人工智能近几年逐渐在各个领域中得到了广泛的应用,正急待软件工程支持,例如模型和数据的版本控制、AI设计模式、缺陷检测与修复等方向都相当值得探索。另一个值得研究的方向是如何进行在线性能调优、错误恢复、在线更新与演化,从而构建一个高效、可靠、自适应的人工智能系统。

业界的一些大型项目,如自动驾驶、智慧城市等,也提出了更复杂的软件工程问题:当AI系统与真实世界进行交互时,又该如何应用软件工程方法?

访谈结束

CodeWisdom

一个有知识的软工公众号

发现智能化编程之道

原文链接:https://mp.weixin.qq.com/s/8xx2Q_cGjBD8l_dNMFkhgg