← 返回列表

关于大模型时代软件智能化开发的一点展望

聚合站 SecWiki技术 作者 CodeWisdom 发布 2023年1月16日 16:10 入库 2026-11-18T12:16:07

2023

Happy New Year!

Code Wisdom

关于大模型时代

软件智能化开发的一点展望

2022年年末,随着ChatGPT的横空出世,大模型再次成为学术界和工业界的一个焦点话题。ChatGPT在意图理解和对话能力上有了很大进步。在软件开发方面,ChatGPT不仅可以根据文字描述生成功能实现代码和测试代码,还可以对代码进行细粒度的解释以及缺陷诊断。此外,ChatGPT还可以在一定程度上帮助开发人员进行需求分解和设计决策。

ChatGPT及其所代表的大规模预训练模型技术对于人工智能、自然语言处理以及软件开发等领域都带来了巨大的影响,以至于有一种声音认为大模型技术的突破意味着“编程的终结”。而对于关注于代码搜索、代码推荐与生成、软件开发问答等技术方向的软件智能化开发研究者而言,ChatGPT的影响也是王炸级的。软件智能化开发是近几年软件工程领域的热门研究方向,相关的研究者和发表的研究论文都很多。但如今,大部分现有方法的能力可能都可以被ChatGPT轻松超越,而且ChatGPT还是“一专多能”的:一套自然语言对话接口可以应对各种问题,上可以聊需求谈设计,下可以按需生成代码并帮忙找错,而且话题还可以随意跳跃。

ChatGPT发布后,我们团队的老师和同学们也进行了一些了解和摸索,并组织了几次内部研讨。说实话,ChatGPT给我们带来了极大的震撼,以至于我们不得不重新思考原有的研究布局。例如,CoPilot出来的时候虽然在方法级代码生成上取得了很大的进展,但CoPilot无法对所生成的代码进行解释也不能指导开发人员对代码进行定制和修改。因此,我们规划了细粒度代码原理解释和代码定制化修改推荐的研究方向。但这些对于ChatGPT似乎也不是问题,如果需要它可以帮你解释代码中每个部分是什么意思并根据需要推荐修改方案。

显然,大模型的飞速发展已经使其成为软件智能化开发的重要基础,但这并不意味着大模型就可以完全实现软件智能化开发的宏伟目标了。要想让大模型造福于各个领域的软件开发实践并带来软件开发质量和效率的飞跃还有很多问题需要解决,而这些都是大模型时代软件智能化开发研究需要考虑的。

推荐内容的可信性

大模型虽然学会了很多知识,但对于自身知道什么、不知道什么却并不清楚。这就导致了大模型面对不知道或无法理解的问题时也会提供回答,从而让人感觉是在“一本正经地胡说八道”。虽然基于人工标注的强化学习可以在一定程度上缓解这一问题,但并不能彻底解决这一问题。此外,即使生成的代码或推荐的解决方案是正确的,开发人员也需要确认并消化吸收。因此,基于大模型的软件智能化开发助手在回答开发人员问题的同时有时候还需要提供论据,例如相关的参考技术文档、真实项目(如开源项目)代码示例、技术博客或问答网站等,甚至分析问题并从技术原理出发进行解释。如果无法通过大模型的推理过程进行追溯,那么也许只能在大模型产生结果之后再试图对其进行解释。虽然这有一点像是“先射箭再画靶”,但对于开发人员确认并理解大模型产生的结果仍然具有重要的意义。

长尾及冷启动问题

大模型的“知识面”和“记忆力”应该是超群的,但擅长的主要应该还是在互联网上、书上或开源项目中被多次讨论过或实现过的问题。对于大量较少被讨论到的长尾问题或者由于出现时间较短(如新出现的第三方库)而导致的冷启动问题,大模型可能也会存在短板。因此,一些针对专门目的训练的专用模型以及一些基于“小数据”的方法有望为大模型提供有力协助。大模型自由生成的能力非常强,这些专用模型或方法可以在大模型生成内容之前或之后实现一些附加处理,从而提升大模型生成方向和可靠性的把控度。例如,面向第三方库及API推荐训练的专用模型或者基于第三方库API参考文档构建的知识图谱可以在大模型回答相关问题时提供一些辅助支持。具体的支持方式可以比较多样化,例如:在大模型生成之前基于所掌握的长尾知识生成意图表达更精准的prompt或few-shot sample;在大模型生成之后利用所掌握的长尾知识对大模型生成的内容进行调整和补充。

知识更新问题

大模型的能力十分强大,但其所依赖的训练数据集极其巨大而其训练开销也是十分巨大的。例如,据报道初代GPT-3训练所用的数据规模就达到了数千亿token的规模,而它训练一次的费用高达460万美元。因此,大模型在完成一次训练之后并不适合频繁进行重新训练,从而导致大模型所学习的知识与互联网和代码库中的最新数据可能存在数月到数年的时间差。

为了让大模型能够回答一些较新的问题,需要寻找到重新训练之外的知识更新途径。其中一种可行的途径可能是将大模型与搜索引擎、知识图谱等传统信息和知识获取方法相结合。搜索引擎和知识图谱都能够以较低的代码进行增量的信息和知识扩充,因此可以在大模型遇到无法回答的新问题时将其offloading给它们进行回答。与此同时,大模型还可以利用自身的阅读理解能力来对搜索引擎和知识图谱返回的结果进行解读、精化和融合。

特定领域软件开发问题

企业开发人员面对的软件开发问题一般都属于特定的业务和技术领域,例如电商、金融、工业、汽车等。关于这些领域的一些通用问题也可能在互联网上被提及和讨论,因此大模型可能可以回答一些这样的问题。但是,一个企业如果在某个特定领域和行业耕耘多年并建立了一定的竞争优势,那么一定在所属领域和行业中积累了大量特有的业务和技术知识以及代码资产。这些内容在公开可获得的图书以及互联网语料中是找不到的。

为此,需要在大模型的基础上有机融入特定领域的软件知识和代码,这其中可能包含三个难题。第一,特定领域软件开发文档内容往往不全,规范化程度和质量不高,这些文本内容是否能被大模型有效吸收可能是个问题。第二,特定领域软件开发知识有很大一部分分布在需求库、缺陷库、代码库、测试工具以及其他工具中,如何从中抽取有用的信息并表示成适合大模型学习吸收的形式可能是个问题。第三,特定领域软件开发知识中有很重要的一部分是比代码更加“高阶”的需求和设计知识,这些知识比代码知识更加抽象和吸收,可能是大模型比较难以掌握的一部分知识。

针对第三点,我们曾经用一个涉及面向对象设计的开闭原则的软件工程考试题测试过ChatGPT,它的回答在很大程度上像那么回事。这一点其实也并不让人意外,因为类似的问题在网上很可能已经被探讨过了。与这种设计问题不同,特定领域的设计问题并不是一些原则性的探讨和分析,而是结合了具体的领域业务和技术上下文之后的具体设计方案,其中可能融入了很多不同的软件设计思想以及相关的权衡决策。

Bertrand Meyer在《Communications of the ACM》的一篇博客文章中提到,ChatGPT这类大模型并不会带来编程的终结,而是会复兴软件工程领域的一些根本性的技术,例如需求分析、精确的规格说明以及软件验证(包括动态测试和静态分析)。这些软件工程传统技术有望在大模型时代重新焕发青春,但可能需要考虑如何与数据驱动的大模型技术有机结合。

面向软件开发任务现场的"具身智能"

说起“具身智能”,一般我们都会想起机器人:它们通过自身能力与环境进行交互并获得反馈,然后从中进行学习。机器人的这种“具身智能”使得它可以突破书本式学习的局限性,从具体的行动和实践中学习。从这个角度看,基于大模型的软件智能化开发助手也应该具有面向软件开发任务现场的“具身智能”。开发人员的软件开发过程不仅仅是一个编码过程,其中往往还涉及编译、构建、测试、调试、代码检查等软件工具的使用。有经验的开发人员十分善于使用这些工具并根据工具的反馈调整和优化自己的解决方案。这种面向软件开发任务现场的“实时”反馈信息与当前正在构造的软件解决方案密切相关,并且是主动使用工具(采取行动)后获得的实践反馈。如果没有这种“具身智能”而仅仅依靠大模型,那么软件智能化开发助手就会像是一个只会“动嘴皮子”的旁观者。因此,软件智能化开发助手需要在利用大模型的推荐能力基础上,灵活使用各种工具进行探索并根据反馈和任务上下文不断调整向大模型求助的问题,从而逐步构造得到满足需要的实现方案。在此过程中,如何将动态产生的工具反馈与大模型的知识相结合是一个主要挑战。

结 束 语

ChatGPT的出现进一步刷新了人们对于大模型的认知,也对现有的软件智能化开发研究和实践造成了很大的冲击。任何关注于软件智能化开发的研究者和实践者都已经无法回避大模型的强大能力了。但与此同时,软件开发作为一种创造性的劳动需要将许多软件开发知识和设计原则具体应用到特定领域软件开发问题中,因此仅靠大模型就可以完全实现软件智能化开发的理想目标可能也是不切实际的。为此,我们需要全面拥抱大模型,将其作为支撑软件智能化开发的重要基础。但同时,信息检索、知识图谱等其他智能化技术在软件智能化开发中仍然具有一定的价值,有望成为大模型技术的有力补充。此外,实现系统性的软件智能化开发支持还需要将大模型与特定领域软件开发知识相结合,并提高需求和设计等高阶知识的获取和理解能力。

需要强调的是,本文是对大模型时代的软件智能化开发研究与实践未来发展的一点展望,并不是对人工智能技术本身的展望。此外,以大模型技术为代表的人工智能技术突飞猛进,其未来的发展也有可能完全颠覆这里的一些设想和预测。

致

谢

感谢我们团队陈碧欢、董震、娄一翎、刘名威、王翀等老师和同学对ChatGPT的分析,同时感谢华为诺亚实验室技术专家王雅圣在讨论中对我们的启发和反馈。

作

者

简

介

彭鑫

复旦大学计算机科学技术学院教授,中国计算机学会(CCF)杰出会员、软件工程专委会副主任、开源发展委员会常务委员,IEEE高级会员,《Journal of Software: Evolution and Process》联合主编,《ACM Transactions on Software Engineering and Methodology》编委,《软件学报》编委,《Empirical Software Engineering》编委。主要研究方向包括软件开发大数据分析、软件智能化开发、云原生与智能化运维、人机物融合泛在计算、机器人软件工程等。

欢迎关注CodeWisdom,Codewisdom平台由复旦大学软件工程实验室运营,提供智能化软件开发平台及线上沙龙相关资讯,关注可了解更多智能化软件开发的最新消息~

原文链接:https://mp.weixin.qq.com/s/UTcnFq53JjIMsShmKtQvDw