技术革新日新月异,大模型的兴起更是颠覆了千行百业。自ChatGPT问世以来,大模型的应用前景充满了无限的机遇与挑战。
12月16日,在2023开放原子开发者大会的“大模型应用开发之道”分论坛上,众多人工智能领域的从业者和技术专家齐聚一堂,围绕大模型应用开发的现状和未来发展等相关话题,碰撞出了诸多思想的火花。
业内专家齐聚
探讨大模型开发之路
论坛由开放原子开源基金会TOC主席谭中意担任出品人,在CSDN内容生态总监董世晓的主持下,5位行业专家聚焦于开发者在大模型开发过程中所面临的工程挑战,共同探讨大模型开发之路。通过分享成功的案例经验,以及深入剖析大模型开发的多个方面,帮助开发者对大模型开发的全貌有更深入的理解,便于应对实际应用中的挑战。
阿里巴巴通义实验室研发总监 周文猛
周文猛在《魔搭社区及其应用生态》的主题演讲上,以魔搭社区为例,阐述了模型社区发展需要关注的五个方面,一是模型社区的生态是核心,需要持续更新和优化大模型,并分享最佳实践,让更多人了解和使用最新的模型和技术。二是数据集在AI应用生态中非常重要,魔搭的数据集覆盖了不同领域的不同场景,便于大家更好地使用LIM和其他大模型。三是通过开源版GPTs AgentFabric,用户可以轻松在魔搭上创建和分享自己的应用和想法,促进交流和碰撞。四是云上算力支持,帮助用户可以利用资源进行应用开发和相关体验。五是为开发者提供ModelScope。六是在云上的环境优化中,云上Notebook开发的下载速度达到400兆以上,可以提高大模型的体验。
Byzer社区PMC、Kyligence技术合伙人 祝海林
祝海林在《基于Ray和Byzer,快速构建以大模型为核心的生产级应用》的主题演讲上,阐述了Ray是支持传统语言分布式编程的分布式框架,基于 Ray 之上开源的一套帮助企业开发大模型应用开发套件,例如为大模型而生的检索系统的Byzer-Retrieval、大模型全生命周期管理的Byzer-LLM、应用开发框架Byzer-Agent。其中,相较于缺点较多的传统的基于大模型的开发模式,Byzer-Agent框架的开发模式呈现出诸多优势,一是Agent可以充分激活大模型在各领域的潜力,从开发角度也可以更好地进行Prompt管理;二是提供了Agent之间的通讯和存储,可以方便Agent之间的协作完成用户需求,并且保留对话信息;三是相比其他Agent框架,Byzer-Agent支持以Agent或者Agent组为粒度实现分布式,并且每个Agent可以支持不同的模型。
Zilliz开发者生态布道师 李成龙
李成龙在《走进向量数据库,让LLMs停止幻觉》的主题演讲上表示,针对大语言模型在缺乏领域特定信息、容易产生幻觉、无法获取最新信息、不变的预训练数据上的局限性,李成龙提供了四个方面的改进思路,一是建立知识库以拓展认知边界,通过Fine-tuning针对专业领域进行训练;二是使用提示词工程规定限制,确保模型提供的信息准确可靠;三是利用向量数据库为大模型建立记忆,及时更新,确保与现实世界保持同步;四是通过RLHF人工纠正再次微调,从知识库中剔除无效信息,提高模型的准确性和可靠性。同时,李成龙还分享了Zilliz企业级产品Zilliz Cloud的功能架构,核心亮点以及典型应用案例。
中软国际AIGC研究院平台部总经理 黄伟聪
黄伟聪在《构建企业级AIGC应用的典型模式和实践》的主题演讲上表示,企业级AIGC应用的结果可信和应用可运营是其成功的关键。为了达成这一目标,黄伟聪以一个实际项目为例,阐述了其中的3个步骤,一是采用大模型+PBC这种新的AIGC应用生成范式,通过编排来构建坚实的可运营基础,降低大模型的不稳定性;二是提升大模型在NL2SQL上的基础能力,达到基本可用的状态;三是通过AIGC应用的交互增强,实现用户可以干预并追踪整个过程以及生成过程可完整回溯,从而进一步提高应用的可信度。一切都旨在确保AIGC应用不仅高效可靠,还能在实际应用中赢得用户的信任。
蚂蚁集团AI Infra团队负责人 张科
张科在《蚂蚁AI工程实践分享》的主题演讲上表示,目前AI工程的现状包括模型参数量大、智能算力需求大以及开源框架多样化。这些特点为AI工程带来了巨大的潜力和机遇,同时带来了新的挑战,例如模型训练实验成本、训练算力效率、训练稳定性、推理成本、AI工程技术选型和人力投入等问题。对此,蚂蚁AI在工程实践上做出了四个举措,一是通过开源大规模智能分布式训练系统DLRover,优化整个训练流程,提升了系统的效率。二是采用了分布式推理技术,以应对大规模模型的推理需求。三是使用GLake对训练推理过程中的显存和传输进行了优化。四是推出了“优化器三部曲”系列,能够实现AI训练节约资源、提升泛化、加速收敛等目标。
圆桌对话:
大模型应用开发启示录
在圆桌环节,几位业界翘楚就“大模型应用开发”这一议题,展开了深入而富有洞见的圆桌对话。
主持人:首先,请各位分享一下从自己的经历或实践中出发,感受到大模型为开发者带来了哪些“变”与“不变”?
周文猛:我认为,用户的根本需求和具体应用场景的问题是始终不变的。然而,变化的是大模型技术的发展速度正在不断加快,应用开发和创建的节奏也在同步提升。这就要求我们必须具备更加敏捷的思维和行为方式,以适应这种变化。
祝海林:随着大模型的引入,软件开发模式经历了革命性的转变,从传统的编程范式演进到与智能体互动的编程,需要思维方式上的革新。尽管目前大模型的能力尚在成长之中,但我对其未来的发展前景持乐观态度。在这一切变化之中,唯一不变的真理是软件决定整个世界。
李成龙:在我看来,数据的核心地位是永恒不变的。无论是传统软件开发还是大模型开发,数据都扮演着至关重要的角色。变化主要体现在两个方面:一是开发方式的转变,相较于传统软件开发,大模型开发的时间周期显著缩短;二是数据管理的变革,向量数据库等工具可能变得越来越重要,因为需要提取和利用文本、图片等更多信息。
黄伟聪:尽管技术不断演进,但始终不变的是对客户价值和实际应用场景的深刻理解,以及数据的重要性。变化的方面主要体现在软件生成的方式上,新一代的软件生成方式可能与传统的编码方法有显著差异,这要求我们持续探索和创新。
张科:我观察到三个关键方面的变化。一是数据驱动思维,在大模型的应用背景下,开发者必须更加专注于如何为应用产品持续提供高质量的数据,以实现更高级别的智能化。二是智能思维,开发者需要采用更智能化的设计理念和方法,以创造出更加智能和高效的产品或系统。三是合规性,在大模型使用大量数据的情况下,开发者需要更加注重合规性。
主持人:在“变化”之际,几位老师有哪些建议?
祝海林:我们需要拥抱新鲜事物,无论AI、大数据浪潮或移动互联网浪潮如何发展,保持拥抱新鲜事物的态度对开发者很重要。
周文猛:跟上时代变革,最核心的是需要保持较强的学习能力。其次,大模型可以提高工作效率,大家有更多精力关注工作之外的事情。
黄伟聪:首先,以开放的心态拥抱新鲜事物,并整合到日常工作流程中。其次,还需要面向客户实际需求场景,利用新技术帮助工作。
李成龙:我坚信,大模型具备重塑业务流程的潜力,能够在提升工作效率和精确度方面发挥关键作用。展望未来,我们应该探索如何将传统工作与大模型相结合,利用大模型来增强业务成效。
主持人:在各位所在的企业中,使用或重新设计基于大模型的应用是否是为主流情况?对于直接在大模型上开发AI原生应用,未来何时可能出现有代表性的突破?
周文猛:魔搭社区采用了基于大模型的Agent技术,这一创新技术已经转变了人机交互的方式,允许用户通过自然语言与机器进行沟通,并执行相应的任务。我们已经尝试将这一技术与商业应用及阿里云产品结合,并在Demo中展示了如何通过对话来管理、检索和分享文件,极大地简化了人机交互过程,并提供了卓越的用户体验。我认为这项技术的成熟度已经达到了80%,而剩余的20%问题,包括提高大模型的准确度和推理能力,有望在未来一年内得到解决。
祝海林:开发一个AI应用是一个复杂且庞大的工程,目前我们仍有许多改进空间。我们正在积极研究Agent技术,这一领域未来有望得到更广泛的应用,尽管目前还处于起步阶段。我对于大模型技术的突破抱有高度期待,这将极大地减少对人工定义流程的依赖。我相信智能体代表了技术发展的未来趋势,因此在技术路线的选择上,我们应保持独立思考,不应完全依赖OpenAI的理念。
黄伟聪:尽管我们尝试了包括GPT-4在内的多种模型,我们依然认为OpenAI的模型在技术上处于领先地位。模型能力的提升对于上层应用的发展潜力有着深远的影响。在讨论Agent的应用时,我们必须从实际落地的角度出发。如果模型的能力足够强大,那么产品和工程所需的工作量可以相应减少;反之,我们就必须投入更多的工作来弥补这一差距。
主持人:各位对于正进行或未来计划从事大模型相关工作的开发者,有什么经验分享?
张科:我鼓励大家敢于想象、创新,共同建立AI和AI Infra的开源生态。
黄伟聪:我觉得可以从三方面出发,一是开发者应勇于尝试最新技术,积极拥抱GPT等先进模型。二是不断探索模型能力的边界,以开放心态适应技术变革。三是提升自身技能,以适应不断变化的开发环境。
李成龙:我鼓励大家走出技术舒适区,勇敢地探索和尝试大模型等前沿技术。同时,我们应当拥抱创新精神,淘汰那些已经过时的技术,积极发掘和利用大模型所带来的巨大潜力。最后,我希望开发者们能够勇于实验新技术,不断拓宽我们的技术视野和认知边界。
祝海林:在大模型领域,竞争异常激烈,开发者必须寻找独特的差异化路径以脱颖而出。Meta和Google已经通过差异化策略取得了显著的成功,开发者可以从中吸取宝贵的经验。例如,开发者可以在开源社区中寻求合作伙伴,共同推动技术创新。在大模型领域,合作与差异化是开发者成功的关键。
周文猛:我热切希望更多的年轻开发者能够加入魔搭社区,亲身体验最新技术和创意的魅力。中国的开源社区应当坚持合作共赢和差异化的发展理念,我诚挚呼吁开发者们保持开放的心态,与其他开发者携手合作,共同为技术创新贡献力量。
大模型应用开发的未来
值得翘首以盼
如今,大模型时代已悄然来临,其颠覆传统开发范式的趋势日益明显。虽然应用前景广阔,但尚未完全挖掘其潜力。要真正实现大模型应用开发落地,还需要大量的实践和探索。
展望未来,2024年将是大模型应用开发继续崭露头角的一年。我们翘首以盼它在各个领域中不断推陈出新,开拓进取,为人工智能领域注入新的活力和动力。在这个充满变革的时代,我们将携手见证大模型应用开发的辉煌成就,共同开创人工智能的新篇章。