# AI智能体笔记阿里云百炼控制台网址：https://bailian.console.aliyun.com/?spm=5176.29619931.J__Z58Z6CX7MY__Ll8p1ZOR.1.1875521cqfpjwG&tab=model#/model-market ## AI 调用方式 ### SDK 方式调用阿里云 DashScope 官方调用示例：https://help.aliyun.com/zh/model-studio/use-qwen-by-calling-api?spm=a2c4g.11186623.help-menu-2400256.d_2_1_0.4a132117nPU3Nc#40f6d2c9d23u2 1.引入依赖 ```xml com.alibaba dashscope-sdk-java 2.19.1 ``` 2.编程调用类 ```java public class SdkAIInvoke { public static GenerationResult callWithMessage() throws ApiException, NoApiKeyException, InputRequiredException { Generation gen = new Generation(); Message systemMsg = Message.builder() .role(Role.SYSTEM.getValue()) .content("You are a helpful assistant.") .build(); Message userMsg = Message.builder() .role(Role.USER.getValue()) .content("你好，今天是几号？") .build(); GenerationParam param = GenerationParam.builder() .apiKey(TestApiKey.apiKey) .model("qwen-plus") .messages(Arrays.asList(systemMsg, userMsg)) .resultFormat(GenerationParam.ResultFormat.MESSAGE) .build(); return gen.call(param); } public static void main(String[] args) { try { GenerationResult result = callWithMessage(); System.out.println(JsonUtils.toJson(result)); } catch (ApiException | NoApiKeyException | InputRequiredException e) { // 使用日志框架记录异常信息 System.err.println("An error occurred while calling the generation service: " + e.getMessage()); } System.exit(0); } } ``` ### Spring AI 调用 DashScope Spring AI alibaba 调用 DashScope 官网文档：https://java2ai.com/docs/dev/models/dashScope/?spm=4347728f.6476bf87.0.0.368f556bhO7JXU 1.引入依赖 ```xml com.alibaba.cloud.ai spring-ai-alibaba-starter 1.0.0-M6.1 spring-milestones Spring Milestones https://repo.spring.io/milestone false ``` 2.编写调用类 ```java @Component public class SpringAiInvoke implements CommandLineRunner { @Override public void run(String... args) throws Exception { AssistantMessage assistantMessage = dashscopeChatModel.call(new Prompt("你好，我是汉堡🍔")).getResult().getOutput(); System.out.println(assistantMessage.getText()); } @Resource private ChatModel dashscopeChatModel; } ``` ### Langchain4j 调用 DashScope 官方文档：https://docs.langchain4j.info/integrations/language-models/dashscope 1.先引入依赖： ```xml dev.langchain4j langchain4j-community-dashscope 1.0.0-beta3 ``` 同时还可以直接通过spring boot starter引入（但为了防止与 Spring AI 冲突，这里我们就不引入了）： ```xml dev.langchain4j langchain4j-community-dashscope-spring-boot-starter ${latest version here} ``` 2.编写调用方法 ```java public class LangChainAiInvoke { public static void main(String[] args) { QwenChatModel qwenChatModel = QwenChatModel.builder().apiKey(TestApiKey.apiKey) .modelName("qwen-max").build(); String answer = qwenChatModel.chat("我是雪荷，这里是测试方法"); System.out.println(answer); } } ``` #### 如何选择 LangChain4j 和 Spring AI LangChain4j 相比于 Spring AI更加灵活和底层，但 Spring AI 与 java 集成更好，生态有优势，对于一般的开发需求来说，后者显然更好，如果自定义程度很高建议用前者。 ## Token 成本优化技巧 1）精简系统提示词：移除冗余描述，保留核心指令。 2）定期清理对话历史：对话上下文会随着交互不断积累 Token。在长对话中。可以定期请求 AI 总结之前的对话，然后以总结替代详细历史。 ``` 请总结我们至今的对话要点，后续我们将基于此总结继续讨论。 ``` 3）使用向量检索代替直接输入：对于需要处理大量参考文档的场景，不要直接将整个文档作为 Prompt，而是使用向量数据库和检索技术（RAG）获取相关段落 4）结构化代替自然语言：使用表格、列表等结构化格式代替长段落描述 ## Prompt 优化技巧 ### 基础提升技巧 #### 1.明确指定任务和角色为 AI 提供清晰的任务描述和角色定位，帮助模型理解背景和期望 ``` 系统：你是一个经验丰富的 Python 导师，擅长像初学者解释编程概念用户：请解释 Python 中的 dict 概念，包括基本语法和 2-3 个实用示例 ``` #### 2.提供详细说明和具体示例提供足够的上下文信息和期望的输出格式示例，减少模型的不确定性 #### 3.使用结构化格式引导思维通过列表、表格等结构化格式，使指令更易理解，输出更有条理 #### 4.明确输出格式的要求 ``` 撰写一篇关于气候变化的科普文章，要求： 1.使用通俗易懂的语言，使用高中生阅读 2.包含 5 个小标题，每个标题下 2-3 段文字 3.总字数控制在 800 字左右 4.结尾提供 3 个可行的个人行动建议 ``` ### 进阶提示技巧 #### 1.思维链提示法引导模型展示推理过程，逐步思考问题，提高复杂问题的准确性

#### 2.少样本学习通过提供几个输入-输出对的示例，帮助模型理解任务模式和期望输出

#### 3.分步骤指导将复杂任务分解为可管理的步骤，确保模型完成每个关键环节

#### 4.自我评估和修正让模型评估自己的输出并进行改进，提供准确性和质量

#### 5.知识检索和引用引导模型检索相关信息并明确引用信息来源，提高可靠性 #### 6.多视角分析引导模型从不同视角、立场或专业视角来分析问题，提高全面的见解 #### 7.多模态思维结合不同表达形式进行思考，如文字描述、图表结构、代码逻辑等 ## 提示词调试和优化 ### 1.迭代式提示优化通过逐步修改和完善提示词，提高输出质量 ### 2.边界测试通过极限情况测试模型的能力边界，找出优化空间 ### 3.提示词模板化创建结构化模板，便于针对类似任务进行一致性提示，否则每次输出的内容可能会有比较大的区别，不利于调试 ### 4.错误分析与修正系统性分析模型回答中的错误，并针对性优化提示词，这一点儿在我们使用 Cursor 等 AI 开发工具生成代码是非常有用 ## AI 应用方案设计根据需求，我们将实现一个具有多轮对话能力的 AI 恋爱大师应用。整体方案设计将围绕 2 个核心展开： - 系统提示词的设计 - 多轮对话的实现 ### 1.系统提示词设计通过系统提示词设计来优化 AI 的职责和角色，达到事半功倍的效果。想想现实中的场景，我们去找专家咨询时，专家可能会先主动抛出一系列引导性的问题、深入了解背景，而不是被动等待用户完整描述问题，类似看病医生要问一系列问题来了解病情。 ### 2.多轮对话实现要实现具有“记忆力”的 AI 应用，让 AI 能够记住用户之前的对话内容并保持上下文的连贯性，我们可以使用 Spring AI 框架的对话**记忆能力**。可以参考 Spring AI 官方文档，了解 Spring AI 提供了 ChatClient API 来和 AI 大模型交互 #### ChatClient 特性 ChatClient 相比于 ChatModel 功能更加丰富，可以更灵活的对话 AI 客户端，ChatClient 支持更复杂灵活的链式调用（Fluent API）： ```java // 基础用法(ChatModel) ChatResponse response = chatModel.call(new Prompt("你好")); // 高级用法(ChatClient) ChatClient chatClient = ChatClient.builder(chatModel) .defaultSystem("你是恋爱顾问") .build(); String response = chatClient.prompt().user("你好").call().content(); ``` Spring AI 提供了多种构建 ChatClient 的方式，比如自动注入、通过建造者模式手动构造： ```java // 方式1：使用构造器注入 @Service public class ChatService { private final ChatClient chatClient; public ChatService(ChatClient.Builder builder) { this.chatClient = builder .defaultSystem("你是恋爱顾问") .build(); } } // 方式2：使用建造者模式 ChatClient chatClient = ChatClient.builder(chatModel) .defaultSystem("你是恋爱顾问") .build(); ``` ChatClient 支持多种响应格式，比如返回 ChatResponse 对象、返回实体对象、流式返回。 ```java // ChatClient支持多种响应格式 // 1. 返回 ChatResponse 对象（包含元数据如 token 使用量） ChatResponse chatResponse = chatClient.prompt() .user("Tell me a joke") .call() .chatResponse(); // 2. 返回实体对象（自动将 AI 输出映射为 Java 对象） // 2.1 返回单个实体 record ActorFilms(String actor, List movies) {} ActorFilms actorFilms = chatClient.prompt() .user("Generate the filmography for a random actor.") .call() .entity(ActorFilms.class); // 2.2 返回泛型集合 List multipleActors = chatClient.prompt() .user("Generate filmography for Tom Hanks and Bill Murray.") .call() .entity(new ParameterizedTypeReference>() {}); // 3. 流式返回（适用于打字机效果） Flux streamResponse = chatClient.prompt() .user("Tell me a story") .stream() .content(); // 也可以流式返回ChatResponse Flux streamWithMetadata = chatClient.prompt() .user("Tell me a story") .stream() .chatResponse(); ``` 我们还可以给 ChatClient 设置默认参数，比如系统提示词，还可以在对话时动态更改系统提示词的变量，类似模板的概念： ```java // 定义默认系统提示词 ChatClient chatClient = ChatClient.builder(chatModel) .defaultSystem("You are a friendly chat bot that answers question in the voice of a {voice}") .build(); // 对话时动态更改系统提示词的变量 chatClient.prompt() .system(sp -> sp.param("voice", voice)) .user(message) .call() .content()); ``` 此外，还支持指定默认对话选项、默认拦截器、默认函数调用等等 #### Advisors Spring AI 使用 Advisor（顾问）机制来增强 AI 的能力，可以理解为一系列可插拔的拦截器，在调用 AI 前和调用后执行一些特定的操作，比如： - 前置增强：调用 AI 前修改一下 Prompt，检查提示词是否安全 - 后置增强：调用 AI 后记录一下日志、处理一下返回结果可以直接为 ChatClient 指定默认拦截器，比如对话拦截器 MessageChatMemoryAdvisor 帮助我们实现多轮对话能力，省去自己维护对话列表的麻烦 ```java var chatClient = ChatClient.builder(chatModel) .defaultAdvisors( new MessageChatMemoryAdvisor(chatMemory), // 对话记忆 advisor new QuestionAnswerAdvisor(vectorStore) // RAG 检索增强 advisor ) .build(); String response = this.chatClient.prompt() // 对话时动态设定拦截器参数，比如指定对话记忆的 id 和长度 .advisors(advisor -> advisor.param("chat_memory_conversation_id", "678") .param("chat_memory_response_size", 100)) .user(userText) .call() .content(); ``` 原理：

Spring AI 拦截器的执行顺序是由 getOrder 方法决定的，返回的数字越小，优先级越高。 #### Chat Memory Advisor Spring AI 的 ChatMemoryAdvisor 的内置集中实现方式： 1. MessageChatMemoryAdvisor：从记忆中检索历史对话，将其作为消息集合添加到提示词中 2. PromptChatMemoryAdvisor：从记忆中检索历史对话，并将其添加到提示词的系统文本中 3. VectorStoreChatMemoryAdvisor：可以用向量数据库存储检索历史对话 1）MessageChatMemoryAdvisor 将对话历史作为一系列独立的消息添加到提示中，保留原始对话的完整结构，包括每条消息的角色表示（用户、助手和系统） ```json [ {"role": "user", "content": "你好"}, {"role": "assistant", "content": "你好！有什么我能帮助你的吗？"}, {"role": "user", "content": "讲个笑话"} ] ``` 2）PromptChatMemoryAdvisor 将对话历史添加到提示词的系统文本部分，因此可能会失去原始的消息边界 ```json 以下是之前的对话历史：用户: 你好助手: 你好！有什么我能帮助你的吗？用户: 讲个笑话现在请继续回答用户的问题。 ``` #### Chat Memory 上述 ChatMemoryAdvisor 都依赖 ChatMemory 进行构造，Chat Memory 负责历史对话的存储，定义了保存消息、查询消息、清空消息历史的方法。 ![image-20250525175854175](https://hejiajun-img-bucket.oss-cn-wuhan-lr.aliyuncs.com/img/image-20250525175854175.png) 当然也可以通过实现 ChatMemory 接口自定义数据源的存储