先放弃「一键成文」
最初的设想很诱人:把想法丢给模型,直接得到一篇完整文章。实际用下来问题集中在两点——事实不受控,语气也不是自己的。
模型很擅长把一段讨论整理成通顺的文字,但不擅长替你判断哪句话是对的。技术文章里的事实错误,比语句不通顺代价大得多。
收窄到四个动作
现在的做法是只让模型做四件事,每一件都可回退、可修改:
- 生成标题:给几个候选,人来挑。
- 生成摘要:控制在 80 到 150 字,覆盖核心观点。
- 生成正文骨架:按二级标题铺结构,内容自己填。
- 提取标签:从正文里抽 3 到 5 个,方便归档与检索。
四个动作共用一个会话上下文,模型能连续看到前面的讨论,不必每次重复背景。
上下文会长,token 会炸
连续对话几十轮之后,把全部历史都发过去既慢又贵。做法是给会话加一个压缩点:当未压缩的消息超过阈值,就把更早的那部分交给模型总结成一段摘要,之后只发送摘要加近期消息。
这样上下文长度被压在可控范围内,同时保留了早期讨论的结论。压缩点需要落库,避免重启后重新计算。
模型配置不进代码
地址、模型名、温度、超时这些参数放进字典表,后台可以随时加一条新配置并指定默认项。切换模型不需要改代码,也不需要重启服务。
密钥只存在配置里,不进版本库,日志里也不打印。
边界比能力重要
这套助手不会自动发布文章,也不会替人确认事实。它只负责把草稿从零推到七成,剩下的三成——判断、取舍、语气——仍然由人来做。
评论 0
还没有评论,来聊聊你的看法。