使用LLM进行标书写作简单开源项目及openai O1实现思路再索引

江湖人称麻花滕

2010人浏览 · 2024-12-02 20:56:13

江湖人称麻花滕 · 2024-12-02 20:56:13 发布

今天我们讲两个方面的内容，使用大模型进行标书写作的一个简单开源项目，以及再看openai O1进展及LLM-Self-Correction机制。

一、使用大模型进行标书写作的一个简单开源项目

这个有趣，利用大模型进行标书写作(https://github.com/William-GuoWei/ProposalLLM)，根据excel里的需求列表，利用大模型的能力自动生成word版的标书文件，根据其readme，可看到其对应的功能：

根据需求对应表，自动根据产品文档生成点对点应答格式的标书，包括所有小标题及内容，自动生成标题1,2,3格式，自动整理正文、图片、项目符号格式；

完成技术需求偏离对应表，自动填写需求对应表当中点对点应答，格式为“答：全面支持，{大模型根据需求自动生成文本}”，同时填写标书对应的章节号码；

整个的项目核心在于prompt的设置(https://github.com/William-GuoWei/ProposalLLM/blob/main/Generate.py)以及整个实现逻辑的设计：

感兴趣的可以试试，提供的excel和word中有一些模版，可以亲自看看实现机制，整个还是相对粗糙。

二、再看openai O1进展及LLM-Self-Correction机制

当然，目前OpenaiO1这些，以及很多RAG的工作，都会使用Reflection的机制，所以这块的一些技术综合总结，可以看LLM-Self-Correction-Papers，大模型自我纠错相关论文，涵盖内在自我纠错、外部工具辅助纠错、信息检索辅助纠错等， https://github.com/ryokamoi/llm-self-correction-papers，这个主要来自于综述《When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs》。

其中，再次回顾下对应的openai O1的工作(https://platform.openai.com/docs/guides/reasoning)，对应的工作：

1、OpenAI o1 Learning to Reason with LLMs，https://arxiv.org/abs/2409.18486， https://openai.com/index/learning-to-reason-with-llms/

2、Skywork-o1，https://huggingface.co/Skywork，https://huggingface.co/Skywork/Skywork-o1-Open-Llama-3.1-8B

3、LLaVA-CoT，LLaVA-CoT: Let Vision Language Models Reason Step-by-Step，https://arxiv.org/abs/2411.10440

4、Marco-o1， Towards Open Reasoning Models for Open-Ended Solutions，https://arxiv.org/abs/2411.14405

5、QwQ: Reflect Deeply on the Boundaries of the Unknown，https://qwenlm.github.io/blog/qwq-32b-preview/，https://huggingface.co/Qwen/QwQ-32B-Preview

6、Steiner：https://medium.com/@peakji/a-small-step-towards-reproducing-openai-o1-b9a756a00855，https://huggingface.co/collections/peakji/steiner-preview-6712c6987110ce932a44e9a6

7、 DeepSeek-R1-Lite-Preview：https://api-docs.deepseek.com/news/news1120

8、O1 Replication Journey：https://github.com/GAIR-NLP/O1-Journey

实际上，其中最为直接的，就是查看openai-o1在不同任务上的推理prompt，例如可参考https://openai.com/index/learning-to-reason-with-llms/，https://github.com/bradhilton/o1-chain-of-thought/tree/main/examples：

也可以看看为了产生这类cot数据的一些合成方案。例如：g1: Using Llama-3.1 70b on Groq to create o1-like reasoning chains（https://github.com/bklieger-groq/g1）

又如，multi1: Using multiple AI providers to create o1-like reasoning chains(https://github.com/tcsenpai/multi1)

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述