Skip to content

Latest commit

 

History

History
49 lines (29 loc) · 6.77 KB

README-CN.md

File metadata and controls

49 lines (29 loc) · 6.77 KB
Raw

OpenAI 快速入门


English | 中文

本项目旨在为所有对大型语言模型及其在人工智能治理和控制（AIGC）场景中应用的人们提供一站式学习资源。通过提供理论基础，开发基础，和实践示例，该项目对这些前沿主题提供了全面的指导。

特性

  • 大型语言模型的理论和开发基础：深入探究像 GPT-4 这样的大型语言模型的内部运作，包括其架构，训练方法，应用等。

  • 用 LangChain 开发 AIGC 应用：使用 LangChain 开发 AIGC 应用的实践示例和教程，展示了大型语言模型的实际应用。

入门

你可以通过克隆此仓库到你的本地机器来开始：

git clone https://github.com/DjangoPeng/openai-quickstart.git

然后导航至目录，并按照单个模块的指示开始操作。

进度表

日期 描述 课程资料 任务
周三 7月12日 第1周 大模型基础：理论与技术的演进
- 初探大模型：起源与发展
- 预热篇：解码注意力机制
- 变革里程碑：Transformer的崛起
- 走向不同：GPT与BERT的选择		 建议阅读：
- Attention Mechanism: Neural Machine Translation by Jointly Learning to Align and Translate
- An Attentive Survey of Attention Models
- Transformer：Attention is All you Need
- [BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding(https://arxiv.org/abs/1810.04805)		 [作业]
周日 7月16日 GPT 模型家族：从始至今
- 从GPT-1到GPT-3.5：一路的风云变幻
- ChatGPT：赢在哪里
- GPT-4：一个新的开始
提示学习（Prompt Learning）
- 思维链（Chain-of-Thought, CoT）：开山之作
- 自洽性（Self-Consistency）：多路径推理
- 思维树（Tree-of-Thoughts, ToT）：续写佳话		 建议阅读：
- GPT-1: Improving Language Understanding by Generative Pre-training
- GPT-2: Language Models are Unsupervised Multitask Learners
- GPT-3: Language Models are Few-Shot Learners


额外阅读：
- GPT-4: Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE
- GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models
- Sparks of Artificial General Intelligence: Early experiments with GPT-4

 [作业]
周三 7月19日 第2周 大模型开发基础：OpenAI Embedding
- 通用人工智能的前夜
- "三个世界"和"图灵测试"
- 计算机数据表示
- 表示学习和嵌入
Embeddings Dev 101
- 课程项目：GitHub openai-quickstart
- 快速上手 OpenAI Embeddings		 建议阅读：
- Representation Learning: A Review and New Perspectives
- Word2Vec: Efficient Estimation of Word Representations in Vector Space
- GloVe: Global Vectors for Word Representation

额外阅读：

- Improving Distributional Similarity with Lessons Learned from Word Embeddings
- Evaluation methods for unsupervised word embeddings		 [作业]
代码：
[embedding]
周日 7月23日 OpenAI 大模型开发与应用实践
- OpenAI大型模型开发指南
- OpenAI 语言模型总览
- OpenAI GPT-4, GPT-3.5, GPT-3, Moderation
- OpenAI Token 计费与计算
OpenAI API 入门与实战
- OpenAI Models API
- OpenAI Completions API
- OpenAI Chat Completions API
- Completions vs Chat Completions
OpenAI 大模型应用实践
- 文本内容补全初探（Text Completion）
- 聊天机器人初探（Chat Completion）		 建议阅读：

- OpenAI Models
- OpenAI Completions API
- OpenAI Chat Completions API		 代码：
[models]
[tiktoken]
周三 7月26日 第3周 AI大模型应用最佳实践
- 如何提升GPT模型使用效率与质量
- AI大模型应用最佳实践
- 文本创作与生成
- 文章摘要和总结
- 小说生成与内容监管
- 分步骤执行复杂任务
- 评估模型输出质量
- 构造训练标注数据
- 代码调试助手
- 新特性： Function Calling 介绍与实战		 建议阅读
- GPT Best Practices
- Function Calling		 代码：
Function Calling

贡献

贡献是使开源社区成为学习、激励和创造的惊人之处。非常感谢你所做的任何贡献。如果你有任何建议或功能请求，请先开启一个议题讨论你想要改变的内容。

许可证

该项目根据Apache-2.0许可证的条款进行许可。详情请参见LICENSE文件。

联系

Django Peng - [email protected]

项目链接: https://github.com/DjangoPeng/openai-quickstart