+
+ 
+
+ 
+
+ 
+English | 简体中文 | 日本語 | - Español + Español | + Klingon
+ + +Dify 是一个 LLM 应用开发平台，已经有超过 10 万个应用基于 Dify.AI 构建。它融合了 Backend as Service 和 LLMOps 的理念，涵盖了构建生成式 AI 原生应用所需的核心技术栈，包括一个内置 RAG 引擎。使用 Dify，你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力。 + + -#### [官方网站](https://dify.ai) • [使用文档](https://docs.dify.ai/v/zh-hans) · [部署文档](https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted) · [FAQ](https://docs.dify.ai/v/zh-hans/getting-started/faq) • [Twitter](https://twitter.com/dify_ai) • [Discord](https://discord.gg/FngNHpbcY7) +## 为什么选择 Dify -**Dify** 是一个易用的 LLMOps 平台，基于不同的大型语言模型能力，让更多人可以简易地创建可持续运营的原生 AI 应用。Dify 提供多种类型应用的可视化编排，应用可开箱即用，也能以“后端即服务”的 API 提供服务。 +Dify 具有模型中立性，相较 LangChain 等硬编码开发库 Dify 是一个完整的、工程化的技术栈，而相较于 OpenAI 的 Assistants API 你可以完全将服务部署在本地。 -通过 Dify 创建的应用包含了： +| 功能 | Dify.AI | Assistants API | LangChain | +| --- | --- | --- | --- | +| 编程方式 | 面向 API | 面向 API | 面向 Python 代码 | +| 生态策略 | 开源 | 封闭且商用 | 开源 | +| RAG 引擎 | 支持 | 支持 | 不支持 | +| Prompt IDE | 包含 | 包含 | 没有 | +| 支持的 LLMs | 丰富 | 仅 GPT | 丰富 | +| 本地部署 | 支持 | 不支持 | 不适用 | -- 开箱即用的的 Web 站点，支持表单模式和聊天对话模式 -- 一套 API 即可包含插件、上下文增强等能力，替你省下了后端代码的编写工作 -- 可视化的对应用进行数据分析，查阅日志或进行标注 -https://github.com/langgenius/dify/assets/100913391/f6e658d5-31b3-4c16-a0af-9e191da4d0f6 +## 特点 -## 核心能力 -1. **模型支持：** 你可以在 Dify 上选择基于不同模型的能力来开发你的 AI 应用。Dify 兼容 Langchain，这意味着我们将逐步支持多种 LLMs ，目前支持的模型供应商： + -- [x] **OpenAI**：GPT4、GPT3.5-turbo、GPT3.5-turbo-16k、text-davinci-003 -- [x] **Azure OpenAI Service** -- [x] **Anthropic**：Claude2、Claude-instant -- [x] **Replicate** -- [x] **Hugging Face Hub** -- [x] **ChatGLM** -- [x] **Llama2** -- [x] **MiniMax** -- [x] **讯飞星火大模型** -- [x] **文心一言** -- [x] **通义千问** +**1. LLM支持**：与 OpenAI 的 GPT 系列模型集成,或者与开源的 Llama2 系列模型集成。事实上，Dify支持主流的商业模型和开源模型(本地部署或基于 MaaS)。 +**2. Prompt IDE**：和团队一起在 Dify 协作，通过可视化的 Prompt 和应用编排工具开发 AI 应用。 支持无缝切换多种大型语言模型。 -我们为所有注册云端版的用户免费提供以下资源（登录 [dify.ai](https://cloud.dify.ai) 即可使用）： -* 200 次 OpenAI 模型的消息调用额度，用于创建基于 OpenAI 模型的 AI 应用 -* 300 万 讯飞星火大模型 Token 的调用额度，用于创建基于讯飞星火大模型的 AI 应用 -* 100 万 MiniMax Token 的调用额度，用于创建基于 MiniMax 模型的 AI 应用 -2. **可视化编排 Prompt：** 通过界面化编写 prompt 并调试，只需几分钟即可发布一个 AI 应用。 -3. **文本 Embedding 处理（数据集）**：全自动完成文本预处理，使用你的数据作为上下文，无需理解晦涩的概念和技术处理。支持 PDF、txt 等文件格式，支持从 Notion、网页、API 同步数据。 -4. **基于 API 开发：** 后端即服务。您可以直接访问网页应用，也可以接入 API 集成到您的应用中，无需关注复杂的后端架构和部署过程。 -5. **插件能力：** Dify 「智聊」平台已支持网页浏览、Google 搜索、Wikipedia 查询等第一方插件，可在对话中实现联网搜索、分析网页内容、展示 AI 的推理过程。 -6. **团队 Workspace：** 团队成员可加入 Workspace 编辑、管理和使用团队内的 AI 应用。 -6. **数据标注与改进：** 可视化查阅 AI 应用日志并对数据进行改进标注，观测 AI 的推理过程，不断提高其性能。（Coming soon） - ----------------------------- - ## Use cases - * [几分钟创建一个带有业务数据的官网 AI 智能客服](https://docs.dify.ai/v/zh-hans/use-cases/create-an-ai-chatbot-with-business-data-in-minutes) - * [构建一个 Notion AI 助手](https://docs.dify.ai/v/zh-hans/use-cases/build-an-notion-ai-assistant) - * [创建 Midjoureny 提示词机器人](https://docs.dify.ai/v/zh-hans/use-cases/create-a-midjoureny-prompt-word-robot-with-zero-code) +**3. RAG引擎**：包括各种基于全文索引或向量数据库嵌入的 RAG 能力，允许直接上传 PDF、TXT 等各种文本格式。 +**4. Agent**：基于函数调用的 Agent框架，允许用户自定义配置，所见即所得。Dify 提供了基本的插件能力，如谷歌搜索。 -## 使用云服务 +**5. 持续运营**：监控和分析应用日志和性能，使用生产数据持续改进 Prompt、数据集或模型。 -访问 [Dify.ai](https://cloud.dify.ai) 使用云端版。 +## 在开始之前 + +- [网站](https://dify.ai) +- [文档](https://docs.dify.ai) +- [部署文档](https://docs.dify.ai/getting-started/install-self-hosted) +- [常见问题](https://docs.dify.ai/getting-started/faq) ## 安装社区版 @@ -83,80 +86,29 @@ docker compose up -d ### 配置 -需要自定义配置，请参考我们的 [docker-compose.yml](docker/docker-compose.yaml) 文件中的注释，并手动设置环境配置，修改完毕后，请再次执行 `docker-compose up -d`。 - -## Roadmap - -我们正在开发中的功能： - -- **数据集**，支持更多的数据集，通过网页、API 同步内容。用户可以根据自己的数据源构建 AI 应用程序。 -- **插件**，我们将发布符合 ChatGPT 标准的插件，支持更多 Dify 自己的插件，支持用户自定义插件能力，以在应用程序中启用更多功能，例如以支持以目标为导向的分解推理任务。 - -## Q&A - -**Q: 我能用 Dify 做什么？** - -A: Dify 是一个简单且能力丰富的 LLM 开发和运营工具。你可以用它搭建商用级应用，个人助理。如果你想自己开发应用，Dify 也能为你省下接入 OpenAI 的后端工作，使用我们逐步提供的可视化运营能力，你可以持续的改进和训练你的 GPT 模型。 - -**Q: 如何使用 Dify “训练”自己的模型？** - -A: 一个有价值的应用由 Prompt Engineering、上下文增强和 Fine-tune 三个环节组成。我们创造了一种 Prompt 结合编程语言的 Hybrid 编程方式（类似一个模版引擎），你可以轻松的完成长文本嵌入，或抓取用户输入的一个 Youtube 视频的字幕——这些都将作为上下文提交给 LLMs 进行计算。我们十分注重应用的可运营性，你的用户在使用 App 期间产生的数据，可进行分析、标记和持续训练。以上环节如果没有好的工具支持，可能会消耗你大量的时间。 - -**Q: 如果要创建一个自己的应用，我需要准备什么？** - -A: 我们假定你已经有了 OpenAI 或 Claude 等模型的 API Key，如果没有请去注册一个。如果你已经有了一些内容可以作为训练上下文，就太好了。 - -**Q: 提供哪些界面语言？** - -A: 支持英文、中文，你可以为我们贡献语言包并提供维护支持。 +如果您需要自定义配置，请参考我们的 [docker-compose.yml](docker/docker-compose.yaml) 文件中的注释，并手动设置环境配置。更改后，请再次运行 `docker-compose up -d`。您可以在我们的[文档](https://docs.dify.ai/getting-started/install-self-hosted/environments)中查看所有环境变量的完整列表。 ## Star History [](https://star-history.com/#langgenius/dify&Date) -## 贡献 - -我们欢迎你为 Dify 作出贡献帮助 Dify 变得更好。我们欢迎各种方式的贡献，提交代码、问题、新想法、或者分享你基于 Dify 创建出的各种有趣有用的 AI 应用。同时，我们也欢迎你在不同的活动、研讨会、社交媒体上分享 Dify。 - -### 贡献代码 -为了确保正确审查，所有代码贡献 - 包括来自具有直接提交更改权限的贡献者 - 都必须提交 PR 请求并在合并分支之前得到核心开发人员的批准。 - -我们欢迎所有人提交 PR！如果您愿意提供帮助，可以在 [贡献指南](CONTRIBUTING_CN.md) 中了解有关如何为项目做出代码贡献的更多信息。 - -### 提交问题或想法 -你可以通过 Dify 代码仓库新增 issues 来提交你的问题或想法。如遇到问题，请尽可能描述你遇到问题的操作步骤，以便我们更好地发现它。如果你对我们的产品有任何新想法，也欢迎向我们反馈，请尽可能多地分享你的见解，以便我们在社区中获得更多反馈和进一步讨论。 - -### 分享你的应用 -我们鼓励所有社区成员分享他们基于 Dify 创造出的 AI 应用，它们可以是应用于不同情景或不同用户，这将有助于为希望基于 AI 能力创造的人们提供强大灵感！你可以通过 [Dify-user-case 仓库项目提交 issue](https://github.com/langgenius/dify-user-case) 来分享你的应用案例。 - -### 向别人分享 Dify -我们鼓励社区贡献者们积极展示你使用 Dify 的不同角度。你可以通过线下研讨会、博客或社交媒体上谈论或分享你使用 Dify 的任意功能，相信你独特的使用分享会给别人带来非常大的帮助！如果你需要任何指导帮助，欢迎联系我们 support@dify.ai ,你也可以在 twitter @Dify.AI 或在 [Discord 社区](https://discord.gg/FngNHpbcY7)交流来帮助你传播信息。 +## 社区与支持 -### 帮助别人 -你还可以在 Discord、GitHub issues或其他社交平台上帮助需要帮助的人，指导别人解决使用过程中遇到的问题和分享使用经验。这也是个非常了不起的贡献！如果你希望成为 Dify 社区的维护者，请通过[Discord 社区](https://discord.gg/FngNHpbcY7) 联系官方团队或邮件联系我们 support@dify.ai. +我们欢迎您为 Dify 做出贡献，以帮助改善 Dify。包括：提交代码、问题、新想法，或分享您基于 Dify 创建的有趣且有用的 AI 应用程序。同时，我们也欢迎您在不同的活动、会议和社交媒体上分享 Dify。 +- [GitHub Issues](https://github.com/langgenius/dify/issues)。👉：使用 Dify.AI 时遇到的错误和问题，请参阅[贡献指南](CONTRIBUTING.md)。 +- [电子邮件支持](mailto:hello@dify.ai?subject=[GitHub]Questions%20About%20Dify)。👉：关于使用 Dify.AI 的问题。 +- [Discord](https://discord.gg/FngNHpbcY7)。👉：分享您的应用程序并与社区交流。 +- [Twitter](https://twitter.com/dify_ai)。👉：分享您的应用程序并与社区交流。 +- [商业许可](mailto:business@dify.ai?subject=[GitHub]Business%20License%20Inquiry)。👉：有关商业用途许可 Dify.AI 的商业咨询。 + - [微信]() 👉：扫描下方二维码，添加微信好友，备注 Dify，我们将邀请您加入 Dify 社区。 +
-## 联系我们
-
-如果您有任何问题、建议或合作意向，欢迎通过以下方式联系我们：
-
-- 在我们的 [GitHub Repo](https://github.com/langgenius/dify) 上提交 Issue 或 PR
-- 在我们的 [Discord 社区](https://discord.gg/FngNHpbcY7) 上加入讨论
-- 发送邮件至 hello@dify.ai
-
-## 安全
+## 安全问题
为了保护您的隐私，请避免在 GitHub 上发布安全问题。发送问题至 security@dify.ai，我们将为您做更细致的解答。
-## Citation
-
-本软件使用了以下开源软件：
-
-- Chase, H. (2022). LangChain [Computer software]. https://github.com/hwchase17/langchain
-
-更多信息，请参考相应软件的官方网站或许可证文本。
-
## License
本仓库遵循 [Dify Open Source License](LICENSE) 开源协议。
diff --git a/README_ES.md b/README_ES.md
index 7a52b272847828..11cf312050113c 100644
--- a/README_ES.md
+++ b/README_ES.md
@@ -1,4 +1,4 @@
-
+[](https://dify.ai)
English | 简体中文 | @@ -6,118 +6,107 @@ Español
-[Sitio web](https://dify.ai) • [Documentación](https://docs.dify.ai) • [Twitter](https://twitter.com/dify_ai) • [Discord](https://discord.gg/FngNHpbcY7) - -**Dify** es una plataforma LLMOps fácil de usar diseñada para capacitar a más personas para que creen aplicaciones sostenibles basadas en IA. Con orquestación visual para varios tipos de aplicaciones, Dify ofrece aplicaciones listas para usar que también pueden funcionar como APIs de Backend-as-a-Service. Unifica tu proceso de desarrollo con una API para la integración de complementos y conjuntos de datos, y agiliza tus operaciones utilizando una interfaz única para la ingeniería de indicaciones, análisis visual y mejora continua. - -Las aplicaciones creadas con Dify incluyen: - -- Sitios web listos para usar que admiten el modo de formulario y el modo de conversación por chat. -- Una API única que abarca capacidades de complementos, mejora de contexto y más, lo que te ahorra esfuerzo de programación en el backend. -- Análisis visual de datos, revisión de registros y anotación para aplicaciones. - -Dify es compatible con Langchain, lo que significa que gradualmente admitiremos múltiples LLMs, actualmente compatibles con: - -- GPT 3 (text-davinci-003) -- GPT 3.5 Turbo (ChatGPT) -- GPT-4 - -## Usar servicios en la nube - -Visita [Dify.ai](https://dify.ai) - -## Instalar la Edición Comunitaria + -### Requisitos del sistema +**Dify** es una plataforma de desarrollo de aplicaciones para modelos de lenguaje de gran tamaño (LLM) que ya ha visto la creación de más de **100,000** aplicaciones basadas en Dify.AI. Integra los conceptos de Backend como Servicio y LLMOps, cubriendo el conjunto de tecnologías esenciales requerido para construir aplicaciones nativas de inteligencia artificial generativa, incluyendo un motor RAG incorporado. Con Dify, **puedes auto-desplegar capacidades similares a las de Assistants API y GPTs basadas en cualquier LLM.** -Antes de instalar Dify, asegúrate de que tu máquina cumple con los siguientes requisitos mínimos del sistema: + -- CPU >= 2 Core -- RAM >= 4GB +## Utilizar Servicios en la Nube -### Inicio rápido +Usar [Dify.AI Cloud](https://dify.ai) proporciona todas las capacidades de la versión de código abierto, e incluye un complemento de 200 créditos de prueba para GPT. -La forma más sencilla de iniciar el servidor de Dify es ejecutar nuestro archivo [docker-compose.yml](docker/docker-compose.yaml). Antes de ejecutar el comando de instalación, asegúrate de que [Docker](https://docs.docker.com/get-docker/) y [Docker Compose](https://docs.docker.com/compose/install/) estén instalados en tu máquina: +## Por qué Dify -```bash -cd docker -docker compose up -d -``` +Dify se caracteriza por su neutralidad de modelo y es un conjunto tecnológico completo e ingenierizado, en comparación con las bibliotecas de desarrollo codificadas como LangChain. A diferencia de la API de Assistants de OpenAI, Dify permite el despliegue local completo de los servicios. -Después de ejecutarlo, puedes acceder al panel de control de Dify en tu navegador desde [http://localhost/install](http://localhost/install) y comenzar el proceso de instalación de inicialización. +| Característica | Dify.AI | API de Assistants | LangChain | +|----------------|---------|------------------|-----------| +| **Enfoque de Programación** | Orientado a API | Orientado a API | Orientado a Código en Python | +| **Estrategia del Ecosistema** | Código Abierto | Cerrado y Comercial | Código Abierto | +| **Motor RAG** | Soportado | Soportado | No Soportado | +| **IDE de Prompts** | Incluido | Incluido | Ninguno | +| **LLMs Soportados** | Gran Variedad | Solo GPT | Gran Variedad | +| **Despliegue Local** | Soportado | No Soportado | No Aplicable | -### Helm Chart +## Características -Un gran agradecimiento a @BorisPolonsky por proporcionarnos una versión de [Helm Chart](https://helm.sh/), que permite desplegar Dify en Kubernetes. -Puede ir a https://github.com/BorisPolonsky/dify-helm para obtener información de despliegue. + -### Configuración +**1. Soporte LLM**: Integración con la familia de modelos GPT de OpenAI, o los modelos de la familia Llama2 de código abierto. De hecho, Dify soporta modelos comerciales convencionales y modelos de código abierto (desplegados localmente o basados en MaaS). -Si necesitas personalizar la configuración, consulta los comentarios en nuestro archivo [docker-compose.yml](docker/docker-compose.yaml) y configura manualmente la configuración del entorno. Después de realizar los cambios, ejecuta nuevamente 'docker-compose up -d'. +**2. IDE de Prompts**: Orquestación visual de aplicaciones y servicios basados en LLMs con tu equipo. -## Hoja de ruta +**3. Motor RAG**: Incluye varias capacidades RAG basadas en indexación de texto completo o incrustaciones de base de datos vectoriales, permitiendo la carga directa de PDFs, TXTs y otros formatos de texto. -Funciones en desarrollo: +**4. Agentes**: Un marco de Agentes basado en Llamadas de Función que permite a los usuarios configurar lo que ven es lo que obtienen. Dify incluye capacidades básicas de plugins como la Búsqueda de Google. -- **Conjuntos de datos**, admitiendo más conjuntos de datos, por ejemplo, sincronización de contenido desde Notion o páginas web. -Admitiremos más conjuntos de datos, incluidos texto, páginas web e incluso contenido de Notion. Los usuarios pueden construir aplicaciones de IA basadas en sus propias fuentes de datos -- **Complementos**, introduciendo complementos estándar de ChatGPT para aplicaciones, o utilizando complementos producidos por Dify. -Lanzaremos complementos que cumplan con el estándar de ChatGPT, o nuestros propios complementos de Dify para habilitar más capacidades en las aplicaciones. -- **Modelos de código abierto**, por ejemplo, adoptar Llama como proveedor de modelos o para un ajuste adicional. -Trabajaremos con excelentes modelos de código abierto como Llama, proporcionándolos como opciones de modelos en nuestra plataforma o utilizándolos para un ajuste adicional. +**5. Operaciones Continuas**: Monitorear y analizar registros de aplicaciones y rendimiento, mejorando continuamente Prompts, conjuntos de datos o modelos usando datos de producción. -## Preguntas y respuestas +## Antes de Empezar -**P: ¿Qué puedo hacer con Dify?** +- [Sitio web](https://dify.ai) +- [Documentación](https://docs.dify.ai) +- [Documentación de Implementación](https://docs.dify.ai/getting-started/install-self-hosted) +- [Preguntas Frecuentes](https://docs.dify.ai/getting-started/faq) -R: Dify es una herramienta de desarrollo y operaciones de LLM, simple pero poderosa. Puedes usarla para construir aplicaciones de calidad comercial y asistentes personales. Si deseas desarrollar tus propias aplicaciones, LangDifyGenius puede ahorrarte trabajo en el backend al integrar con OpenAI y ofrecer capacidades de operaciones visuales, lo que te permite mejorar y entrenar continuamente tu modelo GPT. +## Instalar la Edición Comunitaria -**P: ¿Cómo uso Dify para "entrenar" mi propio modelo?** +### Requisitos del Sistema -R: Una aplicación valiosa consta de Ingeniería de indicaciones, mejora de contexto y ajuste fino. Hemos creado un enfoque de programación híbrida que combina las indicaciones con lenguajes de programación (similar a un motor de plantillas), lo que facilita la incorporación de texto largo o la captura de subtítulos de un video de YouTube ingresado por el usuario, todo lo cual se enviará como contexto para que los LLM lo procesen. Damos gran importancia a la operabilidad de la aplicación, con los datos generados por los usuarios durante el uso de la aplicación disponibles para análisis, anotación y entrenamiento continuo. Sin las herramientas adecuadas, estos pasos pueden llevar mucho tiempo. +Antes de instalar Dify, asegúrate de que tu máquina cumpla con los siguientes requisitos mínimos del sistema: -**P: ¿Qué necesito preparar si quiero crear mi propia aplicación?** +- CPU >= 2 núcleos +- RAM >= 4GB -R: Suponemos que ya tienes una clave de API de OpenAI; si no la tienes, por favor regístrate. ¡Si ya tienes contenido que pueda servir como contexto de entrenamiento, eso es genial! +### Inicio Rápido -**P: ¿Qué idiomas de interfaz están disponibles?** +La forma más sencilla de iniciar el servidor de Dify es ejecutar nuestro archivo [docker-compose.yml](docker/docker-compose.yaml). Antes de ejecutar el comando de instalación, asegúrate de que [Docker](https://docs.docker.com/get-docker/) y [Docker Compose](https://docs.docker.com/compose/install/) estén instalados en tu máquina: -R: Actualmente se admiten inglés y chino, y puedes contribuir con paquetes de idiomas. +```bash +cd docker +docker compose up -d +``` -## Historial de estrellas +Después de ejecutarlo, puedes acceder al panel de control de Dify en tu navegador en [http://localhost/install](http://localhost/install) y comenzar el proceso de instalación de inicialización. -[](https://star-history.com/#langgenius/dify&Date) +### Gráfico Helm -## Contáctanos +Un gran agradecimiento a @BorisPolonsky por proporcionarnos una versión del [Gráfico Helm](https://helm.sh/), que permite implementar Dify en Kubernetes. Puedes visitar https://github.com/BorisPolonsky/dify-helm para obtener información sobre la implementación. -Si tienes alguna pregunta, sugerencia o consulta sobre asociación, no dudes en contactarnos a través de los siguientes canales: +### Configuración -- Presentar un problema o una solicitud de extracción en nuestro repositorio de GitHub. -- Únete a la discusión en nuestra comunidad de [Discord](https://discord.gg/FngNHpbcY7). -- Envía un correo electrónico a hello@dify.ai. +Si necesitas personalizar la configuración, consulta los comentarios en nuestro archivo [docker-compose.yml](docker/docker-compose.yaml) y configura manualmente la configuración del entorno. Después de realizar los cambios, ejecuta nuevamente `docker-compose up -d`. Puedes ver la lista completa de variables de entorno en nuestra [documentación](https://docs.dify.ai/getting-started/install-self-hosted/environments). -¡Estamos ansiosos por ayudarte y crear juntos aplicaciones de IA más divertidas y útiles! +## Historial de Estrellas -## Contribuciones +[](https://star-history.com/#langgenius/dify&Date) -Para garantizar una revisión adecuada, todas las contribuciones de código, incluidas las de los colaboradores con acceso directo a los compromisos, deben enviarse mediante solicitudes de extracción y ser aprobadas por el equipo principal de +## Comunidad y Soporte - desarrollo antes de fusionarse. +Te damos la bienvenida a contribuir a Dify para ayudar a hacer que Dify sea mejor de diversas maneras, enviando código, informando problemas, proponiendo nuevas ideas o compartiendo las aplicaciones de inteligencia artificial interesantes y útiles que hayas creado basadas en Dify. Al mismo tiempo, también te invitamos a compartir Dify en diferentes eventos, conferencias y redes sociales. -¡Agradecemos todas las solicitudes de extracción! Si deseas ayudar, consulta la [Guía de Contribución](CONTRIBUTING.md) para obtener más información sobre cómo comenzar. +- [Problemas en GitHub](https://github.com/langgenius/dify/issues). Lo mejor para: errores y problemas que encuentres al usar Dify.AI, consulta la [Guía de Contribución](CONTRIBUTING.md). +- [Soporte por Correo Electrónico](mailto:hello@dify.ai?subject=[GitHub]Preguntas%20sobre%20Dify). Lo mejor para: preguntas que tengas sobre el uso de Dify.AI. +- [Discord](https://discord.gg/FngNHpbcY7). Lo mejor para: compartir tus aplicaciones y socializar con la comunidad. +- [Twitter](https://twitter.com/dify_ai). Lo mejor para: compartir tus aplicaciones y socializar con la comunidad. +- [Licencia Comercial](mailto:business@dify.ai?subject=[GitHub]Consulta%20de%20Licencia%20Comercial). Lo mejor para: consultas comerciales sobre la licencia de Dify.AI para uso comercial. -## Seguridad +## Divulgación de Seguridad Para proteger tu privacidad, evita publicar problemas de seguridad en GitHub. En su lugar, envía tus preguntas a security@dify.ai y te proporcionaremos una respuesta más detallada. -## Citación - -Este software utiliza el siguiente software de código abierto: - -- Chase, H. (2022). LangChain [Software de computadora]. https://github.com/hwchase17/langchain - -Para obtener más información, consulta el sitio web oficial o el texto de la licencia del software correspondiente. - ## Licencia Este repositorio está disponible bajo la [Licencia de código abierto de Dify](LICENSE). diff --git a/README_JA.md b/README_JA.md index 8f7e983d6ead72..9eedd82efd391d 100644 --- a/README_JA.md +++ b/README_JA.md @@ -1,122 +1,103 @@ - +[](https://dify.ai)English | 简体中文 | 日本語 | - Español + Español | + Klingon
-[Web サイト](https://dify.ai) • [ドキュメント](https://docs.dify.ai) • [Twitter](https://twitter.com/dify_ai) • [Discord](https://discord.gg/FngNHpbcY7) + +"Difyは、既にDify.AI上で10万以上のアプリケーションが構築されているLLMアプリケーション開発プラットフォームです。バックエンド・アズ・ア・サービスとLLMOpsの概念を統合し、組み込みのRAGエンジンを含む、生成AIネイティブアプリケーションを構築するためのコアテックスタックをカバーしています。Difyを使用すると、どのLLMに基づいても、Assistants APIやGPTのような機能を自己デプロイすることができます。" -**Dify** は、より多くの人々が持続可能な AI ネイティブアプリケーションを作成できるように設計された、使いやすい LLMOps プラットフォームです。様々なアプリケーションタイプに対応したビジュアルオーケストレーションにより Dify は Backend-as-a-Service API としても機能する、すぐに使えるアプリケーションを提供します。プラグインやデータセットを統合するための1つの API で開発プロセスを統一し、プロンプトエンジニアリング、ビジュアル分析、継続的な改善のための1つのインターフェイスを使って業務を合理化します。 +Please note that translating complex technical terms can sometimes result in slight variations in meaning due to differences in language nuances. -Difyで作成したアプリケーションは以下の通りです: +## クラウドサービスの利用 -フォームモードとチャット会話モードをサポートする、すぐに使える Web サイト -プラグイン機能、コンテキストの強化などを網羅する単一の API により、バックエンドのコーディングの手間を省きます。 -アプリケーションの視覚的なデータ分析、ログレビュー、アノテーションが可能です。 -Dify は LangChain と互換性があり、複数の LLM を徐々にサポートします: +[Dify.AI Cloud](https://dify.ai) を使用すると、オープンソース版の全機能を利用でき、さらに200GPTのトライアルクレジットが無料で提供されます。 -- GPT 3 (text-davinci-003) -- GPT 3.5 Turbo(ChatGPT) -- GPT-4 +## Difyの利点 -## クラウドサービスの利用 +Difyはモデルニュートラルであり、LangChainのようなハードコードされた開発ライブラリと比較して、完全にエンジニアリングされた技術スタックを特徴としています。OpenAIのAssistants APIとは異なり、Difyではサービスの完全なローカルデプロイメントが可能です。 + +| 機能 | Dify.AI | Assistants API | LangChain | +|---------|---------|----------------|-----------| +| **プログラミングアプローチ** | API指向 | API指向 | Pythonコード指向 | +| **エコシステム戦略** | オープンソース | 閉鎖的かつ商業的 | オープンソース | +| **RAGエンジン** | サポート済み | サポート済み | 非サポート | +| **プロンプトIDE** | 含まれる | 含まれる | なし | +| **サポートされるLLMs** | 豊富な種類 | GPTのみ | 豊富な種類 | +| **ローカルデプロイメント** | サポート済み | 非サポート | 該当なし | + + +## 開始する前に -[Dify.ai](https://dify.ai) をご覧ください +- [Website](https://dify.ai) +- [Docs](https://docs.dify.ai) +- [Deployment Docs](https://docs.dify.ai/getting-started/install-self-hosted) +- [FAQ](https://docs.dify.ai/getting-started/faq) -## Community Edition のインストール + +## コミュニティエディションのインストール ### システム要件 -Dify をインストールする前に、お使いのマシンが以下の最低システム要件を満たしていることを確認してください: +Difyをインストールする前に、以下の最低限のシステム要件を満たしていることを確認してください： -- CPU >= 1 Core +- CPU >= 2コア - RAM >= 4GB ### クイックスタート -Dify サーバーを起動する最も簡単な方法は、[docker-compose.yml](docker/docker-compose.yaml) ファイルを実行することです。インストールコマンドを実行する前に、[Docker](https://docs.docker.com/get-docker/) と [Docker Compose](https://docs.docker.com/compose/install/) がお使いのマシンにインストールされていることを確認してください: +Difyサーバーを始める最も簡単な方法は、[docker-compose.yml](docker/docker-compose.yaml) ファイルを実行することです。インストールコマンドを実行する前に、マシンに [Docker](https://docs.docker.com/get-docker/) と [Docker Compose](https://docs.docker.com/compose/install/) がインストールされていることを確認してください： ```bash cd docker docker compose up -d ``` -実行後、ブラウザで [http://localhost/install](http://localhost/install) にアクセスし、初期化インストール作業を開始することができます。 +実行後、ブラウザで [http://localhost/install](http://localhost/install) にアクセスし、初期化インストールプロセスを開始できます。 ### Helm Chart -@BorisPolonsky に大感謝します。彼は Dify を Kubernetes 上にデプロイするための [Helm Chart](https://helm.sh/) バージョンを提供してくれました。 +@BorisPolonskyによる[Helm Chart](https://helm.sh/) バージョンを提供してくれて、大変感謝しています。これにより、DifyはKubernetes上にデプロイすることができます。 デプロイ情報については、https://github.com/BorisPolonsky/dify-helm をご覧ください。 -### 構成 - -カスタマイズが必要な場合は、[docker-compose.yml](docker/docker-compose.yaml) ファイルのコメントを参照し、手動で環境設定をお願いします。変更後、再度 'docker-compose up -d' を実行してください。 - -## ロードマップ - -開発中の機能: - -- **データセット**, Notionやウェブページからのコンテンツ同期など、より多くのデータセットをサポートします -テキスト、ウェブページ、さらには Notion コンテンツなど、より多くのデータセットをサポートする予定です。ユーザーは、自分のデータソースをもとに AI アプリケーションを構築することができます。 -- **プラグイン**, アプリケーションに ChatGPT プラグイン標準のプラグインを導入する、または Dify 制作のプラグインを利用する -今後、ChatGPT 規格に準拠したプラグインや、ディファイ独自のプラグインを公開し、より多くの機能をアプリケーションで実現できるようにします。 -- **オープンソースモデル**, 例えばモデルプロバイダーとして Llama を採用したり、さらにファインチューニングを行う -Llama のような優れたオープンソースモデルを、私たちのプラットフォームのモデルオプションとして提供したり、さらなる微調整のために使用したりすることで、協力していきます。 - - -## Q&A +### 設定 -**Q: Dify で何ができるのか？** +設定をカスタマイズする必要がある場合は、[docker-compose.yml](docker/docker-compose.yaml) ファイルのコメントを参照し、環境設定を手動で行ってください。変更を行った後は、もう一度 `docker-compose up -d` を実行してください。環境変数の完全なリストは、[ドキュメント](https://docs.dify.ai/getting-started/install-self-hosted/environments)で確認できます。 -A: Dify はシンプルでパワフルな LLM 開発・運用ツールです。商用グレードのアプリケーション、パーソナルアシスタントを構築するために使用することができます。独自のアプリケーションを開発したい場合、LangDifyGenius は OpenAI と統合する際のバックエンド作業を省き、視覚的な操作機能を提供し、GPT モデルを継続的に改善・訓練することが可能です。 -**Q: Dify を使って、自分のモデルを「トレーニング」するにはどうすればいいのでしょうか？** - -A: プロンプトエンジニアリング、コンテキスト拡張、ファインチューニングからなる価値あるアプリケーションです。プロンプトとプログラミング言語を組み合わせたハイブリッドプログラミングアプローチ（テンプレートエンジンのようなもの）で、長文の埋め込みやユーザー入力の YouTube 動画からの字幕取り込みなどを簡単に実現し、これらはすべて LLM が処理するコンテキストとして提出される予定です。また、アプリケーションの操作性を重視し、ユーザーがアプリケーションを使用する際に生成したデータを分析、アノテーション、継続的なトレーニングに利用できるようにしました。適切なツールがなければ、これらのステップに時間がかかることがあります。 - -**Q: 自分でアプリケーションを作りたい場合、何を準備すればよいですか？** - -A: すでに OpenAI API Key をお持ちだと思いますが、お持ちでない場合はご登録ください。もし、すでにトレーニングのコンテキストとなるコンテンツをお持ちでしたら、それは素晴らしいことです！ - -**Q: インターフェイスにどの言語が使えますか？** - -A: 現在、英語と中国語に対応しており、言語パックを寄贈することも可能です。 - -## Star ヒストリー +## スターヒストリー [](https://star-history.com/#langgenius/dify&Date) -## お問合せ - -ご質問、ご提案、パートナーシップに関するお問い合わせは、以下のチャンネルからお気軽にご連絡ください: +## コミュニティとサポート -- GitHub Repo で Issue や PR を提出する -- [Discord](https://discord.gg/FngNHpbcY7) コミュニティで議論に参加する。 -- hello@dify.ai にメールを送信します +Difyに貢献していただき、コードの提出、問題の報告、新しいアイデアの提供、またはDifyを基に作成した興味深く有用なAIアプリケーションの共有により、Difyをより良いものにするお手伝いを歓迎します。同時に、さまざまなイベント、会議、ソーシャルメディアでDifyを共有することも歓迎します。 -私たちは、皆様のお手伝いをさせていただき、より楽しく、より便利な AI アプリケーションを一緒に作っていきたいと思っています！ - -## コントリビュート - -適切なレビューを行うため、コミットへの直接アクセスが可能なコントリビュータを含むすべてのコードコントリビュータは、プルリクエストで提出し、マージされる前にコア開発チームによって承認される必要があります。 - -私たちはすべてのプルリクエストを歓迎します！協力したい方は、[コントリビューションガイド](CONTRIBUTING.md) をチェックしてみてください。 +- [GitHub Issues](https://github.com/langgenius/dify/issues)。最適な使用法：Dify.AIの使用中に遭遇するバグやエラー、[貢献ガイド](CONTRIBUTING.md)を参照。 +- [Email サポート](mailto:hello@dify.ai?subject=[GitHub]Questions%20About%20Dify)。最適な使用法：Dify.AIの使用に関する質問。 +- [Discord](https://discord.gg/FngNHpbcY7)。最適な使用法：アプリケーションの共有とコミュニティとの交流。 +- [Twitter](https://twitter.com/dify_ai)。最適な使用法：アプリケーションの共有とコミュニティとの交流。 +- [ビジネスライセンス](mailto:business@dify.ai?subject=[GitHub]Business%20License%20Inquiry)。最適な使用法：Dify.AIを商業利用するためのビジネス関連の問い合わせ。 ## セキュリティ プライバシー保護のため、GitHub へのセキュリティ問題の投稿は避けてください。代わりに、あなたの質問を security@dify.ai に送ってください。より詳細な回答を提供します。 -## 引用 - -本ソフトウェアは、以下のオープンソースソフトウェアを使用しています: - -- Chase, H. (2022). LangChain [Computer software]. https://github.com/hwchase17/langchain - -詳しくは、各ソフトウェアの公式サイトまたはライセンス文をご参照ください。 - ## ライセンス このリポジトリは、[Dify Open Source License](LICENSE) のもとで利用できます。 diff --git a/README_KL.md b/README_KL.md new file mode 100644 index 00000000000000..d492368e3f2b18 --- /dev/null +++ b/README_KL.md @@ -0,0 +1,114 @@ +[](https://dify.ai) ++ English | + 简体中文 | + 日本語 | + Español | + Klingon +
+ + + +**Dify** Hoch LLM qorwI' pIqoDvam pagh laHta' je **100,000** pIqoDvamvam Dify.AI De'wI'. Dify leghpu' Backend chu' a Service teH LLMOps vItlhutlh, generative AI-native pIqoD teq wa'vam, vIyoD Built-in RAG engine. Dify, **'ej chenmoHmoH Hoch 'oHna' Assistant API 'ej GPTmey HoStaHbogh LLMmey.** + + + +## ngIl QaQ + +[Dify.AI ngIl](https://dify.ai) pIm neHlaH 'ej ghaH. cha'logh wa' DIvI' 200 GPT trial credits. + +## Dify WovmoH + +Dify Daq rIn neutrality 'ej Hoch, LangChain tInHar HubwI'. maH Daqbe'law' Qawqar, OpenAI's Assistant API Daq local neH deployment. + +| Qo'logh | Dify.AI | Assistants API | LangChain | +|---------|---------|----------------|-----------| +| **qet QaS** | API-oriented | API-oriented | Python Code-oriented | +| **Ecosystem Strategy** | Open Source | Closed and Commercial | Open Source | +| **RAG Engine** | Ha'qu' | Ha'qu' | ghoS Ha'qu' | +| **Prompt IDE** | jaH Include | jaH Include | qeylIS qaq | +| **qet LLMmey** | bo'Degh Hoch | GPTmey tIn | bo'Degh Hoch | +| **local deployment** | Ha'qu' | tInHa'qu' | tInHa'qu' ghogh | + +## ruch + + + +**1. LLM tIq**: OpenAI's GPT Hur nISmoHvam neH vIngeH, wa' Llama2 Hur nISmoHvam. Heghlu'lu'pu' Dify mIw 'oH choH qay'be'.Daq commercial Hurmey 'ej Open Source Hurmey (maqtaHvIS pagh locally neH neH deployment HoSvam). + +**2. Prompt IDE**: cha'logh wa' LLMmey Hoch janlu'pu' 'ej lughpu' choH qay'be'. + +**3. RAG Engine**: RAG vaD tIqpu' lo'taH indexing qor neH vector database wa' embeddings wIj, PDFs, TXTs, 'ej ghojmoHmoH HIq qorlIj je upload. + +**4. jenSuvpu'**: jenbe' SuDqang naQ moDwu' jenSuvpu' porgh cha'logh choHvam. Dify Google Search Hur vItlhutlh plugin choH. + +**5. QaS muDHa'wI': cha'logh wa' pIq mI' logs 'ej quv yIn, vItlhutlh tIq 'e'wIj lo'taHmoHmoH Prompts, vItlhutlh, Hurmey ghaH production data jatlh. + +## Do'wI' qabmey lo'taH + +- [Website](https://dify.ai) +- [Docs](https://docs.dify.ai) +- [lo'taHmoH Docs](https://docs.dify.ai/getting-started/install-self-hosted) +- [FAQ](https://docs.dify.ai/getting-started/faq) + +## Community Edition tu' yo' + +### System Qab + +Dify yo' yo' qaqmeH SuS chenmoH 'oH qech! + +- CPU >= 2 Cores +- RAM >= 4GB + +### Quick Start + +Dify server luHoHtaHlu' vIngeH lo'laHbe'chugh vIyoD [docker-compose.yml](docker/docker-compose.yaml) QorwI'ghach. toH yItlhutlh chenmoH luH!chugh 'ay' vaj vIneHmeH, 'ej [Docker](https://docs.docker.com/get-docker/) 'ej [Docker Compose](https://docs.docker.com/compose/install/) vaj 'oH 'e' vIneHmeH: + +```bash +cd docker +docker compose up -d +``` + +luHoHtaHmeH HoHtaHvIS, Dify dashboard vIneHmeH vIngeH lI'wI' [http://localhost/install](http://localhost/install) 'ej 'oH initialization 'e' vIneHmeH. + +### Helm Chart + +@BorisPolonsky Dify wIq tIq ['ay'var (Helm Chart)](https://helm.sh/) version Hur yIn chu' Dify luHoHchu'. Heghlu'lu' vIneHmeH [https://github.com/BorisPolonsky/dify-helm](https://github.com/BorisPolonsky/dify-helm) 'ej vaj QaS deployment information. + +### veS config + +chenmoHDI' config lo'taH ghaH, vItlhutlh HIq wIgharghbe'lu'pu'. toH lo'taHvIS pagh vay' vIneHmeH, 'ej `docker-compose up -d` wa'DIch. tIqmoHmeH list full wa' lo'taHvo'lu'pu' ghaH [docs](https://docs.dify.ai/getting-started/install-self-hosted/environments). + +## tIng qem + +[](https://star-history.com/#langgenius/dify&Date) + +## choHmoH 'ej vItlhutlh + +Dify choHmoH je mIw Dify puqloD, Dify ghaHta'bogh vItlhutlh, HurDI' code, ghItlh, ghItlh qo'lu'pu'pu' qej. tIqmeH, Hurmey je, Dify Hur tIqDI' woDDaj, DuD QangmeH 'ej HInobDaq vItlhutlh HImej Dify'e'. + +- [GitHub vItlhutlh](https://github.com/langgenius/dify/issues). Hurmey: bugs 'ej errors Dify.AI tIqmeH. yImej [Contribution Guide](CONTRIBUTING.md). +- [Email QaH](mailto:hello@dify.ai?subject=[GitHub]Questions%20About%20Dify). Hurmey: questions vItlhutlh Dify.AI chaw'. +- [Discord](https://discord.gg/FngNHpbcY7). Hurmey: jIpuv 'ej jImej mIw Dify vItlhutlh. +- [Twitter](https://twitter.com/dify_ai). Hurmey: jIpuv 'ej jImej mIw Dify vItlhutlh. +- [Business License](mailto:business@dify.ai?subject=[GitHub]Business%20License%20Inquiry). Hurmey: qurgh vItlhutlh Hurmey Dify.AI tIqbe'law'. + +## bIQDaqmey bom + +taghlI' vIngeH'a'? pong security 'oH posting GitHub. yItlhutlh, toH security@dify.ai 'ej vIngeH'a'. + +## License + +ghItlh puqloD chenmoH [Dify vItlhutlh Hur](LICENSE), ghaH nIvbogh Apache 2.0. + diff --git a/api/app.py b/api/app.py index 0a4381320128e7..a0a09994dfdbb9 100644 --- a/api/app.py +++ b/api/app.py @@ -10,6 +10,7 @@ import grpc.experimental.gevent grpc.experimental.gevent.init_gevent() +import time import logging import json import threading @@ -36,6 +37,13 @@ import warnings warnings.simplefilter("ignore", ResourceWarning) +# fix windows platform +if os.name == "nt": + os.system('tzutil /s "UTC"') +else: + os.environ['TZ'] = 'UTC' + time.tzset() + class DifyApp(Flask): pass diff --git a/api/commands.py b/api/commands.py index 105f936562c5e0..35b5c5d5f8a257 100644 --- a/api/commands.py +++ b/api/commands.py @@ -8,6 +8,8 @@ import uuid import click +import qdrant_client +from qdrant_client.http.models import TextIndexParams, TextIndexType, TokenizerType from tqdm import tqdm from flask import current_app, Flask from langchain.embeddings import OpenAIEmbeddings @@ -484,6 +486,38 @@ def normalization_collections(): click.echo(click.style('Congratulations! restore {} dataset indexes.'.format(len(normalization_count)), fg='green')) +@click.command('add-qdrant-full-text-index', help='add qdrant full text index') +def add_qdrant_full_text_index(): + click.echo(click.style('Start add full text index.', fg='green')) + binds = db.session.query(DatasetCollectionBinding).all() + if binds and current_app.config['VECTOR_STORE'] == 'qdrant': + qdrant_url = current_app.config['QDRANT_URL'] + qdrant_api_key = current_app.config['QDRANT_API_KEY'] + client = qdrant_client.QdrantClient( + qdrant_url, + api_key=qdrant_api_key, # For Qdrant Cloud, None for local instance + ) + for bind in binds: + try: + text_index_params = TextIndexParams( + type=TextIndexType.TEXT, + tokenizer=TokenizerType.MULTILINGUAL, + min_token_len=2, + max_token_len=20, + lowercase=True + ) + client.create_payload_index(bind.collection_name, 'page_content', + field_schema=text_index_params) + except Exception as e: + click.echo( + click.style('Create full text index error: {} {}'.format(e.__class__.__name__, str(e)), + fg='red')) + click.echo( + click.style( + 'Congratulations! add collection {} full text index successful.'.format(bind.collection_name), + fg='green')) + + def deal_dataset_vector(flask_app: Flask, dataset: Dataset, normalization_count: list): with flask_app.app_context(): try: @@ -647,10 +681,10 @@ def update_app_model_configs(batch_size): pbar.update(len(data_batch)) + @click.command('migrate_default_input_to_dataset_query_variable') @click.option("--batch-size", default=500, help="Number of records to migrate in each batch.") def migrate_default_input_to_dataset_query_variable(batch_size): - click.secho("Starting...", fg='green') total_records = db.session.query(AppModelConfig) \ @@ -658,13 +692,13 @@ def migrate_default_input_to_dataset_query_variable(batch_size): .filter(App.mode == 'completion') \ .filter(AppModelConfig.dataset_query_variable == None) \ .count() - + if total_records == 0: click.secho("No data to migrate.", fg='green') return num_batches = (total_records + batch_size - 1) // batch_size - + with tqdm(total=total_records, desc="Migrating Data") as pbar: for i in range(num_batches): offset = i * batch_size @@ -697,14 +731,14 @@ def migrate_default_input_to_dataset_query_variable(batch_size): for form in user_input_form: paragraph = form.get('paragraph') if paragraph \ - and paragraph.get('variable') == 'query': - data.dataset_query_variable = 'query' - break - + and paragraph.get('variable') == 'query': + data.dataset_query_variable = 'query' + break + if paragraph \ - and paragraph.get('variable') == 'default_input': - data.dataset_query_variable = 'default_input' - break + and paragraph.get('variable') == 'default_input': + data.dataset_query_variable = 'default_input' + break db.session.commit() @@ -712,7 +746,7 @@ def migrate_default_input_to_dataset_query_variable(batch_size): click.secho(f"Error while migrating data: {e}, app_id: {data.app_id}, app_model_config_id: {data.id}", fg='red') continue - + click.secho(f"Successfully migrated batch {i + 1}/{num_batches}.", fg='green') pbar.update(len(data_batch)) @@ -731,3 +765,4 @@ def register_commands(app): app.cli.add_command(update_app_model_configs) app.cli.add_command(normalization_collections) app.cli.add_command(migrate_default_input_to_dataset_query_variable) + app.cli.add_command(add_qdrant_full_text_index) diff --git a/api/config.py b/api/config.py index ea800c3f98b01e..25c6fb895f216d 100644 --- a/api/config.py +++ b/api/config.py @@ -61,6 +61,7 @@ 'UPLOAD_IMAGE_FILE_SIZE_LIMIT': 10, 'OUTPUT_MODERATION_BUFFER_SIZE': 300, 'MULTIMODAL_SEND_IMAGE_FORMAT': 'base64', + 'INVITE_EXPIRY_HOURS': 72 'QA_MODEL_CONCURRENCY':1 } @@ -91,7 +92,7 @@ def __init__(self): # ------------------------ # General Configurations. # ------------------------ - self.CURRENT_VERSION = "0.3.30" + self.CURRENT_VERSION = "0.3.31" self.COMMIT_SHA = get_env('COMMIT_SHA') self.EDITION = "SELF_HOSTED" self.DEPLOY_ENV = get_env('DEPLOY_ENV') @@ -219,6 +220,11 @@ def __init__(self): self.MAIL_TYPE = get_env('MAIL_TYPE') self.MAIL_DEFAULT_SEND_FROM = get_env('MAIL_DEFAULT_SEND_FROM') self.RESEND_API_KEY = get_env('RESEND_API_KEY') + + # ------------------------ + # Workpace Configurations. + # ------------------------ + self.INVITE_EXPIRY_HOURS = int(get_env('INVITE_EXPIRY_HOURS')) # ------------------------ # Sentry Configurations. diff --git a/api/controllers/console/app/statistic.py b/api/controllers/console/app/statistic.py index a0c9553977bbde..1a9c50db732519 100644 --- a/api/controllers/console/app/statistic.py +++ b/api/controllers/console/app/statistic.py @@ -62,16 +62,15 @@ def get(self, app_id): sql_query += ' GROUP BY date order by date' - with db.engine.begin() as conn: - rs = conn.execute(db.text(sql_query), arg_dict) - response_data = [] - for i in rs: - response_data.append({ - 'date': str(i.date), - 'conversation_count': i.conversation_count - }) + with db.engine.begin() as conn: + rs = conn.execute(db.text(sql_query), arg_dict) + for i in rs: + response_data.append({ + 'date': str(i.date), + 'conversation_count': i.conversation_count + }) return jsonify({ 'data': response_data @@ -124,16 +123,15 @@ def get(self, app_id): sql_query += ' GROUP BY date order by date' - with db.engine.begin() as conn: - rs = conn.execute(db.text(sql_query), arg_dict) - response_data = [] - for i in rs: - response_data.append({ - 'date': str(i.date), - 'terminal_count': i.terminal_count - }) + with db.engine.begin() as conn: + rs = conn.execute(db.text(sql_query), arg_dict) + for i in rs: + response_data.append({ + 'date': str(i.date), + 'terminal_count': i.terminal_count + }) return jsonify({ 'data': response_data @@ -187,18 +185,17 @@ def get(self, app_id): sql_query += ' GROUP BY date order by date' - with db.engine.begin() as conn: - rs = conn.execute(db.text(sql_query), arg_dict) - response_data = [] - for i in rs: - response_data.append({ - 'date': str(i.date), - 'token_count': i.token_count, - 'total_price': i.total_price, - 'currency': 'USD' - }) + with db.engine.begin() as conn: + rs = conn.execute(db.text(sql_query), arg_dict) + for i in rs: + response_data.append({ + 'date': str(i.date), + 'token_count': i.token_count, + 'total_price': i.total_price, + 'currency': 'USD' + }) return jsonify({ 'data': response_data @@ -256,16 +253,15 @@ def get(self, app_id): GROUP BY date ORDER BY date""" + response_data = [] + with db.engine.begin() as conn: rs = conn.execute(db.text(sql_query), arg_dict) - - response_data = [] - - for i in rs: - response_data.append({ - 'date': str(i.date), - 'interactions': float(i.interactions.quantize(Decimal('0.01'))) - }) + for i in rs: + response_data.append({ + 'date': str(i.date), + 'interactions': float(i.interactions.quantize(Decimal('0.01'))) + }) return jsonify({ 'data': response_data @@ -320,20 +316,19 @@ def get(self, app_id): sql_query += ' GROUP BY date order by date' - with db.engine.begin() as conn: - rs = conn.execute(db.text(sql_query), arg_dict) - response_data = [] - for i in rs: - response_data.append({ - 'date': str(i.date), - 'rate': round((i.feedback_count * 1000 / i.message_count) if i.message_count > 0 else 0, 2), - }) + with db.engine.begin() as conn: + rs = conn.execute(db.text(sql_query), arg_dict) + for i in rs: + response_data.append({ + 'date': str(i.date), + 'rate': round((i.feedback_count * 1000 / i.message_count) if i.message_count > 0 else 0, 2), + }) return jsonify({ - 'data': response_data - }) + 'data': response_data + }) class AverageResponseTimeStatistic(Resource): @@ -383,16 +378,15 @@ def get(self, app_id): sql_query += ' GROUP BY date order by date' - with db.engine.begin() as conn: - rs = conn.execute(db.text(sql_query), arg_dict) - response_data = [] - for i in rs: - response_data.append({ - 'date': str(i.date), - 'latency': round(i.latency * 1000, 4) - }) + with db.engine.begin() as conn: + rs = conn.execute(db.text(sql_query), arg_dict) + for i in rs: + response_data.append({ + 'date': str(i.date), + 'latency': round(i.latency * 1000, 4) + }) return jsonify({ 'data': response_data @@ -447,16 +441,15 @@ def get(self, app_id): sql_query += ' GROUP BY date order by date' - with db.engine.begin() as conn: - rs = conn.execute(db.text(sql_query), arg_dict) - response_data = [] - for i in rs: - response_data.append({ - 'date': str(i.date), - 'tps': round(i.tokens_per_second, 4) - }) + with db.engine.begin() as conn: + rs = conn.execute(db.text(sql_query), arg_dict) + for i in rs: + response_data.append({ + 'date': str(i.date), + 'tps': round(i.tokens_per_second, 4) + }) return jsonify({ 'data': response_data diff --git a/api/controllers/console/datasets/datasets.py b/api/controllers/console/datasets/datasets.py index 7aa2a7bfc46d93..9a417b36606bf3 100644 --- a/api/controllers/console/datasets/datasets.py +++ b/api/controllers/console/datasets/datasets.py @@ -170,6 +170,7 @@ def patch(self, dataset_id): help='Invalid indexing technique.') parser.add_argument('permission', type=str, location='json', choices=( 'only_me', 'all_team_members'), help='Invalid permission.') + parser.add_argument('retrieval_model', type=dict, location='json', help='Invalid retrieval model.') args = parser.parse_args() # The role of the current user in the ta table must be admin or owner @@ -401,6 +402,7 @@ def post(self): class DatasetApiDeleteApi(Resource): resource_type = 'dataset' + @setup_required @login_required @account_initialization_required @@ -436,6 +438,50 @@ def get(self): } +class DatasetRetrievalSettingApi(Resource): + @setup_required + @login_required + @account_initialization_required + def get(self): + vector_type = current_app.config['VECTOR_STORE'] + if vector_type == 'milvus': + return { + 'retrieval_method': [ + 'semantic_search' + ] + } + elif vector_type == 'qdrant' or vector_type == 'weaviate': + return { + 'retrieval_method': [ + 'semantic_search', 'full_text_search', 'hybrid_search' + ] + } + else: + raise ValueError("Unsupported vector db type.") + + +class DatasetRetrievalSettingMockApi(Resource): + @setup_required + @login_required + @account_initialization_required + def get(self, vector_type): + + if vector_type == 'milvus': + return { + 'retrieval_method': [ + 'semantic_search' + ] + } + elif vector_type == 'qdrant' or vector_type == 'weaviate': + return { + 'retrieval_method': [ + 'semantic_search', 'full_text_search', 'hybrid_search' + ] + } + else: + raise ValueError("Unsupported vector db type.") + + api.add_resource(DatasetListApi, '/datasets') api.add_resource(DatasetApi, '/datasets/