在Dify中对接魔塔社区（魔搭）的模型推理API，可通过OpenAI-API-compatible插件实现，同时魔塔社区提供免费模型推理API支持，包括DeepSeek-R1等开源模型。以下是具体方案与操作指南：

一、魔塔社区免费模型推理API支持情况

魔塔社区已支持近3000个模型的推理API，覆盖大语言模型（如DeepSeek-R1、Qwen2.5-VL）、多模态模型、文生图等领域。免费调用额度：

• 每日2000次调用（注册即送），适合个人开发者和小规模测试。
• 无隐藏费用，按用量计费透明，支持查询每笔调用明细。

典型模型示例：

• DeepSeek-R1：支持推理任务，免费额度内可调用。
• Qwen2.5-VL：多模态模型，支持图像理解与文本生成。
• Flux.1 dev及Lora：适用于创意生成与轻量化部署。

二、Dify对接魔塔模型推理API的步骤

1. 安装OpenAI-API-compatible插件

• 进入Dify控制台 → 设置 → 模型供应商 → 搜索并安装OpenAI-API-compatible插件。

2. 配置魔塔社区API参数

• API Endpoint URL：填写魔塔社区的推理API地址，例如：

  https://api-inference.modelscope.cn/v1/
  

• API Key：从魔塔社区控制台获取SDK Token（需注册并登录魔塔社区）。
• 模型名称：填写魔塔社区的模型ID，例如：

  deepseek-ai/DeepSeek-R1  # DeepSeek-R1模型
  Qwen/Qwen2.5-VL-72B-Instruct  # Qwen2.5-VL多模态模型
  

  

3. 测试与验证

• 在Dify中创建应用，选择刚配置的魔塔模型。
• 输入提示词（如“解释量子计算的基本原理”），观察输出是否符合预期。
• 若失败，检查API Key、Endpoint URL是否正确，或查看魔塔社区日志。

三、代码示例：通过Python调用魔塔模型推理API

以下代码展示如何使用魔塔社区的API调用DeepSeek-R1模型：

from openai import OpenAI

client = OpenAI(
    base_url='https://api-inference.modelscope.cn/v1/',
    api_key='Your_SDK_Token'  # 替换为魔塔社区的SDK Token
)

response = client.chat.completions.create(
    model='deepseek-ai/DeepSeek-R1',
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': '你好'}
    ],
    stream=True
)

reasoning_content = ''
answer_content = ''
done_reasoning = False

for chunk in response:
    reasoning_chunk = chunk.choices[0].delta.reasoning_content
    answer_chunk = chunk.choices[0].delta.content
    
    if reasoning_chunk != '':
        print(reasoning_chunk, end='', flush=True)
    elif answer_chunk != '':
        if not done_reasoning:
            print("\n\n === Final Answer ===\n")
            done_reasoning = True
        print(answer_chunk, end='', flush=True)

四、注意事项

1. 参数兼容性：

   • 魔塔社区的API与OpenAI协议兼容，但部分模型（如推理模型）可能要求特定参数（如stream=True）。
   • 非流式调用时，需显式禁用enable_thinking参数（若模型支持）。

2. 免费额度限制：

   • 每日2000次调用适合测试，大规模应用需联系魔塔社区升级额度或选择付费方案。

3. 模型性能：

   • 魔塔社区的模型性能与官方版本一致，但推理速度可能受网络延迟影响。

4. 错误处理：

   • 若遇到400 Bad Request错误，检查参数是否符合模型要求（如enable_thinking、stream等）。
   • 确保API Key和Endpoint URL正确无误。