本文详解 flyte 中 `map_task` 的并行执行机制，明确指出本地调试（`flytectl demo start` 或 `@workflow` 直接调用）默认不触发并行，只有在远程 flyte 集群上才能发挥其分布式并行能力，并推荐采用新版 `flytekit.experimental.map_task` 以获得更稳定、可扩展的并行行为。
在 Flyte 中，map_task 是专为对输入列表进行并行化处理而设计的核心抽象。但一个常见误区是：开发者期望在本地 Python 环境中直接运行 @workflow 函数时看到多线程/多进程级别的并发——这在当前版本（截至 2024 年中）并不支持。
✅ 正确理解并行执行的前提
Flyte 的并行性由其调度器（Propeller）与执行引擎（Admin + DataPlane）协同保障，本质是将 map_task 拆分为多个独立的 TaskExecution，分发至集群中不同工作节点（Pod）并发执行。这意味着：
- ❌ 本地运行（python script.py 或 flytekit.testing）：仅顺序模拟执行，无真实并行，time.sleep(60) 将串行阻塞约 3 分钟；
- ✅ 远程执行（部署到 Flyte Admin + K8s 集群）：每个 do_something(“foo”)、do_something(“bar”) 等被实例化为独立 Pod，真正并行启动、隔离运行。
✅ 推荐写法：使用 flytekit.experimental.map_task
Flyte 团队已在 flytekit >= 1.12.0 中引入重构版 map_task，具备更清晰的语义、更好的错误传播和资源隔离能力，未来将成为默认实现：
from flytekit import task, workflow from flytekit.experimental import map_task # ✅ 推荐导入路径 import time @task def do_something(value: str) -> str: print(f"✅ Started processing: {value}", flush=True) time.sleep(60) # 模拟耗时任务 return f"{value}-processed" @workflow def do_multiple_things() -> list[str]: values = ["foo", "bar", "baz"] # map_task 自动展开为 3 个并行子任务 return map_task(do_something)(value=values)? 提示：map_task 支持任意长度的 list[T] 输入，输出自动聚合为 list[U]，无需手动 collect()。
⚠️ 关键注意事项
- 输入必须是列表（list）：map_task(fn)(value=[…]) 中 value= 参数值必须为 Python list，不可为生成器、元组或单值；
- 任务函数需满足纯函数约束：不能依赖共享状态（如全局变量、文件系统），所有依赖须显式传入；
- 资源声明建议显式化：在 @task 中添加 requests/limits，避免因资源争抢导致调度延迟：
@task( requests=Resources(cpu="500m", mem="1Gi"), limits=Resources(cpu="1", mem="2Gi") ) def do_something(...): ... - 调试技巧：本地开发阶段可用 @dynamic + create_node() 手动构建并行 DAG 进行逻辑验证，但最终并行性仍需远程集群验证。
✅ 验证是否真正并行？
部署后，通过 Flyte console 查看该 workflow 的执行图（Execution Graph）：
✅ 正确情况：do_something 节点下应显示 3 个并列的、同时处于 Running 状态的子节点；
❌ 异常情况：若仅见 1 个节点长时间 Running，或子节点呈灰色/未启动，请检查：
- 是否已正确注册 workflow 到远程 domain（pyflyte register …）；
- map_task 是否误用为普通函数调用（如 do_something(values)）而非 map_task(do_something)(value=values)；
- 后端配置是否启用 parallelism（K8s max_parallelism 默认不限制，但可按 Namespace 配置）。
总之，map_task 不是“本地加速器”，而是 Flyte 分布式编排能力的入口。拥抱其设计哲学——定义即并行，部署即生效——方能高效构建可伸缩的数据与 ML 工作流。