Trong bối cảnh tích hợp AI vào hệ thống sản xuất đang phát triển nhanh chóng, các công cụ điều phối đang chạy đua để thích nghi. SDK AI Airflow mới phát hành gần đây cung cấp giải pháp cho các đội ngũ muốn kết hợp các mô hình ngôn ngữ vào cơ sở hạ tầng quy trình làm việc hiện có của họ, làm dấy lên các cuộc thảo luận về tương lai của điều phối quy trình làm việc trong kỷ nguyên AI.
Bối cảnh Điều phối Quy trình làm việc đang phân mảnh
Cuộc thảo luận cộng đồng cho thấy sự phân mảnh đáng kể trong không gian điều phối quy trình làm việc. Trong khi Apache Airflow vẫn được sử dụng rộng rãi với thành tích đáng tin cậy trong suốt một thập kỷ, những đối thủ mới hơn như Prefect, Dagster, Temporal, Hatchet, và Hamilton đang thách thức vị trí thống trị của nó. Mỗi nền tảng mang đến những cách tiếp cận khác nhau để quản lý quy trình làm việc, với các mức độ phức tạp và linh hoạt khác nhau.
Nhiều chuyên gia bày tỏ sự thất vọng với tình trạng hiện tại của các công cụ điều phối quy trình làm việc. Một số cho rằng Airflow đã lỗi thời nhưng đáng tin cậy, trong khi những người khác gặp khó khăn với các triển khai cụ thể như Managed Workflows for Apache Airflow (MWAA) của Amazon, mà một người dùng mô tả là rác rưởi do các vấn đề hiệu suất và sự cố không rõ nguyên nhân. Sự không hài lòng này đã thúc đẩy việc khám phá các giải pháp thay thế, mặc dù chưa có người kế nhiệm rõ ràng nào xuất hiện.
Tôi đã thực hiện một cuộc khảo sát chuyên sâu khoảng 1,5 năm trước và kết luận cuối cùng của tôi là chỉ cần xây dựng với airflow. Bạn hoặc là có được sự đơn giản với điều kiện hệ thống của bạn cần phải hoàn hảo phù hợp. Hoặc bạn nhận được sự phức tạp nhưng sẽ hoạt động với hầu hết mọi thứ (airflow).
Tăng cường LLM xác định so với Quy trình làm việc Tác nhân hoàn toàn
Một mô hình thú vị xuất hiện trong cách các chuyên gia nhìn nhận việc tích hợp AI vào quy trình làm việc. Nhiều người đặt câu hỏi liệu quy trình làm việc tác nhân hoàn toàn có cần thiết cho hầu hết các trường hợp sử dụng hay không, gợi ý rằng các quy trình xác định với sự tăng cường LLM có mục tiêu có thể thực tế và đáng tin cậy hơn. Điều này thể hiện một cách tiếp cận bảo thủ hơn đối với tích hợp AI, tận dụng LLM như các thành phần trong quy trình làm việc truyền thống thay vì các tác nhân tự chủ.
Airflow AI SDK giải quyết khoảng trung gian này bằng cách cung cấp các bộ trang trí như @task.llm và @task.agent cho phép các nhà phát triển kết hợp các cuộc gọi LLM và hành vi tác nhân trong mô hình nhiệm vụ Airflow quen thuộc. Mặc dù một số người bình luận đặt câu hỏi về giá trị của các bộ trang trí này so với các cuộc gọi hàm trực tiếp, tác giả của SDK đã làm rõ rằng chúng cho phép các tính năng đặc thù của Airflow như nhóm nhật ký cải thiện khả năng quan sát.
Các Tính năng Chính của Airflow AI SDK
- @task.llm: Định nghĩa các tác vụ gọi mô hình ngôn ngữ để xử lý văn bản
- @task.agent: Điều phối quá trình suy luận AI đa bước với các công cụ tùy chỉnh
- @task.llm_branch: Thay đổi luồng điều khiển DAG dựa trên đầu ra của LLM
- Phân tích đầu ra tự động: Sử dụng gợi ý kiểu hàm để phân tích và xác thực
- Hỗ trợ mô hình: Hoạt động với OpenAI, Anthropic, Gemini, Ollama, Groq, Mistral AI, Cohere
Các Quan ngại của Cộng đồng về Công cụ Quy trình Làm việc
- Airflow: Được xem là lỗi thời nhưng đáng tin cậy; vấn đề vận hành với ghi nhật ký và triển khai
- MWAA: Vấn đề hiệu suất bao gồm việc sử dụng CPU cao do liên tục phân tích DAG
- Các giải pháp thay thế mới hơn: Prefect được đánh giá cao về khả năng gỡ lỗi cục bộ và tích hợp K8s
- Dựa trên cơ sở dữ liệu: Sự quan tâm ngày càng tăng đối với các giải pháp quy trình làm việc dựa trên PostgreSQL
Quy trình làm việc AI gốc cơ sở dữ liệu ngày càng được quan tâm
Một số bình luận nhấn mạnh sự quan tâm đến các cách tiếp cận gốc cơ sở dữ liệu đối với quy trình làm việc AI. Các giải pháp như PostgresML và động cơ quy trình làm việc gốc Postgres tùy chỉnh đang được khám phá như các giải pháp thay thế cho các công cụ điều phối truyền thống. Những cách tiếp cận này tích hợp các khả năng AI trực tiếp vào hệ thống cơ sở dữ liệu, có khả năng đơn giản hóa kiến trúc bằng cách loại bỏ các lớp điều phối riêng biệt.
Xu hướng này phản ánh mong muốn giảm độ phức tạp bằng cách tận dụng cơ sở hạ tầng cơ sở dữ liệu hiện có thay vì thêm các công cụ điều phối chuyên biệt. Đối với các quy trình làm việc đơn giản hơn không yêu cầu DAG phức tạp, các kích hoạt cơ sở dữ liệu với các cuộc gọi LLM tích hợp cung cấp một giải pháp thay thế hấp dẫn giúp giữ xử lý gần với dữ liệu.
Tương lai có thể thuộc về các Động cơ thực thi động
Một chủ đề lặp lại trong cuộc thảo luận là liệu các công cụ quy trình làm việc truyền thống như Airflow có phù hợp với bản chất động của quy trình làm việc AI nâng cao hay không. Một số người bình luận rất bi quan về khả năng xử lý quy trình làm việc tác nhân hiệu quả của các công cụ hiện có, gợi ý rằng các nền tảng được thiết kế cho thực thi động cao như Temporal hoặc những người tham gia mới hơn như DBOS có thể được định vị tốt hơn.
Thách thức cơ bản là nhiều động cơ quy trình làm việc truyền thống được thiết kế xung quanh các đồ thị thực thi tĩnh, được xác định trước, trong khi quy trình làm việc AI phức tạp thường đòi hỏi các đường dẫn thực thi động, thích ứng đáp ứng với đầu ra của các bước trước đó. Sự căng thẳng giữa điều phối tĩnh và thực thi động này đại diện cho một thách thức kiến trúc quan trọng cho ngành công nghiệp.
Khi các tổ chức tiếp tục tích hợp AI vào hệ thống hoạt động của họ, các công cụ và mô hình để điều phối các quy trình làm việc này có thể sẽ tiếp tục phát triển. Airflow AI SDK đại diện cho một cách tiếp cận để kết nối điều phối truyền thống với khả năng AI hiện đại, nhưng cuộc thảo luận cộng đồng cho thấy chúng ta vẫn còn ở giai đoạn đầu trong việc xác định các mô hình tối ưu cho các hệ thống lai này.
Tham khảo: airflow-ai-sdk