工作內容
我們正在尋找一位具備數據工程和 DevOps 技能的專業人才，負責設計、實施和維護高效的數據管道及基礎設施管理。理想的候選人將專注於構建和優化 ETL 工作流程，並擁有部署及管理自動化數據平台和應用的經驗。此職位將結合數據工程和 DevOps 職能，確保數據基礎設施的穩定性、擴展性與高效性。
主要職責
- 設計、實施和維護高效的 ETL 管道，確保數據流動、轉換和加載過程的自動化
- 撰寫、優化並調試複雜的 SQL 查詢，用於數據提取、轉換和加載
- 管理數據基礎設施，確保其可靠性、擴展性和性能
- 實現並維護 CI/CD 管道，自動化數據管道和應用的部署、測試和升級
- 與數據科學家、分析師及後端工程師合作，確保數據需求的滿足
- 開發並維護相關文檔，記錄數據處理流程、基礎設施設置和操作流程
必備條件
- 熟練使用 Apache Airflow 或其他工作流程管理工具來自動化數據管道
- 精通 SQL 查詢設計、優化及故障排除
- 熟悉 Docker 和其他容器化技術，用於應用和數據管道的部署
- 擁有設計和維護 CI/CD 管道的經驗
- 具備 DevOps 實踐的經驗，特別是在數據基礎設施和應用部署方面
加分項目
- ML Ops 流程經驗：設計和自動化機器學習模型生命周期
- 模型監控：監控模型在生產中的性能與穩定性
- 模型解釋性工具：熟悉 SHAP、LIME 等解釋性工具
