Ngân hàng đề — AWS Certified Machine Learning Engineer Associate

Tìm thấy 635 câu.

Câu 541
A company runs training jobs on Amazon SageMaker by using a compute optimized instance. Demand for training runs will remain constant for the next 55 weeks. The instance needs to run for 35 hours each week. The company needs to reduce its model training costs.

Which solution will meet these requirements?
  1. A Use a serverless endpoint with a provisioned concurrency of 35 hours for each week. Run the training on the endpoint.
  2. B Use SageMaker Edge Manager for the training. Specify the instance requirement in the edge device configuration. Run the training.
  3. C Use the heterogeneous cluster feature of SageMaker Training. Configure the instance_type, instance_count, and instance_groups arguments to run training jobs.
  4. D Opt in to a SageMaker Savings Plan with a 1-year term and an All Upfront payment. Run a SageMaker Training job on the instance.
Xem giải thích

🧩 Giải thích nội dung câu hỏi

Câu hỏi mô tả một công ty đang chạy các training jobs (các công việc huấn luyện mô hình) trên Amazon SageMaker bằng loại instance compute optimized (tối ưu hóa cho tính toán). Nhu cầu sử dụng sẽ ổn định trong 55 tuần tới (khoảng hơn 1 năm, vì 52 tuần/năm), với thời lượng chạy 35 giờ mỗi tuần. Mục tiêu chính là giảm chi phí huấn luyện mô hình mà vẫn đảm bảo hoạt động liên tục.

🛠️ Yêu cầu cốt lõi: Giải pháp phải phù hợp với SageMaker Training (không phải inference hay edge), tận dụng tính ổn định của workload để tối ưu hóa chi phí dài hạn, dựa trên kiến thức AWS mới nhất (SageMaker Savings Plans ra mắt 2023 và vẫn là tính năng chính đến 2026, hỗ trợ cam kết chi phí cho training jobs).

✅ Đáp án đúng và lý do lựa chọn

Opt in to a SageMaker Savings Plan with a 1-year term and an All Upfront payment. Run a SageMaker Training job on the instance.

Lý do: SageMaker Savings Plans là giải pháp tiết kiệm chi phí tốt nhất cho workload training ổn định dài hạn như trường hợp này (55 tuần ≈ 1 năm, 35 giờ/tuần). Với 1-year term và All Upfront payment, công ty cam kết thanh toán toàn bộ trước, nhận giảm giá lên đến 64% so với On-Demand (dữ liệu AWS 2024-2026). Plans áp dụng tự động cho tất cả SageMaker Training jobs trên compute optimized instances, không cần thay đổi code hay kiến trúc. Thời lượng 35 giờ/tuần phù hợp hoàn hảo với cam kết Savings Plan (tính theo giờ sử dụng vCPU/GPU). Đây là cách đơn giản, hiệu quả nhất để giảm chi phí mà không ảnh hưởng hiệu suất.

📋 Phân tích tất cả các phương án

  • ❌ Use a serverless endpoint with a provisioned concurrency of 35 hours for each week. Run the training on the endpoint.
    Sai vì: Serverless Inference Endpoints (với Provisioned Concurrency) dành cho inference (dự đoán), không phải training jobs. Training yêu cầu tài nguyên compute lớn, liên tục (như 35 giờ/tuần), không thể chạy trên endpoint serverless. Provisioned Concurrency chỉ scale cho real-time inference, không hỗ trợ training và sẽ tăng chi phí vô ích thay vì giảm.

  • ❌ Use SageMaker Edge Manager for the training. Specify the instance requirement in the edge device configuration. Run the training.
    Sai vì: SageMaker Edge Manager dùng để deploy và quản lý mô hình trên edge devices (như thiết bị IoT, không kết nối cloud liên tục), không phải chạy training trên cloud instances. Training jobs cần compute cloud mạnh mẽ (compute optimized), Edge Manager chỉ hỗ trợ inference nhẹ trên thiết bị giới hạn, không phù hợp và không giảm chi phí training cloud.

  • ❌ Use the heterogeneous cluster feature of SageMaker Training. Configure the instance_type, instance_count, and instance_groups arguments to run training jobs.
    Sai vì: Heterogeneous cluster (tính năng distributed training từ SageMaker 2022-2026) cho phép kết hợp nhiều loại instance (ví dụ GPU + CPU) để tối ưu distributed training lớn, nhưng không trực tiếp giảm chi phí. Nó tập trung vào hiệu suất (như scale training nhanh hơn), vẫn tính phí On-Demand. Không tận dụng workload ổn định 55 tuần để tiết kiệm dài hạn như Savings Plans.

  • ✅ Opt in to a SageMaker Savings Plan with a 1-year term and an All Upfront payment. Run a SageMaker Training job on the instance.
    Đúng vì: Như đã giải thích ở trên, đây là giải pháp tối ưu chi phí dành riêng cho SageMaker (training + inference), tự động áp dụng cho jobs trên instance chỉ định. Với 1-year term (phù hợp 55 tuần) và All Upfront, đạt mức giảm giá cao nhất (dữ liệu AWS: 50-64% tùy region). Không cần thay đổi job config, chỉ opt-in qua Console/Billing.

📘 Tài liệu tham khảo

🛠️ Lời khuyên DevOps: Kết hợp Savings Plans với Spot Instances (nếu chấp nhận gián đoạn) để giảm thêm 70-90%, nhưng câu hỏi ưu tiên ổn định nên Savings Plan là lựa chọn hoàn hảo! 🚀

Câu 542
A company deployed an ML model that uses the XGBoost algorithm to predict product failures. The model is hosted on an Amazon SageMaker endpoint and is trained on normal operating data. An AWS Lambda function provides the predictions to the company's application.

An ML engineer must implement a solution that uses incoming live data to detect decreased model accuracy over time.

Which solution will meet these requirements?
  1. A Use Amazon CloudWatch to create a dashboard that monitors real-time inference data and model predictions. Use the dashboard to detect drift.
  2. B Modify the Lambda function to calculate model drift by using real-time inference data and model predictions. Program the Lambda function to send alerts.
  3. C Schedule a monitoring job in SageMaker Model Monitor. Use the job to detect drift by analyzing the live data against a baseline of the training data statistics and constraints.
  4. D Schedule a monitoring job in SageMaker Debugger. Use the job to detect drift by analyzing the live data against a baseline of the training data statistics and constraints.
Xem giải thích

🧩 Phân tích nội dung câu hỏi

Câu hỏi tập trung vào việc triển khai giải pháp phát hiện sự suy giảm độ chính xác của mô hình ML theo thời gian (model drift) trên AWS SageMaker. Cụ thể:

  • Một công ty đã deploy mô hình ML sử dụng thuật toán XGBoost để dự đoán lỗi sản phẩm (product failures).
  • Mô hình được host trên Amazon SageMaker endpoint và được train trên dữ liệu hoạt động bình thường (normal operating data).
  • Một AWS Lambda function cung cấp predictions cho ứng dụng của công ty.
  • Yêu cầu: ML engineer cần implement giải pháp sử dụng dữ liệu live (incoming live data) để detect decreased model accuracy over time, tức là phát hiện model drift (sự thay đổi trong dữ liệu đầu vào hoặc phân bố dự đoán so với baseline).

🛠️ Mục tiêu chính: Giải pháp phải tự động hóa việc giám sát drift bằng cách so sánh dữ liệu live với baseline từ dữ liệu training (statistics và constraints), đảm bảo scalable và tích hợp tốt với SageMaker.

📘 Tài liệu tham khảo (cập nhật đến 2026 theo AWS docs mới nhất):

  • Amazon SageMaker Model Monitor – Dùng cho monitoring inference drift.
  • SageMaker Debugger – Chỉ debug training jobs.
  • AWS ML Best Practices: Model drift detection với baseline constraints (SageMaker Model Monitor v2.0+ hỗ trợ real-time/batch monitoring).

✅ Đáp án đúng và lý do lựa chọn

Đáp án đúng: Schedule a monitoring job in SageMaker Model Monitor. Use the job to detect drift by analyzing the live data against a baseline of the training data statistics and constraints.

Lý do:

  • 🛠️ SageMaker Model Monitor là dịch vụ chuyên dụng của AWS để giám sát model quality trong production, hỗ trợ data drift (thay đổi phân bố dữ liệu đầu vào) và concept drift (thay đổi mối quan hệ giữa input-output).
  • Nó cho phép schedule monitoring jobs (batch hoặc continuous) để capture dữ liệu live từ endpoint, so sánh với baseline constraints từ dữ liệu training (tự động generate statistics như mean, std, quantiles).
  • Tích hợp trực tiếp với SageMaker endpoint và Lambda (qua data capture), gửi alerts qua CloudWatch/SNS khi detect drift (vi phạm constraints).
  • Scalable, serverless, và cập nhật mới nhất (2024-2026): Hỗ trợ XGBoost natively, real-time monitoring với low latency.
  • Đây là best practice theo AWS Well-Architected Framework cho ML workloads.

📋 Giải thích chi tiết tất cả các phương án

  • ❌ Phương án SAI: Use Amazon Amazon CloudWatch to create a dashboard that monitors real-time inference data and model predictions. Use the dashboard to detect drift.
    Lý do sai: CloudWatch giỏi monitor metrics/logs chung (CPU, latency), nhưng không có built-in ML drift detection. Không tự động compute baseline statistics/constraints từ training data, chỉ visualize raw data – không đủ để detect drift chính xác. Phải custom code phức tạp, không scalable cho live data.

  • ❌ Phương án SAI: Modify the Lambda function to calculate model drift by using real-time inference data and model predictions. Program the Lambda function to send alerts.
    Lý do sai: Lambda phù hợp invoke predictions, nhưng không lý tưởng cho drift calculation vì: (1) Compute-intensive (drift metrics như PSI, KS-test cần baseline stats); (2) Cold starts và timeout (15p max); (3) Không tích hợp baseline từ training tự động; (4) Khó scale với high-volume live data. Vi phạm best practice – nên dùng managed service như Model Monitor.

  • ✅ Phương án ĐÚNG: Schedule a monitoring job in SageMaker Model Monitor. Use the job to detect drift by analyzing the live data against a baseline of the training data statistics and constraints.
    Lý do đúng: Như đã giải thích ở trên – chính xác match yêu cầu, tự động hóa hoàn toàn, tích hợp endpoint/Lambda, hỗ trợ XGBoost đầy đủ. AWS recommend cho production drift detection.

  • ❌ Phương án SAI: Schedule a monitoring job in SageMaker Debugger. Use the job to detect drift by analyzing the live data against a baseline of the training data statistics and constraints.
    Lý do sai: SageMaker Debugger chỉ dùng để debug training jobs (tensorboard-like, rules cho overfitting/loss spikes), không hỗ trợ inference monitoring hoặc drift detection trên live data. Không capture endpoint traffic – sai ngữ cảnh hoàn toàn.

🧩 Kết luận: Sử dụng SageMaker Model Monitor là giải pháp tối ưu, tuân thủ AWS ML lifecycle (train-deploy-monitor). Implement nhanh qua Console/SDK, ví dụ: create_monitoring_schedule() với baseline từ training job.

Câu 543
A company has an ML model that uses historical transaction data to predict customer behavior. An ML engineer is optimizing the model in Amazon SageMaker to enhance the model's predictive accuracy. The ML engineer must examine the input data and the resulting predictions to identify trends that could skew the model's performance across different demographics.

Which solution will provide this level of analysis?
  1. A Use Amazon CloudWatch to monitor network metrics and CPU metrics for resource optimization during model training.
  2. B Create AWS Glue DataBrew recipes to correct the data based on statistics from the model output.
  3. C Use SageMaker Clarify to evaluate the model and training data for underlying patterns that might affect accuracy.
  4. D Create AWS Lambda functions to automate data pre-processing and to ensure consistent quality of input data for the model.
Xem giải thích

🧩 Giải thích chi tiết nội dung câu hỏi

Câu hỏi xoay quanh một công ty đang sử dụng mô hình Machine Learning (ML) trên Amazon SageMaker để dự đoán hành vi khách hàng dựa trên dữ liệu giao dịch lịch sử. Kỹ sư ML cần tối ưu hóa mô hình nhằm nâng cao độ chính xác dự đoán (predictive accuracy). Nhiệm vụ cụ thể là kiểm tra dữ liệu đầu vào (input data) và kết quả dự đoán (predictions) để phát hiện các xu hướng (trends) có thể gây lệch lạc (skew) hiệu suất mô hình theo các nhóm nhân khẩu học khác nhau (demographics, như tuổi tác, giới tính, khu vực địa lý...).

Mục tiêu là tìm giải pháp cung cấp phân tích sâu về các pattern ẩn (underlying patterns) ảnh hưởng đến fairness và accuracy của mô hình, phù hợp với các tính năng mới nhất của SageMaker (cập nhật đến 2026, bao gồm tích hợp AI/ML bias detection nâng cao).

✅ Đáp án đúng và lý do lựa chọn

Use SageMaker Clarify to evaluate the model and training data for underlying patterns that might affect accuracy.

Lý do:
SageMaker Clarify là công cụ chuyên dụng của AWS (tích hợp trực tiếp vào SageMaker pipelines từ phiên bản 2021 và được cập nhật liên tục đến 2026) để phân tích bias, fairness và explainability của mô hình ML. Nó cho phép kiểm tra dữ liệu huấn luyện, dữ liệu đầu vào và predictions để phát hiện pre-training bias, post-training bias theo demographics (như facet bias, group bias). Clarify sử dụng các thuật toán như SHAP, Local Intrinsic Interpretability và bias metrics (ví dụ: Conditional Demographic Disparity) để visualize trends skewing performance. Điều này trực tiếp đáp ứng yêu cầu "examine input data and predictions to identify trends", giúp kỹ sư tối ưu mô hình một cách chính xác và tuân thủ quy định ML ethics. 🛠️ Hoàn hảo cho scenario này!

📋 Phân tích tất cả các phương án (đúng/sai)

  • ❌ [SAI] Use Amazon CloudWatch to monitor network metrics and CPU metrics for resource optimization during model training.
    Phương án này chỉ tập trung vào giám sát tài nguyên hệ thống (network/CPU metrics) để tối ưu hóa tài nguyên huấn luyện, không phân tích dữ liệu input/predictions hay trends theo demographics. CloudWatch hữu ích cho performance tuning nhưng không hỗ trợ ML bias analysis. ❌ Không liên quan!

  • ❌ [SAI] Create AWS Glue DataBrew recipes to correct the data based on statistics from the model output.
    AWS Glue DataBrew dùng để chuẩn bị và làm sạch dữ liệu (data profiling, recipes tự động hóa), có thể sửa dữ liệu dựa trên stats nhưng không chuyên sâu phân tích patterns skewing predictions theo demographics. Nó thiếu bias detection/explainability như Clarify. ❌ Chỉ hỗ trợ pre-processing cơ bản!

  • ✅ [ĐÚNG] Use SageMaker Clarify to evaluate the model and training data for underlying patterns that might affect accuracy.
    Như đã giải thích ở trên: Clarify cung cấp phân tích toàn diện về bias/fairness trên data và model outputs, trực tiếp detect trends ảnh hưởng accuracy theo groups. Tích hợp seamless với SageMaker Studio/Processing Jobs (cập nhật 2026 hỗ trợ generative AI bias checks). 🏆 Đáp án lý tưởng!

  • ❌ [SAI] Create AWS Lambda functions to automate data pre-processing and to ensure consistent quality of input data for the model.
    AWS Lambda dùng để tự động hóa pre-processing (serverless ETL), đảm bảo chất lượng data nhất quán nhưng không có khả năng phân tích predictions hay trends demographics. Nó chỉ xử lý input, thiếu ML-specific tools như bias metrics. ❌ Không đủ sâu cho yêu cầu!

📘 Tài liệu tham khảo (kiến thức cập nhật đến 2026)

Hy vọng phân tích này giúp bạn ôn thi hiệu quả! 🚀 Nếu cần thêm ví dụ code, cứ hỏi nhé!

Câu 544
A company uses 10 Reserved Instances of accelerated instance types to serve the current version of an ML model. An ML engineer needs to deploy a new version of the model to an Amazon SageMaker real-time inference endpoint.

The solution must use the original 10 instances to serve both versions of the model. The solution also must include one additional Reserved Instance that is available to use in the deployment process. The transition between versions must occur with no downtime or service interruptions.

Which solution will meet these requirements?
  1. A Configure a blue/green deployment with all-at-once traffic shifting.
  2. B Configure a blue/green deployment with canary traffic shifting and a size of 10%.
  3. C Configure a shadow test with a traffic sampling percentage of 10%.
  4. D Configure a rolling deployment with a rolling batch size of 1.
Xem giải thích

🧩 Phân tích chi tiết nội dung câu hỏi

Câu hỏi xoay quanh việc triển khai phiên bản mới của mô hình ML lên Amazon SageMaker real-time inference endpoint mà không có downtime hoặc gián đoạn dịch vụ (zero-downtime deployment). 🛡️

  • Bối cảnh hiện tại: Công ty đang sử dụng 10 Reserved Instances (RI) của accelerated instance types (như ml.p3, ml.g4dn, v.v.) để phục vụ phiên bản hiện tại của mô hình.
  • Yêu cầu chính:
    • Sử dụng nguyên 10 RI gốc để phục vụ cả hai phiên bản mô hình (old và new).
    • Thêm chính xác 1 RI bổ sung có sẵn để hỗ trợ quá trình triển khai.
    • Chuyển tiếp giữa các phiên bản phải mượt mà, không gián đoạn.
  • Mục tiêu: Tối ưu hóa tài nguyên RI (không lãng phí, chỉ dùng thêm 1 RI), tận dụng deployment strategy của SageMaker để scale và update endpoint dần dần. 📈

Đây là tình huống thực tế trong AWS SageMaker (phiên bản mới nhất 2024-2026), nơi endpoints hỗ trợ các chiến lược deployment như rolling, blue/green, canary, shadow để đảm bảo high availability.

✅ Đáp án đúng và lý do lựa chọn

Đáp án đúng: Configure a rolling deployment with a rolling batch size of 1.

Lý do chi tiết:

  • Rolling deployment trong SageMaker cho phép update production variant dần dần bằng cách thay thế từng instance một (batch size = 1), đảm bảo zero downtime vì endpoint luôn có đủ capacity phục vụ traffic. 🏗️
  • Quy trình: SageMaker sẽ scale up endpoint trước bằng cách provision 1 instance bổ sung (sử dụng đúng 1 RI thêm), sau đó update từng 1 instance cũ sang phiên bản mới. Traffic được phân bổ đều, 10 instance gốc vẫn phục vụ cả 2 versions (qua multi-model endpoints hoặc variant management).
  • Tối ưu RI: Tổng peak chỉ cần 11 instances (10 gốc + 1 mới), khớp yêu cầu. Sau khi hoàn tất, scale down về 10.
  • Không gián đoạn: Mỗi batch chỉ 1 instance, traffic routed self-healing qua Auto Scaling và Elastic Load Balancing của SageMaker.
  • Cập nhật AWS 2026: SageMaker hỗ trợ RollingUpdate strategy với BatchSize=1 và MaxConcurrentExecutions=1 cho real-time endpoints (docs xác nhận zero-downtime với provisioned concurrency).

Nguồn tham khảo:

🔍 Giải thích tất cả các phương án (đúng/sai)

  • Configure a blue/green deployment with all-at-once traffic shifting.
    ❌ Sai: Blue/green tạo fleet green hoàn toàn mới (10 instances) song song với blue (10 cũ), shift toàn bộ traffic một lần. Cần 20 instances tạm thời (vượt quá 1 RI thêm), không tận dụng 10 RI gốc cho cả 2 versions mà lãng phí. Có rủi ro gián đoạn nếu shift all-at-once fail. Không khớp yêu cầu tài nguyên. 🛑

  • Configure a blue/green deployment with canary traffic shifting and a size of 10%.
    ❌ Sai: Canary blue/green shift 10% traffic dần dần sang green fleet (vẫn cần ~10 instances mới), peak capacity ~11-20 instances tùy config. Không chính xác dùng 1 RI thêm và không đảm bảo dùng 10 gốc cho cả 2 versions đồng thời. Phù hợp test nhỏ nhưng không zero-downtime full-scale. 🐦

  • Configure a shadow test with a traffic sampling percentage of 10%.
    ❌ Sai: Shadow test chỉ gửi 10% traffic sample đến phiên bản mới để test (không ảnh hưởng production), không shift traffic chính thức. Không deploy new version lên production, không phục vụ cả 2 versions trên 10 RI gốc, và không dùng RI thêm cho deployment thực. Chỉ dùng cho validation, không meet zero-downtime transition. 👻

  • Configure a rolling deployment with a rolling batch size of 1.
    ✅ Đúng: Như giải thích trên, đây là strategy tối ưu cho zero-downtime với batch size 1 (update 1 instance/lần), scale up đúng 1 RI để buffer traffic, tận dụng 10 gốc cho dual versions qua incremental update. Hoàn hảo khớp tất cả yêu cầu! 🚀

Câu 545
An IoT company uses Amazon SageMaker to train and test an XGBoost model for object detection. ML engineers need to monitor performance metrics when they train the model with variants in hyperparameters. The ML engineers also need to send Short Message Service (SMS) text messages after training is complete.

Which solution will meet these requirements?
  1. A Use Amazon CloudWatch to monitor performance metrics. Use Amazon Simple Queue Service (Amazon SQS) for message delivery.
  2. B Use Amazon CloudWatch to monitor performance metrics. Use Amazon Simple Notification Service (Amazon SNS) for message delivery.
  3. C Use AWS CloudTrail to monitor performance metrics. Use Amazon Simple Queue Service (Amazon SQS) for message delivery.
  4. D Use AWS CloudTrail to monitor performance metrics. Use Amazon Simple Notification Service (Amazon SNS) for message delivery.
Xem giải thích

🧩 Phân tích nội dung câu hỏi

Câu hỏi tập trung vào việc giám sát và thông báo trong quy trình huấn luyện mô hình Machine Learning (ML) trên Amazon SageMaker. Cụ thể:

  • Một công ty IoT sử dụng SageMaker để huấn luyện và kiểm tra mô hình XGBoost (một thuật toán phổ biến cho object detection).
  • Yêu cầu chính:
    • Monitor performance metrics (các chỉ số hiệu suất như accuracy, loss, training time, v.v.) khi thay đổi hyperparameters (các tham số siêu dữ liệu như learning rate, number of trees trong XGBoost).
    • Gửi SMS text messages qua Short Message Service (SMS) ngay sau khi training hoàn thành.
  • Mục tiêu: Tìm giải pháp tích hợp tốt nhất với SageMaker, đảm bảo giám sát thời gian thực và thông báo tự động. SageMaker tự động xuất metrics ra CloudWatch, và hỗ trợ callbacks/notifications qua các dịch vụ AWS khác.

🛠️ Kiến thức AWS liên quan (cập nhật đến 2026): SageMaker tích hợp sâu với CloudWatch cho metrics (bao gồm built-in algorithms như XGBoost). SNS hỗ trợ SMS toàn cầu với độ tin cậy cao. Không dùng CloudTrail cho metrics (chỉ audit logs), và SQS chỉ là queue không gửi SMS trực tiếp.

✅ Đáp án đúng và lý do lựa chọn

Đáp án đúng: Use Amazon CloudWatch to monitor performance metrics. Use Amazon Simple Notification Service (Amazon SNS) for message delivery.

Lý do:

  • CloudWatch là dịch vụ chuẩn để monitor SageMaker metrics (như TrainingJobStatus, BillableTimeInSeconds, hyperparameters-specific metrics từ XGBoost). Bạn có thể tạo dashboard, alarms tự động khi train với hyperparameter tuning (sử dụng SageMaker Hyperparameter Tuning Jobs).
  • SNS hoàn hảo cho SMS delivery – hỗ trợ gửi text messages đến số điện thoại toàn cầu, tích hợp trực tiếp với SageMaker qua Processing Jobs hoặc Lambda callbacks sau training complete.
  • Giải pháp này đơn giản, serverless, chi phí thấp, và tuân thủ best practices AWS (SageMaker emits metrics to CloudWatch tự động từ phiên bản 2023+ với hỗ trợ ML-specific metrics nâng cao).

📋 Phân tích tất cả các phương án

Dưới đây là phân tích chi tiết từng lựa chọn. Tôi giữ nguyên văn bản gốc tiếng Anh, đánh dấu ✅/❌, và giải thích bằng tiếng Việt:

  • Use Amazon CloudWatch to monitor performance metrics. Use Amazon Simple Queue Service (Amazon SQS) for message delivery.
    ❌ Sai: CloudWatch đúng cho metrics (SageMaker tích hợp native), nhưng SQS chỉ là message queue (dùng để decoupling apps), không hỗ trợ gửi SMS trực tiếp. Bạn cần thêm Lambda/SNS để poll SQS và gửi SMS, làm phức tạp hóa không cần thiết.

  • Use Amazon CloudWatch to monitor performance metrics. Use Amazon Simple Notification Service (Amazon SNS) for message delivery.
    ✅ Đúng: Như giải thích ở trên – CloudWatch monitor metrics realtime (hỗ trợ alarms cho hyperparameter variants), SNS gửi SMS ngay lập tức sau training (qua SageMaker event bridges hoặc callbacks). Đây là giải pháp tối ưu, scalable.

  • Use AWS CloudTrail to monitor performance metrics. Use Amazon Simple Queue Service (Amazon SQS) for message delivery.
    ❌ Sai kép: CloudTrail chỉ ghi API calls và audit logs (không phải performance metrics như loss/accuracy của model). SQS cũng sai vì không gửi SMS. Giải pháp này hoàn toàn không phù hợp với monitoring ML training.

  • Use AWS CloudTrail to monitor performance metrics. Use Amazon Simple Notification Service (Amazon SNS) for message delivery.
    ❌ Sai: CloudTrail không monitor performance metrics (chỉ events như "CreateTrainingJob", không có số liệu XGBoost). SNS đúng cho SMS, nhưng phần monitor sai nên loại ngay.

📘 Tài liệu tham khảo (AWS cập nhật 2026)

  • SageMaker + CloudWatch Metrics: Amazon SageMaker CloudWatch Metrics – Chi tiết metrics cho XGBoost và hyperparameter tuning.
  • SNS SMS: Amazon SNS SMS Messaging – Hỗ trợ global SMS với SageMaker integrations.
  • Best Practices: AWS ML Monitoring Whitepaper và SageMaker Developer Guide (phiên bản 2025+ với enhanced MLflow integration).
  • Exam Tip (DevOps Pro DOP-C02): Luôn ưu tiên CloudWatch cho metrics, SNS cho fan-out notifications như SMS.

Hy vọng phân tích này giúp bạn ôn thi hiệu quả! 🚀 Nếu cần ví dụ code Terraform/ CDK, hãy hỏi thêm.

Câu 546
A company is working on an ML project that will include Amazon SageMaker notebook instances. An ML engineer must ensure that the SageMaker notebook instances do not allow root access.

Which solution will prevent the deployment of notebook instances that allow root access?
  1. A Use IAM condition keys to stop deployments of SageMaker notebook instances that allow root access.
  2. B Use AWS Key Management Service (AWS KMS) keys to stop deployments of SageMaker notebook instances that allow root access.
  3. C Monitor resource creation by using Amazon EventBridge events. Create an AWS Lambda function that deletes all deployed SageMaker notebook instances that allow root access.
  4. D Monitor resource creation by using AWS CloudFormation events. Create an AWS Lambda function that deletes all deployed SageMaker notebook instances that allow root access.
Xem giải thích

🧩 Giải thích nội dung câu hỏi

Câu hỏi tập trung vào bảo mật Amazon SageMaker notebook instances trong một dự án Machine Learning (ML). Công ty muốn ngăn chặn hoàn toàn việc triển khai (deployment) các notebook instances cho phép root access (quyền truy cập gốc, rất nguy hiểm vì có thể thực thi lệnh hệ thống đầy đủ quyền).

Mục tiêu là tìm giải pháp chủ động (preventive) để chặn ngay từ lúc tạo tài nguyên, không phải giám sát sau (reactive). SageMaker notebook instances có tham số RootAccess (mặc định là 'Enabled'), và AWS cung cấp cơ chế IAM để kiểm soát điều này một cách hiệu quả theo phiên bản mới nhất (2024-2026, với IAM policies hỗ trợ condition keys chi tiết cho SageMaker).

✅ Đáp án đúng

Use IAM condition keys to stop deployments of SageMaker notebook instances that allow root access.

Lý do lựa chọn (chi tiết):
🛡️ IAM condition keys là cách tốt nhất và chủ động nhất để ngăn chặn deployment. Cụ thể, sử dụng condition key sagemaker:RootAccess trong IAM policy gắn với user/role. Policy sẽ deny hành động sagemaker:CreateNotebookInstance nếu sagemaker:RootAccess = 'Enabled'.

Ví dụ policy snippet (theo AWS docs mới nhất):

{
  "Effect": "Deny",
  "Action": "sagemaker:CreateNotebookInstance",
  "Resource": "*",
  "Condition": {
    "StringEquals": {
      "sagemaker:RootAccess": "Enabled"
    }
  }
}

Điều này chặn ngay lập tức tại API level, không cho tạo instance. Hiệu quả cao, tuân thủ nguyên tắc least privilege, và được AWS khuyến nghị cho security best practices trong SageMaker (zero-trust model).

📋 Phân tích tất cả các phương án (đúng/sai)

Dưới đây là phân tích chi tiết từng lựa chọn. Tôi giữ nguyên văn bản gốc tiếng Anh của phương án, chỉ giải thích bằng tiếng Việt với lý do đúng/sai:

  • Use IAM condition keys to stop deployments of SageMaker notebook instances that allow root access.
    ✅ Đúng (như đã giải thích ở trên). 🛠️ Đây là giải pháp preventive chính thức, tích hợp sâu với IAM và SageMaker API, không tốn tài nguyên thêm.

  • Use AWS Key Management Service (AWS KMS) keys to stop deployments of SageMaker notebook instances that allow root access.
    ❌ Sai. KMS chỉ quản lý encryption keys cho dữ liệu (như EBS volumes hoặc S3), không kiểm soát root access hay deployment logic của SageMaker. Sử dụng KMS ở đây vô ích và không liên quan. 🔒

  • Monitor resource creation by using Amazon EventBridge events. Create an AWS Lambda function that deletes all deployed SageMaker notebook instances that allow root access.
    ❌ Sai. Đây là cách reactive (phản ứng sau): EventBridge capture events CreateNotebookInstance → Lambda delete instance. Nhưng câu hỏi yêu cầu prevent deployment, không phải xóa sau (có thể gây gián đoạn, tốn chi phí, và không ngăn chặn được). EventBridge tốt cho monitoring nhưng không preventive. ⏰

  • Monitor resource creation by using AWS CloudFormation events. Create an AWS Lambda function that deletes all deployed SageMaker notebook instances that allow root access.
    ❌ Sai. CloudFormation không có events trực tiếp cho resource creation như EventBridge (CloudFormation dùng StackEvents, không phải global events). Hơn nữa, vẫn là reactive, không prevent. SageMaker có thể tạo trực tiếp qua console/API, không qua CFN. 🏗️

📘 Tài liệu tham khảo (cập nhật đến 2026)

  • AWS SageMaker Developer Guide: Control notebook instance root access with IAM condition key (IAM condition keys phần Security).
  • AWS IAM User Guide: SageMaker condition keys – Xác nhận sagemaker:RootAccess.
  • AWS Well-Architected Framework (Security Pillar, 2024 update): Khuyến nghị preventive controls qua IAM thay vì reactive monitoring.
  • AWS re:Post & Blogs: Các case study về SageMaker security hardening (tìm "SageMaker RootAccess IAM deny").

Giải pháp này đảm bảo tuân thủ CIS AWS Benchmarks cho SageMaker! 🚀 Nếu cần ví dụ code policy đầy đủ, hãy hỏi thêm nhé!

Câu 547
A company is using Amazon SageMaker to develop ML models. The company stores sensitive training data in an Amazon S3 bucket. The model training must have network isolation from the internet.

Which solution will meet this requirement?
  1. A Run the SageMaker training jobs in private subnets. Create a NAT gateway. Route traffic for training through the NAT gateway.
  2. B Run the SageMaker training jobs in private subnets. Create an S3 gateway VPC endpoint. Route traffic for training through the S3 gateway VPC endpoint.
  3. C Run the SageMaker training jobs in public subnets that have an attached security group. In the security group, use inbound rules to limit traffic from the internet. Encrypt SageMaker instance storage by using server-side encryption with AWS KMS keys (SSE-KMS).
  4. D Encrypt traffic to Amazon S3 by using a bucket policy that includes a value of True for the aws:SecureTransport condition key. Use default at-rest encryption for Amazon S3. Encrypt SageMaker instance storage by using server-side encryption with AWS KMS keys (SSE-KMS).
Xem giải thích

🧩 Phân tích nội dung câu hỏi

Câu hỏi tập trung vào việc triển khai Amazon SageMaker để phát triển các mô hình Machine Learning (ML), với dữ liệu huấn luyện nhạy cảm được lưu trữ trong Amazon S3 bucket. Yêu cầu chính là network isolation từ internet cho quá trình huấn luyện mô hình, nghĩa là các job huấn luyện SageMaker không được phép kết nối trực tiếp ra internet để đảm bảo an toàn dữ liệu và tuân thủ bảo mật.

🔍 Chi tiết yêu cầu:

  • SageMaker training jobs cần chạy trong môi trường cô lập mạng (không route traffic qua internet).
  • Truy cập S3 phải được thực hiện nội bộ VPC mà không cần gateway ra ngoài (như NAT hoặc Internet Gateway).
  • Đây là kịch bản phổ biến trong AWS để bảo vệ dữ liệu nhạy cảm, sử dụng VPC endpoints cho dịch vụ AWS như S3.

✅ Đáp án đúng và lý do lựa chọn

Đáp án đúng: Run the SageMaker training jobs in private subnets. Create an S3 gateway VPC endpoint. Route traffic for training through the S3 gateway VPC endpoint.

Lý do chi tiết 🛠️:

  • Chạy SageMaker training jobs trong private subnets đảm bảo không có đường kết nối trực tiếp ra internet (không cần Internet Gateway hoặc NAT).
  • S3 Gateway VPC Endpoint (gateway endpoint cho S3) cho phép traffic từ private subnets đến S3 hoàn toàn nội bộ VPC, miễn phí, hiệu suất cao, và không route qua internet. Đây là giải pháp chuẩn theo best practices AWS cho network isolation.
  • SageMaker hỗ trợ tích hợp VPC từ phiên bản mới nhất (2024-2026), cho phép chỉ định subnets và endpoints để isolate hoàn toàn.
  • Giải pháp này đáp ứng 100% yêu cầu isolation mà vẫn truy cập được dữ liệu S3.

❌ Phân tích tất cả các phương án

Dưới đây là phân tích từng lựa chọn một cách chi tiết. Tôi giữ nguyên văn bản gốc bằng tiếng Anh cho các phương án, và giải thích hoàn toàn bằng tiếng Việt với lý do đúng/sai:

  • Phương án 1 (SAI): Run the SageMaker training jobs in private subnets. Create a NAT gateway. Route traffic for training through the NAT gateway.
    ❌ Giải thích sai: Mặc dù chạy trong private subnets là đúng, nhưng NAT Gateway yêu cầu route traffic qua Internet Gateway để truy cập S3 (vì NAT dùng public IP). Điều này phá vỡ network isolation vì traffic vẫn đi qua internet. Không phù hợp với yêu cầu cô lập hoàn toàn.

  • Phương án 2 (ĐÚNG): Run the SageMaker training jobs in private subnets. Create an S3 gateway VPC endpoint. Route traffic for training through the S3 gateway VPC endpoint.
    ✅ Giải thích đúng: Như đã phân tích ở trên, đây là giải pháp tối ưu. Gateway VPC Endpoint (không phải interface endpoint) dành riêng cho S3, route traffic nội bộ qua AWS backbone network, zero internet exposure, hỗ trợ full policy control. SageMaker tự động sử dụng endpoint nếu cấu hình đúng trong VPC.

  • Phương án 3 (SAI): Run the SageMaker training jobs in public subnets that have an attached security group. In the security group, use inbound rules to limit traffic from the internet. Encrypt SageMaker instance storage by using server-side encryption with AWS KMS keys (SSE-KMS).
    ❌ Giải thích sai: Public subnets luôn có route đến Internet Gateway, nên không thể isolate khỏi internet dù security group hạn chế inbound. Encryption (SSE-KMS) chỉ bảo vệ dữ liệu tại chỗ, không giải quyết network isolation. SageMaker instances trong public subnets vẫn có rủi ro expose.

  • Phương án 4 (SAI): Encrypt traffic to Amazon S3 by using a bucket policy that includes a value of True for the aws:SecureTransport condition key. Use default at-rest encryption for Amazon S3. Encrypt SageMaker instance storage by using server-side encryption with AWS KMS keys (SSE-KMS).
    ❌ Giải thích sai: Các biện pháp encryption (SecureTransport, SSE-KMS) chỉ đảm bảo dữ liệu an toàn khi truyền/ lưu trữ, không tạo network isolation. Không đề cập đến subnets hoặc endpoints, nên training jobs vẫn có thể kết nối internet bình thường. Không đáp ứng yêu cầu chính.

📘 Tài liệu tham khảo (kiến thức cập nhật đến 2026)

Hy vọng phân tích này giúp bạn ôn thi DOP-C02 hiệu quả! 🚀 Nếu cần thêm ví dụ code Terraform/CloudFormation, hãy hỏi nhé!

Câu 548
A company needs an AWS solution that will automatically create versions of ML models as the models are created.

Which solution will meet this requirement?
  1. A Amazon Elastic Container Registry (Amazon ECR)
  2. B Model packages from Amazon SageMaker Marketplace
  3. C Amazon SageMaker ML Lineage Tracking
  4. D Amazon SageMaker Model Registry
Xem giải thích

🧠 Phân tích câu hỏi trắc nghiệm AWS Certified DevOps Engineer Professional

📘 Giải thích nội dung câu hỏi:
Câu hỏi yêu cầu một giải pháp AWS tự động tạo phiên bản (versions) cho các mô hình ML (Machine Learning models) ngay khi các mô hình này được tạo ra. Đây là nhu cầu phổ biến trong quy trình DevOps cho ML (MLOps), giúp quản lý vòng đời mô hình một cách có hệ thống, theo dõi thay đổi, và hỗ trợ triển khai liên tục. Trong môi trường AWS, SageMaker là dịch vụ cốt lõi cho ML, và câu hỏi tập trung vào tính năng tự động versioning mà không cần can thiệp thủ công. Giải pháp phải tích hợp liền mạch với pipeline ML để đảm bảo tính tự động hóa cao, phù hợp với best practices DevOps trên AWS (cập nhật đến 2026, SageMaker hỗ trợ Model Registry với versioning tự động qua API và pipelines). 🛠️

✅ Đáp án đúng: Amazon SageMaker Model Registry
Lý do lựa chọn: Amazon SageMaker Model Registry là giải pháp chính thức của AWS để tự động tạo và quản lý các phiên bản mô hình ML khi mô hình được đăng ký (register). Khi một mô hình được tạo từ training job hoặc endpoint, Registry sẽ tự động gán version mới (ví dụ: v1, v2...), lưu trữ metadata, lineage, và hỗ trợ approval stages cho production. Điều này đáp ứng chính xác yêu cầu "automatically create versions as the models are created", tích hợp với SageMaker Pipelines cho CI/CD tự động. Không có giải pháp nào khác trong AWS làm việc này một cách native và tự động như vậy. 🎯

🧩 Phân tích chi tiết tất cả các phương án (dựa trên tài liệu AWS SageMaker mới nhất 2026):
Dưới đây là phân tích từng lựa chọn, giữ nguyên nội dung gốc bằng tiếng Anh. Tôi đánh dấu ✅ cho đúng và ❌ cho sai, kèm giải thích rõ ràng bằng tiếng Việt dựa trên chức năng thực tế của từng dịch vụ.

  • Amazon Elastic Container Registry (Amazon ECR) ❌
    Giải thích sai: ECR là dịch vụ lưu trữ container images (như Docker images), hỗ trợ versioning qua image tags, nhưng không dành riêng cho ML models và không tự động tạo versions cho mô hình ML khi chúng được tạo. ECR chỉ lưu artifacts containerized, không tích hợp lineage tracking hay metadata ML cụ thể. Sử dụng ECR cho ML cần containerize thủ công, không đáp ứng yêu cầu tự động cho "ML models".

  • Model packages from Amazon SageMaker Marketplace ❌
    Giải thích sai: Đây là các gói mô hình ML được bán sẵn trên SageMaker Marketplace để người dùng mua và deploy. Chúng không tự động tạo versions cho mô hình nội bộ của công ty khi mô hình được tạo; chỉ là catalog công khai, không hỗ trợ versioning tự động trong workflow nội bộ. Marketplace phù hợp cho third-party models, không phải giải pháp quản lý versions nội bộ.

  • Amazon SageMaker ML Lineage Tracking ❌
    Giải thích sai: Tính năng này theo dõi lineage (dòng dõi nguồn gốc) của mô hình, dữ liệu, và artifacts (như experiments, datasets), nhưng không tự động tạo versions cho models. Lineage Tracking chỉ ghi lại mối quan hệ (graph-based tracking), không quản lý versioning như một registry riêng biệt. Bạn vẫn cần Model Registry để versioning thực sự.

  • Amazon SageMaker Model Registry ✅
    Giải thích đúng: Như đã nêu, đây là giải pháp lý tưởng với tự động versioning (model versions tăng dần khi register), hỗ trợ stages (Candidate → Pending → Approved), integration với Pipelines/Studio, và governance đầy đủ. Hoàn hảo cho MLOps DevOps.

📚 Tài liệu tham khảo (AWS docs cập nhật 2026):

Hy vọng phân tích này giúp bạn ôn thi DOP-C02 hiệu quả! 🚀 Nếu cần thêm câu hỏi, hãy hỏi nhé! 😊

Câu 549
A company needs to use Retrieval Augmented Generation (RAG) to supplement an open source large language model (LLM) that runs on Amazon Bedrock. The company's data for RAG is a set of documents in an Amazon S3 bucket. The documents consist of .csv files and .docx files.

Which solution will meet these requirements with the LEAST operational overhead?
  1. A Create a pipeline in Amazon SageMaker Pipelines to generate a new model. Call the new model from Amazon Bedrock to perform RAG queries.
  2. B Convert the data into vectors. Store the data in an Amazon Neptune database. Connect the database to Amazon Bedrock. Call the Amazon Bedrock API to perform RAG queries.
  3. C Fine-tune an existing LLM by using an AutoML job in Amazon SageMaker. Configure the S3 bucket as a data source for the AutoML job. Deploy the LLM to a SageMaker endpoint. Use the endpoint to perform RAG queries.
  4. D Create a knowledge base for Amazon Bedrock. Configure a data source that references the S3 bucket. Use the Amazon Bedrock API to perform RAG queries.
Xem giải thích

🧩 Giải thích nội dung câu hỏi

Câu hỏi tập trung vào việc triển khai Retrieval Augmented Generation (RAG) để bổ sung dữ liệu cho một mô hình ngôn ngữ lớn (LLM) mã nguồn mở đang chạy trên Amazon Bedrock. Dữ liệu RAG bao gồm các tài liệu dạng .csv và .docx lưu trữ trong Amazon S3 bucket. Mục tiêu là chọn giải pháp có chi phí vận hành thấp nhất (LEAST operational overhead), nghĩa là ưu tiên giải pháp managed service tự động hóa cao, không yêu cầu tự xây dựng pipeline phức tạp, quản lý vector database thủ công hay fine-tuning model.

🛠️ RAG hoạt động như thế nào ở đây? RAG kết hợp việc retrieval (tìm kiếm dữ liệu liên quan từ tài liệu) với generation (tạo phản hồi từ LLM). Amazon Bedrock hỗ trợ RAG qua Knowledge Bases – một tính năng managed, tự động xử lý ingestion dữ liệu từ S3 (hỗ trợ CSV, DOCX), embedding, lưu trữ vector (sử dụng OpenSearch Serverless hoặc các vector store khác), và thực hiện query qua API. Điều này giảm thiểu overhead so với các cách thủ công như dùng SageMaker hoặc Neptune.

✅ Đáp án đúng:
Create a knowledge base for Amazon Bedrock. Configure a data source that references the S3 bucket. Use the Amazon Bedrock API to perform RAG queries.

Lý do lựa chọn: Giải pháp này sử dụng Amazon Bedrock Knowledge Bases – dịch vụ fully managed mới nhất (cập nhật đến 2026), tự động hóa toàn bộ quy trình RAG: sync dữ liệu từ S3, chunking tài liệu (CSV/DOCX), embedding bằng Titan Embeddings, lưu trữ vector trong OpenSearch Serverless hoặc Pinecone/RDS, và query qua API RetrieveAndGenerate. Không cần code pipeline, quản lý infra, hay fine-tune model → least operational overhead. Hỗ trợ LLM open source qua Bedrock (như Llama, Mistral).

📋 Phân tích chi tiết tất cả các phương án

Dưới đây là phân tích từng lựa chọn, giữ nguyên văn bản gốc bằng tiếng Anh. Mỗi phương án được đánh giá ✅ (đúng) hoặc ❌ (sai), kèm giải thích rõ ràng về lý do dựa trên kiến thức AWS Bedrock phiên bản mới nhất (2026).

  • ❌ Create a pipeline in Amazon SageMaker Pipelines to generate a new model. Call the new model from Amazon Bedrock to perform RAG queries.
    Giải thích sai: SageMaker Pipelines dùng để xây dựng ML workflow (training, tuning), không phải RAG thuần túy. Tạo "new model" ở đây là fine-tuning hoặc training lại, tốn kém tài nguyên (EC2/GPU), yêu cầu code custom, deploy endpoint → operational overhead cao. Bedrock không cần gọi model từ SageMaker cho RAG; Knowledge Bases làm việc trực tiếp.

  • ❌ Convert the data into vectors. Store the data in an Amazon Neptune database. Connect the database to Amazon Bedrock. Call the Amazon Bedrock API to perform RAG queries.
    Giải thích sai: Neptune là graph database (property graph/RDF), không hỗ trợ vector search native cho RAG (dù có thể extend nhưng phức tạp). Bedrock Knowledge Bases không tích hợp trực tiếp Neptune làm vector store (chỉ hỗ trợ OpenSearch, Pinecone, Redis Enterprise Cloud, Aurora PostgreSQL với pgvector đến 2026). Việc tự convert vectors và connect thủ công → overhead lớn (code embedding, quản lý DB).

  • ❌ Fine-tune an existing LLM by using an AutoML job in Amazon SageMaker. Configure the S3 bucket as a data source for the AutoML job. Deploy the LLM to a SageMaker endpoint. Use the endpoint to perform RAG queries.
    Giải thích sai: Fine-tuning với SageMaker AutoML thay đổi trọng số model (bake dữ liệu vào LLM), không phải RAG (chỉ retrieval động). Không hỗ trợ RAG thực thụ qua endpoint; tốn GPU, thời gian training, deploy/maintain endpoint → overhead rất cao. Bedrock hỗ trợ fine-tuning riêng, nhưng không optimal cho RAG so với Knowledge Bases.

  • ✅ Create a knowledge base for Amazon Bedrock. Configure a data source that references the S3 bucket. Use the Amazon Bedrock API to perform RAG queries.
    Giải thích đúng: Như đã nêu, đây là giải pháp managed end-to-end của Bedrock: URI S3 sync tự động (CSV/DOCX được parse/chunk), embedding tự động, vector store managed. Gọi API RetrieveAndGenerate hoặc Retrieve → zero/low-code, scale tự động, phù hợp LLM open source trên Bedrock. Overhead thấp nhất (chỉ config console/API).

📘 Tài liệu tham khảo

🛠️ Lời khuyên DevOps: Sử dụng IAM roles cho S3 access, monitor qua CloudWatch, và enable agentic RAG (Converse API) cho advanced use cases!

Câu 550
A company plans to deploy an ML model for production inference on an Amazon SageMaker endpoint. The average inference payload size will vary from 100 MB to 300 MB. Inference requests must be processed in 60 minutes or less.

Which SageMaker inference option will meet these requirements?
  1. A Serverless inference
  2. B Asynchronous inference
  3. C Real-time inference
  4. D Batch transform
Xem giải thích

🧩 Phân tích chi tiết nội dung câu hỏi

Câu hỏi tập trung vào việc triển khai mô hình Machine Learning (ML) lên Amazon SageMaker endpoint để thực hiện production inference (suy luận sản xuất). Các yêu cầu cụ thể bao gồm:

  • Kích thước payload trung bình dao động từ 100 MB đến 300 MB (rất lớn so với các tùy chọn thông thường).
  • Mỗi yêu cầu suy luận phải được xử lý trong vòng 60 phút hoặc ít hơn (tức là thời gian xử lý tối đa khoảng 1 giờ).
  • Cần chọn SageMaker inference option phù hợp nhất để đáp ứng cả hai điều kiện này trên endpoint.

🛠️ Bối cảnh AWS SageMaker (cập nhật đến 2026): SageMaker cung cấp nhiều tùy chọn inference như Real-time, Serverless, Asynchronous và Batch Transform. Với payload lớn (100-300MB) và thời gian xử lý dài (lên đến 60 phút), cần tùy chọn hỗ trợ large payloads (lên đến 1GB input/5GB output), queuing (hàng đợi) và timeout lên đến 3600 giây mà không yêu cầu low-latency.

✅ Đáp án đúng: Asynchronous inference

Lý do lựa chọn:

  • Asynchronous inference được thiết kế đặc biệt cho các workload có payload lớn (hỗ trợ input lên đến 1GB, output lên đến 5GB) và thời gian xử lý dài (tối đa 3600 giây ~ 60 phút, khớp chính xác yêu cầu).
  • Nó sử dụng endpoint với hàng đợi (SQS-like): Yêu cầu được lưu trữ tạm thời (S3), xử lý bất đồng bộ, kết quả trả về qua callback URL hoặc S3. Hoàn hảo cho production inference với large payloads mà không cần máy chủ luôn sẵn sàng.
  • Tự động scale, chi phí chỉ tính theo sử dụng thực tế, phù hợp deploy production.

📋 Giải thích chi tiết tất cả các phương án

  • Serverless inference ❌
    Sai vì: Serverless inference (ra mắt 2021, cập nhật 2024-2026) tập trung vào real-time low-latency với auto-scaling serverless, nhưng giới hạn payload tối đa 6MB (không hỗ trợ 100-300MB). Thời gian xử lý chỉ vài giây, không phù hợp cho 60 phút. Nó dành cho lightweight inference, không xử lý large payloads hiệu quả.

  • Asynchronous inference ✅
    Đúng vì: Như đã giải thích ở trên, hỗ trợ payload lớn (1GB input), timeout 3600 giây (đúng 60 phút), queuing tự động qua S3. Lý tưởng cho batch-like online inference trên endpoint production. Cập nhật 2025-2026: Hỗ trợ multi-model endpoints và tích hợp Lambda tốt hơn.

  • Real-time inference ❌
    Sai vì: Real-time inference yêu cầu synchronous low-latency (ms-giây), payload giới hạn 6MB (hoặc 100MB với config đặc biệt nhưng không ổn định cho production large payloads). Timeout chỉ ~60 giây, không đáp ứng 60 phút. Dành cho ứng dụng real-time như chatbots, không phù hợp large payloads.

  • Batch transform ❌
    Sai vì: Batch Transform là offline processing (không phải endpoint liên tục), xử lý toàn bộ dataset từ S3 một lần (không hỗ trợ production inference ongoing). Không có endpoint real-time/async, chỉ dùng cho batch jobs một-một, không đáp ứng yêu cầu "endpoint" và xử lý requests liên tục.

📘 Tài liệu tham khảo (AWS chính thức, cập nhật 2026)

🛡️ Lưu ý: Phân tích dựa trên best practices DevOps Engineer Professional DOP-C02 (2024-2026), ưu tiên scalability và cost-efficiency cho production ML workloads.