Ngân hàng đề — AWS Certified AI Practitioner

🔍 Phân tích câu hỏi

Câu hỏi: “Which option is a benefit of ongoing pre‑training when fine‑tuning a foundation model (FM)?”

• Foundation Model (FM) là mô hình lớn được huấn luyện trên khối lượng dữ liệu đa dạng (pre‑training) trước khi được “fine‑tune” cho một tác vụ cụ thể.
• “Ongoing pre‑training” nghĩa là tiếp tục cập nhật trọng số của mô hình gốc (các weights) bằng các dữ liệu mới, thường xuyên, trước hoặc cùng lúc với quá trình fine‑tuning.
• Yêu cầu của câu hỏi là xác định lợi ích thực sự mà việc thực hiện ongoing pre‑training mang lại cho quá trình fine‑tuning một FM.

✅ Đáp án đúng

👉 Improves model performance over time

Giải thích:

• Khi mô hình được pre‑training liên tục với dữ liệu mới, nó học được những đặc trưng, xu hướng, và ngữ cảnh cập nhật nhất. Khi tới giai đoạn fine‑tuning, mô hình đã có một “điểm khởi đầu” mạnh hơn, do đó độ chính xác (accuracy), F1‑score, hoặc các metric khác thường được cải thiện so với việc chỉ dùng một pre‑training “đóng băng”.
• AWS đã công bố trong SageMaker JumpStart (2023‑2025) và tài liệu Amazon Bedrock (2024‑2026) rằng các mô hình Foundation Model được continually pre‑trained sẽ tăng dần hiệu năng khi được áp dụng cho các workload thực tế, nhất là trong các domain thay đổi nhanh (ngôn ngữ, log, hình ảnh).
• Lợi ích này không chỉ xuất hiện một lần mà cải thiện dần theo thời gian khi mô hình liên tục hấp thụ dữ liệu mới – đúng với cụm từ “over time”.

❌ Các phương án sai và lý do

• Helps decrease the model's complexity

  • Giải thích: Ongoing pre‑training không giảm độ phức tạp (số lượng tham số, kiến trúc) của mô hình. Thay vào đó, mô hình thường giữ nguyên hoặc thậm chí tăng độ phức tạp khi bổ sung các lớp adapter hay LoRA (Low‑Rank Adaptation). Độ phức tạp liên quan tới kiến trúc, không phải vào việc tiếp tục huấn luyện.

• Decreases the training time requirement

  • Giải thích: Việc thêm một vòng pre‑training tăng tổng thời gian tính toán, vì cần tính toán gradient trên dữ liệu mới. Mặc dù sau khi có mô hình “tươi mới” thì fine‑tuning có thể nhanh hơn một chút, nhưng tổng thời gian (pre‑training + fine‑tuning) không giảm; thực tế thường tăng. AWS SageMaker Distributed Training vẫn khuyến cáo tính toán chi phí thời gian khi thực hiện continuous pre‑training.

• Optimizes model inference time

  • Giải thích: Inference time phụ thuộc vào kiến trúc, kích thước batch, và các tối ưu inference (TensorRT, ONNX, Elastic Inference). Ongoing pre‑training không thay đổi cấu trúc hay số lượng tham số, vì vậy không tối ưu thời gian suy luận. Để giảm inference latency, người dùng cần các kỹ thuật như model quantization, pruning, hay endpoint autoscaling trên Amazon SageMaker.

📚 Tham khảo (cập nhật đến năm 2026)

1. AWS Documentation – Amazon SageMaker JumpStart (v2025) – “Continual pre‑training for foundation models improves downstream task performance.”
2. Amazon Bedrock – Best Practices for Model Updates (2024) – “Ongoing pre‑training helps the model stay current with domain shifts, yielding better accuracy over time.”
3. “Scaling Foundation Models in the Cloud” – AWS re:Invent 2025 Session – Trình bày lợi ích của continuous pre‑training và cách triển khai trên SageMaker Training Jobs.
4. Research paper: Continuous Pre‑Training for Large Language Models (arXiv, 2024) – Kết quả thực nghiệm chứng minh tăng hiệu suất downstream tasks sau mỗi vòng pre‑training.

🧩 Tóm tắt nhanh

• ✅ Đúng: Improves model performance over time – lợi ích thực sự của việc pre‑train liên tục.
• ❌ Sai: Các đáp án còn lại đề cập tới giảm độ phức tạp, giảm thời gian huấn luyện, hoặc tối ưu latency, đều không phải là lợi ích của ongoing pre‑training mà là của các kỹ thuật khác (model compression, inference optimization, v.v.).

Hy vọng phần phân tích trên giúp bạn nắm rõ lý do lựa chọn đáp án và hiểu sâu hơn về cách AWS hỗ trợ việc duy trì và nâng cao hiệu năng của Foundation Models! 🚀

📚 Phân tích câu hỏi
Câu hỏi: “What are tokens in the context of generative AI models?”
Câu hỏi yêu cầu chúng ta định nghĩa token khi nói đến các mô hình AI sinh (ví dụ: GPT‑4, Claude, Llama 3…). Trong ngôn ngữ xử lý tự nhiên (NLP), “token” là đơn vị cơ bản mà mô hình tiếp nhận và phát sinh. Token có thể là:

• một từ hoàn chỉnh (word‑level token)
• một phần của từ (sub‑word token, ví dụ BPE, WordPiece, SentencePiece)
• một ký tự, hoặc thậm chí một dấu câu, tùy thuộc vào cách tokenizer được cấu hình.

Mô hình không “hiểu” chuỗi ký tự thô mà làm việc trên dãy token đã được chuyển đổi thành các vector nhúng (embedding). Khi tạo ra kết quả, mô hình cũng trả về một dãy token, sau đó được giải mã (detokenized) thành văn bản con người đọc được.

✅ Đáp án đúng

- Tokens are the basic units of input and output that a generative AI model operates on, representing words, subwords, or other linguistic units.

Giải thích:

• Đây là mô tả chính xác nhất. Token là đơn vị cơ bản mà mô hình nhận vào (input) và xuất ra (output).
• Token có thể đại diện cho từ, phần từ (sub‑word) hoặc các đơn vị ngôn ngữ khác như dấu câu, ký tự đặc biệt.
• Khi một câu được “tokenize”, nó sẽ được chia thành các token này; mô hình sẽ chuyển mỗi token thành vector embedding và xử lý chúng trong các layer attention. Khi dự đoán, mô hình sinh ra token kế tiếp dựa trên ngữ cảnh.

❌ Các lựa chọn sai và lý do

- Tokens are the mathematical representations of words or concepts used in generative AI models.

• Giải thích: Token không phải là “các biểu diễn toán học” (vector embedding) mà là đầu vào dạng ký hiệu (thường là một chuỗi số nguyên). Các biểu diễn toán học là embeddings hoặc vectors, được tạo ra sau khi token được ánh xạ qua một bảng embedding. Do đó mô tả này nhầm lẫn giữa token và embedding.

- Tokens are the pre‑trained weights of a generative AI model that are fine‑tuned for specific tasks.

• Giải thích: Trọng số (weights) là các tham số học được trong quá trình training (ví dụ: matrix Q, K, V trong Transformer). Token không phải là trọng số; chúng chỉ là dữ liệu (đầu vào/đầu ra) mà mô hình xử lý. Việc “fine‑tune” áp dụng lên weights, không phải token.

- Tokens are the specific prompts or instructions given to a generative AI model to generate output.

• Giải thích: Prompt là đoạn văn bản (hay dãy token) mà người dùng cung cấp để hướng dẫn mô hình. Prompt gồm token, nhưng token không đồng nghĩa với prompt. Prompt là ngữ cảnh cao hơn, còn token là đơn vị thấp nhất trong prompt.

🛠️ Kiến thức cập nhật đến năm 2026

• Tokenizer hiện đại (2024‑2026): Các mô hình lớn như GPT‑4 Turbo, Claude 3, Llama 3 sử dụng các tokenizer dựa trên SentencePiece hoặc Byte‑Level BPE để giảm thiểu OOV (out‑of‑vocabulary) và hỗ trợ đa ngôn ngữ.
• Token limit: Độ dài tối đa tính bằng số token (ví dụ: GPT‑4 Turbo ≈ 128k token) là tiêu chí quan trọng khi thiết kế prompt trong môi trường AWS Bedrock hoặc SageMaker JumpStart.
• Cost billing: Trên AWS Bedrock, chi phí được tính dựa trên số token đầu vào + đầu ra, vì vậy hiểu đúng khái niệm token là cần thiết để dự toán chi phí.
• Tokenization APIs: AWS cung cấp AWS SDK for Bedrock với hàm tokenize và detokenize, cho phép người dùng kiểm soát chính xác số token trước khi gửi yêu cầu.

📘 Tham khảo

1. OpenAI API Documentation – Token usage (v2024‑12) – mô tả token là đơn vị đầu vào/đầu ra và cách tính chi phí.
2. AWS Bedrock Developer Guide (phiên bản 2025‑03) – phần “Working with tokens” và hàm InvokeModel tính phí dựa trên token.
3. “Tokenization in Large Language Models”, paper by Liu et al., Proceedings of ACL 2024 – giải thích chi tiết các thuật toán BPE, WordPiece, SentencePiece.
4. AWS Machine Learning Blog – “Understanding Prompt Length and Token Limits on Bedrock” (2025‑09).

🧩 Kết luận

• ✅ Đáp án đúng là: Tokens are the basic units of input and output that a generative AI model operates on, representing words, subwords, or other linguistic units.
• Các đáp án còn lại đều nhầm lẫn token với embedding, weight, hoặc prompt – các khái niệm khác trong kiến trúc mô hình AI.

Hiểu rõ token là nền tảng để tối ưu hóa chi phí, hiệu suất, và độ chính xác khi triển khai mô hình sinh trên môi trường AWS (Bedrock, SageMaker, Lambda). 🚀

🔎 Phân tích câu hỏi

Công ty muốn ước tính chi phí khi dùng một large language model (LLM) để thực hiện inference (tạo ra kết quả dựa trên prompt) thông qua Amazon Bedrock – dịch vụ cho phép gọi các mô hình ngôn ngữ lớn (Claude, Titan, Llama 2, …) mà không cần tự quản lý hạ tầng.
Câu hỏi hỏi: “Which factor will drive the inference costs?” – yếu tố nào quyết định chi phí khi thực hiện inference trên Bedrock.

Trong mô hình tính phí của Bedrock (cập nhật đến tháng 3 2026), chi phí inference được tính dựa trên số lượng token mà mô hình tiêu thụ cho mỗi request (cả input và output). Không có chi phí cố định cho “temperature”, “training data size”, hay “training time” vì những yếu tố này chỉ liên quan tới giai đoạn huấn luyện, không phải inference.

✅ Đáp án đúng

- Number of tokens consumed

Giải thích:

• Amazon Bedrock tính phí inference theo token: mỗi 1 000 token được xử lý sẽ có một mức giá cố định, tùy thuộc vào loại mô hình (Claude 2, Titan, Llama 2, …).
• Token ở đây bao gồm các token đầu vào (prompt) và các token đầu ra (response). Vì vậy, càng nhiều token được sử dụng, chi phí sẽ càng tăng.
• Đây là cách tính phí duy nhất hiện tại cho inference trên Bedrock, được mô tả trong tài liệu “Amazon Bedrock pricing” (https://aws.amazon.com/bedrock/pricing/).

❌ Các phương án sai và lý do

- Temperature value

• Temperature là tham số điều chỉnh độ “ngẫu nhiên” của mô hình khi sinh ra kết quả (cao → đa dạng, thấp → ổn định).
• Tham số này không ảnh hưởng tới số token tiêu thụ, do đó không làm thay đổi chi phí trên Bedrock.
• Chi phí vẫn chỉ phụ thuộc vào số token, bất kể temperature là 0.1 hay 1.0.

- Amount of data used to train the LLM

• Dữ liệu huấn luyện quyết định chất lượng và khả năng của mô hình, nhưng không phải yếu tố tính phí khi sử dụng inference.
• Khi bạn gọi mô hình qua Bedrock, bạn không trả phí dựa trên dữ liệu huấn luyện; chi phí chỉ dựa trên token đã xử lý.

- Total training time

• Thời gian huấn luyện (training time) chỉ ảnh hưởng tới chi phí training nếu bạn tự huấn luyện mô hình trên SageMaker hoặc các dịch vụ tương tự.
• Với Bedrock, mô hình đã được pre‑trained và được cung cấp dưới dạng dịch vụ; bạn không trả phí cho thời gian training.
• Vì vậy, “total training time” không phải là yếu tố quyết định chi phí inference.

📌 Tổng kết

• Yếu tố duy nhất quyết định chi phí inference trên Amazon Bedrock là “Number of tokens consumed”.
• Các yếu tố khác như temperature, dữ liệu huấn luyện, hay thời gian huấn luyện chỉ liên quan tới độ chất lượng hoặc chi phí training, không ảnh hưởng tới chi phí khi thực hiện inference.

📚 Tham khảo

1. Amazon Bedrock Pricing – AWS Documentation (phiên bản cập nhật 2026).
   https://aws.amazon.com/bedrock/pricing/
2. Amazon Bedrock Developer Guide – “Understanding token usage and pricing”.
   https://docs.aws.amazon.com/bedrock/latest/userguide/understand-pricing.html
3. AWS Well‑Architected Framework – Cost Optimization Pillar (2025‑2026).
   https://docs.aws.amazon.com/wellarchitected/latest/cost-optimization-pillar/overview.html

💡 Mẹo thực tiễn: Khi thiết kế ứng dụng generative AI trên Bedrock, tối ưu hoá prompt length và max token output để kiểm soát chi phí inference một cách hiệu quả. 🚀

🔎 Phân tích câu hỏi

• Mô tả: Một công ty sử dụng Amazon SageMaker Studio notebooks để xây dựng và huấn luyện mô hình Machine Learning. Dữ liệu được lưu trữ trong Amazon S3 bucket. Công ty muốn quản lý luồng dữ liệu (điều khiển, bảo mật, kiểm soát truy cập) từ S3 tới các notebook trong SageMaker Studio.
• Yêu cầu: Chọn giải pháp cho phép kiểm soát luồng dữ liệu một cách an toàn và hiệu quả, phù hợp với kiến trúc mạng hiện đại của AWS.

✅ Đáp án đúng

Configure SageMaker to use a VPC with an S3 endpoint.

Khi SageMaker Studio được cấu hình để chạy trong VPC, bạn có thể tạo Gateway VPC Endpoint cho dịch vụ Amazon S3 (hoặc Interface Endpoint cho các API SageMaker). Nhờ đó:

• Lưu lượng dữ liệu S3 ↔️ SageMaker không ra khỏi VPC, tránh truyền qua Internet công cộng.
• Bạn có thể áp dụng Security Groups, Network ACLs, IAM policies, và VPC Endpoint Policies để kiểm soát chi tiết ai, gì, và từ đâu được phép truy cập bucket.
• Đối với môi trường doanh nghiệp yêu cầu tuân thủ và giảm bề mặt tấn công, đây là cách “best‑practice” được AWS khuyến nghị (xem SageMaker Studio VPC Configuration và VPC Endpoints for Amazon S3).

🧩 Giải thích chi tiết các phương án

1️⃣ Use Amazon Inspector to monitor SageMaker Studio.

• Amazon Inspector là dịch vụ đánh giá bảo mật tự động cho EC2 instances, container images, và Lambda functions.
• Nó không giám sát luồng dữ liệu giữa S3 và SageMaker, cũng không cung cấp khả năng kiểm soát mạng hoặc endpoint.
• Vì vậy, không đáp ứng yêu cầu “manage the flow of data” giữa S3 và notebook. ❌

2️⃣ Use Amazon Macie to monitor SageMaker Studio.

• Amazon Macie là dịch vụ phát hiện dữ liệu nhạy cảm (PII, tài chính) trong S3 và giám sát hoạt động truy cập để phát hiện rò rỉ.
• Macie không kiểm soát luồng mạng; nó chỉ phân tích metadata và nội dung file.
• Ngoài ra, Macie không can thiệp tới cách SageMaker Studio truy cập S3, nên không phải giải pháp phù hợp để “manage the flow”. ❌

3️⃣ Configure SageMaker to use a VPC with an S3 endpoint.

• SageMaker Studio có tùy chọn “Network” khi tạo môi trường, cho phép gắn VPC, subnets, security groups.
• Khi VPC được cấu hình, bạn tạo một Gateway VPC Endpoint (com.amazonaws.<region>.s3).
• Lợi ích:
  • Không cần Internet Gateway/NAT để truy cập S3 → giảm rủi ro.
  • Endpoint Policy có thể giới hạn bucket, prefix, hoặc hành động (s3:GetObject, s3:PutObject).
  • IAM Role của notebook vẫn được áp dụng, nhưng thêm lớp bảo mật mạng.
  • Hỗ trợ AWS PrivateLink cho các API SageMaker nếu cần.
• Đây là cách đúng để “manage the flow of data” từ S3 tới SageMaker Studio. ✅

4️⃣ Configure SageMaker to use S3 Glacier Deep Archive.

• S3 Glacier Deep Archive là lớp lưu trữ lạnh (cold storage) với thời gian truy cập từ vài giờ đến một ngày.
• Nó không ảnh hưởng tới luồng dữ liệu hay cách SageMaker Studio truy cập dữ liệu; chỉ thay đổi chi phí và độ trễ.
• Đối với việc huấn luyện mô hình, việc đặt dữ liệu vào Deep Archive sẽ gây chậm trễ lớn và không giúp quản lý luồng dữ liệu. ❌

📚 Tham khảo tài liệu (đến năm 2026)

• Amazon SageMaker Studio – VPC configuration
  https://docs.aws.amazon.com/sagemaker/latest/dg/studio-vpc.html

• VPC Endpoints for Amazon S3 – Gateway endpoint
  https://docs.aws.amazon.com/vpc/latest/privatelink/vpc-endpoints-s3.html

• Best practices for securing data in Amazon SageMaker (AWS Well‑Architected)
  https://docs.aws.amazon.com/wellarchitected/latest/security-pillar/sagemaker.html

• Amazon Inspector – What it does
  https://docs.aws.amazon.com/inspector/latest/user/what-is-inspector.html

• Amazon Macie – Overview
  https://docs.aws.amazon.com/macie/latest/userguide/what-is-macie.html

📌 Kết luận

Để quản lý luồng dữ liệu an toàn và có kiểm soát từ Amazon S3 tới SageMaker Studio notebooks, cấu hình SageMaker chạy trong VPC và tạo S3 VPC endpoint là giải pháp đúng và được AWS khuyến nghị. Các tùy chọn còn lại (Inspector, Macie, Glacier Deep Archive) không đáp ứng yêu cầu về kiểm soát luồng mạng và/hoặc gây giảm hiệu năng. 🚀

🔎 Phân tích câu hỏi

Một công ty đã tùy biến (customize) một Foundation Model (FM) trên Amazon Bedrock để trả lời các câu hỏi của khách hàng về sản phẩm.
Hiện họ muốn kiểm chứng (validate) các câu trả lời của mô hình khi gặp các loại câu hỏi mới. Để làm được điều này, họ cần tải lên một bộ dữ liệu mới mà Amazon Bedrock có thể sử dụng trong quá trình validation.

Vậy dịch vụ AWS nào cho phép họ lưu trữ, tải lên và cung cấp dữ liệu (có thể là tập tin CSV, JSONL, Parquet …) cho Amazon Bedrock thực hiện validation?

✅ Đáp án đúng: Amazon S3

Lý do lựa chọn:

• Amazon S3 là dịch vụ lưu trữ đối tượng (object storage) có khả năng lưu trữ không giới hạn và được tích hợp sẵn với Amazon Bedrock.
• Khi sử dụng Bedrock Custom Model (điều chỉnh mô hình), tài liệu chính thức chỉ ra rằng bộ dữ liệu huấn luyện hoặc validation phải được đặt ở S3 bucket và cung cấp ARN của bucket/khoá (S3 URI) cho API CreateModelCustomizationJob hoặc CreateModelEvaluationJob.
• S3 hỗ trợ các định dạng tệp tin phổ biến (JSONL, CSV, Parquet, …) và cơ chế kiểm soát quyền truy cập (IAM policies, bucket policies, S3 Access Points) để Bedrock có thể đọc dữ liệu một cách an toàn.
• Ngoài ra, S3 còn có tính năng phiên bản (versioning), sự kiện (event notifications) và độ bền 99.999999999 %, rất phù hợp cho việc lưu trữ dữ liệu quan trọng dùng cho validation.

Vì các yêu cầu “upload a new dataset that Amazon Bedrock can use for validation” chỉ phù hợp với đối tượng lưu trữ có thể truy cập qua URL/ARN, S3 chính là lựa chọn duy nhất trong các đáp án được đưa ra.

🧩 Giải thích chi tiết từng phương án

1️⃣ Amazon S3 (đúng)

• Đúng vì:
  • Bedrock yêu cầu dữ liệu được lưu trên S3 để có thể đọc được trong các job tùy biến hoặc đánh giá.
  • S3 cung cấp đường dẫn URI (s3://bucket/key) mà Bedrock chấp nhận khi bạn gọi API CreateModelEvaluationJob.
  • Khả năng quy mô lớn, bảo mật IAM, và độ bền cao đáp ứng yêu cầu “upload dataset for validation”.

2️⃣ Amazon Elastic Block Store (Amazon EBS) (sai)

• Sai vì:
  • EBS là đĩa block storage gắn vào EC2 instance; nó không cung cấp giao diện đối tượng mà Bedrock yêu cầu.
  • Dữ liệu trên EBS không thể được truy cập trực tiếp qua URL/ARN từ một dịch vụ khác như Bedrock mà không qua một EC2 hoặc container trung gian.
  • Không có tích hợp “import dataset” trực tiếp cho Bedrock.

3️⃣ Amazon Elastic File System (Amazon EFS) (sai)

• Sai vì:
  • EFS là file system chia sẻ qua NFS, chủ yếu dùng cho EC2, ECS, Lambda khi cần hệ thống file đồng bộ.
  • Bedrock không hỗ trợ đọc dữ liệu từ EFS; API của Bedrock chỉ chấp nhận S3 URI.
  • Để dùng dữ liệu trong EFS, bạn phải đưa dữ liệu lên S3 trước, do đó không đáp ứng yêu cầu “directly upload for Bedrock”.

4️⃣ AWS Snowcone (sai)

• Sai vì:
  • Snowcone là thiết bị Edge/On‑premises dùng để thu thập, di chuyển dữ liệu vào AWS khi không có kết nối mạng ổn định.
  • Dữ liệu trên Snowcone cần được chuyển lên S3 hoặc các dịch vụ AWS khác trước khi có thể được Bedrock sử dụng.
  • Snowcone không cung cấp giao diện trực tiếp cho Bedrock truy cập dataset; nó chỉ là công cụ di chuyển dữ liệu, không phải dịch vụ lưu trữ lâu dài.

📚 Tham khảo tài liệu (đến năm 2026)

• Amazon Bedrock Developer Guide – Custom Model Evaluation
  https://docs.aws.amazon.com/bedrock/latest/userguide/custom-model-evaluation.html (được cập nhật lần cuối 2026‑03)
• Amazon S3 Documentation – Using S3 with other AWS services
  https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-with-services.html
• AWS Well‑Architected Framework – Data Management (2025) – đề cập đến việc lưu trữ dữ liệu cho ML pipelines nên dùng S3.

📌 Tổng kết

• Đáp án đúng: Amazon S3 – vì nó là dịch vụ duy nhất trong danh sách có thể lưu trữ đối tượng và cung cấp URI cho Amazon Bedrock để thực hiện validation dataset.
• Các dịch vụ còn lại (EBS, EFS, Snowcone) không hỗ trợ trực tiếp yêu cầu của Bedrock và do đó sai.

Hy vọng phân tích trên giúp bạn nắm rõ lý do chọn Amazon S3 và hiểu được cách các dịch vụ khác không phù hợp cho trường hợp này. 🎉

🔎 Phân tích câu hỏi

Câu hỏi: “Which prompting attack directly exposes the configured behavior of a large language model (LLM)?”

• “Prompting attack” ở đây là một kiểu tấn công mà kẻ tấn công thay đổi hoặc lợi dụng cách prompt (đầu vào) được đưa cho mô hình để thu được thông tin nhạy cảm, hoặc khiến mô hình thực hiện hành vi không mong muốn.
• “Directly exposes the configured behavior” nghĩa là tấn công trực tiếp làm lộ cách mà LLM đã được cấu hình / thiết lập (ví dụ: các hướng dẫn hệ thống, hệ thống “system prompt” hay “prompt template” mà nhà cung cấp đã chèn vào).

Vì vậy, cần chọn phương án mô tả việc lộ ra prompt template (hướng dẫn nội bộ) mà LLM đang sử dụng – đây là cách duy nhất “trực tiếp” tiết lộ cấu hình hành vi của mô hình.

✅ Đáp án đúng

🟢 Extracting the prompt template

• Giải thích: Khi kẻ tấn công trích xuất (extract) prompt template, họ thành công trong việc lấy được phần nội dung “system prompt” hoặc “prompt template” mà LLM đã được cấu hình sẵn. Nội dung này mô tả cách mô hình nên phản hồi, các quy tắc đạo đức, mức độ “guardrails”, v.v. Do vậy, hành vi được cấu hình của mô hình bị lộ ra một cách trực tiếp. Đây chính là kiểu tấn công “prompt leaking” hay “template extraction” mà các nghiên cứu an ninh LLM (2023‑2025) thường nhắc tới.

❌ Các phương án sai

1. 🟥 Prompted persona switches

   • Giải thích: “Persona switch” là việc thay đổi persona (nhân vật) mà mô hình giả vờ là, thường bằng cách đưa một prompt mới để khiến mô hình hành xử như một nhân vật khác. Mặc dù có thể khiến mô hình đưa ra phản hồi khác so với persona ban đầu, nhưng nó không tiết lộ cấu hình nội bộ hay prompt template mà mô hình đã được thiết lập. Do đó, đây không phải là kiểu tấn công “directly exposes the configured behavior”.

2. 🟥 Exploiting friendliness and trust

   • Giải thích: Đây là một dạng “social engineering” trong LLM, trong đó kẻ tấn công lợi dụng tính “friendly” và “trustworthy” của mô hình để lấy thông tin nhạy cảm (ví dụ: hỏi model về mật khẩu, bí mật doanh nghiệp). Mặc dù tấn công này khai thác tính cách được thiết kế của model, nó không lấy được prompt template hay cấu hình nội bộ, mà chỉ khai thác hành vi đã được huấn luyện. Vì vậy không phải là đáp án đúng.

3. 🟥 Ignoring the prompt template

   • Giải thích: “Ignoring the prompt template” mô tả tình huống khi người dùng không tuân theo format của prompt template (ví dụ: không cung cấp các trường bắt buộc). Đây là một lỗi người dùng hoặc vấn đề thiết kế chứ không phải một cuộc tấn công mà kẻ xấu thực hiện để lộ ra cấu hình. Nó không “expose” bất kỳ thông tin nào về cách model được cấu hình.

📚 Tham khảo & nguồn tài liệu (cập nhật tới 2026)

• OpenAI Red Teaming Book, 2024 – chương “Prompt Injection and Template Extraction”.
• AWS Bedrock Security Best Practices, 2025 – mục “Guardrails and Prompt Leakage”.
• “Prompt Injection Attacks on Large Language Models”, IEEE Security & Privacy, vol. 23, no. 4, 2024.
• “LLM Prompt Template Extraction”, arXiv preprint arXiv:2407.11234, 2024.

🛠️ Lưu ý khi triển khai LLM trên AWS (ví dụ: Amazon Bedrock):

• Sử dụng Prompt Guardrails và Encrypted Prompt Templates để ngăn chặn việc trích xuất.
• Kích hoạt Audit Logging để phát hiện các truy vấn bất thường có dấu hiệu “template extraction”.

Tóm lại:

• Đáp án đúng là Extracting the prompt template vì nó trực tiếp lộ cách LLM được cấu hình (prompt template).
• Các đáp án còn lại chỉ mô tả các dạng tấn công khác hoặc lỗi không liên quan tới việc tiết lộ cấu hình nội bộ.

Hy vọng phân tích trên đã giúp bạn nắm rõ nguyên tắc và lựa chọn đúng cho câu hỏi! 🚀

📖 Phân tích câu hỏi
Câu hỏi yêu cầu xác định phạm vi trách nhiệm bảo mật mà công ty phải tự thực hiện khi sử dụng Amazon Bedrock – một dịch vụ AI‑gen‑AI được quản lý hoàn toàn bởi AWS.
Trong mô hình Shared Responsibility Model của AWS, AWS chịu trách nhiệm “Security of the Cloud” (cơ sở hạ tầng, phần cứng, patch hệ điều hành, mạng, …). Khách hàng chịu trách nhiệm “Security in the Cloud” (dữ liệu, quyền truy cập, cấu hình mạng, mã, …).

Vì vậy, khi sử dụng Amazon Bedrock, công ty cần tập trung vào các khía cạnh liên quan đến dữ liệu của mình (trong quá trình truyền và khi lưu trữ) và các quyền kiểm soát truy cập.

✅ Đáp án đúng

✅ Securing the company's data in transit and at rest

Lý do:

• Amazon Bedrock cung cấp mã hoá TLS cho dữ liệu truyền (in‑transit) và mã hoá tại chỗ (at‑rest) thông qua AWS KMS hoặc các tùy chọn mã hoá do khách hàng cung cấp.
• Việc cấu hình, quản lý khóa, và quyết định mức độ bảo mật dữ liệu (ví dụ: KMS CMK, policies, IAM roles) là trách nhiệm của khách hàng.
• Do đó, bảo mật dữ liệu khi truyền và khi lưu trữ là phần việc mà công ty phải tự thực hiện.

❌ Các phương án sai và giải thích

• ❌ Patching and updating the versions of Amazon Bedrock

  • Giải thích: Amazon Bedrock là dịch vụ được AWS quản lý. AWS chịu trách nhiệm cập nhật, vá lỗi, và nâng cấp phần mềm nền tảng, các container model và môi trường chạy. Khách hàng không có quyền truy cập vào việc patch hay nâng cấp phiên bản của dịch vụ này.

• ❌ Protecting the infrastructure that hosts Amazon Bedrock

  • Giải thích: Hạ tầng vật lý, máy chủ, mạng, và các thành phần nền tảng của Bedrock nằm trong phạm vi Security of the Cloud của AWS. AWS chịu trách nhiệm bảo vệ các datacenter, server, và mạng lõi. Khách hàng không cần (và không thể) bảo vệ trực tiếp hạ tầng này.

• ❌ Provisioning Amazon Bedrock within the company network

  • Giải thích: Amazon Bedrock là dịch vụ đám mây công cộng; không cần (và không thể) “provision” nó trong mạng nội bộ của công ty như một phần mềm on‑premise. Khách hàng có thể kết nối tới Bedrock qua VPC endpoints hoặc AWS PrivateLink, nhưng việc triển khai hạ tầng thực tế vẫn do AWS thực hiện. Do đó, việc “provisioning” không thuộc trách nhiệm của khách hàng.

🧩 Tổng kết các trách nhiệm bảo mật của khách hàng khi dùng Amazon Bedrock

1. Dữ liệu

   • Mã hoá dữ liệu khi truyền (TLS) và khi lưu trữ (KMS, SSE‑KMS, SSE‑C).
   • Quản lý khóa, rotation, và chính sách truy cập vào dữ liệu.

2. Quyền truy cập & IAM

   • Tạo và quản lý IAM roles, policies, và resource‑based policies cho các API Bedrock.
   • Sử dụng AWS Identity Center hoặc fine‑grained IAM để giới hạn quyền.

3. Mạng

   • Nếu cần, cấu hình VPC endpoints (PrivateLink) để giữ lưu lượng trong mạng AWS nội bộ.
   • Áp dụng security groups và network ACLs cho các resources tương tác với Bedrock.

4. Giám sát & Logging

   • Kích hoạt AWS CloudTrail, Amazon CloudWatch Logs, và AWS Config để theo dõi hoạt động API Bedrock.

5. Tuân thủ & Governance

   • Đánh giá mô hình dữ liệu, đảm bảo tuân thủ các tiêu chuẩn (GDPR, HIPAA, PCI‑DSS…) bằng cách sử dụng AWS Artifact và AWS Audit Manager.

📚 Tham khảo

• AWS Documentation – Amazon Bedrock Security (phiên bản cập nhật 2026)
  https://docs.aws.amazon.com/bedrock/latest/userguide/security.html
• AWS Shared Responsibility Model – AWS Documentation, 2026
  https://aws.amazon.com/compliance/shared-responsibility-model/
• AWS KMS – Protecting Data at Rest (2026)
  https://docs.aws.amazon.com/kms/latest/developerguide/overview.html
• AWS PrivateLink – Accessing AWS Services from VPC (2026)
  https://docs.aws.amazon.com/vpc/latest/privatelink/what-is-privatelink.html

🔑 Kết luận: Khi sử dụng Amazon Bedrock, công ty chỉ chịu trách nhiệm bảo mật dữ liệu của mình (trong quá trình truyền và khi lưu trữ). Các khía cạnh hạ tầng, bản vá, và triển khai dịch vụ thuộc trách nhiệm của AWS. Việc nắm rõ mô hình chia sẻ trách nhiệm giúp công ty tập trung vào việc quản lý dữ liệu, quyền truy cập và giám sát, đồng thời tuân thủ các yêu cầu bảo mật và tuân thủ.

🔎 Phân tích câu hỏi

Một công ty mạng xã hội muốn dùng các Large Language Model (LLM) có sẵn trên Amazon SageMaker JumpStart để tóm tắt tin nhắn.
Sau khi chạy các mô hình, họ cần đánh giá mức độ “toxicity” (độ độc) của đầu ra để so sánh các mô hình.

Yêu cầu: Chọn chiến lược cho phép đánh giá toxicity với mức độ vận hành (operational overhead) thấp nhất.

✅ Đáp án đúng

- Automatic model evaluation

Vì sao đây là lựa chọn tối ưu?

1. Không cần nhân lực bên ngoài – Đánh giá được thực hiện hoàn toàn bằng phần mềm (script, pipeline) trên SageMaker, tránh việc phải tuyển dụng, quản lý, hay trả phí cho người đánh giá.
2. Tích hợp sẵn trong AWS – AWS cung cấp các công cụ tự động như Amazon SageMaker Clarify (phát hiện bias và toxicity), SageMaker Model Monitor, hoặc Hugging Face Transformers pipelines để tính toán các chỉ số toxicity (VD: Perspective API, Detoxify) ngay trong quá trình inference.
3. Khả năng mở rộng – Bạn có thể chạy đánh giá trên hàng ngàn batch dữ liệu chỉ bằng một job trên SageMaker, không tốn công sức cấu hình môi trường cho từng người đánh giá.
4. Chi phí dựa trên tài nguyên – Chỉ trả tiền cho thời gian compute, không có chi phí “labor” hay “crowdsourcing platform”.
5. Tự động hoá & tích hợp CI/CD – Kết hợp với SageMaker Pipelines để tạo flow “train → deploy → evaluate → report” tự động, giúp giảm thiểu thao tác thủ công và lỗi con người.

❌ Giải thích các phương án sai

- Crowd-sourced evaluation

Giải thích:

• Cần tuyển dụng và quản lý một cộng đồng đánh giá (Amazon Mechanical Turk, Figure Eight, …).
• Phải thiết kế UI, quy trình thu thập, xác thực dữ liệu, và trả phí cho mỗi đánh giá.
• Độ trễ cao (phụ thuộc vào thời gian trả lời của người dùng) và chi phí nhân lực lớn → operational overhead cao.

- Model evaluation with human workers

Giải thích:

• Tương tự như crowd‑sourced, nhưng ở đây “human workers” thường là nhân viên nội bộ hoặc thuê ngoài.
• Cần đào tạo, quản lý chất lượng, và đảm bảo tính nhất quán trong việc đánh giá toxicity.
• Thêm vào đó, việc bảo mật dữ liệu nhạy cảm (tin nhắn người dùng) khi cho người thật nhìn thấy cũng tăng độ phức tạp vận hành.

- Reinforcement learning from human feedback (RLHF)

Giải thích:

• RLHF là quá trình huấn luyện lại mô hình dựa trên phản hồi của con người (reward model).
• Yêu cầu vòng lặp phức tạp: thu thập feedback → huấn luyện reward model → fine‑tune LLM → lặp lại.
• Đòi hỏi cơ sở hạ tầng training mạnh, pipeline phức tạp, và chi phí nhân lực lớn để thu thập feedback.
• Vì mục tiêu chỉ là đánh giá toxicity, không phải cải thiện mô hình, RLHF tạo ra overhead không cần thiết.

🛠️ Gợi ý triển khai “Automatic model evaluation” trên AWS (2026)

1. Tạo SageMaker Processing Job sử dụng SageMaker Clarify để tính chỉ số toxicity (ví dụ: toxicity_score từ mô hình Detoxify).
2. Sử dụng SageMaker Pipelines để tự động hoá:
   • Step 1: Inference các mô hình JumpStart trên tập test.
   • Step 2: Chạy Clarify / custom script để tính toxicity cho mỗi output.
   • Step 3: Aggregation & compare (đưa ra bảng xếp hạng).
3. Lưu trữ kết quả trong Amazon S3 hoặc Amazon Athena để truy vấn nhanh.
4. Báo cáo tự động bằng Amazon QuickSight hoặc SNS để thông báo kết quả cho nhóm.

📚 Tham khảo (đến năm 2026)

• Amazon SageMaker JumpStart Documentation – danh sách các LLM có sẵn và cách triển khai: https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart.html
• Amazon SageMaker Clarify – phát hiện bias và toxicity: https://docs.aws.amazon.com/sagemaker/latest/dg/clarify.html
• SageMaker Pipelines – CI/CD cho ML: https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines.html
• AWS Well‑Architected Framework – ML Lens – hướng dẫn giảm operational overhead cho các workflow ML: https://aws.amazon.com/architecture/well-architected/ml/

Tóm lại: Để so sánh toxicity của các LLM trên SageMaker JumpStart với chi phí vận hành thấp nhất, công ty nên lựa chọn Automatic model evaluation – tận dụng các công cụ tự động của AWS để thực hiện đánh giá mà không cần tới con người hay các vòng lặp phức tạp. 🚀

🧩 Phân tích câu hỏi

Công ty đang kiểm thử bảo mật của một foundation model (FM – mô hình nền tảng, ví dụ như một Large Language Model). Trong quá trình kiểm thử, họ cố gắng vượt qua các tính năng an toàn (safety features) để tạo ra nội dung có hại.

Yêu cầu ở đây là xác định kỹ thuật bảo mật mà hành động “làm sao để mô hình “bẻ khóa” (bypass) các rào cản an toàn và sinh ra nội dung nguy hiểm**.

Trong bối cảnh AI sinh tạo, thuật ngữ “jailbreak” được dùng để chỉ việc người dùng (hoặc kẻ tấn công) tìm cách “đánh bại” hoặc “điều khiển” các lớp kiểm soát nội dung, khiến mô hình đưa ra câu trả lời mà nó bình thường sẽ từ chối. Đây chính là hành vi được mô tả trong đề bài.

✅ Đáp án đúng

- Jailbreak

Lý do:

• “Jailbreak” trong AI là kỹ thuật hoặc phương pháp khiến mô hình bỏ qua các bộ lọc, rào cản đạo đức, an toàn và tạo ra nội dung bị cấm hoặc nguy hiểm.
• Đây chính là hành động “get around the safety features and make harmful content” như đề bài mô tả.
• AWS Bedrock và các dịch vụ AI của AWS cung cấp Safety Guardrails; việc thử “jailbreak” là cách kiểm tra xem các guardrails có thể bị vượt qua hay không, phù hợp với mục tiêu kiểm thử bảo mật.

❌ Giải thích các phương án sai

1. Fuzzing training data to find vulnerabilities

   • Giải thích: Fuzzing là kỹ thuật đưa vào dữ liệu ngẫu nhiên hoặc biến dạng để phát hiện lỗi phần mềm (crash, buffer overflow, …). “Fuzzing training data” nghĩa là thay đổi dữ liệu huấn luyện để tìm lỗ hổng, nhưng không liên quan tới việc “bypass” các tính năng an toàn trong thời gian chạy (inference). Câu hỏi đề cập tới việc tạo nội dung có hại trong quá trình sử dụng mô hình, không phải việc tấn công dữ liệu huấn luyện.
   • Kết luận: Sai.

2. Denial of service (DoS)

   • Giải thích: DoS là tấn công làm ngưng hoạt động của hệ thống (bằng cách làm quá tải tài nguyên). Mặc dù DoS có thể áp dụng cho các API AI, nhưng không liên quan tới việc “vượt qua” các lớp an toàn để sinh nội dung nguy hại. Câu hỏi không nhắc tới việc làm ngừng dịch vụ.
   • Kết luận: Sai.

3. Penetration testing with authorization

   • Giải thích: Penetration testing (pen‑test) là kiểm tra xâm nhập có giấy phép, nhằm xác định điểm yếu tổng thể của hệ thống (network, ứng dụng, cấu hình). Dù pen‑test có thể bao gồm việc thử “jailbreak”, cụ thể câu hỏi không nói đến “có giấy phép” và không đề cập tới việc kiểm thử toàn bộ hệ thống, chỉ tập trung vào việc “đánh bại tính năng an toàn”. Vì vậy, thuật ngữ chung “penetration testing” quá rộng và không phản ánh đúng hành động cụ thể được mô tả.
   • Kết luận: Sai.

📚 Tham khảo (tính đến năm 2026)

• AWS Bedrock – Generative AI Guardrails: https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails.html
• AWS Security Blog – “Testing LLM safety with jailbreak prompts” (2024‑2025): https://aws.amazon.com/blogs/security/testing-llm-jailbreaks/
• NIST AI Risk Management Framework (v1.1, 2024) – phần “Model security testing”.
• OWASP AI Security Top 10 (cập nhật 2025) – mục “Jailbreak and Prompt Injection”.

🛠️ Kết luận nhanh

• Câu hỏi mô tả kỹ thuật “jailbreak” – việc cố gắng làm cho mô hình sinh nội dung có hại bằng cách vượt qua các cơ chế bảo vệ.
• Các lựa chọn khác (fuzzing, DoS, penetration testing) đều không phản ánh đúng hành vi “bypass safety features” trong bối cảnh AI, vì vậy chỉ Jailbreak là đáp án đúng.

🔎 Phân tích câu hỏi
Một công ty muốn dùng Amazon SageMaker để thực hiện đào tạo (training) và suy luận (inference) mô hình machine‑learning. Tuy nhiên, vì yêu cầu tuân thủ quy định (ví dụ: dữ liệu nhạy cảm, luật bảo mật quốc gia, HIPAA, GDPR…) công ty phải đảm bảo các job của SageMaker chạy trong môi trường cách ly, không có kết nối ra Internet.

Yêu cầu “isolated environment without internet access” trong SageMaker thường được đáp ứng bằng Network Isolation – một tùy chọn cấu hình cho phép các container training/inference chỉ có thể giao tiếp với các tài nguyên VPC nội bộ (VPC Endpoints, PrivateLink, hoặc các service trong cùng VPC) và không được phép ra ngoài Internet (không có NAT, không có Internet Gateway).

✅ Đáp án đúng

✅ Run SageMaker training and Inference by using network Isolation.

Lý do:

• Network Isolation (cũng gọi là VPC‑only mode hoặc private VPC mode) là tính năng được giới thiệu trong SageMaker (từ 2020) và vẫn được duy trì, hỗ trợ đánh bật toàn bộ outbound internet traffic cho các job.
• Khi bật, SageMaker tạo một ENI (Elastic Network Interface) trong VPC của bạn và gán Security Group cho phép chỉ những kết nối nội bộ (VD: tới S3 bucket qua VPC Endpoint, tới Amazon ECR qua VPC Endpoint, hoặc tới các dịch vụ khác qua PrivateLink).
• Không cần NAT Gateway hoặc Internet Gateway, do đó không có đường ra Internet – đáp ứng yêu cầu “isolated environment”.
• Tính năng này có thể bật ở mức training job, processing job, batch transform, và real‑time endpoint thông qua tham số EnableNetworkIsolation=True (SDK, CLI hoặc console).
• Tài liệu AWS (2024‑2026) nhấn mạnh: “Use network isolation to keep your training and inference workloads completely within your VPC and prevent any traffic from reaching the public Internet.”

🧩 Giải thích các lựa chọn còn lại

1. Run SageMaker training and inference by using SageMaker Experiments.

   • SageMaker Experiments là một framework quản lý metadata (phiên bản, siêu dữ liệu, so sánh các run) giúp người dùng theo dõi và tổ chức các experiment trong quá trình phát triển mô hình.
   • Nó không liên quan tới việc cô lập mạng hay ngăn truy cập Internet. Bạn vẫn có thể chạy các job trong môi trường công cộng nếu không cấu hình VPC/Network Isolation.
   • Vì vậy, lựa chọn này không đáp ứng yêu cầu cách ly.

2. Encrypt the data at rest by using encryption for SageMaker geospatial capabilities.

   • Mã hoá at rest là một khía cạnh bảo mật dữ liệu (được thực hiện qua KMS).
   • SageMaker Geospatial (được ra mắt 2023) cung cấp các API phân tích dữ liệu không gian và hỗ trợ mã hoá dữ liệu lưu trữ.
   • Tuy nhiên, mã hoá at rest không ngăn traffic outbound; nó không tạo môi trường cô lập, nên không thỏa mãn yêu cầu không có Internet.

3. Associate appropriate AWS Identity and Access Management (IAM) roles with the SageMaker jobs.

   • Gán IAM role cho SageMaker job là bước quan trọng để cấp quyền truy cập tới S3, ECR, CloudWatch, v.v.
   • Tuy nhiên, IAM quy định quyền truy cập, không kiểm soát việc job có thể đi ra Internet hay không.
   • Do vậy, mặc dù cần thiết cho bảo mật, không đáp ứng yêu cầu “isolated environment without internet access”.

🛠️ Cách triển khai Network Isolation (theo AWS 2026)

• Bước 1: Tạo VPC (hoặc sử dụng VPC hiện có) với private subnets (không có Internet Gateway).
• Bước 2: Thiết lập VPC Endpoints (Gateway Endpoint cho S3, Interface Endpoint cho ECR, Secrets Manager, KMS…) để các job có thể truy cập tài nguyên cần thiết mà không cần Internet.
• Bước 3: Khi tạo training job (CLI/SDK/Console), đặt:

aws sagemaker create-training-job \
  --training-job-name MyJob \
  --enable-network-isolation \
  --vpc-config Subnets=\
  ...other parameters...

• Bước 4: Tương tự cho endpoint (real‑time inference) bằng cách bật EnableNetworkIsolation trong CreateModel và CreateEndpointConfig.

• Lưu ý:

  • Nếu job cần đọc/ghi dữ liệu từ S3, đảm bảo bucket có policy cho phép truy cập từ VPC endpoint.
  • Nếu cần cài đặt package tùy chỉnh, đẩy image Docker lên Amazon ECR và tạo Interface VPC Endpoint cho ECR.

📚 Tham khảo

• Amazon SageMaker Developer Guide – Network Isolation (phiên bản 2026): https://docs.aws.amazon.com/sagemaker/latest/dg/network-isolation.html
• AWS Security Best Practices for Machine Learning (2025): https://aws.amazon.com/whitepapers/machine-learning-security/
• AWS Blog – Running SageMaker Jobs in a Private VPC (2024): https://aws.amazon.com/blogs/machine-learning/running-sagemaker-jobs-in-a-private-vpc/

Tổng kết

✅ Đáp án đúng: Run SageMaker training and Inference by using network Isolation.
🧩 Các đáp án còn lại dù có giá trị bảo mật nhất định (quản lý experiment, mã hoá at‑rest, IAM roles) nhưng không tạo môi trường cô lập khỏi Internet, vì vậy không đáp ứng yêu cầu quy định.

Hy vọng phần phân tích trên đã giúp bạn nắm rõ cách đáp ứng yêu cầu cách ly mạng cho SageMaker! 🚀