RL (Reinforcement Learning) là gì? Cách Reinforcement Learning hoạt động

Một robot học đi cần liên tục điều chỉnh chuyển động theo những gì xảy ra sau mỗi bước. Nước đi trong cờ vây cũng chỉ bộc lộ đầy đủ giá trị khi đặt trong diễn biến của cả ván cờ. Reinforcement Learning giúp xây dựng cách ra quyết định cho những nhiệm vụ có chuỗi hành động và kết quả nối tiếp như vậy.

Để hiểu phương pháp này, bạn cần biết tác nhân học từ phản hồi nào và mục tiêu được chuyển thành phần thưởng ra sao. Bài viết của Sansan Academy giải thích các thành phần cùng những thuật toán học tăng cường phổ biến bằng ví dụ dễ theo dõi. Bạn cũng sẽ thấy vì sao kết quả tốt trong huấn luyện vẫn cần được kiểm chứng trước khi áp dụng ngoài thực tế.

Reinforcement Learning là gì?

Reinforcement Learning (học tăng cường) viết tắt là RL, là phương pháp học máy trong đó tác nhân học cách lựa chọn hành động từ trải nghiệm tương tác với môi trường. Mục tiêu thường là tối đa hóa phần thưởng tích lũy kỳ vọng theo nhiệm vụ đã xác định.

Tác nhân thực hiện hành động rồi nhận thông tin mới cùng tín hiệu phần thưởng. Phản hồi này không nhất thiết chỉ ra ngay hành động đúng phải làm ở mỗi bước. Tác nhân cần học mối liên hệ giữa lựa chọn hiện tại với những kết quả có thể xuất hiện về sau.

Trải nghiệm có thể được thu thập trong mô phỏng, từ hệ thống thực hoặc từ dữ liệu tương tác đã lưu. Chất lượng học phụ thuộc cả thuật toán lẫn cách con người thiết kế nhiệm vụ, phần thưởng và giới hạn hành động.

Lợi ích của Reinforcement Learning

Học tăng cường cung cấp cách tiếp cận cho những nhiệm vụ mà một hành động có thể thay đổi các lựa chọn tiếp theo. Các lợi ích dưới đây phát huy khi bài toán có tín hiệu phản hồi phù hợp và điều kiện thu thập trải nghiệm đủ tốt.

Hướng đến phần thưởng tích lũy dài hạn

Một quyết định đem lại lợi ích ngay có thể làm kết quả về sau kém đi. RL cho phép đưa những ảnh hưởng nối tiếp vào mục tiêu tối ưu thông qua phần thưởng tích lũy để học cách hành động cho cả quá trình.

Nghiên cứu SlateQ của Google năm 2019 xem xét việc tối ưu giá trị dài hạn trong hệ thống gợi ý nhiều nội dung cùng lúc. Nhóm tác giả kiểm tra phương pháp trong mô phỏng và đánh giá khả năng mở rộng qua thử nghiệm thực tế trên YouTube.

Phạm vi dài hạn vẫn phải được định nghĩa bằng mục tiêu cụ thể. Nếu phần thưởng chỉ ghi nhận lượt nhấp thì mô hình chưa tự hiểu những yêu cầu khác như mức hài lòng hoặc chất lượng trải nghiệm.

Học chiến lược qua trải nghiệm

Trong một số nhiệm vụ, khó viết sẵn toàn bộ quy tắc cho mọi tình huống có thể xảy ra. RL cho phép tác nhân thực hiện nhiệm vụ nhiều lần rồi cập nhật cách hành động từ những trải nghiệm thu được.

Google DeepMind công bố AlphaGo Zero học cờ vây qua tự đối đầu mà không sử dụng các ván cờ của con người để huấn luyện. Sau ba ngày tự chơi, hệ thống thắng phiên bản AlphaGo từng đánh bại Lee Sedol với tỷ số 100-0.

Trải nghiệm vẫn cần bao quát những tình huống quan trọng của nhiệm vụ. Một tác nhân chỉ được học trong điều kiện thuận lợi có thể xử lý kém khi gặp tình huống khác lúc triển khai.

Hỗ trợ giải quyết bài toán ra quyết định liên tiếp

Với robot di chuyển, hành động ở thời điểm này làm thay đổi tư thế và những chuyển động có thể thực hiện tiếp theo. RL có thể học cách phối hợp các quyết định thành một chính sách phục vụ nhiệm vụ.

Trong nghiên cứu về robot ANYmal, nhóm tác giả báo cáo huấn luyện chính sách đi trên địa hình không bằng phẳng trong khoảng 20 phút bằng cách chạy nhiều robot mô phỏng song song. Sau đó, chính sách được chuyển sang robot thực để kiểm chứng.

Ứng dụng thực tế còn cần đáp ứng yêu cầu về độ ổn định và giới hạn vận hành. Thành tích trong một cấu hình thử nghiệm chưa đủ để kết luận hệ thống sẽ xử lý tốt mọi địa hình hoặc điều kiện mới.

Các thành phần chính trong Reinforcement Learning

Một bài toán RL cần mô tả rõ ai ra quyết định và kết quả của quyết định được ghi nhận như thế nào. Những thành phần sau giúp kết nối nhiệm vụ thực tế với mô hình học.

Agent – Tác nhân học và ra quyết định

Agent (tác nhân) là thành phần lựa chọn hành động để thực hiện nhiệm vụ. Đó có thể là chương trình điều khiển nhân vật trong game hoặc bộ phận tính toán cách điều khiển robot dựa trên thông tin nhận được.

Người thiết kế phải xác định những hành động tác nhân được phép thực hiện và thông tin có thể sử dụng. Phạm vi này cần phản ánh đúng khả năng điều khiển trong hệ thống thực tế.

Environment – Môi trường tương tác

Environment (môi trường) là phần hệ thống mà tác nhân tương tác để nhận phản hồi. Môi trường tiếp nhận hành động rồi tạo ra diễn biến mới cùng tín hiệu phần thưởng theo cách nhiệm vụ được thiết kế.

Một môi trường có thể là trò chơi, bộ mô phỏng hoặc thiết bị đang vận hành. Nó còn chứa những yếu tố tác nhân không kiểm soát được như tải công việc hoặc thay đổi từ bên ngoài. Những yếu tố này vẫn ảnh hưởng đến kết quả của hành động. Nếu bỏ sót chúng, trải nghiệm huấn luyện có thể khác đáng kể với điều kiện sử dụng.

State và Action – Trạng thái và hành động

State (trạng thái) mô tả tình huống hiện tại của môi trường còn Action (hành động) là lựa chọn tác nhân có thể thực hiện. Trong mê cung đơn giản, trạng thái có thể là vị trí trên bản đồ. Hành động là di chuyển lên, xuống, trái hoặc phải theo luật đã quy định.

Trong hệ thống thực, quan sát từ cảm biến hoặc dữ liệu đang có có thể chưa chứa đầy đủ thông tin về trạng thái môi trường. Khi đó, lịch sử tương tác hoặc cơ chế ghi nhớ có thể cần thiết để lựa chọn hành động phù hợp.

Một nhiệm vụ có thể dùng các lựa chọn rời rạc hoặc các giá trị liên tục như mức lực điều khiển. Không gian hành động này ảnh hưởng đến thuật toán có thể sử dụng.

Nhiều bài toán RL được mô tả bằng quá trình quyết định Markov. Trong mô hình này, trạng thái cần giữ thông tin liên quan để mô tả diễn biến tiếp theo từ trạng thái hiện tại và hành động được chọn.

Reward – Tín hiệu phần thưởng

Reward (phần thưởng) là tín hiệu số phản ánh kết quả theo quy tắc của nhiệm vụ. Tín hiệu có thể dương, âm hoặc bằng không. Có nhiệm vụ chỉ tạo phần thưởng đáng kể sau nhiều bước thực hiện. Tác nhân sử dụng những phản hồi ấy để học cách cải thiện mục tiêu đã được giao.

Nếu chỉ thưởng robot vì di chuyển nhanh mà bỏ qua việc ngã thì hành vi học được có thể không phù hợp với yêu cầu vận hành. Vì vậy, thiết kế phần thưởng phải đi cùng các giới hạn và tiêu chí kiểm tra riêng.

Policy – Chính sách lựa chọn hành động

Policy (chính sách) xác định cách tác nhân chọn hành động dựa trên thông tin hiện có. Chính sách có thể chọn một hành động cụ thể hoặc đưa ra xác suất cho các lựa chọn. Nó có thể được biểu diễn bằng bảng hay một mô hình có tham số như mạng nơ-ron.

Trong huấn luyện, cách chọn hành động còn cần tạo cơ hội thu thập trải nghiệm mới. Khi đánh giá, người thực hiện phải xác định rõ cách tác nhân sẽ hành động trong điều kiện sử dụng và cấu hình phù hợp với thuật toán.

Value – Giá trị kỳ vọng dài hạn

Value (giá trị) là ước lượng về phần thưởng tích lũy kỳ vọng khi bắt đầu từ một trạng thái hoặc một cặp trạng thái và hành động. Giá trị phụ thuộc cách hành động tiếp theo và cách tính phần thưởng của nhiệm vụ. Vì thế, một bước chưa đem lại phần thưởng lớn vẫn có thể có giá trị cao nếu mở đường đến kết quả tốt.

Nhiều bài toán dùng hệ số chiết khấu để quy định trọng số của phần thưởng trong tương lai. Việc chọn hệ số ảnh hưởng mức độ tác nhân ưu tiên những kết quả đến muộn. Giá trị vẫn là một ước lượng được học từ trải nghiệm. Nó không bảo đảm từng lần thực hiện đều nhận được kết quả tương ứng.

Cách Reinforcement Learning hoạt động

Quá trình học gồm nhiều lần quan sát, hành động và cập nhật từ phản hồi. Chất lượng cuối cùng phụ thuộc cả cách thu thập trải nghiệm lẫn phương pháp học từ những trải nghiệm đó.

Tương tác, nhận phản hồi và cập nhật cách hành động

Tác nhân chọn hành động theo chính sách đang dùng rồi nhận phần thưởng cùng thông tin mới từ môi trường. Thuật toán sử dụng trải nghiệm này để cập nhật hàm giá trị hoặc chính sách.

Việc cập nhật có thể diễn ra sau từng bước hoặc sau khi thu thập một nhóm trải nghiệm. Một số phương pháp lưu dữ liệu để dùng lại trong nhiều lần học. Với nhiệm vụ có điểm kết thúc, Episode (lượt thực hiện) bao gồm chuỗi tương tác từ lúc bắt đầu đến khi kết thúc. Mỗi lượt có thể cung cấp nhiều mẫu trải nghiệm cho thuật toán.

Sau huấn luyện, cần kiểm tra tác nhân trên các tình huống chưa dùng để điều chỉnh mô hình. Hãy tổng hợp kết quả qua nhiều lượt cùng những chỉ tiêu như tỷ lệ hoàn thành và mức vi phạm giới hạn để đánh giá độ tin cậy của chính sách.

Cân bằng giữa khám phá và khai thác

Khám phá là thử những hành động để thu thập thêm thông tin về môi trường. Khai thác là sử dụng hiểu biết hiện tại để chọn hành động đang được đánh giá tốt. Nếu chỉ lặp lại lựa chọn quen thuộc quá sớm, tác nhân có thể bỏ qua phương án hiệu quả hơn.

Một cách phổ biến là dành một tỷ lệ lựa chọn cho hành động ngẫu nhiên trong khi phần còn lại dựa trên giá trị đã học. Tỷ lệ này có thể thay đổi trong quá trình huấn luyện. Dù chọn cơ chế nào, khám phá vẫn phải nằm trong giới hạn cho phép. Không thể áp dụng tùy tiện các hành động thử nghiệm trên thiết bị thực.

Ví dụ tác nhân học tìm đường trong mê cung

Giả sử một tác nhân di chuyển trong mê cung có bản đồ cố định và nhìn thấy vị trí hiện tại của mình. Mỗi lần đến đích được nhận 10 điểm còn mỗi bước di chuyển bị trừ 1 điểm. Đây là quy tắc giả định nhằm khuyến khích tìm đường đến đích với ít bước hơn.

Ban đầu, tác nhân có thể đi vào ngõ cụt hoặc lặp lại một đoạn đường. Qua nhiều lượt thử và cập nhật giá trị hành động, những lựa chọn dẫn đến kết quả tốt hơn dần được ưu tiên.

Để biết tác nhân đã học được gì, cần kiểm tra tỷ lệ đến đích và số bước qua nhiều lượt thực hiện. Nếu chỉ huấn luyện trên một mê cung thì chưa thể kết luận nó sẽ tìm đường tốt trên mọi bản đồ mới.

Hai hướng tiếp cận trong Reinforcement Learning

Một cách tổ chức phương pháp RL là xem tác nhân có sử dụng mô hình dự đoán môi trường để lập kế hoạch hay không. Cách phân chia này giúp hiểu nguồn thông tin mà tác nhân dựa vào trước khi chọn hành động.

Model-based RL – Sử dụng mô hình môi trường

Model-based RL (học tăng cường dựa trên mô hình) sử dụng mô hình về diễn biến môi trường để dự đoán tình huống tiếp theo và phần thưởng có thể nhận được. Mô hình này có thể đã được biết trước hoặc được học từ dữ liệu tương tác.

Tác nhân có thể dùng dự đoán để xem xét nhiều chuỗi hành động trước khi thực hiện và giảm nhu cầu thử trực tiếp trong một số nhiệm vụ. Tuy nhiên, sai lệch trong mô hình môi trường có thể tích lũy khi dự đoán qua nhiều bước.

Model-free RL – Học giá trị hoặc chính sách từ trải nghiệm

Model-free RL (học tăng cường không dùng mô hình môi trường) học hàm giá trị hoặc chính sách từ trải nghiệm mà không cần xây dựng mô hình chuyển trạng thái để lập kế hoạch. Tác nhân vẫn cần môi trường để tạo dữ liệu tương tác hoặc cần nhật ký trải nghiệm đã có.

Chất lượng học phụ thuộc số lượng và mức độ phù hợp của trải nghiệm. Nếu dữ liệu bỏ sót tình huống quan trọng thì chính sách có thể hoạt động kém khi gặp chúng. Bộ mô phỏng có thể được dùng để tạo trải nghiệm cho thuật toán model-free. Việc dùng mô phỏng không tự biến thuật toán thành model-based.

Các thuật toán Reinforcement Learning phổ biến

Các thuật toán có thể học những dạng thông tin khác nhau như giá trị hành động hoặc chính sách trực tiếp. Lựa chọn cần phù hợp với không gian trạng thái, hành động và nguồn trải nghiệm của bài toán.

Q-learning – Học giá trị hành động qua bảng Q

Q-learning học giá trị của từng cặp trạng thái và hành động. Trong dạng dùng bảng Q, mỗi ô ước lượng phần thưởng tích lũy có thể đạt được khi bắt đầu bằng hành động tương ứng rồi tiếp tục lựa chọn để tối đa hóa phần thưởng.

Sau một trải nghiệm, thuật toán cập nhật ô liên quan dựa trên phần thưởng vừa nhận và giá trị tốt nhất đang ước lượng ở trạng thái kế tiếp. Hệ số học quy định mức điều chỉnh so với ước lượng cũ. Khi trạng thái kế tiếp là điểm kết thúc thật sự của nhiệm vụ thì không cộng thêm giá trị tương lai từ trạng thái đó.

Bảng Q phù hợp để minh họa những bài toán có số trạng thái và hành động hữu hạn ở quy mô nhỏ. Khi số tổ hợp quá lớn, việc lưu và thu thập đủ trải nghiệm cho từng ô trở nên khó khăn.

Deep Q-Network – Kết hợp Q-learning và mạng nơ-ron

Deep Q-Network (mạng Q sâu), viết tắt là DQN, dùng mạng nơ-ron để ước lượng giá trị hành động. Cách biểu diễn này cho phép xử lý đầu vào phức tạp hơn như hình ảnh trò chơi. DQN cơ bản làm việc với các hành động rời rạc.

Trong huấn luyện, DQN thường lưu trải nghiệm rồi lấy mẫu để học lại. Thuật toán cũng sử dụng một mạng mục tiêu được cập nhật theo cơ chế riêng để hỗ trợ ổn định giá trị dùng làm đích học. Những thành phần này giúp giảm một số khó khăn khi kết hợp mạng nơ-ron với việc ước lượng giá trị tương lai.

Người thực hiện vẫn phải kiểm tra dữ liệu đầu vào và các tham số huấn luyện cùng cách đánh giá. Kết quả có thể biến động giữa những lần chạy khác nhau dù sử dụng cùng một kiến trúc mạng.

Policy Gradient – Tối ưu trực tiếp chính sách

Policy Gradient (gradient chính sách) là nhóm phương pháp điều chỉnh trực tiếp tham số của chính sách để cải thiện phần thưởng tích lũy kỳ vọng. Với chính sách có tính ngẫu nhiên, việc cập nhật có thể làm thay đổi xác suất chọn các hành động trong từng tình huống.

Tín hiệu cập nhật được ước lượng từ trải nghiệm nên có thể biến động lớn và cần cơ chế hỗ trợ phù hợp trong từng phương pháp. Các thuật toán cụ thể có thể áp dụng cho không gian hành động rời rạc hoặc liên tục tùy cách thiết kế chính sách.

Actor-Critic – Kết hợp chính sách và hàm giá trị

Actor-Critic kết hợp thành phần chọn hành động với thành phần ước lượng giá trị. Actor quyết định cách hành động còn Critic cung cấp tín hiệu đánh giá để hỗ trợ cập nhật chính sách. Hai thành phần được học từ trải nghiệm và ảnh hưởng đến chất lượng cập nhật của nhau.

Critic có thể giúp giảm độ biến động của tín hiệu học trong những phương pháp phù hợp nhưng ước lượng sai cũng có thể hướng Actor đến các cập nhật chưa tốt. Việc phối hợp cần được kiểm tra bằng kết quả thực hiện qua nhiều lượt đánh giá.

Ứng dụng của Reinforcement Learning

Ứng dụng của Reinforcement Learning tập trung vào những nhiệm vụ mà hành động và phản hồi tạo thành một quá trình nối tiếp. Mỗi lĩnh vực cần cách mô tả môi trường và tiêu chí đánh giá riêng.

Huấn luyện AI chơi game và cờ vây

Game cung cấp môi trường có thể lặp lại nhiều lần với điểm số hoặc kết quả thắng thua để tạo tín hiệu phần thưởng. Tác nhân có thể học những hành động đơn giản hoặc các chiến lược cần nhiều bước mới bộc lộ hiệu quả.

Trong cờ vây, phương pháp tự đối đầu tạo cơ hội học từ những ván đấu với các phiên bản chính sách của hệ thống. Thành tích chỉ phản ánh nhiệm vụ cùng điều kiện đánh giá tương ứng và không xác lập khả năng ra quyết định tốt ở mọi lĩnh vực.

Điều khiển robot thực hiện nhiệm vụ

RL có thể được dùng để học điều khiển chuyển động hoặc thao tác với vật thể. Tư thế và tín hiệu cảm biến cung cấp thông tin đầu vào để tác nhân lựa chọn cách điều khiển cơ cấu chấp hành theo nhiệm vụ.

Nhiều quy trình huấn luyện sử dụng mô phỏng để tạo trải nghiệm trước khi đưa chính sách lên robot thực. Ma sát và độ trễ cảm biến có thể khác với giả định trong mô phỏng. Những khác biệt này phải được kiểm tra khi chuyển sang thiết bị. Giới hạn lực và cơ chế dừng cũng cần được thiết kế theo robot cụ thể.

Điều chỉnh tài nguyên và sử dụng năng lượng

Trong quản lý tài nguyên, RL có thể hỗ trợ học chính sách điều chỉnh khi việc phân bổ hiện tại ảnh hưởng đến mức tải và khả năng phục vụ sau đó. Với hệ thống làm mát, mục tiêu có thể liên quan đến năng lượng sử dụng cùng yêu cầu giữ điều kiện trong phạm vi cho phép.

Việc tối ưu cần tính đến độ trễ của thiết bị và những ràng buộc không được vi phạm. Đơn vị triển khai phải đánh giá tác dụng so với phương án đang dùng trong các điều kiện đủ tương đồng. Mức tiết kiệm của một dự án không thể được coi là kết quả dự kiến cho mọi hệ thống khác.

Cá nhân hóa gợi ý theo tương tác người dùng

Hệ thống gợi ý có thể sử dụng phản hồi của người dùng để học cách lựa chọn nội dung hoặc sản phẩm. Trong cách đặt bài toán RL, chuỗi tương tác được xem xét để đánh giá ảnh hưởng của những gợi ý hiện tại đến kết quả tiếp theo. Mục tiêu có thể bao gồm những chỉ tiêu được theo dõi qua nhiều lần tương tác.

Tối ưu lượt nhấp riêng lẻ có thể bỏ sót nhu cầu hài lòng hoặc mức độ đa dạng của nội dung. Vì vậy, cần có tiêu chí kiểm tra bổ sung và phạm vi thử nghiệm rõ ràng bên cạnh phần thưởng dùng để học.

Thách thức và lưu ý khi áp dụng

RL đòi hỏi nhiều quyết định thiết kế trước khi có thể tạo ra một chính sách hữu ích. Những khó khăn dưới đây ảnh hưởng trực tiếp đến chất lượng học và khả năng triển khai.

Tốn dữ liệu tương tác và tài nguyên tính toán

Tác nhân có thể cần rất nhiều trải nghiệm để nhận ra những hành động có hiệu quả. Với thiết bị thực, việc thu thập dữ liệu còn tốn thời gian và có thể gây hao mòn. Mô phỏng giúp mở rộng trải nghiệm nhưng cũng cần công sức xây dựng và kiểm tra.

Trước khi chọn RL, hãy làm rõ dữ liệu sẽ được tạo từ đâu và chi phí thử nghiệm có nằm trong khả năng đáp ứng hay không. Nếu chưa có môi trường phù hợp thì nên xử lý phần đó trước khi mở rộng quy mô huấn luyện.

Khó học khi phần thưởng thưa hoặc đến muộn

Nếu tác nhân chỉ được thưởng khi hoàn thành một nhiệm vụ dài thì nhiều lượt thử có thể không tạo ra thông tin hữu ích. Thuật toán còn phải xác định những hành động trước đó đã đóng góp thế nào vào kết quả cuối cùng. Khó khăn này tăng khi môi trường có nhiều lựa chọn và những chuỗi thất bại tương tự nhau.

Có thể thiết kế lộ trình nhiệm vụ từ dễ đến khó hoặc bổ sung tín hiệu trung gian có căn cứ. Phần thưởng phụ phải được kiểm tra để quá trình học vẫn hướng đến mục tiêu ban đầu.

Thiết kế phần thưởng lệch mục tiêu thực tế

Tác nhân học cách cải thiện tín hiệu được cung cấp nên có thể khai thác những sơ hở trong quy tắc thưởng. Trong một tình huống giả định, robot được thưởng khi nhặt vật nhưng không bị đánh giá việc đặt vật xuống có thể lặp lại thao tác nhặt để tích điểm. Hành vi này đạt tín hiệu thưởng nhưng chưa hoàn thành mục tiêu vận chuyển.

Người thiết kế cần xem tác nhân có thể đạt điểm cao bằng những cách không mong muốn nào. Sau đó kiểm tra bằng chỉ tiêu độc lập như mức hoàn thành nhiệm vụ hoặc chất lượng đầu ra để tránh bị đánh lừa bởi đường phần thưởng tăng.

Kiểm soát rủi ro khi thử nghiệm

Khám phá trên hệ thống thực có thể ảnh hưởng đến thiết bị và người sử dụng nên phạm vi hành động cần được giới hạn theo điều kiện vận hành. Người phụ trách cũng phải có khả năng giám sát và dừng thử nghiệm khi cần.

Một chính sách nên được kiểm tra trong môi trường phù hợp trước khi tăng quyền điều khiển. Cần xác định những tình huống chuyển về phương án dự phòng và ai có trách nhiệm xử lý. Đạt phần thưởng cao chưa thay thế được các yêu cầu an toàn của hệ thống.

Kiểm chứng kết quả từ mô phỏng sang thực tế

Mô phỏng có thể chưa phản ánh đầy đủ độ trễ và những biến động của môi trường thực. Tác nhân có thể tận dụng đặc điểm riêng của bộ mô phỏng để đạt điểm cao nhưng hành vi ấy không còn hiệu quả khi chuyển sang hệ thống khác.

Cần kiểm tra trên các điều kiện ngoài những tình huống đã dùng để điều chỉnh mô hình. Trong giai đoạn triển khai, hãy theo dõi kết quả theo từng nhóm điều kiện và ghi nhận những lần thất bại. Những thông tin này giúp xác định giới hạn sử dụng và nội dung phải cập nhật.

Kết luận

Reinforcement Learning giúp tác nhân học cách ra quyết định từ trải nghiệm và tín hiệu phần thưởng. Giá trị của phương pháp nằm ở việc xem xét những hành động nối tiếp cùng ảnh hưởng của chúng đến kết quả tích lũy.

Khi tìm hiểu hoặc triển khai, hãy bắt đầu từ nhiệm vụ cùng môi trường và tiêu chí thành công rõ ràng. Thuật toán chỉ là một phần của quá trình bên cạnh thiết kế phần thưởng và cách kiểm chứng. Một chính sách có ích cần đạt kết quả phù hợp trong điều kiện sử dụng thực tế chứ không chỉ có điểm huấn luyện cao.