Mô hình nền tảng đóng vai trò quan trọng trong quá trình phát triển công nghệ AI tạo sinh. Vậy mô hình nền tảng là gì, hãy cùng Elcom tìm hiểu trong nội dung dưới đây.

Một trong những đột phá của các mô hình AI tạo sinh (GenAI - Generative AI) là khả năng học theo nhiều phương pháp khác nhau, bao gồm học tập không giám sát hoặc học bán giám sát để đào tạo. 

Thông qua đó, nhiều tổ chức, doanh nghiệp thuận tiện tận dụng một lượng lớn dữ liệu chưa gắn nhãn để đào tạo mô hình nền tảng (foundation models). Đúng với tên gọi, mô hình nền tảng được sử dụng để làm cơ sở cho hệ thống AI thực hiện những tác vụ khác nhau.

1. Mô hình nền tảng - Foundation models là gì?

Mô hình nền tảng (FM - Foundation models) là một dạng trí tuệ nhân tạo tạo sinh (AI tạo sinh). Mô hình nền tảng cung cấp đầu ra từ một hoặc nhiều đầu vào, hay còn gọi là lời nhắc, dưới dạng hướng dẫn bằng ngôn ngữ của con người. Các mô hình này dựa trên mạng nơ-ron phức tạp bao gồm mạng đối nghịch tạo sinh (GAN), bộ chuyển hóa và bộ mã hóa biến thiên.

Mặc dù mỗi loại mạng hoạt động khác nhau nhưng về cơ bản nguyên tắc là tương tự. Nhìn chung, mô hình nền tảng sử dụng các mẫu và mối quan hệ đã học được để dự đoán mục tiếp theo trong một chuỗi.

FM sử dụng phương pháp học tập tự giám sát để tạo nhãn từ dữ liệu đầu vào, nghĩa là không có con người hướng dẫn hoặc đào tạo bằng tập dữ liệu được gắn nhãn. Đặc điểm này giúp mô hình nền tảng tách biệt khỏi những kiến trúc học máy (ML - Machine learning) trước đó vốn sử dụng học có giám sát hoặc không giám sát.

Dữ liệu không nhãn mác mang lại nhiều cơ hội. Như đã nói đến ở trên, các mô hình nền tảng thường học hỏi từ tập dữ liệu không được gắn nhãn, nhờ đó tiết kiệm không ít thời gian và chi phí cho doanh nghiệp, tổ chức.

Các mạng nơ-ron trước đây được điều chỉnh hẹp cho từng nhiệm vụ cụ thể. Chỉ với một chút tinh chỉnh, mô hình nền tảng có thể xử lý những công việc từ dịch văn bản, sáng tạo nội dung, phân tích hình ảnh y tế,...

2. Lịch sử của mô hình nền tảng

Ashish Vaswani, một doanh nhân và cựu nhà khoa học nghiên cứu cấp cao tại Google Brain, người đứng đầu công trình nghiên cứu về mô hình học máy năm 2017, cho biết: “Chúng ta đang ở thời kỳ mà các phương pháp đơn giản như mạng lưới thần kinh mang đến sự bùng nổ về khả năng mới”.

Tiếp theo đó, các nhà nghiên cứu tại đây tạo ra BERT (Bidirectional Encoder Representation from Transformer) và những mô hình ngôn ngữ lớn (LLM - Large language models) khác, biến năm 2018 thành “thời điểm bước ngoặt” cho việc xử lý ngôn ngữ tự nhiên.

Google đã phát hành BERT dưới dạng phần mềm nguồn mở, tạo ra một nhóm phần mềm tiếp theo và bắt đầu cuộc đua xây dựng những mô hình ngôn ngữ lớn hơn, mạnh hơn bao giờ hết. Sau đó, hãng áp dụng công nghệ này vào công cụ tìm kiếm để người dùng có thể tìm câu trả lời chi tiết từ những câu hỏi đơn giản.

Vào năm 2020, nhà nghiên cứu tại OpenAI đã công bố một mô hình máy học mang tính bước ngoặt, GPT-3. Trong vòng vài tuần, rất nhiều người dùng đã sử dụng nó để tạo ra các bài thơ, chương trình, bài luận và hơn thế nữa.

Kết quả đầu ra từ những mô hình này cho thấy, chúng có khả năng sáng tạo lớn và chuyên sâu về tính toán như thế nào. GPT-3 đã được đào tạo trên một tập dữ liệu với gần một nghìn tỷ từ, chứa tới 175 tỷ tham số. Đây cũng được coi thước đo chính về sức mạnh và độ phức tạp của mạng lưới thần kinh.

3. Các mô hình nền tảng hoạt động như thế nào?

Hai yếu tố xác định cho phép mô hình nền tảng hoạt động là học chuyển giao và quy mô.

Học chuyển giao (TL - Transfer learning) đề cập đến khả năng một mô hình áp dụng thông tin của tình huống này sang tình huống khác và xây dựng dựa trên “kiến thức” nội bộ của nó.

Quy mô đề cập đến phần cứng, cụ thể là đơn vị xử lý đồ họa (GPU - graphics processing units), cho phép mô hình thực hiện nhiều phép tính cùng lúc, còn được gọi là xử lý song song. GPU rất quan trọng trong việc đào tạo và triển khai mô hình học sâu (deep learning), bao gồm cả mô hình nền tảng, vì chúng cung cấp khả năng xử lý dữ liệu nhanh chóng và thực hiện các phép tính thống kê phức tạp.

Khả năng học chuyển giao trong mô hình nền tảng - Ảnh: Internet

Mô hình nền tảng và học sâu

Nhiều mô hình nền tảng, đặc biệt là các mô hình được sử dụng trong xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính và xử lý âm thanh, được đào tạo trước bằng các kỹ thuật học sâu.

Học sâu là công nghệ làm nền tảng cho nhiều FM (nhưng không phải tất cả) và là động lực thúc đẩy nhiều tiến bộ trong lĩnh vực này. Mạng lưới thần kinh sâu dạy máy tính học thông qua quan sát, bắt chước cách con người thu thập kiến ​​thức.

Mô hình nền tảng và mô hình học máy

Mặc dù không phải tất cả mô hình nền tảng đều sử dụng mô hình biến đổi (transformer), nhưng kiến ​​trúc biến đổi (transformer architecture) đã được chứng minh là một cách phổ biến để xây dựng mô hình nền tảng có liên quan đến văn bản như ChatGPT, BERT và DALL-E 2.

Transformer nâng cao khả năng của mô hình học máy (ML - machine learning) bằng cách cho phép nó nắm bắt các mối quan hệ theo ngữ cảnh và sự phụ thuộc giữa các phần tử trong một chuỗi dữ liệu.

Transformer là một loại mạng thần kinh nhân tạo (ANN - Artificial neural network), được sử dụng cho mô hình NLP, trừ mô hình ML chỉ sử dụng thị giác máy tính hoặc xử lý giọng nói.

4. Ứng dụng mô hình nền tảng - Trường hợp sử dụng

Sau khi đào tạo, mô hình nền tảng dựa vào kiến ​​thức thu được từ kho dữ liệu khổng lồ để giúp giải quyết vấn đề. Một số nhiệm vụ chung mà mô hình nền tảng thực hiện bao gồm:

Xử lý ngôn ngữ tự nhiên (NLP)

Nhận biết ngữ cảnh, ngữ pháp và cấu trúc ngôn ngữ, một mô hình nền tảng được đào tạo về NLP có thể tạo và trích xuất thông tin dựa trên dữ liệu đào tạo. 

Việc tinh chỉnh thêm mô hình NLP để liên kết văn bản với tình cảm, thái độ (tích cực, tiêu cực, trung tính) rất hữu ích trong trường hợp cần phân tích tin nhắn bằng văn bản như phản hồi của khách hàng, đánh giá trực tuyến hoặc bài đăng trên mạng xã hội.

Thị giác máy tính

Tinh chỉnh thêm mô hình thị giác máy tính bổ sung khả năng kiểm duyệt nội dung tự động, nhận dạng khuôn mặt và phân loại hình ảnh. Mô hình cũng có thể tạo ra hình ảnh mới dựa trên mẫu đã học. 

Xử lý âm thanh/lời nói

Khi một mô hình nhận dạng được yếu tố ngữ âm, mô hình nền tảng có khả năng rút ra ý nghĩa từ giọng nói của con người, điều này dẫn đến giao tiếp toàn diện và hiệu quả hơn. Trợ lý ảo, công cụ hỗ trợ đa ngôn ngữ, ra lệnh bằng giọng nói và một số tính năng khác như ghi chép sẽ thúc đẩy khả năng tiếp cận nội dung và tăng năng suất lao động.

Với tinh chỉnh bổ sung, tổ chức có thể thiết kế thêm hệ thống máy học chuyên dụng để giải quyết những nhu cầu cụ thể của ngành như phát hiện gian lận cho tổ chức tài chính, giải trình tự GEN trong y tế - chăm sóc sức khỏe, chatbot cho dịch vụ khách hàng,...

Các công cụ AI hiện đại dựa trên mô hình nền tảng có khả năng sáng tạo hình ảnh - Ảnh: Internet

5. Lợi ích và thách thức mô hình nền tảng mang lại

Bằng cách áp dụng và phát triển AI dựa trên mô hình nền tảng, doanh nghiệp có thể vượt qua những rào cản chung, bao gồm

Lợi ích của mô hình nền tảng

• Quyền truy cập hạn chế vào dữ liệu chất lượng cao: Mô hình nền tảng được xây dựng trên kho dữ liệu khổng lồ mà hầu hết tổ chức không có quyền truy cập.

• Hiệu suất, độ chính xác của mô hình: Mô hình nền tảng có sẵn đảm bảo độ chính xác, điều mà tổ chức cần phải mất hàng tháng hoặc thậm chí nhiều năm nỗ lực để tự xây dựng.

• Thời gian đánh giá: Việc đào tạo một mô hình học máy mất nhiều thời gian và đòi hỏi nguồn lực lớn. Mô hình nền tảng cung cấp cơ sở đào tạo trước, sau đó doanh nghiệp có thể tinh chỉnh để đạt được kết quả riêng. 

• Nhân tài hạn chế: Các mô hình nền tảng cung cấp cách để tổ chức sử dụng AI/ML mà không cần phải đầu tư nhiều vào tài nguyên khoa học dữ liệu.

• Quản lý chi phí: Sử dụng mô hình nền tảng giúp giảm nhu cầu về phần cứng đắt tiền cần thiết cho đào tạo ban đầu. Mặc dù vẫn còn chi phí liên quan đến việc cung cấp và tinh chỉnh mô hình cuối cùng, nhưng chỉ bằng một phần nhỏ so với đào tạo mô hình nền tảng ban đầu.

Thách thức đối với doanh nghiệp khi áp dụng mô hình nền tảng

Bên cạnh những lợi ích, FM cũng tồn tại một số thách thức mà tổ chức cần lưu ý như sau:

Chi phí

Với tổ chức muốn tự phát triển từ đầu, mô hình nền tảng đòi hỏi nguồn lực đáng kể để đào tạo và triển khai. Giai đoạn đào tạo ban đầu yêu cầu lượng dữ liệu chung khổng lồ, nhóm kỹ sư máy học và nhà khoa học dữ liệu trình độ cao cũng như tiêu thụ hàng chục nghìn GPU.

Khả năng diễn giải

“Hộp đen” (Black box) đề cập đến khi chương trình AI thực hiện một tác vụ trong mạng thần kinh và không hiển thị công việc. Điều này tạo ra một tình huống trong đó không ai, kể cả nhà khoa học và kỹ sư dữ liệu đã tạo ra thuật toán, có thể giải thích chính xác cách mô hình tạo nên kết quả đầu ra cụ thể.

Việc thiếu khả năng diễn giải trong mô hình Black box có khả năng tạo ra những hậu quả không mong muốn khi được sử dụng để đưa ra quyết định mang tính rủi ro cao, đặc biệt là trong ngành như chăm sóc sức khỏe, tư pháp hình sự hoặc tài chính.

Hiệu ứng Black box có thể xảy ra với bất kỳ mô hình dựa trên mạng thần kinh nào, không chỉ ở mô hình nền tảng. 

Quyền riêng tư và bảo mật

Mô hình nền tảng yêu cầu quyền truy cập vào nhiều thông tin. Đôi khi thông tin đó bao gồm thông tin khách hàng hoặc dữ liệu kinh doanh độc quyền. Đây là điều cần đặc biệt thận trọng nếu FM được triển khai hoặc truy cập bởi các bên cung cấp thứ ba.

Độ chính xác và sai lệch

Nếu một mô hình học sâu được đào tạo trên dữ liệu sai lệch về mặt thống kê hoặc không chính xác về tổng thể thì kết quả đầu ra dễ sai sót. Sự thiên vị, định kiến của con người cũng có thể được chuyển sang AI, do đó tiềm ẩn rủi ro thuật toán sẽ phân biệt đối xử trong kết quả đầu ra.

Khi tổ chức tiếp tục tận dụng AI để cải thiện năng suất và hiệu suất, quan trọng là phải đưa ra chiến lược để giảm thiểu sai lệch. Điều này bắt đầu với quy trình thiết kế toàn diện và sự cân nhắc kỹ lưỡng hơn về sự đa dạng mang tính đại diện trong dữ liệu được thu thập. 

Các mô hình nền tảng ngày càng lớn và phức tạp hơn. Chính vì vậy, thay vì xây dựng mô hình mới từ đầu, nhiều doanh nghiệp đã tùy chỉnh những mô hình nền tảng được đào tạo trước để tăng tốc hành trình nghiên cứu AI của mình.

Hiện nay, có tới hàng trăm mẫu mô hình nền tảng sẵn có. Theo các chuyên gia, xu hướng phát triển mô hình nền tảng dưới dạng nguồn mở đang và sẽ tiếp tục gia tăng.

Nguồn tham khảo:

https://blogs.nvidia.com/blog/what-are-foundation-models/

https://www.redhat.com/en/topics/ai/what-are-foundation-models