Yann LeCun, một nhân vật nổi bật trong lĩnh vực trí tuệ nhân tạo, đã giới thiệu một mô hình AI mới mang tên I-JEPA (Kiến trúc Dự đoán Nhúng Chung dựa trên Hình ảnh), phù hợp với tầm nhìn của ông về AI giống con người hơn. I-JEPA là phương pháp học tự giám sát, không sinh nội dung, học các biểu diễn hình ảnh có ngữ nghĩa cao mà không phụ thuộc vào các kỹ thuật tăng cường dữ liệu được thiết kế thủ công. Bài viết này đi sâu vào I-JEPA, khám phá kiến trúc, cách hoạt động và tác động tiềm năng của mô hình đối với tương lai AI.

Động lực đằng sau I-JEPA

Công trình của LeCun được thúc đẩy bởi ý tưởng rằng AI nên ưu tiên dự đoán hơn là sinh nội dung, phản chiếu cách con người và động vật hiểu thế giới thông qua sự trừu tượng hóa. Ông cho rằng trí tuệ nảy sinh từ khả năng mã hóa thông tin giác quan và dự đoán các mã hóa trong tương lai, thay vì tái tạo toàn bộ thế giới bên ngoài và trải nghiệm giác quan.

Các khái niệm cốt lõi của I-JEPA

I-JEPA khác biệt nhờ cách học biểu diễn từ hình ảnh. Không giống các mô hình sinh cố gắng tái tạo dữ liệu đầu vào, I-JEPA tập trung dự đoán biểu diễn của các phần khác nhau trong ảnh từ một ngữ cảnh đã cho.

Ý tưởng nền tảng của I-JEPA rất đơn giản: từ một khối ngữ cảnh duy nhất, mô hình dự đoán biểu diễn của nhiều khối mục tiêu trong cùng một ảnh. Chìa khóa để đạt được các biểu diễn ngữ nghĩa nằm ở chiến lược che mặt nạ. Cụ thể, điều quan trọng là:

• Lấy mẫu các khối mục tiêu có quy mô đủ lớn (mang tính ngữ nghĩa)
• Sử dụng một khối ngữ cảnh đủ giàu thông tin (phân bố theo không gian)

Kiến trúc và cách vận hành của I-JEPA

Kiến trúc I-JEPA gồm hai thành phần chính: bộ mã hóa ngữ cảnh và bộ mã hóa mục tiêu. Bộ mã hóa ngữ cảnh xử lý một khối ngữ cảnh trong ảnh, còn bộ mã hóa mục tiêu xử lý nhiều khối mục tiêu của cùng ảnh. Sau đó, mô hình học cách dự đoán biểu diễn của các khối mục tiêu dựa trên biểu diễn của khối ngữ cảnh.

Bộ dự đoán nhận một token mặt nạ cho mỗi mảnh ảnh mà nó cần dự đoán. Các token mặt nạ này được tham số hóa bởi một vector học dùng chung, kèm theo nhúng vị trí. Nhúng vị trí cung cấp ngữ cảnh cần thiết, giúp phân biệt từng token bằng tọa độ của nó trong lưới. Cách thiết lập này cho phép khung I-JEPA phân tích mỗi token bị che trong mối quan hệ với các phần tử lân cận, từ đó dự đoán hiệu quả các vùng bị che khuất.

Cách tiếp cận không sinh nội dung

I-JEPA được thiết kế rõ ràng theo hướng không sinh nội dung. Điều đó nghĩa là mô hình không mô hình hóa phân phối xác suất của dữ liệu đầu vào trong không gian pixel. Thay vào đó, nó hoạt động trong không gian nhúng, học cách dự đoán quan hệ giữa các phần khác nhau của ảnh. Điều này trái ngược với autoencoder có mặt nạ, vốn mang tính sinh vì có giai đoạn giải mã, nơi bộ giải mã cố gắng tái tạo các biểu diễn nhúng trở lại không gian pixel.

Chiến lược che mặt nạ

Chiến lược che mặt nạ là một lựa chọn thiết kế then chốt của I-JEPA. Kích thước và vị trí của các khối ngữ cảnh lẫn khối mục tiêu ảnh hưởng đáng kể đến khả năng học biểu diễn ngữ nghĩa của mô hình. Thử nghiệm cho thấy sử dụng khối ngữ cảnh với tỷ lệ (0,85; 1,0) và các khối mục tiêu với tỷ lệ (0,15; 0,2), đồng thời đặt số khối mục tiêu là 4 trong quá trình huấn luyện, mang lại hiệu năng tốt nhất.

Ngăn ngừa hiện tượng sụp đổ biểu diễn

Một vấn đề tiềm ẩn trong các kiến trúc nhúng chung như I-JEPA là nguy cơ sụp đổ biểu diễn: mô hình học cách tạo ra đầu ra hằng số và gần như bỏ qua đầu vào. Để ngăn điều này, I-JEPA sử dụng Trung bình trượt hàm mũ (EMA) cho bộ mã hóa ngữ cảnh. Độ trễ giữa bộ mã hóa ngữ cảnh và bộ mã hóa mục tiêu buộc mô hình phải sử dụng đầu vào/ngữ cảnh, tránh việc bỏ qua đầu vào và tạo ra đầu ra cố định.

I-JEPA so với các mô hình sinh

Sự khác biệt giữa I-JEPA và các mô hình sinh nằm ở mục tiêu và cách xử lý dữ liệu. Các mô hình sinh, như Transformer sử dụng dự đoán token kế tiếp, nhằm tạo token mới theo cách tự hồi quy từ một token đã cho. Chúng xử lý dữ liệu hiện có để sinh thông tin mới phản chiếu tập dữ liệu huấn luyện.

Ngược lại, I-JEPA dự đoán các phần bị thiếu của đầu vào bằng cách hiểu mối quan hệ giữa ngữ cảnh nhìn thấy và vùng bị thiếu. Mô hình không tái tạo trực tiếp phần bị thiếu mà biểu diễn cả ngữ cảnh lẫn vùng đó dưới dạng embedding (biểu diễn vector gọn). Hàm mất mát của I-JEPA tối ưu cho cấu trúc bằng các embedding đặc biệt, tức sự trừu tượng hóa dữ liệu thô; trong khi hàm mất mát của mô hình sinh tối ưu cho độ gần với dữ liệu thô.

Khả năng mở rộng và hiệu năng

I-JEPA cho thấy khả năng mở rộng cao khi kết hợp với Vision Transformer. Một mô hình ViT-Huge/14 được huấn luyện trên ImageNet bằng 16 GPU A100 trong chưa đến 72 giờ đã đạt hiệu năng tốt ở nhiều tác vụ hạ nguồn, từ phân loại tuyến tính đến đếm đối tượng và dự đoán độ sâu.

Ứng dụng tiềm năng và định hướng tương lai

Khả năng học các biểu diễn hình ảnh có ngữ nghĩa của I-JEPA mở ra nhiều ứng dụng tiềm năng, bao gồm:

• Nhận diện và phát hiện đối tượng: I-JEPA có thể được dùng để xác định và định vị đối tượng trong ảnh với độ chính xác cao hơn.
• Hiểu hình ảnh: I-JEPA có thể giúp hệ thống AI hiểu rõ hơn nội dung và ngữ cảnh của hình ảnh.
• Robot: I-JEPA có thể được dùng để phát triển robot thông minh hơn, có khả năng nhận biết và tương tác hiệu quả với môi trường.
• Lái xe tự động: I-JEPA có thể cải thiện năng lực cảm nhận của xe tự hành.

Tương lai của I-JEPA là phát triển các mô hình tinh vi hơn, có thể học các biểu diễn trừu tượng hơn nữa về thế giới. Điều này có thể dẫn tới các hệ thống AI có khả năng suy luận, lập kế hoạch và giải quyết vấn đề theo cách giống con người hơn.

JEPA là nền tảng cho AGI

Yann LeCun xem JEPA là một bước tiến quan trọng hướng tới Trí tuệ nhân tạo tổng quát (AGI). Ông tin rằng khả năng học các biểu diễn trừu tượng về thế giới là thiết yếu để tạo ra những hệ thống AI thực sự có thể hiểu và tương tác với thế giới một cách có ý nghĩa.

Tài nguyên sẵn có

Mã nguồn và checkpoint của I-JEPA đã được phát hành trên GitHub. Điều này cho phép các nhà nghiên cứu và lập trình viên thử nghiệm mô hình, đồng thời phát triển thêm trên nền tảng đó.

Kết luận

I-JEPA là một bước tiến đáng kể trong lĩnh vực học tự giám sát và mang lại hướng đi hứa hẹn cho AI giống con người hơn. Cách tiếp cận không sinh nội dung, kết hợp với trọng tâm là học biểu diễn ngữ nghĩa, giúp nó khác biệt với các mô hình AI khác. Với khả năng mở rộng cao và tiềm năng ứng dụng đa dạng, I-JEPA có thể định hình tương lai AI và đưa chúng ta đến gần hơn với AGI.