Vào ngày 16 tháng 4, Hội nghị nhà phát triển AI Baidu của Create 2024 với chủ đề "Tạo dựng tương lai" đã được tổ chức thành công tại Trung tâm Triển lãm và Hội nghị Quốc tế Thâm Quyến. Wang Haifeng, giám đốc công nghệ của Baidu, đã có bài phát biểu có tiêu đề "Công nghệ xây dựng nền tảng, thiên hà tỏa sáng", giải thích các công nghệ chủ chốt và tiến bộ mới nhất của nhiều mô hình quy mô lớn Wenxin như đại lý, mã và đa mô hình.

Kể từ khi phát hành mô hình ngôn ngữ lớn nâng cao kiến ​​thức Wenxin Yiyan vào ngày 16 tháng 3 năm ngoái, Baidu đã liên tục nâng cấp mô hình quy mô lớn Wenxin, với sự đổi mới công nghệ liên tục, từ kiến ​​thức nâng cao để nâng cao khả năng truy xuất. Phát triển hơn nữa việc nâng cao điểm kiến ​​thức; dựa trên sức mạnh tính toán lớn hơn, nhiều dữ liệu hơn và thuật toán mạnh hơn, dựa trên nền tảng Feipiao, từ Wenxin 3.0, 3.5, đến 4.0, khả năng mô hình lớn của Wenxin đã trở nên mạnh mẽ hơn, tốt hơn hiệu ứng và nâng cao hiệu suất tổng thể.

Wang Haifeng cho rằng trí thông minh là một hướng phát triển quan trọng và sẽ mang lại nhiều sự bùng nổ ứng dụng hơn. Tác nhân tiếp tục thực hiện đào tạo nâng cao tư duy trên mô hình cơ bản, bao gồm tinh chỉnh quá trình tư duy có giám sát, học tập ưu tiên để ra quyết định hành vi và học tập nâng cao để phản ánh kết quả, sau đó có được mô hình tư duy. Mô hình tư duy của Agent giống như con người, nó có thể đọc hướng dẫn, học cách sử dụng các công cụ, sau đó gọi các công cụ để hoàn thành nhiệm vụ.

Từ hàng nghìn tỷ dữ liệu đào tạo, mô hình Wenxin đã học được cả khả năng ngôn ngữ tự nhiên và khả năng mã hóa, mở ra quy trình từ tư duy đến thực thi. Dựa trên hai khả năng này của mô hình lớn Wenxin, Baidu đã phát triển các tác nhân mã và trợ lý mã thông minh. Wang Haifeng cho biết:“Tác nhân mã cho phép mọi người làm những việc mà trước đây chỉ lập trình viên mới có thể làm và mọi người đều có thể trở thành lập trình viên; trợ lý mã thông minh giúp các lập trình viên chuyên nghiệp viết mã tốt hơn, hiệu quả hơn. AI ngang hàng. ”

Tác nhân mã sử dụng các mô hình để viết mã nhằm thực hiện các tác vụ phức tạp trở nên đơn giản hơn”. Mô hình tư duy cộng với trình thông dịch mã tạo thành một tác nhân mã. Đầu tiên, mô hình tư duy hiểu nhu cầu của người dùng và sau khi suy nghĩ, sẽ tích hợp các hướng dẫn và thông tin liên quan để hoàn thành nhiệm vụ thành lời nhắc và nhập chúng vào trình thông dịch mã, sau đó trình thông dịch mã sẽ dịch nhu cầu của người dùng được thể hiện bằng ngôn ngữ tự nhiên thành mã; theo lời nhắc và thực thi chúng. Lấy kết quả thực thi hoặc thông tin gỡ lỗi; sau đó, mô hình tư duy phản ánh và xác nhận kết quả thực thi của trình thông dịch mã. Nếu đúng, kết quả sẽ được trả về cho người dùng. đúng, nó sẽ tiếp tục thực hiện các cập nhật lặp lại độc lập.

Tại địa điểm hội nghị, Wang Haifeng tiết lộ thêm rằng dựa trên sự cải tiến liên tục của các hiệu ứng mô hình, Baidu đã xây dựng thêm các khả năng như nâng cao ngữ cảnh, nâng cao kiến ​​thức về miền riêng tư và tích hợp quy trình liền mạch . Hiện tại, tỷ lệ chấp nhận tổng thể của trợ lý mã thông minh Comate đã đạt 46% và tỷ lệ mã mới được tạo ra đã đạt 27%. Comate tích hợp liền mạch việc hiểu mã, tạo, tối ưu hóa và các khả năng khác vào tất cả các khía cạnh của quy trình R&D, hoạt động như một trợ lý giúp cải thiện chất lượng và hiệu quả của việc phát triển mã. Comate hiển thị quy trình giúp các kỹ sư tiếp quản mã. Với một hướng dẫn đơn giản, họ có thể nhanh chóng hiểu được cấu trúc của toàn bộ mã và thậm chí cả logic triển khai cụ thể của từng mô-đun. Nó cũng có thể tự động tạo dựa trên mã dự án hiện tại và thứ ba. - Mã bên đáp ứng yêu cầu mã mới.

Wang Haifeng cũng chia sẻ tại chỗ về công nghệ đa mô hình. Ông cho rằng, trong quá trình triển khai ứng dụng mô hình lớn, hiệu quả, hiệu quả và chi phí đều quan trọng. Trong các ứng dụng thực tế, cần phải chọn mô hình phù hợp nhất dựa trên yêu cầu của cảnh. Một mặt, đó là sản xuất mô hình hiệu quả và chi phí thấp; mặt khác, đó là lý luận đa mô hình. Về mặt sản xuất mô hình hiệu quả và chi phí thấp, Baidu đã phát triển cơ chế đào tạo hợp tác cho các mô hình lớn và nhỏ, có thể kế thừa kiến ​​thức một cách hiệu quả và tạo ra các mô hình nhỏ chất lượng cao một cách hiệu quả cũng có thể được sử dụng để đạt được sự nâng cao độ tương phản nhằm trợ giúp. đào tạo các mô hình lớn. Đồng thời, chúng tôi đã xây dựng ma trận mô hình hạt giống, cơ chế cải tiến và nâng cao dữ liệu và chuỗi công cụ hỗ trợ từ đào tạo trước, tinh chỉnh và căn chỉnh, nén mô hình đến triển khai suy luận. Cơ chế sản xuất mô hình hiệu quả, chi phí thấp giúp tốc độ ứng dụng nhanh hơn, chi phí thấp hơn và hiệu quả tốt hơn. Về mặt suy luận đa mô hình, Baidu đã phát triển công nghệ suy luận đa mô hình từ đầu đến cuối dựa trên học phản hồi, xây dựng mô hình định tuyến thông minh và thực hiện học phản hồi từ đầu đến cuối để tận dụng tối đa khả năng của các mô hình khác nhau. để xử lý các nhiệm vụ khác nhau nhằm đạt được kết quả, hiệu quả và sự cân bằng tốt hơn.

Ngoài tác nhân, mã và công nghệ đa mô hình, Wenxin Large Model còn tiếp tục đổi mới ở các khía cạnh khác, bao gồm hệ thống dữ liệu dựa trên phản hồi mô hình vòng kín và dựa trên căn chỉnh mô hình lớn về nâng cao công nghệ tự phản hồi, cũng như công nghệ đa phương thức, v.v. Wang Haifeng ngay lập tức tuyên bố rằng hiệu quả của Wenxin Large Model 4.0 tiếp tục được cải thiện và nó đã tăng 52,5% trong nửa năm sau khi phát hành.

Sự phát triển liên tục và nhanh chóng của mô hình lớn của Wenxin được hưởng lợi từ cách bố trí đầy đủ của Baidu về chip, khung, mô hình và ứng dụng, đặc biệt là sự kết hợp giữa nền tảng học sâu Feipiao và tối ưu hóa Wenxin. Hiệu suất đào tạo trung bình hàng tuần của mô hình lớn Wenxin đạt 98,8% so với khi Wenxinyiyan được phát hành cách đây một năm, hiệu quả đào tạo đã tăng lên 5,1 lần và tỷ lệ suy luận đã tăng lên 105 lần. Tính đến thời điểm hiện tại, hệ sinh thái Feipiao Wenxin đã quy tụ 12,95 triệu nhà phát triển, phục vụ 244.000 doanh nghiệp và tổ chức, đồng thời tạo ra 895.000 mô hình dựa trên Feipiao và Wenxin.

Wang Haifeng cho biết cơ sở người dùng tích lũy của Wenxinyiyan đã đạt 200 triệu và số cuộc gọi trung bình hàng ngày cũng đạt 200 triệu, đáp ứng hiệu quả nhu cầu công việc, cuộc sống và học tập của người dùng..

Cuối cùng, Wang Haifeng đã giới thiệu tiến độ mới nhất trong kế hoạch nhân tài AI của Baidu, được đề xuất vào năm 2020 nhằm bồi dưỡng 5 triệu nhân tài AI cho toàn xã hội trong 5 năm. Mục tiêu này đã đạt được trước mắt. của lịch trình. Anh ấy nói,“Trong tương lai, chúng tôi sẽ tiếp tục cống hiến hết mình cho việc đào tạo nhân tài, để những ngôi sao tài năng có thể hợp nhất thành một thiên hà sáng chói. Trong thời đại trí tuệ, mọi người đều là nhà phát triển và người sáng tạo. Chúng ta hãy cùng nhau hợp tác để tạo ra một tương lai tốt đẹp hơn. ”(李记)