Một người dùng X cho rằng các mô hình ngôn ngữ lớn đang sử dụng dữ liệu của nhau để đào tạo AI và Elon Musk thừa nhận đây là thực tế đáng buồn.
Ngày 1/7, người dùng Beff-e/acc nhận xét việc sử dụng dữ liệu của nhau sẽ gây ra hiệu ứng "người rết" - cụm từ xuất phát từ bộ phim kinh dị trong đó một con rết khổng lồ được tạo bằng cách nối nhiều người lại với nhau.
Đáp lại, Elon Musk cho rằng sẽ mất rất nhiều công sức để thay đổi thực tế này, tức khiến việc đào tạo mô hình ngôn ngữ lớn (LLM) tách biệt với những dữ liệu trên Internet.
"Grok 2 ra mắt vào tháng 8 sẽ cải tiến lớn về mặt này", tỷ phú hé lộ.
Tỷ phú Elon Musk tại Paris, Pháp tháng 6/2023. Ảnh: Reuters
Grok là mô hình ngôn ngữ lớn được phát triển bởi công ty xAI do Musk sáng lập, tận dụng nguồn dữ liệu khổng lồ từ mạng xã hội X và hiện đã có phiên bản 1.5. Ít phút sau, ông tiếp tục nhắc đến bản tiếp theo: "Grok 3 sẽ ra mắt vào cuối năm, sau khi được đào tạo với 100 nghìn H100 chắc chắn sẽ là một điều gì đó đặc biệt".
Đây không phải lần đầu tỷ phú gốc Nam Phi nhắc đến 100.000 GPU H100. Hồi tháng 5, The Information dẫn thông tin từ cuộc họp của với các nhà đầu tư, trong đó ông nói startup xAI cần số lượng card đồ họa chuyên dụng này để kết nối thành một siêu máy tính và đào tạo phiên bản tiếp theo của .
Việc nhắc lại con số cho cho thấy ý tưởng này có thể sắp thành hiện thực. Theo Insider, ý định của Musk cũng cho thấy sự tốn kém của một dự án LLM. Với giá trung bình của GPU H100 hiện nay trên thị trường vào khoảng 30-40 nghìn USD, hoặc rẻ hơn nếu mua với số lượng lớn, số tiền phải bỏ ra để mua chip có thể lên tới 3-4 tỷ USD, chưa tính các chi phí khác.
Tuy nhiên, đây chưa phải là con số lớn nhất. Hồi tháng 1, nhà đồng sáng lập Meta Mark Zuckerberg cho biết sẽ mua khoảng 350.000 GPU Nvidia H100 đến cuối năm 2024, nâng số chip sở hữu lên 600.000, bao gồm cả sản phẩm của công ty khác Nvidia.
Khi cuộc đua AI ngày càng căng thẳng, việc công ty nào sở hữu nhiều GPU chuyên dụng hơn sẽ giành ưu thế. Từ startup đến tập đoàn công nghệ lớn trên thế giới đều đang tích cực gom chip AI. Hiện GPU Nvidia được đặt mua nhiều nhất, trong khi các tên tuổi như AMD cũng bắt đầu tung ra sản phẩm tương tự.
Theo tài liệu nội bộ do Insider thu thập, Microsoft có kế hoạch tăng gấp ba số GPU hiện có. Đến hết năm, công ty đặt mục tiêu sở hữu 1,8 triệu chip AI, hầu hết do Nvidia sản xuất, nhưng cũng có thể mua thêm từ các đối tác khác. Trong khi đó, Meta tuyên bố "đã sẵn sàng xây dựng một hệ thống đào tạo AI với quy mô có thể lớn hơn bất kỳ công ty riêng lẻ nào khác". Năm ngoái, Musk đặt hàng 10.000 chip H100 cho xAI. Các công ty Trung Quốc cũng đang tìm cách thu mua chip cao cấp của Nvidia, song song với việc phát triển chip chuyên dụng nội địa để không bị bỏ lại trong cuộc đua AI.
Lưu Quý
Xem tiếp...
Ngày 1/7, người dùng Beff-e/acc nhận xét việc sử dụng dữ liệu của nhau sẽ gây ra hiệu ứng "người rết" - cụm từ xuất phát từ bộ phim kinh dị trong đó một con rết khổng lồ được tạo bằng cách nối nhiều người lại với nhau.
Đáp lại, Elon Musk cho rằng sẽ mất rất nhiều công sức để thay đổi thực tế này, tức khiến việc đào tạo mô hình ngôn ngữ lớn (LLM) tách biệt với những dữ liệu trên Internet.
"Grok 2 ra mắt vào tháng 8 sẽ cải tiến lớn về mặt này", tỷ phú hé lộ.
Tỷ phú Elon Musk tại Paris, Pháp tháng 6/2023. Ảnh: Reuters
Grok là mô hình ngôn ngữ lớn được phát triển bởi công ty xAI do Musk sáng lập, tận dụng nguồn dữ liệu khổng lồ từ mạng xã hội X và hiện đã có phiên bản 1.5. Ít phút sau, ông tiếp tục nhắc đến bản tiếp theo: "Grok 3 sẽ ra mắt vào cuối năm, sau khi được đào tạo với 100 nghìn H100 chắc chắn sẽ là một điều gì đó đặc biệt".
Đây không phải lần đầu tỷ phú gốc Nam Phi nhắc đến 100.000 GPU H100. Hồi tháng 5, The Information dẫn thông tin từ cuộc họp của với các nhà đầu tư, trong đó ông nói startup xAI cần số lượng card đồ họa chuyên dụng này để kết nối thành một siêu máy tính và đào tạo phiên bản tiếp theo của .
Việc nhắc lại con số cho cho thấy ý tưởng này có thể sắp thành hiện thực. Theo Insider, ý định của Musk cũng cho thấy sự tốn kém của một dự án LLM. Với giá trung bình của GPU H100 hiện nay trên thị trường vào khoảng 30-40 nghìn USD, hoặc rẻ hơn nếu mua với số lượng lớn, số tiền phải bỏ ra để mua chip có thể lên tới 3-4 tỷ USD, chưa tính các chi phí khác.
Tuy nhiên, đây chưa phải là con số lớn nhất. Hồi tháng 1, nhà đồng sáng lập Meta Mark Zuckerberg cho biết sẽ mua khoảng 350.000 GPU Nvidia H100 đến cuối năm 2024, nâng số chip sở hữu lên 600.000, bao gồm cả sản phẩm của công ty khác Nvidia.
Khi cuộc đua AI ngày càng căng thẳng, việc công ty nào sở hữu nhiều GPU chuyên dụng hơn sẽ giành ưu thế. Từ startup đến tập đoàn công nghệ lớn trên thế giới đều đang tích cực gom chip AI. Hiện GPU Nvidia được đặt mua nhiều nhất, trong khi các tên tuổi như AMD cũng bắt đầu tung ra sản phẩm tương tự.
Theo tài liệu nội bộ do Insider thu thập, Microsoft có kế hoạch tăng gấp ba số GPU hiện có. Đến hết năm, công ty đặt mục tiêu sở hữu 1,8 triệu chip AI, hầu hết do Nvidia sản xuất, nhưng cũng có thể mua thêm từ các đối tác khác. Trong khi đó, Meta tuyên bố "đã sẵn sàng xây dựng một hệ thống đào tạo AI với quy mô có thể lớn hơn bất kỳ công ty riêng lẻ nào khác". Năm ngoái, Musk đặt hàng 10.000 chip H100 cho xAI. Các công ty Trung Quốc cũng đang tìm cách thu mua chip cao cấp của Nvidia, song song với việc phát triển chip chuyên dụng nội địa để không bị bỏ lại trong cuộc đua AI.
Lưu Quý
Xem tiếp...
