Mô hình AI lớn: Một cuộc cách mạng do vấn đề kỹ thuật gây ra
Tháng trước, trong giới AI đã diễn ra một cuộc "chiến tranh động vật".
Một bên là dòng mô hình Llama do Meta phát hành, được các nhà phát triển ưa chuộng nhờ tính năng mã nguồn mở. Công ty NEC của Nhật Bản đã nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật dựa trên tài liệu và mã nguồn của Llama, giải quyết được những rào cản kỹ thuật trong lĩnh vực AI tại Nhật Bản.
Một bên là một mô hình lớn có tên là Falcon. Vào tháng 5 năm nay, Falcon-40B đã ra mắt, vượt qua Llama và đứng đầu "bảng xếp hạng mô hình ngôn ngữ mã nguồn mở". Bảng xếp hạng này được cộng đồng mã nguồn mở Hugging Face tạo ra, cung cấp tiêu chuẩn để đánh giá khả năng của LLM. Kể từ đó, Llama và Falcon đã lần lượt cập nhật xếp hạng.
Vào đầu tháng 9, Falcon đã ra mắt phiên bản 180B và lại một lần nữa đứng đầu bảng xếp hạng. Thú vị là, các nhà phát triển của Falcon không phải là một công ty công nghệ, mà là Viện Nghiên cứu Đổi mới Công nghệ nằm ở Abu Dhabi. Các quan chức UAE cho biết, họ tham gia cuộc đua AI nhằm lật đổ các cấu trúc hiện có.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn nhiều nhà tranh tài. Chỉ cần là quốc gia và doanh nghiệp có năng lực nhất định, họ đều đang cố gắng tạo ra phiên bản ChatGPT nội địa. Chỉ riêng các quốc gia Vùng Vịnh đã có nhiều người chơi, Ả Rập Xê Út gần đây đã mua hơn 3000 chip H100 cho các trường đại học trong nước để đào tạo LLM.
Một nhà đầu tư thở dài: "Ngày xưa không coi trọng sự đổi mới mô hình kinh doanh của internet, cảm thấy không có rào cản. Không ngờ khởi nghiệp mô hình lớn công nghệ cứng, vẫn là cuộc chiến của hàng trăm mô hình..."
Tại sao công nghệ cứng, vốn được coi là khó khăn, lại phát triển thành tình cảnh "một quốc gia một mô hình"?
Transformer: Động cơ của cuộc cách mạng AI
Các công ty khởi nghiệp Mỹ, gã khổng lồ công nghệ Trung Quốc và các ông trùm dầu mỏ Trung Đông đều đang tham gia vào việc phát triển mô hình lớn, tất cả đều xuất phát từ một bài báo nổi tiếng: "Attention Is All You Need".
Năm 2017, 8 nhà khoa học của Google đã công bố thuật toán Transformer trong bài báo này. Bài báo hiện là bài viết được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã gây ra làn sóng hứng khởi AI lần này.
Các mô hình lớn hiện tại, bao gồm loạt GPT gây chấn động toàn cầu, đều được xây dựng trên nền tảng Transformer.
Trước đây, "dạy máy đọc sách" luôn là một vấn đề được công nhận trong giới học thuật. Khác với nhận diện hình ảnh, con người khi đọc sẽ kết hợp với ngữ cảnh để hiểu. Các mạng nơ-ron sớm rất khó xử lý văn bản dài, thường xảy ra vấn đề như "开水间" được dịch thành "open water room".
Năm 2014, nhà khoa học của Google, Ilya, lần đầu tiên sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, nâng cao hiệu suất của Google Dịch một cách đáng kể. RNN mang đến cho mạng nơ-ron khả năng hiểu ngữ cảnh thông qua "thiết kế vòng".
Tuy nhiên, RNN có những thiếu sót nghiêm trọng: tính toán tuần tự dẫn đến hiệu quả thấp, khó xử lý số lượng lớn tham số. Từ năm 2015, các nhà khoa học của Google như Shaze đã bắt đầu phát triển một sự thay thế cho RNN và cuối cùng đã giới thiệu Transformer.
So với RNN, Transformer có hai cải cách lớn: thứ nhất là sử dụng mã hóa vị trí để thực hiện tính toán song song, tăng cường hiệu suất đào tạo; thứ hai là tăng cường khả năng hiểu ngữ cảnh.
Transformer một lần giải quyết nhiều vấn đề, dần trở thành giải pháp chính trong lĩnh vực NLP. Nó chuyển đổi các mô hình lớn từ nghiên cứu lý thuyết thành vấn đề kỹ thuật thuần túy.
Năm 2019, OpenAI đã phát triển GPT-2 dựa trên Transformer. Để đáp lại, Google nhanh chóng tung ra Meena với hiệu suất mạnh mẽ hơn. Meena chỉ vượt trội hơn GPT-2 đáng kể về số lượng tham số và sức mạnh tính toán, không có đổi mới trong thuật toán cơ bản. Điều này đã khiến tác giả của Transformer, Shazeel, cảm thấy kinh ngạc trước sức mạnh của "xây dựng bạo lực".
Kể từ khi Transformer ra đời, tốc độ đổi mới thuật toán cơ bản trong giới học thuật đã chậm lại. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, kiến trúc mô hình ngày càng trở thành yếu tố quyết định trong cuộc cạnh tranh AI. Chỉ cần có một năng lực kỹ thuật nhất định, các công ty đều có thể phát triển được mô hình lớn.
Chuyên gia AI Ngô Ân Đạt cho rằng, AI đã trở thành một loạt các công cụ công nghệ chung, giống như điện và internet.
Mặc dù OpenAI vẫn là người dẫn đầu trong lĩnh vực LLM, nhưng các phân tích trong ngành cho rằng lợi thế của GPT-4 chủ yếu đến từ giải pháp kỹ thuật. Khi mã nguồn được mở, các đối thủ có thể nhanh chóng sao chép. Dự kiến trong thời gian không xa, các công ty công nghệ lớn khác cũng có thể phát triển các mô hình lớn có hiệu suất tương đương với GPT-4.
Lũy thành mong manh
Hiện nay, "cuộc chiến mô hình lớn" đã trở thành hiện thực. Báo cáo cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn ở Trung Quốc đã đạt 130, vượt qua 114 mô hình của Mỹ. Các truyền thuyết thần thoại đã không còn đủ để các công ty công nghệ trong nước đặt tên.
Ngoài Trung Quốc và Mỹ, nhiều quốc gia phát triển khác cũng đã bước đầu thực hiện "mô hình một quốc gia một mô hình": Nhật Bản, Các Tiểu Vương quốc Ả Rập Thống nhất, Ấn Độ, Hàn Quốc và nhiều nơi khác đều đã tung ra các mô hình lớn địa phương. Cảnh tượng này dường như trở lại thời kỳ bong bóng Internet, "đốt tiền" trở thành phương tiện cạnh tranh chính.
Transformer biến mô hình lớn thành vấn đề kỹ thuật thuần túy, chỉ cần có nhân lực và vật lực, là có thể phát triển. Nhưng vào sân thì dễ, trở thành ông lớn của thời đại AI lại rất khó.
Trò chơi "Đại chiến động vật" được đề cập trước đó là một ví dụ điển hình: Falcon mặc dù đứng trên Llama trong bảng xếp hạng nhưng ảnh hưởng đến Meta lại rất hạn chế.
Doanh nghiệp mở nguồn kết quả nghiên cứu, vừa là chia sẻ phúc lợi công nghệ, vừa hy vọng khơi dậy trí tuệ xã hội. Khi các lĩnh vực không ngừng sử dụng và cải tiến Llama, Meta có thể áp dụng kết quả vào sản phẩm của mình.
Đối với mô hình lớn mã nguồn mở, cộng đồng nhà phát triển năng động chính là sức mạnh cạnh tranh cốt lõi.
Meta đã xác định chính sách mã nguồn mở từ khi thành lập phòng thí nghiệm AI vào năm 2015. Zuckerberg rất hiểu rõ cách "xây dựng mối quan hệ tốt với công chúng". Vào tháng 10, Meta còn ra mắt hoạt động "Khuyến khích người sáng tạo phiên bản AI", tài trợ cho các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội.
Hiện nay, dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở. Tính đến đầu tháng 10, có 8 trong số 10 vị trí hàng đầu trên bảng xếp hạng của Hugging Face được phát triển dựa trên Llama 2, với hơn 1500 LLM sử dụng giấy phép mã nguồn mở của nó.
Nâng cao hiệu suất chắc chắn là quan trọng, nhưng hiện tại hầu hết các LLM và GPT-4 vẫn có khoảng cách rõ rệt. Trong bài kiểm tra AgentBench mới nhất, GPT-4 đứng đầu với 4.41 điểm, trong khi Claude đứng thứ hai chỉ với 2.77 điểm, các LLM mã nguồn mở thường ở khoảng 1 điểm.
GPT-4 đã ra mắt hơn nửa năm, các đồng nghiệp toàn cầu vẫn khó có thể theo kịp. Điều này xuất phát từ đội ngũ các nhà khoa học hàng đầu của OpenAI và kinh nghiệm nghiên cứu LLM tích lũy lâu dài.
Có thể thấy, khả năng cốt lõi của mô hình lớn nằm ở việc xây dựng hệ sinh thái ( mã nguồn mở ) hoặc khả năng suy diễn thuần túy ( mã nguồn đóng ), chứ không phải chỉ đơn giản là tích lũy tham số.
Với sự phát triển của cộng đồng mã nguồn mở, hiệu suất của các LLM có thể trở nên đồng nhất, vì mọi người đều sử dụng các kiến trúc mô hình và tập dữ liệu tương tự.
Một thách thức rõ ràng hơn là: Ngoài Midjourney, dường như không có mô hình lớn nào khác có thể đạt được lợi nhuận.
Điểm neo giá trị
Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể phá sản vào cuối năm 2024" đã thu hút sự chú ý. Quan điểm chính là: OpenAI đang tiêu tốn quá nhanh.
Bài viết đề cập, kể từ khi phát triển ChatGPT, OpenAI đã nhanh chóng mở rộng thua lỗ, thua lỗ khoảng 540 triệu đô la vào năm 2022, chỉ có thể dựa vào đầu tư từ Microsoft.
Điều này phản ánh tình cảnh chung mà các nhà cung cấp mô hình lớn đang phải đối mặt: chi phí và doanh thu không cân bằng nghiêm trọng.
Chi phí cao dẫn đến việc hiện tại những người hưởng lợi chủ yếu là các nhà sản xuất chip như Nvidia và Broadcom.
Theo ước tính, Nvidia đã bán ra hơn 300.000 chip AI H100 trong quý II năm nay, tương đương với trọng lượng của 4,5 chiếc Boeing 747. Doanh thu của Nvidia đã tăng vọt 854%, gây sốc cho Phố Wall. Giá bán lại của H100 đã tăng lên 40.000-50.000 USD, trong khi chi phí chỉ khoảng hơn 3.000 USD.
Chi phí sức mạnh tính toán đã trở thành trở ngại cho sự phát triển của ngành. Sequoia Capital ước tính: Các công ty công nghệ trên toàn cầu sẽ chi 200 tỷ USD mỗi năm để xây dựng cơ sở hạ tầng cho mô hình lớn, nhưng doanh thu hàng năm từ mô hình lớn chỉ tối đa 75 tỷ USD, có ít nhất 125 tỷ USD thiếu hụt.
Ngoại trừ một số trường hợp hiếm hoi, hầu hết các công ty phần mềm vẫn chưa tìm ra mô hình sinh lời sau khi đã bỏ ra một số tiền khổng lồ. Ngay cả những người dẫn đầu trong ngành như Microsoft và Adobe cũng đang phải đối mặt với thách thức.
GitHub Copilot được phát triển bởi sự hợp tác giữa Microsoft và OpenAI, với mức phí hàng tháng là 10 đô la nhưng lại phải bù lỗ 20 đô la, người dùng nặng thậm chí khiến Microsoft lỗ 80 đô la mỗi tháng. Microsoft 365 Copilot mới được ra mắt có giá 30 đô la, có thể lỗ nhiều hơn.
Adobe đã nhanh chóng ra mắt hệ thống điểm sau khi phát hành công cụ AI Firefly, nhằm hạn chế việc người dùng sử dụng quá mức dẫn đến thua lỗ cho công ty. Sau khi vượt quá số điểm phân bổ hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.
Microsoft và Adobe đã có các kịch bản kinh doanh rõ ràng và một lượng lớn người dùng trả phí. Trong khi đó, hầu hết các mô hình lớn với nhiều tham số vẫn chủ yếu được ứng dụng trong trò chuyện.
Sự ra đời của OpenAI và ChatGPT đã gây ra cuộc cách mạng AI này, nhưng giá trị của việc đào tạo các mô hình lớn ở giai đoạn hiện tại còn gây nghi ngờ. Khi cạnh tranh đồng nhất gia tăng và số lượng mô hình mã nguồn mở tăng lên, không gian cho các nhà cung cấp mô hình lớn đơn thuần có thể sẽ bị thu hẹp hơn nữa.
Sự thành công của iPhone 4 không phải do bộ vi xử lý A4 quy trình 45nm, mà là vì nó có thể chơi "Plants vs. Zombies" và "Angry Birds".
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Cạnh tranh mô hình AI lớn trở nên gay gắt: Rào cản công nghệ Thả, vấn đề thương mại nổi bật
Mô hình AI lớn: Một cuộc cách mạng do vấn đề kỹ thuật gây ra
Tháng trước, trong giới AI đã diễn ra một cuộc "chiến tranh động vật".
Một bên là dòng mô hình Llama do Meta phát hành, được các nhà phát triển ưa chuộng nhờ tính năng mã nguồn mở. Công ty NEC của Nhật Bản đã nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật dựa trên tài liệu và mã nguồn của Llama, giải quyết được những rào cản kỹ thuật trong lĩnh vực AI tại Nhật Bản.
Một bên là một mô hình lớn có tên là Falcon. Vào tháng 5 năm nay, Falcon-40B đã ra mắt, vượt qua Llama và đứng đầu "bảng xếp hạng mô hình ngôn ngữ mã nguồn mở". Bảng xếp hạng này được cộng đồng mã nguồn mở Hugging Face tạo ra, cung cấp tiêu chuẩn để đánh giá khả năng của LLM. Kể từ đó, Llama và Falcon đã lần lượt cập nhật xếp hạng.
Vào đầu tháng 9, Falcon đã ra mắt phiên bản 180B và lại một lần nữa đứng đầu bảng xếp hạng. Thú vị là, các nhà phát triển của Falcon không phải là một công ty công nghệ, mà là Viện Nghiên cứu Đổi mới Công nghệ nằm ở Abu Dhabi. Các quan chức UAE cho biết, họ tham gia cuộc đua AI nhằm lật đổ các cấu trúc hiện có.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn nhiều nhà tranh tài. Chỉ cần là quốc gia và doanh nghiệp có năng lực nhất định, họ đều đang cố gắng tạo ra phiên bản ChatGPT nội địa. Chỉ riêng các quốc gia Vùng Vịnh đã có nhiều người chơi, Ả Rập Xê Út gần đây đã mua hơn 3000 chip H100 cho các trường đại học trong nước để đào tạo LLM.
Một nhà đầu tư thở dài: "Ngày xưa không coi trọng sự đổi mới mô hình kinh doanh của internet, cảm thấy không có rào cản. Không ngờ khởi nghiệp mô hình lớn công nghệ cứng, vẫn là cuộc chiến của hàng trăm mô hình..."
Tại sao công nghệ cứng, vốn được coi là khó khăn, lại phát triển thành tình cảnh "một quốc gia một mô hình"?
Transformer: Động cơ của cuộc cách mạng AI
Các công ty khởi nghiệp Mỹ, gã khổng lồ công nghệ Trung Quốc và các ông trùm dầu mỏ Trung Đông đều đang tham gia vào việc phát triển mô hình lớn, tất cả đều xuất phát từ một bài báo nổi tiếng: "Attention Is All You Need".
Năm 2017, 8 nhà khoa học của Google đã công bố thuật toán Transformer trong bài báo này. Bài báo hiện là bài viết được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã gây ra làn sóng hứng khởi AI lần này.
Các mô hình lớn hiện tại, bao gồm loạt GPT gây chấn động toàn cầu, đều được xây dựng trên nền tảng Transformer.
Trước đây, "dạy máy đọc sách" luôn là một vấn đề được công nhận trong giới học thuật. Khác với nhận diện hình ảnh, con người khi đọc sẽ kết hợp với ngữ cảnh để hiểu. Các mạng nơ-ron sớm rất khó xử lý văn bản dài, thường xảy ra vấn đề như "开水间" được dịch thành "open water room".
Năm 2014, nhà khoa học của Google, Ilya, lần đầu tiên sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, nâng cao hiệu suất của Google Dịch một cách đáng kể. RNN mang đến cho mạng nơ-ron khả năng hiểu ngữ cảnh thông qua "thiết kế vòng".
Tuy nhiên, RNN có những thiếu sót nghiêm trọng: tính toán tuần tự dẫn đến hiệu quả thấp, khó xử lý số lượng lớn tham số. Từ năm 2015, các nhà khoa học của Google như Shaze đã bắt đầu phát triển một sự thay thế cho RNN và cuối cùng đã giới thiệu Transformer.
So với RNN, Transformer có hai cải cách lớn: thứ nhất là sử dụng mã hóa vị trí để thực hiện tính toán song song, tăng cường hiệu suất đào tạo; thứ hai là tăng cường khả năng hiểu ngữ cảnh.
Transformer một lần giải quyết nhiều vấn đề, dần trở thành giải pháp chính trong lĩnh vực NLP. Nó chuyển đổi các mô hình lớn từ nghiên cứu lý thuyết thành vấn đề kỹ thuật thuần túy.
Năm 2019, OpenAI đã phát triển GPT-2 dựa trên Transformer. Để đáp lại, Google nhanh chóng tung ra Meena với hiệu suất mạnh mẽ hơn. Meena chỉ vượt trội hơn GPT-2 đáng kể về số lượng tham số và sức mạnh tính toán, không có đổi mới trong thuật toán cơ bản. Điều này đã khiến tác giả của Transformer, Shazeel, cảm thấy kinh ngạc trước sức mạnh của "xây dựng bạo lực".
Kể từ khi Transformer ra đời, tốc độ đổi mới thuật toán cơ bản trong giới học thuật đã chậm lại. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, kiến trúc mô hình ngày càng trở thành yếu tố quyết định trong cuộc cạnh tranh AI. Chỉ cần có một năng lực kỹ thuật nhất định, các công ty đều có thể phát triển được mô hình lớn.
Chuyên gia AI Ngô Ân Đạt cho rằng, AI đã trở thành một loạt các công cụ công nghệ chung, giống như điện và internet.
Mặc dù OpenAI vẫn là người dẫn đầu trong lĩnh vực LLM, nhưng các phân tích trong ngành cho rằng lợi thế của GPT-4 chủ yếu đến từ giải pháp kỹ thuật. Khi mã nguồn được mở, các đối thủ có thể nhanh chóng sao chép. Dự kiến trong thời gian không xa, các công ty công nghệ lớn khác cũng có thể phát triển các mô hình lớn có hiệu suất tương đương với GPT-4.
Lũy thành mong manh
Hiện nay, "cuộc chiến mô hình lớn" đã trở thành hiện thực. Báo cáo cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn ở Trung Quốc đã đạt 130, vượt qua 114 mô hình của Mỹ. Các truyền thuyết thần thoại đã không còn đủ để các công ty công nghệ trong nước đặt tên.
Ngoài Trung Quốc và Mỹ, nhiều quốc gia phát triển khác cũng đã bước đầu thực hiện "mô hình một quốc gia một mô hình": Nhật Bản, Các Tiểu Vương quốc Ả Rập Thống nhất, Ấn Độ, Hàn Quốc và nhiều nơi khác đều đã tung ra các mô hình lớn địa phương. Cảnh tượng này dường như trở lại thời kỳ bong bóng Internet, "đốt tiền" trở thành phương tiện cạnh tranh chính.
Transformer biến mô hình lớn thành vấn đề kỹ thuật thuần túy, chỉ cần có nhân lực và vật lực, là có thể phát triển. Nhưng vào sân thì dễ, trở thành ông lớn của thời đại AI lại rất khó.
Trò chơi "Đại chiến động vật" được đề cập trước đó là một ví dụ điển hình: Falcon mặc dù đứng trên Llama trong bảng xếp hạng nhưng ảnh hưởng đến Meta lại rất hạn chế.
Doanh nghiệp mở nguồn kết quả nghiên cứu, vừa là chia sẻ phúc lợi công nghệ, vừa hy vọng khơi dậy trí tuệ xã hội. Khi các lĩnh vực không ngừng sử dụng và cải tiến Llama, Meta có thể áp dụng kết quả vào sản phẩm của mình.
Đối với mô hình lớn mã nguồn mở, cộng đồng nhà phát triển năng động chính là sức mạnh cạnh tranh cốt lõi.
Meta đã xác định chính sách mã nguồn mở từ khi thành lập phòng thí nghiệm AI vào năm 2015. Zuckerberg rất hiểu rõ cách "xây dựng mối quan hệ tốt với công chúng". Vào tháng 10, Meta còn ra mắt hoạt động "Khuyến khích người sáng tạo phiên bản AI", tài trợ cho các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội.
Hiện nay, dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở. Tính đến đầu tháng 10, có 8 trong số 10 vị trí hàng đầu trên bảng xếp hạng của Hugging Face được phát triển dựa trên Llama 2, với hơn 1500 LLM sử dụng giấy phép mã nguồn mở của nó.
Nâng cao hiệu suất chắc chắn là quan trọng, nhưng hiện tại hầu hết các LLM và GPT-4 vẫn có khoảng cách rõ rệt. Trong bài kiểm tra AgentBench mới nhất, GPT-4 đứng đầu với 4.41 điểm, trong khi Claude đứng thứ hai chỉ với 2.77 điểm, các LLM mã nguồn mở thường ở khoảng 1 điểm.
GPT-4 đã ra mắt hơn nửa năm, các đồng nghiệp toàn cầu vẫn khó có thể theo kịp. Điều này xuất phát từ đội ngũ các nhà khoa học hàng đầu của OpenAI và kinh nghiệm nghiên cứu LLM tích lũy lâu dài.
Có thể thấy, khả năng cốt lõi của mô hình lớn nằm ở việc xây dựng hệ sinh thái ( mã nguồn mở ) hoặc khả năng suy diễn thuần túy ( mã nguồn đóng ), chứ không phải chỉ đơn giản là tích lũy tham số.
Với sự phát triển của cộng đồng mã nguồn mở, hiệu suất của các LLM có thể trở nên đồng nhất, vì mọi người đều sử dụng các kiến trúc mô hình và tập dữ liệu tương tự.
Một thách thức rõ ràng hơn là: Ngoài Midjourney, dường như không có mô hình lớn nào khác có thể đạt được lợi nhuận.
Điểm neo giá trị
Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể phá sản vào cuối năm 2024" đã thu hút sự chú ý. Quan điểm chính là: OpenAI đang tiêu tốn quá nhanh.
Bài viết đề cập, kể từ khi phát triển ChatGPT, OpenAI đã nhanh chóng mở rộng thua lỗ, thua lỗ khoảng 540 triệu đô la vào năm 2022, chỉ có thể dựa vào đầu tư từ Microsoft.
Điều này phản ánh tình cảnh chung mà các nhà cung cấp mô hình lớn đang phải đối mặt: chi phí và doanh thu không cân bằng nghiêm trọng.
Chi phí cao dẫn đến việc hiện tại những người hưởng lợi chủ yếu là các nhà sản xuất chip như Nvidia và Broadcom.
Theo ước tính, Nvidia đã bán ra hơn 300.000 chip AI H100 trong quý II năm nay, tương đương với trọng lượng của 4,5 chiếc Boeing 747. Doanh thu của Nvidia đã tăng vọt 854%, gây sốc cho Phố Wall. Giá bán lại của H100 đã tăng lên 40.000-50.000 USD, trong khi chi phí chỉ khoảng hơn 3.000 USD.
Chi phí sức mạnh tính toán đã trở thành trở ngại cho sự phát triển của ngành. Sequoia Capital ước tính: Các công ty công nghệ trên toàn cầu sẽ chi 200 tỷ USD mỗi năm để xây dựng cơ sở hạ tầng cho mô hình lớn, nhưng doanh thu hàng năm từ mô hình lớn chỉ tối đa 75 tỷ USD, có ít nhất 125 tỷ USD thiếu hụt.
Ngoại trừ một số trường hợp hiếm hoi, hầu hết các công ty phần mềm vẫn chưa tìm ra mô hình sinh lời sau khi đã bỏ ra một số tiền khổng lồ. Ngay cả những người dẫn đầu trong ngành như Microsoft và Adobe cũng đang phải đối mặt với thách thức.
GitHub Copilot được phát triển bởi sự hợp tác giữa Microsoft và OpenAI, với mức phí hàng tháng là 10 đô la nhưng lại phải bù lỗ 20 đô la, người dùng nặng thậm chí khiến Microsoft lỗ 80 đô la mỗi tháng. Microsoft 365 Copilot mới được ra mắt có giá 30 đô la, có thể lỗ nhiều hơn.
Adobe đã nhanh chóng ra mắt hệ thống điểm sau khi phát hành công cụ AI Firefly, nhằm hạn chế việc người dùng sử dụng quá mức dẫn đến thua lỗ cho công ty. Sau khi vượt quá số điểm phân bổ hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.
Microsoft và Adobe đã có các kịch bản kinh doanh rõ ràng và một lượng lớn người dùng trả phí. Trong khi đó, hầu hết các mô hình lớn với nhiều tham số vẫn chủ yếu được ứng dụng trong trò chuyện.
Sự ra đời của OpenAI và ChatGPT đã gây ra cuộc cách mạng AI này, nhưng giá trị của việc đào tạo các mô hình lớn ở giai đoạn hiện tại còn gây nghi ngờ. Khi cạnh tranh đồng nhất gia tăng và số lượng mô hình mã nguồn mở tăng lên, không gian cho các nhà cung cấp mô hình lớn đơn thuần có thể sẽ bị thu hẹp hơn nữa.
Sự thành công của iPhone 4 không phải do bộ vi xử lý A4 quy trình 45nm, mà là vì nó có thể chơi "Plants vs. Zombies" và "Angry Birds".