Sự tiến hóa của ngành AI và triển vọng hợp tác với Blockchain
Ngành trí tuệ nhân tạo gần đây đã đạt được những tiến bộ đáng kể, được xem là động lực chính của cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình ngôn ngữ lớn đã nâng cao đáng kể hiệu suất làm việc trong nhiều lĩnh vực, công ty tư vấn Boston cho rằng GPT đã nâng cao khoảng 20% năng suất của Mỹ nói chung. Đồng thời, khả năng tổng quát mà các mô hình lớn sở hữu được coi là một mô hình thiết kế phần mềm hoàn toàn mới, khác với cách lập trình chính xác trong quá khứ, hiện nay thiết kế phần mềm ngày càng áp dụng khung mô hình lớn có khả năng tổng quát mạnh mẽ hơn, có thể hỗ trợ nhiều dạng đầu vào và đầu ra rộng rãi hơn. Công nghệ học sâu đã mang lại một làn sóng thịnh vượng mới cho ngành AI, xu hướng này cũng dần lan sang ngành công nghiệp tiền điện tử.
Báo cáo này sẽ đi sâu vào quá trình phát triển của ngành AI, phân loại công nghệ, cũng như ảnh hưởng của công nghệ học sâu đối với ngành. Chúng tôi sẽ phân tích tình trạng và xu hướng phát triển của chuỗi công nghiệp liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên trong lĩnh vực học sâu. Đồng thời, chúng tôi cũng sẽ thảo luận về mối liên hệ giữa tiền điện tử và ngành AI từ bản chất, và tiến hành hệ thống hóa cấu trúc chuỗi công nghiệp AI liên quan đến tiền điện tử.
Lịch sử phát triển ngành AI
Kể từ khi ngành AI bắt đầu từ những năm 1950, giới học thuật và ngành công nghiệp đã phát triển nhiều trường phái khác nhau để hiện thực hóa trí tuệ nhân tạo trong các thời kỳ và bối cảnh khoa học khác nhau.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", với ý tưởng cốt lõi là cho phép máy móc cải thiện hiệu suất hệ thống thông qua việc lặp đi lặp lại trên dữ liệu trong các nhiệm vụ cụ thể. Các bước chính bao gồm đưa dữ liệu vào thuật toán, sử dụng dữ liệu để huấn luyện mô hình, kiểm tra và triển khai mô hình, cuối cùng là sử dụng mô hình để hoàn thành nhiệm vụ dự đoán tự động.
Hiện tại, học máy chủ yếu có ba trường phái lớn, lần lượt là liên kết, biểu tượng và hành vi, chúng bắt chước hệ thống thần kinh, tư duy và hành vi của con người. Trong đó, liên kết với đại diện là mạng nơ-ron hiện đang chiếm ưu thế ( còn được gọi là học sâu ). Kiến trúc mạng nơ-ron bao gồm lớp đầu vào, lớp đầu ra và nhiều lớp ẩn, khi số lượng lớp và thông số nơ-ron ( đủ nhiều, nó có thể khớp các nhiệm vụ phức tạp chung. Bằng cách liên tục nhập dữ liệu điều chỉnh thông số nơ-ron, cuối cùng nơ-ron sẽ đạt trạng thái tối ưu, đây cũng là nguồn gốc của từ "sâu" - đủ nhiều lớp và nơ-ron.
Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều lần lặp và tiến hóa, từ mạng nơ-ron ban đầu, đến mạng nơ-ron hồi tiếp, RNN, CNN, GAN, cuối cùng phát triển thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ) Transformer (, dùng để mã hóa dữ liệu từ các kiểu mô hình khác nhau ) như âm thanh, video, hình ảnh, v.v. ( thành các biểu diễn số tương ứng, sau đó đưa vào mạng nơ-ron, giúp mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, thực hiện xử lý đa mô hình.
![Người mới phổ cập丨AI x Crypto: Từ số không đến đỉnh cao])https://img-cdn.gateio.im/webp-social/moments-7e025deb1fddcd5fa716b6f144701074.webp(
Sự phát triển của AI đã trải qua ba làn sóng công nghệ:
Làn sóng đầu tiên xảy ra vào những năm 1960, do công nghệ biểu tượng gây ra, giải quyết vấn đề xử lý ngôn ngữ tự nhiên tổng quát và đối thoại giữa người và máy. Cùng thời gian đó, hệ thống chuyên gia ra đời, như hệ thống chuyên gia hóa học DENDRAL được phát triển bởi Cơ quan Hàng không và Vũ trụ Quốc gia Mỹ.
Làn sóng thứ hai xảy ra vào những năm 1990, khi mạng Bayes và robot học dựa trên hành vi được đề xuất, đánh dấu sự ra đời của hành vi học. Năm 1997, IBM Deep Blue đã đánh bại nhà vô địch cờ vua Garry Kasparov, được coi là một cột mốc của trí tuệ nhân tạo.
Làn sóng thứ ba bắt đầu từ năm 2006. Khái niệm học sâu được đưa ra, với kiến trúc mạng nơ-ron nhân tạo, để thực hiện việc học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu liên tục tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, đã hình thành nên làn sóng công nghệ này, cũng là thời kỳ hưng thịnh của kết nối.
Trong khoảng thời gian này đã xảy ra nhiều sự kiện mang tính biểu tượng:
Năm 2011, Watson của IBM đã đánh bại các thí sinh con người trong chương trình hỏi đáp "Dangerous Edge".
Năm 2014, Goodfellow đã đề xuất mạng đối kháng GAN).
Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", gây ra tiếng vang lớn. OpenAI được thành lập.
Năm 2016, AlphaGo đã đánh bại nhà vô địch cờ vây thế giới Lee Sedol.
Năm 2017, Google đã đề xuất thuật toán Transformer, các mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.
Năm 2018, OpenAI phát hành GPT, DeepMind phát hành AlphaFold.
Năm 2019, OpenAI phát hành GPT-2.
Năm 2020, OpenAI phát hành GPT-3.
Năm 2023, ChatGPT dựa trên GPT-4 được ra mắt, nhanh chóng đạt một trăm triệu người dùng.
Chuỗi công nghiệp học sâu
Các mô hình ngôn ngữ lớn hiện tại chủ yếu sử dụng phương pháp học sâu dựa trên mạng nơ-ron. Các mô hình lớn đại diện như GPT đã khơi dậy một làn sóng mới trong lĩnh vực trí tuệ nhân tạo, nhiều người chơi đã đổ xô vào lĩnh vực này, nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường tăng vọt. Phần này sẽ khám phá cấu trúc chuỗi công nghiệp của các thuật toán học sâu, cũng như tình trạng hiện tại, mối quan hệ cung cầu và phát triển trong tương lai.
Đào tạo các mô hình ngôn ngữ lớn như GPT dựa trên công nghệ Transformer (LLMs) chủ yếu được chia thành ba bước:
Huấn luyện trước: Nhập vào một lượng lớn dữ liệu để tìm kiếm các tham số tốt nhất cho các nơ-ron. Quá trình này tiêu tốn nhiều sức mạnh tính toán nhất, cần lặp đi lặp lại thử nghiệm với nhiều tham số khác nhau.
Tinh chỉnh: Sử dụng một lượng nhỏ nhưng dữ liệu chất lượng cao để huấn luyện, nâng cao chất lượng đầu ra của mô hình.
Học tăng cường: Xây dựng một "mô hình thưởng" để đánh giá chất lượng đầu ra của mô hình lớn, thông qua mô hình này để tự động lặp lại các tham số của mô hình lớn. Đôi khi cũng cần sự tham gia của con người để đánh giá.
Nói ngắn gọn, việc tiền huấn luyện yêu cầu một lượng dữ liệu lớn, tiêu tốn nhiều sức mạnh GPU nhất; việc tinh chỉnh cần dữ liệu chất lượng cao để cải thiện tham số; học tăng cường lặp đi lặp lại các tham số thông qua mô hình phần thưởng để nâng cao chất lượng đầu ra.
Ba yếu tố chính ảnh hưởng đến hiệu suất của mô hình lớn là: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Ba yếu tố này cùng nhau quyết định chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n( tính bằng số lượng Token), có thể ước tính khối lượng tính toán cần thiết thông qua quy tắc kinh nghiệm, từ đó dự đoán sức mạnh tính toán và thời gian đào tạo cần thiết.
Công suất tính toán thường được đo bằng Flops, đại diện cho một phép toán dấu phẩy động. Theo kinh nghiệm thực tế, việc tiền huấn luyện một mô hình lớn mất khoảng 6np Flops. Quá trình suy diễn ( chờ dữ liệu đầu vào để mô hình xuất ra ) thì cần 2np Flops.
Đào tạo AI thời kỳ đầu chủ yếu sử dụng chip CPU, sau đó dần dần được thay thế bằng GPU, như A100, H100 của Nvidia. GPU vượt trội hơn CPU về hiệu suất tiêu thụ năng lượng, chủ yếu thực hiện phép toán số thực thông qua mô-đun Tensor Core. Khả năng tính toán của chip thường được đo bằng Flops ở độ chính xác FP16/FP32.
Lấy GPT-3 làm ví dụ, nó có 175 tỷ tham số, 1800 tỷ Token dữ liệu ( khoảng 570GB ). Để thực hiện một lần huấn luyện trước cần 3.15*10^22 Flops, tương đương với một chip Nvidia A100 SXM cần 584 ngày. Xét đến số lượng tham số của GPT-4 là gấp 10 lần GPT-3, khối lượng dữ liệu cũng tăng gấp 10 lần, có thể cần hơn 100 lần sức mạnh tính toán của chip.
Trong việc huấn luyện mô hình lớn, việc lưu trữ dữ liệu cũng là một thách thức. Bộ nhớ GPU thường khá nhỏ ( như A100 là 80GB ), không thể chứa toàn bộ dữ liệu và tham số mô hình. Vì vậy, cần xem xét băng thông của chip, tức là tốc độ truyền dữ liệu giữa ổ cứng và bộ nhớ. Khi huấn luyện phối hợp nhiều GPU, tốc độ truyền dữ liệu giữa các chip cũng rất quan trọng.
Chuỗi công nghiệp học sâu chủ yếu bao gồm các khâu sau:
Nhà cung cấp GPU phần cứng: Hiện tại Nvidia đang ở vị trí dẫn đầu tuyệt đối. Giới học thuật chủ yếu sử dụng GPU tiêu dùng ( như dòng RTX ), còn ngành công nghiệp chủ yếu sử dụng các chip chuyên dụng như H100, A100. Google cũng có chip TPU tự nghiên cứu.
Nhà cung cấp dịch vụ đám mây: Cung cấp khả năng tính toán linh hoạt và giải pháp huấn luyện cho các doanh nghiệp AI có nguồn vốn hạn chế. Chủ yếu được chia thành ba loại: Nhà cung cấp đám mây truyền thống ( như AWS, Google Cloud, Azure ), Nền tảng tính toán đám mây AI dọc ( như CoreWeave, Lambda ), Nhà cung cấp dịch vụ suy diễn ( như Together.ai, Fireworks.ai ).
Nhà cung cấp nguồn dữ liệu huấn luyện: Cung cấp một lượng lớn dữ liệu hoặc dữ liệu chất lượng cao cho mô hình lớn. Các công ty như Google, Reddit có lượng dữ liệu lớn đang thu hút sự chú ý. Cũng có những công ty chuyên về gán nhãn dữ liệu cung cấp dữ liệu cho các mô hình trong lĩnh vực cụ thể.
Nhà cung cấp cơ sở dữ liệu: Nhiệm vụ suy luận đào tạo AI chủ yếu sử dụng "cơ sở dữ liệu vector", để lưu trữ và lập chỉ mục một cách hiệu quả lượng lớn dữ liệu vector đa chiều. Các người chơi chính bao gồm Chroma, Zilliz, Pinecone, Weaviate, v.v.
Thiết bị biên: Cung cấp hỗ trợ làm mát và cung cấp điện cho cụm GPU. Bao gồm nguồn năng lượng ( như địa nhiệt, hydro, năng lượng hạt nhân ) và hệ thống làm mát ( như công nghệ làm mát bằng chất lỏng ).
Ứng dụng: Hiện tại, ứng dụng AI chủ yếu tập trung vào các lĩnh vực tìm kiếm, hỏi đáp, tỷ lệ giữ chân và mức độ hoạt động thường thấp hơn so với các ứng dụng internet truyền thống. Ứng dụng chủ yếu được chia thành ba loại: dành cho người tiêu dùng chuyên nghiệp, doanh nghiệp và người tiêu dùng thông thường.
Mối quan hệ giữa tiền điện tử và AI
Cốt lõi của công nghệ Blockchain là phi tập trung và phi tin cậy. Bitcoin đã tạo ra một hệ thống chuyển giá trị phi tin cậy, trong khi Ethereum đã tiến xa hơn với việc thiết lập nền tảng hợp đồng thông minh phi tập trung và phi tin cậy. Về bản chất, mạng blockchain là một mạng giá trị, mỗi giao dịch đều là sự chuyển đổi giá trị dựa trên token cơ bản.
Trong internet truyền thống, giá trị được thể hiện qua các chỉ số như P/E trong giá cổ phiếu. Trong mạng blockchain, token gốc ( như ETH) thể hiện giá trị đa chiều của mạng, không chỉ có thể nhận được lợi nhuận từ việc staking, mà còn có thể được sử dụng như phương tiện trao đổi giá trị, phương tiện lưu trữ giá trị, hàng hóa tiêu dùng cho hoạt động mạng, v.v.
Kinh tế token ( Tokenomics ) quy định giá trị tương đối của tài sản thanh toán trong hệ sinh thái ( token gốc ). Mặc dù không thể định giá riêng lẻ cho mỗi chiều, nhưng giá token phản ánh tổng hợp giá trị đa chiều. Khi token được cung cấp cho mạng và được lưu thông, giá trị thu được sẽ vượt xa giá trị của cổ phần truyền thống.
Sự hấp dẫn của kinh tế token nằm ở việc có thể trao giá trị cho bất kỳ chức năng hoặc ý tưởng nào. Nó tái định nghĩa và khám phá giá trị, điều này rất quan trọng đối với tất cả các ngành, bao gồm cả AI. Trong ngành công nghiệp AI, việc phát hành token có thể tái cấu trúc giá trị ở từng khâu của chuỗi công nghiệp, khuyến khích nhiều người hơn khai thác các lĩnh vực ngách. Token cũng có thể cung cấp giá trị bổ sung cho cơ sở hạ tầng, thúc đẩy sự hình thành của mô hình "giao thức béo ứng dụng gầy".
Công nghệ Blockchain có tính không thể thay đổi và không cần tin cậy cũng có thể mang lại giá trị thực cho ngành AI. Ví dụ, có thể cho phép mô hình sử dụng dữ liệu trong khi bảo vệ quyền riêng tư của người dùng; có thể phân phối sức mạnh tính toán GPU nhàn rỗi qua mạng lưới toàn cầu, tái phát hiện giá trị còn lại.
Tổng thể mà nói, kinh tế học token giúp tái cấu trúc và khám phá giá trị, sổ cái phi tập trung có thể giải quyết vấn đề niềm tin, và đưa giá trị lưu thông toàn cầu. Sự kết hợp này mang lại những khả năng mới cho ngành công nghiệp AI.
Tổng quan chuỗi công nghiệp AI trong ngành tiền mã hóa
Cung cấp GPU:
Các dự án chính bao gồm Render, Golem, v.v. Render là một dự án tương đối trưởng thành, chủ yếu hướng đến các nhiệm vụ render video không phải mô hình lớn. Thị trường sức mạnh tính toán GPU đám mây không chỉ phục vụ cho việc đào tạo và suy luận mô hình AI, mà còn phù hợp với các nhiệm vụ render truyền thống, giảm thiểu rủi ro phụ thuộc vào một thị trường duy nhất.
Băng thông phần cứng:
Các dự án như Meson Network cố gắng xây dựng mạng lưới chia sẻ băng thông toàn cầu. Tuy nhiên, việc chia sẻ băng thông có thể là nhu cầu giả đối với việc đào tạo mô hình lớn, vì độ trễ do vị trí địa lý gây ra sẽ ảnh hưởng đáng kể đến hiệu suất đào tạo.
Dữ liệu:
Các dự án chính bao gồm EpiK Protocol, Synesis One, Masa, v.v. So với các doanh nghiệp dữ liệu truyền thống, nhà cung cấp dữ liệu blockchain có lợi thế trong việc thu thập dữ liệu, có thể định giá dữ liệu cá nhân và khuyến khích người dùng đóng góp dữ liệu thông qua token.
ZKML:
Các dự án như Zama, TruthGPT sử dụng công nghệ chứng minh không biết để thực hiện tính toán và đào tạo riêng tư. Ngoài ra, một số dự án ZK tổng quát như Axiom, Risc Zero cũng đáng được chú ý.
Ứng dụng AI:
Hiện tại chủ yếu là ứng dụng blockchain truyền thống kết hợp với khả năng tự động hóa và tổng quát. AI Agent( như Fetch.AI) như một cầu nối giữa người dùng và nhiều ứng dụng, có khả năng được hưởng lợi trước tiên.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
14 thích
Phần thưởng
14
4
Chia sẻ
Bình luận
0/400
mev_me_maybe
· 13giờ trước
gpt đã vượt quá mức rồi, cần hạ nhiệt.
Xem bản gốcTrả lời0
fork_in_the_road
· 13giờ trước
đã nhìn thấu mọi thứ đồ ngốc
Xem bản gốcTrả lời0
NotFinancialAdviser
· 13giờ trước
GPT chơi hiểu Giao dịch tiền điện tử đợt này chắc chắn sẽ đạt đỉnh mới.
AI và Blockchain hội nhập: Tái cấu trúc giá trị chuỗi công nghiệp và xu hướng phát triển tương lai
Sự tiến hóa của ngành AI và triển vọng hợp tác với Blockchain
Ngành trí tuệ nhân tạo gần đây đã đạt được những tiến bộ đáng kể, được xem là động lực chính của cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình ngôn ngữ lớn đã nâng cao đáng kể hiệu suất làm việc trong nhiều lĩnh vực, công ty tư vấn Boston cho rằng GPT đã nâng cao khoảng 20% năng suất của Mỹ nói chung. Đồng thời, khả năng tổng quát mà các mô hình lớn sở hữu được coi là một mô hình thiết kế phần mềm hoàn toàn mới, khác với cách lập trình chính xác trong quá khứ, hiện nay thiết kế phần mềm ngày càng áp dụng khung mô hình lớn có khả năng tổng quát mạnh mẽ hơn, có thể hỗ trợ nhiều dạng đầu vào và đầu ra rộng rãi hơn. Công nghệ học sâu đã mang lại một làn sóng thịnh vượng mới cho ngành AI, xu hướng này cũng dần lan sang ngành công nghiệp tiền điện tử.
Báo cáo này sẽ đi sâu vào quá trình phát triển của ngành AI, phân loại công nghệ, cũng như ảnh hưởng của công nghệ học sâu đối với ngành. Chúng tôi sẽ phân tích tình trạng và xu hướng phát triển của chuỗi công nghiệp liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên trong lĩnh vực học sâu. Đồng thời, chúng tôi cũng sẽ thảo luận về mối liên hệ giữa tiền điện tử và ngành AI từ bản chất, và tiến hành hệ thống hóa cấu trúc chuỗi công nghiệp AI liên quan đến tiền điện tử.
Lịch sử phát triển ngành AI
Kể từ khi ngành AI bắt đầu từ những năm 1950, giới học thuật và ngành công nghiệp đã phát triển nhiều trường phái khác nhau để hiện thực hóa trí tuệ nhân tạo trong các thời kỳ và bối cảnh khoa học khác nhau.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", với ý tưởng cốt lõi là cho phép máy móc cải thiện hiệu suất hệ thống thông qua việc lặp đi lặp lại trên dữ liệu trong các nhiệm vụ cụ thể. Các bước chính bao gồm đưa dữ liệu vào thuật toán, sử dụng dữ liệu để huấn luyện mô hình, kiểm tra và triển khai mô hình, cuối cùng là sử dụng mô hình để hoàn thành nhiệm vụ dự đoán tự động.
Hiện tại, học máy chủ yếu có ba trường phái lớn, lần lượt là liên kết, biểu tượng và hành vi, chúng bắt chước hệ thống thần kinh, tư duy và hành vi của con người. Trong đó, liên kết với đại diện là mạng nơ-ron hiện đang chiếm ưu thế ( còn được gọi là học sâu ). Kiến trúc mạng nơ-ron bao gồm lớp đầu vào, lớp đầu ra và nhiều lớp ẩn, khi số lượng lớp và thông số nơ-ron ( đủ nhiều, nó có thể khớp các nhiệm vụ phức tạp chung. Bằng cách liên tục nhập dữ liệu điều chỉnh thông số nơ-ron, cuối cùng nơ-ron sẽ đạt trạng thái tối ưu, đây cũng là nguồn gốc của từ "sâu" - đủ nhiều lớp và nơ-ron.
Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều lần lặp và tiến hóa, từ mạng nơ-ron ban đầu, đến mạng nơ-ron hồi tiếp, RNN, CNN, GAN, cuối cùng phát triển thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ) Transformer (, dùng để mã hóa dữ liệu từ các kiểu mô hình khác nhau ) như âm thanh, video, hình ảnh, v.v. ( thành các biểu diễn số tương ứng, sau đó đưa vào mạng nơ-ron, giúp mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, thực hiện xử lý đa mô hình.
![Người mới phổ cập丨AI x Crypto: Từ số không đến đỉnh cao])https://img-cdn.gateio.im/webp-social/moments-7e025deb1fddcd5fa716b6f144701074.webp(
Sự phát triển của AI đã trải qua ba làn sóng công nghệ:
Làn sóng đầu tiên xảy ra vào những năm 1960, do công nghệ biểu tượng gây ra, giải quyết vấn đề xử lý ngôn ngữ tự nhiên tổng quát và đối thoại giữa người và máy. Cùng thời gian đó, hệ thống chuyên gia ra đời, như hệ thống chuyên gia hóa học DENDRAL được phát triển bởi Cơ quan Hàng không và Vũ trụ Quốc gia Mỹ.
Làn sóng thứ hai xảy ra vào những năm 1990, khi mạng Bayes và robot học dựa trên hành vi được đề xuất, đánh dấu sự ra đời của hành vi học. Năm 1997, IBM Deep Blue đã đánh bại nhà vô địch cờ vua Garry Kasparov, được coi là một cột mốc của trí tuệ nhân tạo.
Làn sóng thứ ba bắt đầu từ năm 2006. Khái niệm học sâu được đưa ra, với kiến trúc mạng nơ-ron nhân tạo, để thực hiện việc học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu liên tục tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, đã hình thành nên làn sóng công nghệ này, cũng là thời kỳ hưng thịnh của kết nối.
Trong khoảng thời gian này đã xảy ra nhiều sự kiện mang tính biểu tượng:
Chuỗi công nghiệp học sâu
Các mô hình ngôn ngữ lớn hiện tại chủ yếu sử dụng phương pháp học sâu dựa trên mạng nơ-ron. Các mô hình lớn đại diện như GPT đã khơi dậy một làn sóng mới trong lĩnh vực trí tuệ nhân tạo, nhiều người chơi đã đổ xô vào lĩnh vực này, nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường tăng vọt. Phần này sẽ khám phá cấu trúc chuỗi công nghiệp của các thuật toán học sâu, cũng như tình trạng hiện tại, mối quan hệ cung cầu và phát triển trong tương lai.
Đào tạo các mô hình ngôn ngữ lớn như GPT dựa trên công nghệ Transformer (LLMs) chủ yếu được chia thành ba bước:
Huấn luyện trước: Nhập vào một lượng lớn dữ liệu để tìm kiếm các tham số tốt nhất cho các nơ-ron. Quá trình này tiêu tốn nhiều sức mạnh tính toán nhất, cần lặp đi lặp lại thử nghiệm với nhiều tham số khác nhau.
Tinh chỉnh: Sử dụng một lượng nhỏ nhưng dữ liệu chất lượng cao để huấn luyện, nâng cao chất lượng đầu ra của mô hình.
Học tăng cường: Xây dựng một "mô hình thưởng" để đánh giá chất lượng đầu ra của mô hình lớn, thông qua mô hình này để tự động lặp lại các tham số của mô hình lớn. Đôi khi cũng cần sự tham gia của con người để đánh giá.
Nói ngắn gọn, việc tiền huấn luyện yêu cầu một lượng dữ liệu lớn, tiêu tốn nhiều sức mạnh GPU nhất; việc tinh chỉnh cần dữ liệu chất lượng cao để cải thiện tham số; học tăng cường lặp đi lặp lại các tham số thông qua mô hình phần thưởng để nâng cao chất lượng đầu ra.
Ba yếu tố chính ảnh hưởng đến hiệu suất của mô hình lớn là: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Ba yếu tố này cùng nhau quyết định chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n( tính bằng số lượng Token), có thể ước tính khối lượng tính toán cần thiết thông qua quy tắc kinh nghiệm, từ đó dự đoán sức mạnh tính toán và thời gian đào tạo cần thiết.
Công suất tính toán thường được đo bằng Flops, đại diện cho một phép toán dấu phẩy động. Theo kinh nghiệm thực tế, việc tiền huấn luyện một mô hình lớn mất khoảng 6np Flops. Quá trình suy diễn ( chờ dữ liệu đầu vào để mô hình xuất ra ) thì cần 2np Flops.
Đào tạo AI thời kỳ đầu chủ yếu sử dụng chip CPU, sau đó dần dần được thay thế bằng GPU, như A100, H100 của Nvidia. GPU vượt trội hơn CPU về hiệu suất tiêu thụ năng lượng, chủ yếu thực hiện phép toán số thực thông qua mô-đun Tensor Core. Khả năng tính toán của chip thường được đo bằng Flops ở độ chính xác FP16/FP32.
Lấy GPT-3 làm ví dụ, nó có 175 tỷ tham số, 1800 tỷ Token dữ liệu ( khoảng 570GB ). Để thực hiện một lần huấn luyện trước cần 3.15*10^22 Flops, tương đương với một chip Nvidia A100 SXM cần 584 ngày. Xét đến số lượng tham số của GPT-4 là gấp 10 lần GPT-3, khối lượng dữ liệu cũng tăng gấp 10 lần, có thể cần hơn 100 lần sức mạnh tính toán của chip.
Trong việc huấn luyện mô hình lớn, việc lưu trữ dữ liệu cũng là một thách thức. Bộ nhớ GPU thường khá nhỏ ( như A100 là 80GB ), không thể chứa toàn bộ dữ liệu và tham số mô hình. Vì vậy, cần xem xét băng thông của chip, tức là tốc độ truyền dữ liệu giữa ổ cứng và bộ nhớ. Khi huấn luyện phối hợp nhiều GPU, tốc độ truyền dữ liệu giữa các chip cũng rất quan trọng.
Chuỗi công nghiệp học sâu chủ yếu bao gồm các khâu sau:
Nhà cung cấp GPU phần cứng: Hiện tại Nvidia đang ở vị trí dẫn đầu tuyệt đối. Giới học thuật chủ yếu sử dụng GPU tiêu dùng ( như dòng RTX ), còn ngành công nghiệp chủ yếu sử dụng các chip chuyên dụng như H100, A100. Google cũng có chip TPU tự nghiên cứu.
Nhà cung cấp dịch vụ đám mây: Cung cấp khả năng tính toán linh hoạt và giải pháp huấn luyện cho các doanh nghiệp AI có nguồn vốn hạn chế. Chủ yếu được chia thành ba loại: Nhà cung cấp đám mây truyền thống ( như AWS, Google Cloud, Azure ), Nền tảng tính toán đám mây AI dọc ( như CoreWeave, Lambda ), Nhà cung cấp dịch vụ suy diễn ( như Together.ai, Fireworks.ai ).
Nhà cung cấp nguồn dữ liệu huấn luyện: Cung cấp một lượng lớn dữ liệu hoặc dữ liệu chất lượng cao cho mô hình lớn. Các công ty như Google, Reddit có lượng dữ liệu lớn đang thu hút sự chú ý. Cũng có những công ty chuyên về gán nhãn dữ liệu cung cấp dữ liệu cho các mô hình trong lĩnh vực cụ thể.
Nhà cung cấp cơ sở dữ liệu: Nhiệm vụ suy luận đào tạo AI chủ yếu sử dụng "cơ sở dữ liệu vector", để lưu trữ và lập chỉ mục một cách hiệu quả lượng lớn dữ liệu vector đa chiều. Các người chơi chính bao gồm Chroma, Zilliz, Pinecone, Weaviate, v.v.
Thiết bị biên: Cung cấp hỗ trợ làm mát và cung cấp điện cho cụm GPU. Bao gồm nguồn năng lượng ( như địa nhiệt, hydro, năng lượng hạt nhân ) và hệ thống làm mát ( như công nghệ làm mát bằng chất lỏng ).
Ứng dụng: Hiện tại, ứng dụng AI chủ yếu tập trung vào các lĩnh vực tìm kiếm, hỏi đáp, tỷ lệ giữ chân và mức độ hoạt động thường thấp hơn so với các ứng dụng internet truyền thống. Ứng dụng chủ yếu được chia thành ba loại: dành cho người tiêu dùng chuyên nghiệp, doanh nghiệp và người tiêu dùng thông thường.
Mối quan hệ giữa tiền điện tử và AI
Cốt lõi của công nghệ Blockchain là phi tập trung và phi tin cậy. Bitcoin đã tạo ra một hệ thống chuyển giá trị phi tin cậy, trong khi Ethereum đã tiến xa hơn với việc thiết lập nền tảng hợp đồng thông minh phi tập trung và phi tin cậy. Về bản chất, mạng blockchain là một mạng giá trị, mỗi giao dịch đều là sự chuyển đổi giá trị dựa trên token cơ bản.
Trong internet truyền thống, giá trị được thể hiện qua các chỉ số như P/E trong giá cổ phiếu. Trong mạng blockchain, token gốc ( như ETH) thể hiện giá trị đa chiều của mạng, không chỉ có thể nhận được lợi nhuận từ việc staking, mà còn có thể được sử dụng như phương tiện trao đổi giá trị, phương tiện lưu trữ giá trị, hàng hóa tiêu dùng cho hoạt động mạng, v.v.
Kinh tế token ( Tokenomics ) quy định giá trị tương đối của tài sản thanh toán trong hệ sinh thái ( token gốc ). Mặc dù không thể định giá riêng lẻ cho mỗi chiều, nhưng giá token phản ánh tổng hợp giá trị đa chiều. Khi token được cung cấp cho mạng và được lưu thông, giá trị thu được sẽ vượt xa giá trị của cổ phần truyền thống.
Sự hấp dẫn của kinh tế token nằm ở việc có thể trao giá trị cho bất kỳ chức năng hoặc ý tưởng nào. Nó tái định nghĩa và khám phá giá trị, điều này rất quan trọng đối với tất cả các ngành, bao gồm cả AI. Trong ngành công nghiệp AI, việc phát hành token có thể tái cấu trúc giá trị ở từng khâu của chuỗi công nghiệp, khuyến khích nhiều người hơn khai thác các lĩnh vực ngách. Token cũng có thể cung cấp giá trị bổ sung cho cơ sở hạ tầng, thúc đẩy sự hình thành của mô hình "giao thức béo ứng dụng gầy".
Công nghệ Blockchain có tính không thể thay đổi và không cần tin cậy cũng có thể mang lại giá trị thực cho ngành AI. Ví dụ, có thể cho phép mô hình sử dụng dữ liệu trong khi bảo vệ quyền riêng tư của người dùng; có thể phân phối sức mạnh tính toán GPU nhàn rỗi qua mạng lưới toàn cầu, tái phát hiện giá trị còn lại.
Tổng thể mà nói, kinh tế học token giúp tái cấu trúc và khám phá giá trị, sổ cái phi tập trung có thể giải quyết vấn đề niềm tin, và đưa giá trị lưu thông toàn cầu. Sự kết hợp này mang lại những khả năng mới cho ngành công nghiệp AI.
Tổng quan chuỗi công nghiệp AI trong ngành tiền mã hóa
Cung cấp GPU: Các dự án chính bao gồm Render, Golem, v.v. Render là một dự án tương đối trưởng thành, chủ yếu hướng đến các nhiệm vụ render video không phải mô hình lớn. Thị trường sức mạnh tính toán GPU đám mây không chỉ phục vụ cho việc đào tạo và suy luận mô hình AI, mà còn phù hợp với các nhiệm vụ render truyền thống, giảm thiểu rủi ro phụ thuộc vào một thị trường duy nhất.
Băng thông phần cứng: Các dự án như Meson Network cố gắng xây dựng mạng lưới chia sẻ băng thông toàn cầu. Tuy nhiên, việc chia sẻ băng thông có thể là nhu cầu giả đối với việc đào tạo mô hình lớn, vì độ trễ do vị trí địa lý gây ra sẽ ảnh hưởng đáng kể đến hiệu suất đào tạo.
Dữ liệu: Các dự án chính bao gồm EpiK Protocol, Synesis One, Masa, v.v. So với các doanh nghiệp dữ liệu truyền thống, nhà cung cấp dữ liệu blockchain có lợi thế trong việc thu thập dữ liệu, có thể định giá dữ liệu cá nhân và khuyến khích người dùng đóng góp dữ liệu thông qua token.
ZKML: Các dự án như Zama, TruthGPT sử dụng công nghệ chứng minh không biết để thực hiện tính toán và đào tạo riêng tư. Ngoài ra, một số dự án ZK tổng quát như Axiom, Risc Zero cũng đáng được chú ý.
Ứng dụng AI: Hiện tại chủ yếu là ứng dụng blockchain truyền thống kết hợp với khả năng tự động hóa và tổng quát. AI Agent( như Fetch.AI) như một cầu nối giữa người dùng và nhiều ứng dụng, có khả năng được hưởng lợi trước tiên.
AI Blockchain: Như Tensor,