Evolusi industri AI dan prospek integrasi dengan Blockchain
Industri kecerdasan buatan baru-baru ini telah mencapai kemajuan signifikan dan dianggap sebagai penggerak kunci dari revolusi industri keempat. Munculnya model bahasa besar secara signifikan meningkatkan efisiensi kerja di berbagai sektor, dan Boston Consulting Group memperkirakan bahwa GPT telah meningkatkan produktivitas keseluruhan Amerika sekitar 20%. Pada saat yang sama, kemampuan generalisasi yang dimiliki oleh model besar dianggap sebagai paradigma desain perangkat lunak yang sepenuhnya baru, berbeda dari cara pengkodean yang tepat di masa lalu, di mana desain perangkat lunak sekarang lebih banyak menggunakan kerangka model besar yang lebih mendukung berbagai jenis input dan output. Teknologi pembelajaran mendalam membawa gelombang baru bagi industri AI, dan tren ini secara bertahap menyebar ke industri cryptocurrency.
Laporan ini akan membahas secara mendalam perjalanan perkembangan industri AI, klasifikasi teknologi, serta dampak teknologi pembelajaran mendalam terhadap industri. Kami akan menganalisis kondisi dan tren perkembangan hulu dan hilir rantai industri seperti GPU, komputasi awan, sumber data, dan perangkat tepi dalam bidang pembelajaran mendalam. Selain itu, kami juga akan secara esensial membahas hubungan antara cryptocurrency dan industri AI, serta merapikan pola rantai industri AI yang terkait dengan cryptocurrency.
Perkembangan Industri AI
Sejak dimulainya industri AI pada tahun 1950-an, dunia akademis dan industri telah mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan di berbagai periode dan latar belakang disiplin ilmu yang berbeda.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", dengan ide inti untuk memungkinkan mesin meningkatkan kinerja sistem melalui iterasi berulang dalam tugas tertentu menggunakan data. Langkah utama meliputi memasukkan data ke dalam algoritma, melatih model menggunakan data, menguji dan menerapkan model, dan akhirnya menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia. Di antara ketiganya, koneksionisme yang diwakili oleh jaringan saraf saat ini mendominasi ( juga dikenal sebagai pembelajaran mendalam ). Arsitektur jaringan saraf terdiri dari lapisan input, lapisan output, dan beberapa lapisan tersembunyi, ketika jumlah lapisan dan neuron ( parameter ) cukup banyak, maka dapat mencocokkan tugas umum yang kompleks. Dengan terus-menerus memasukkan data untuk menyesuaikan parameter neuron, akhirnya neuron akan mencapai keadaan optimal, inilah juga asal kata "dalam" - cukup banyak lapisan dan neuron.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga telah mengalami banyak iterasi dan evolusi, dari jaringan saraf yang paling awal, ke jaringan saraf umpan maju, RNN, CNN, GAN, akhirnya berkembang menjadi model besar modern seperti teknologi Transformer yang digunakan oleh GPT. Teknologi Transformer adalah salah satu arah evolusi jaringan saraf, menambahkan sebuah konverter ( Transformer ), untuk mengkodekan berbagai modal ( seperti audio, video, gambar, dan sebagainya ) menjadi representasi numerik yang sesuai, kemudian memasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan diri dengan jenis data apa pun, mewujudkan pemrosesan multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi:
Gelombang pertama terjadi pada tahun 1960-an, dipicu oleh teknologi simbolis, yang menyelesaikan masalah pemrosesan bahasa alami umum dan dialog manusia-komputer. Pada waktu yang sama, sistem pakar lahir, seperti sistem pakar kimia DENDRAL yang dikembangkan oleh NASA.
Gelombang kedua terjadi pada tahun 1990-an, ketika jaringan Bayesian dan robotika berbasis perilaku diperkenalkan, menandai lahirnya behaviorisme. Pada tahun 1997, IBM Deep Blue mengalahkan juara catur Garry Kasparov, yang dianggap sebagai tonggak dalam kecerdasan buatan.
Gelombang ketiga dimulai pada tahun 2006. Konsep pembelajaran mendalam diusulkan, dengan jaringan saraf buatan sebagai arsitektur, untuk melakukan pembelajaran representasi data. Selanjutnya, algoritma pembelajaran mendalam terus berkembang, dari RNN, GAN hingga Transformer dan Stable Diffusion, membentuk gelombang teknologi kali ini, serta merupakan masa kejayaan koneksionisme.
Selama periode tersebut terjadi beberapa peristiwa ikonik:
Pada tahun 2011, Watson dari IBM mengalahkan pesaing manusia dalam acara kuis "Dangerous Edge."
Pada tahun 2014, Goodfellow mengusulkan GAN( jaringan generatif adversarial).
Pada tahun 2015, Hinton dan kawan-kawan mengajukan algoritma pembelajaran mendalam di majalah "Nature", yang menimbulkan reaksi besar. OpenAI didirikan.
Pada tahun 2016, AlphaGo mengalahkan juara dunia Go, Lee Sedol.
Pada tahun 2017, Google mengajukan algoritma Transformer, model bahasa skala besar mulai muncul.
Pada tahun 2018, OpenAI merilis GPT, DeepMind merilis AlphaFold.
Pada tahun 2019, OpenAI merilis GPT-2.
Pada tahun 2020, OpenAI merilis GPT-3.
Pada tahun 2023, ChatGPT yang berbasis GPT-4 diluncurkan dan dengan cepat mencapai seratus juta pengguna.
Rantai industri pembelajaran mendalam
Model bahasa besar saat ini terutama menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Model besar yang diwakili oleh GPT telah memicu gelombang baru dalam kecerdasan buatan, banyak pemain masuk ke bidang ini, dan permintaan pasar untuk data dan daya komputasi telah melonjak. Bagian ini akan membahas struktur rantai industri algoritma pembelajaran mendalam, serta status hulu dan hilir, hubungan penawaran dan permintaan, serta perkembangan di masa depan.
Pelatihan model bahasa besar seperti GPT yang berdasarkan teknologi Transformer ( LLMs ) terutama dibagi menjadi tiga langkah:
Pra-pelatihan: Masukkan sejumlah besar data untuk mencari parameter terbaik dari neuron. Proses ini sangat memakan daya komputasi, perlu iterasi berulang untuk mencoba berbagai parameter.
Fine-tuning: Menggunakan data berkualitas tinggi dalam jumlah kecil untuk melatih, meningkatkan kualitas output model.
Pembelajaran Penguatan: Membangun "model penghargaan" untuk mengevaluasi kualitas output model besar, melalui model ini untuk secara otomatis mengiterasi parameter model besar. Terkadang juga diperlukan keterlibatan manusia dalam penilaian.
Singkatnya, pra-pelatihan memerlukan jumlah data yang tinggi dan menghabiskan sebagian besar kekuatan komputasi GPU; penyetelan memerlukan data berkualitas tinggi untuk memperbaiki parameter; pembelajaran penguatan mengulangi parameter melalui model penghargaan untuk meningkatkan kualitas output.
Tiga faktor utama yang mempengaruhi kinerja model besar adalah: jumlah parameter, volume dan kualitas data, serta daya komputasi. Ketiga hal ini bersama-sama menentukan kualitas hasil model besar dan kemampuan generalisasinya. Misalkan jumlah parameter adalah p, volume data adalah n( dihitung berdasarkan jumlah Token), dapat diperkirakan jumlah komputasi yang diperlukan melalui aturan praktis, sehingga dapat memperkirakan daya komputasi dan waktu pelatihan yang diperlukan.
Kekuatan komputasi biasanya diukur dalam Flops, yang mewakili satu operasi titik mengambang. Berdasarkan pengalaman praktis, pelatihan model besar sekali membutuhkan sekitar 6np Flops. Proses inferensi ( yang menunggu keluaran model untuk data masukan ) membutuhkan 2np Flops.
Pelatihan AI awalnya menggunakan chip CPU, tetapi kemudian secara bertahap digantikan oleh GPU, seperti Nvidia A100, H100, dan lainnya. GPU jauh lebih unggul dari segi efisiensi energi dibandingkan CPU, terutama melalui modul Tensor Core untuk melakukan perhitungan floating point. Kemampuan komputasi chip biasanya diukur dalam Flops pada presisi FP16/FP32.
Sebagai contoh, GPT-3 memiliki 175 miliar parameter dan 180 miliar Token dengan jumlah data sekitar 570GB(. Untuk melakukan satu kali pre-training diperlukan 3,15*10^22 Flops, setara dengan 584 hari pemakaian chip Nvidia A100 SXM. Mengingat jumlah parameter GPT-4 adalah 10 kali lipat dari GPT-3, dan jumlah data juga meningkat 10 kali lipat, mungkin memerlukan lebih dari 100 kali lipat daya komputasi chip.
Dalam pelatihan model besar, penyimpanan data juga merupakan tantangan. Memori GPU biasanya kecil ) seperti A100 yang memiliki 80GB (, tidak dapat menampung semua data dan parameter model. Oleh karena itu, perlu mempertimbangkan bandwidth chip, yaitu kecepatan transfer data antara hard disk dan memori. Saat pelatihan kolaboratif multi-GPU, kecepatan transfer data antar chip juga sangat penting.
![Pemula Populer丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Rantai industri pembelajaran mendalam terutama mencakup beberapa tahap berikut:
Penyedia perangkat keras GPU: Saat ini Nvidia berada di posisi terdepan. Akademisi umumnya menggunakan GPU konsumen ) seperti seri RTX (, sedangkan industri umumnya menggunakan chip profesional seperti H100, A100, dan lain-lain. Google juga memiliki chip TPU yang dikembangkan sendiri.
Penyedia layanan cloud: Menyediakan kekuatan komputasi yang fleksibel dan solusi pelatihan yang dikelola untuk perusahaan AI dengan anggaran terbatas. Terutama dibagi menjadi tiga kategori: penyedia cloud tradisional ) seperti AWS, Google Cloud, Azure (, platform kekuatan komputasi AI cloud vertikal ) seperti CoreWeave, Lambda (, dan penyedia inferensi sebagai layanan ) seperti Together.ai, Fireworks.ai (.
Penyedia sumber data pelatihan: Menyediakan sejumlah besar data atau data berkualitas tinggi untuk model besar. Perusahaan seperti Google, Reddit, dll. yang memiliki banyak data menarik perhatian. Ada juga perusahaan pelabelan data khusus yang menyediakan data untuk model di bidang tertentu.
Penyedia basis data: Tugas pelatihan dan inferensi AI terutama menggunakan "database vektor", yang digunakan untuk penyimpanan dan pengindeksan data vektor berdimensi tinggi yang besar dengan efisien. Pemain utama termasuk Chroma, Zilliz, Pinecone, Weaviate, dan lainnya.
Perangkat Tepi: Memberikan dukungan pendinginan dan pasokan daya untuk kluster GPU. Termasuk penyediaan energi ) seperti geotermal, hidrogen, energi nuklir ( dan sistem pendinginan ) seperti teknologi pendinginan cair (.
Aplikasi: Saat ini aplikasi AI terutama terfokus pada pencarian, tanya jawab, dan bidang lainnya, dengan tingkat retensi dan aktivitas yang umumnya lebih rendah dibandingkan aplikasi internet tradisional. Aplikasi dibagi menjadi tiga kategori: yang ditujukan untuk konsumen profesional, perusahaan, dan konsumen umum.
![Pengantar untuk Pemula丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(
Hubungan antara Cryptocurrency dan AI
Inti dari teknologi Blockchain adalah desentralisasi dan penghilangan kepercayaan. Bitcoin menciptakan sistem transfer nilai yang tidak memerlukan kepercayaan, sementara Ethereum lebih lanjut mewujudkan platform kontrak pintar yang terdesentralisasi dan tanpa kepercayaan. Secara esensial, jaringan blockchain adalah jaringan nilai, di mana setiap transaksi adalah konversi nilai yang didasarkan pada token dasar.
Dalam internet tradisional, nilai tercermin dalam harga saham melalui indikator seperti P/E. Namun, dalam jaringan blockchain, token asli ) seperti ETH( mencerminkan nilai multidimensional dari jaringan, tidak hanya dapat memperoleh imbal hasil staking, tetapi juga dapat berfungsi sebagai media pertukaran nilai, media penyimpanan nilai, dan barang konsumsi aktivitas jaringan.
Ekonomi token ) Tokenomics ( menetapkan nilai relatif dari aset penyelesaian ekosistem ) token asli (. Meskipun tidak mungkin untuk menetapkan harga secara terpisah untuk setiap dimensi, harga token mencerminkan nilai multidimensi secara komprehensif. Setelah token diberikan kepada jaringan dan beredar, nilai yang ditangkap dapat jauh melebihi nilai ekuitas tradisional.
Daya tarik ekonomi token terletak pada kemampuannya untuk memberikan nilai kepada fungsi atau ide apa pun. Ini mendefinisikan kembali dan menemukan nilai, yang sangat penting untuk berbagai industri, termasuk AI. Dalam industri AI, penerbitan token dapat merombak nilai di setiap tahap rantai industri, mendorong lebih banyak orang untuk mendalami jalur yang lebih spesifik. Token juga dapat memberikan nilai tambahan bagi infrastruktur, memfasilitasi pembentukan paradigma "protokol gemuk aplikasi ramping".
Karakteristik teknologi Blockchain yang tidak dapat diubah dan tanpa kepercayaan juga dapat memberikan nilai nyata bagi industri AI. Misalnya, model dapat diizinkan untuk menggunakan data dengan melindungi privasi pengguna; kekuatan komputasi GPU yang tidak terpakai dapat dialokasikan melalui jaringan global, menemukan kembali nilai yang tersisa.
Secara keseluruhan, ekonomi token membantu membentuk dan menemukan nilai, sementara buku besar terdesentralisasi dapat menyelesaikan masalah kepercayaan, mengalirkan nilai secara global. Kombinasi ini membawa kemungkinan baru bagi industri AI.
![Pemula Pengetahuan丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-f37fb0100218188368f4d31940aab2a3.webp(
Tinjauan Rantai Industri AI di Sektor Cryptocurrency
Sisi pasokan GPU:
Proyek utama termasuk Render, Golem, dan lainnya. Render sebagai proyek yang lebih matang, terutama ditujukan untuk tugas rendering video non-model besar. Pasar kekuatan komputasi cloud GPU tidak hanya dapat melayani pelatihan dan inferensi model AI, tetapi juga cocok untuk tugas rendering tradisional, mengurangi risiko ketergantungan pada satu pasar.
Bandwidth perangkat keras:
Proyek seperti Meson Network berusaha membangun jaringan berbagi bandwidth global. Namun, berbagi bandwidth mungkin merupakan permintaan palsu untuk pelatihan model besar, karena latensi yang disebabkan oleh lokasi geografis dapat secara signifikan mempengaruhi efisiensi pelatihan.
Data:
Proyek utama termasuk EpiK Protocol, Synesis One, Masa, dan lainnya. Dibandingkan dengan perusahaan data tradisional, penyedia data blockchain memiliki keunggulan dalam pengumpulan data, dapat memberikan harga untuk data pribadi dan mendorong pengguna untuk memberikan data melalui insentif token.
ZKML:
Proyek seperti Zama, TruthGPT, dan lainnya menggunakan teknologi bukti nol untuk mewujudkan komputasi dan pelatihan privasi. Selain itu, beberapa proyek ZK umum seperti Axiom, Risc Zero juga patut diperhatikan.
Aplikasi AI:
Saat ini, yang utama adalah aplikasi blockchain tradisional yang menggabungkan kemampuan otomatisasi dan generalisasi. AI Agent) seperti Fetch.AI( diharapkan menjadi jembatan antara pengguna dan berbagai aplikasi, serta berpeluang untuk mendapatkan manfaat terlebih dahulu.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
15 Suka
Hadiah
15
4
Bagikan
Komentar
0/400
mev_me_maybe
· 18jam yang lalu
gpt sudah terlalu panas, harus mendingin
Lihat AsliBalas0
fork_in_the_road
· 18jam yang lalu
suckers yang sudah melihat segalanya
Lihat AsliBalas0
NotFinancialAdviser
· 18jam yang lalu
GPT bermain dengan baik, Perdagangan Mata Uang Kripto kali ini pasti akan mencapai puncak baru.
AI dan Blockchain Fusion: Membangun Kembali Nilai Rantai Industri dan Tren Perkembangan Masa Depan
Evolusi industri AI dan prospek integrasi dengan Blockchain
Industri kecerdasan buatan baru-baru ini telah mencapai kemajuan signifikan dan dianggap sebagai penggerak kunci dari revolusi industri keempat. Munculnya model bahasa besar secara signifikan meningkatkan efisiensi kerja di berbagai sektor, dan Boston Consulting Group memperkirakan bahwa GPT telah meningkatkan produktivitas keseluruhan Amerika sekitar 20%. Pada saat yang sama, kemampuan generalisasi yang dimiliki oleh model besar dianggap sebagai paradigma desain perangkat lunak yang sepenuhnya baru, berbeda dari cara pengkodean yang tepat di masa lalu, di mana desain perangkat lunak sekarang lebih banyak menggunakan kerangka model besar yang lebih mendukung berbagai jenis input dan output. Teknologi pembelajaran mendalam membawa gelombang baru bagi industri AI, dan tren ini secara bertahap menyebar ke industri cryptocurrency.
Laporan ini akan membahas secara mendalam perjalanan perkembangan industri AI, klasifikasi teknologi, serta dampak teknologi pembelajaran mendalam terhadap industri. Kami akan menganalisis kondisi dan tren perkembangan hulu dan hilir rantai industri seperti GPU, komputasi awan, sumber data, dan perangkat tepi dalam bidang pembelajaran mendalam. Selain itu, kami juga akan secara esensial membahas hubungan antara cryptocurrency dan industri AI, serta merapikan pola rantai industri AI yang terkait dengan cryptocurrency.
Perkembangan Industri AI
Sejak dimulainya industri AI pada tahun 1950-an, dunia akademis dan industri telah mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan di berbagai periode dan latar belakang disiplin ilmu yang berbeda.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", dengan ide inti untuk memungkinkan mesin meningkatkan kinerja sistem melalui iterasi berulang dalam tugas tertentu menggunakan data. Langkah utama meliputi memasukkan data ke dalam algoritma, melatih model menggunakan data, menguji dan menerapkan model, dan akhirnya menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia. Di antara ketiganya, koneksionisme yang diwakili oleh jaringan saraf saat ini mendominasi ( juga dikenal sebagai pembelajaran mendalam ). Arsitektur jaringan saraf terdiri dari lapisan input, lapisan output, dan beberapa lapisan tersembunyi, ketika jumlah lapisan dan neuron ( parameter ) cukup banyak, maka dapat mencocokkan tugas umum yang kompleks. Dengan terus-menerus memasukkan data untuk menyesuaikan parameter neuron, akhirnya neuron akan mencapai keadaan optimal, inilah juga asal kata "dalam" - cukup banyak lapisan dan neuron.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga telah mengalami banyak iterasi dan evolusi, dari jaringan saraf yang paling awal, ke jaringan saraf umpan maju, RNN, CNN, GAN, akhirnya berkembang menjadi model besar modern seperti teknologi Transformer yang digunakan oleh GPT. Teknologi Transformer adalah salah satu arah evolusi jaringan saraf, menambahkan sebuah konverter ( Transformer ), untuk mengkodekan berbagai modal ( seperti audio, video, gambar, dan sebagainya ) menjadi representasi numerik yang sesuai, kemudian memasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan diri dengan jenis data apa pun, mewujudkan pemrosesan multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi:
Gelombang pertama terjadi pada tahun 1960-an, dipicu oleh teknologi simbolis, yang menyelesaikan masalah pemrosesan bahasa alami umum dan dialog manusia-komputer. Pada waktu yang sama, sistem pakar lahir, seperti sistem pakar kimia DENDRAL yang dikembangkan oleh NASA.
Gelombang kedua terjadi pada tahun 1990-an, ketika jaringan Bayesian dan robotika berbasis perilaku diperkenalkan, menandai lahirnya behaviorisme. Pada tahun 1997, IBM Deep Blue mengalahkan juara catur Garry Kasparov, yang dianggap sebagai tonggak dalam kecerdasan buatan.
Gelombang ketiga dimulai pada tahun 2006. Konsep pembelajaran mendalam diusulkan, dengan jaringan saraf buatan sebagai arsitektur, untuk melakukan pembelajaran representasi data. Selanjutnya, algoritma pembelajaran mendalam terus berkembang, dari RNN, GAN hingga Transformer dan Stable Diffusion, membentuk gelombang teknologi kali ini, serta merupakan masa kejayaan koneksionisme.
Selama periode tersebut terjadi beberapa peristiwa ikonik:
Rantai industri pembelajaran mendalam
Model bahasa besar saat ini terutama menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Model besar yang diwakili oleh GPT telah memicu gelombang baru dalam kecerdasan buatan, banyak pemain masuk ke bidang ini, dan permintaan pasar untuk data dan daya komputasi telah melonjak. Bagian ini akan membahas struktur rantai industri algoritma pembelajaran mendalam, serta status hulu dan hilir, hubungan penawaran dan permintaan, serta perkembangan di masa depan.
Pelatihan model bahasa besar seperti GPT yang berdasarkan teknologi Transformer ( LLMs ) terutama dibagi menjadi tiga langkah:
Pra-pelatihan: Masukkan sejumlah besar data untuk mencari parameter terbaik dari neuron. Proses ini sangat memakan daya komputasi, perlu iterasi berulang untuk mencoba berbagai parameter.
Fine-tuning: Menggunakan data berkualitas tinggi dalam jumlah kecil untuk melatih, meningkatkan kualitas output model.
Pembelajaran Penguatan: Membangun "model penghargaan" untuk mengevaluasi kualitas output model besar, melalui model ini untuk secara otomatis mengiterasi parameter model besar. Terkadang juga diperlukan keterlibatan manusia dalam penilaian.
Singkatnya, pra-pelatihan memerlukan jumlah data yang tinggi dan menghabiskan sebagian besar kekuatan komputasi GPU; penyetelan memerlukan data berkualitas tinggi untuk memperbaiki parameter; pembelajaran penguatan mengulangi parameter melalui model penghargaan untuk meningkatkan kualitas output.
Tiga faktor utama yang mempengaruhi kinerja model besar adalah: jumlah parameter, volume dan kualitas data, serta daya komputasi. Ketiga hal ini bersama-sama menentukan kualitas hasil model besar dan kemampuan generalisasinya. Misalkan jumlah parameter adalah p, volume data adalah n( dihitung berdasarkan jumlah Token), dapat diperkirakan jumlah komputasi yang diperlukan melalui aturan praktis, sehingga dapat memperkirakan daya komputasi dan waktu pelatihan yang diperlukan.
Kekuatan komputasi biasanya diukur dalam Flops, yang mewakili satu operasi titik mengambang. Berdasarkan pengalaman praktis, pelatihan model besar sekali membutuhkan sekitar 6np Flops. Proses inferensi ( yang menunggu keluaran model untuk data masukan ) membutuhkan 2np Flops.
Pelatihan AI awalnya menggunakan chip CPU, tetapi kemudian secara bertahap digantikan oleh GPU, seperti Nvidia A100, H100, dan lainnya. GPU jauh lebih unggul dari segi efisiensi energi dibandingkan CPU, terutama melalui modul Tensor Core untuk melakukan perhitungan floating point. Kemampuan komputasi chip biasanya diukur dalam Flops pada presisi FP16/FP32.
Sebagai contoh, GPT-3 memiliki 175 miliar parameter dan 180 miliar Token dengan jumlah data sekitar 570GB(. Untuk melakukan satu kali pre-training diperlukan 3,15*10^22 Flops, setara dengan 584 hari pemakaian chip Nvidia A100 SXM. Mengingat jumlah parameter GPT-4 adalah 10 kali lipat dari GPT-3, dan jumlah data juga meningkat 10 kali lipat, mungkin memerlukan lebih dari 100 kali lipat daya komputasi chip.
Dalam pelatihan model besar, penyimpanan data juga merupakan tantangan. Memori GPU biasanya kecil ) seperti A100 yang memiliki 80GB (, tidak dapat menampung semua data dan parameter model. Oleh karena itu, perlu mempertimbangkan bandwidth chip, yaitu kecepatan transfer data antara hard disk dan memori. Saat pelatihan kolaboratif multi-GPU, kecepatan transfer data antar chip juga sangat penting.
![Pemula Populer丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Rantai industri pembelajaran mendalam terutama mencakup beberapa tahap berikut:
Penyedia perangkat keras GPU: Saat ini Nvidia berada di posisi terdepan. Akademisi umumnya menggunakan GPU konsumen ) seperti seri RTX (, sedangkan industri umumnya menggunakan chip profesional seperti H100, A100, dan lain-lain. Google juga memiliki chip TPU yang dikembangkan sendiri.
Penyedia layanan cloud: Menyediakan kekuatan komputasi yang fleksibel dan solusi pelatihan yang dikelola untuk perusahaan AI dengan anggaran terbatas. Terutama dibagi menjadi tiga kategori: penyedia cloud tradisional ) seperti AWS, Google Cloud, Azure (, platform kekuatan komputasi AI cloud vertikal ) seperti CoreWeave, Lambda (, dan penyedia inferensi sebagai layanan ) seperti Together.ai, Fireworks.ai (.
Penyedia sumber data pelatihan: Menyediakan sejumlah besar data atau data berkualitas tinggi untuk model besar. Perusahaan seperti Google, Reddit, dll. yang memiliki banyak data menarik perhatian. Ada juga perusahaan pelabelan data khusus yang menyediakan data untuk model di bidang tertentu.
Penyedia basis data: Tugas pelatihan dan inferensi AI terutama menggunakan "database vektor", yang digunakan untuk penyimpanan dan pengindeksan data vektor berdimensi tinggi yang besar dengan efisien. Pemain utama termasuk Chroma, Zilliz, Pinecone, Weaviate, dan lainnya.
Perangkat Tepi: Memberikan dukungan pendinginan dan pasokan daya untuk kluster GPU. Termasuk penyediaan energi ) seperti geotermal, hidrogen, energi nuklir ( dan sistem pendinginan ) seperti teknologi pendinginan cair (.
Aplikasi: Saat ini aplikasi AI terutama terfokus pada pencarian, tanya jawab, dan bidang lainnya, dengan tingkat retensi dan aktivitas yang umumnya lebih rendah dibandingkan aplikasi internet tradisional. Aplikasi dibagi menjadi tiga kategori: yang ditujukan untuk konsumen profesional, perusahaan, dan konsumen umum.
![Pengantar untuk Pemula丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(
Hubungan antara Cryptocurrency dan AI
Inti dari teknologi Blockchain adalah desentralisasi dan penghilangan kepercayaan. Bitcoin menciptakan sistem transfer nilai yang tidak memerlukan kepercayaan, sementara Ethereum lebih lanjut mewujudkan platform kontrak pintar yang terdesentralisasi dan tanpa kepercayaan. Secara esensial, jaringan blockchain adalah jaringan nilai, di mana setiap transaksi adalah konversi nilai yang didasarkan pada token dasar.
Dalam internet tradisional, nilai tercermin dalam harga saham melalui indikator seperti P/E. Namun, dalam jaringan blockchain, token asli ) seperti ETH( mencerminkan nilai multidimensional dari jaringan, tidak hanya dapat memperoleh imbal hasil staking, tetapi juga dapat berfungsi sebagai media pertukaran nilai, media penyimpanan nilai, dan barang konsumsi aktivitas jaringan.
Ekonomi token ) Tokenomics ( menetapkan nilai relatif dari aset penyelesaian ekosistem ) token asli (. Meskipun tidak mungkin untuk menetapkan harga secara terpisah untuk setiap dimensi, harga token mencerminkan nilai multidimensi secara komprehensif. Setelah token diberikan kepada jaringan dan beredar, nilai yang ditangkap dapat jauh melebihi nilai ekuitas tradisional.
Daya tarik ekonomi token terletak pada kemampuannya untuk memberikan nilai kepada fungsi atau ide apa pun. Ini mendefinisikan kembali dan menemukan nilai, yang sangat penting untuk berbagai industri, termasuk AI. Dalam industri AI, penerbitan token dapat merombak nilai di setiap tahap rantai industri, mendorong lebih banyak orang untuk mendalami jalur yang lebih spesifik. Token juga dapat memberikan nilai tambahan bagi infrastruktur, memfasilitasi pembentukan paradigma "protokol gemuk aplikasi ramping".
Karakteristik teknologi Blockchain yang tidak dapat diubah dan tanpa kepercayaan juga dapat memberikan nilai nyata bagi industri AI. Misalnya, model dapat diizinkan untuk menggunakan data dengan melindungi privasi pengguna; kekuatan komputasi GPU yang tidak terpakai dapat dialokasikan melalui jaringan global, menemukan kembali nilai yang tersisa.
Secara keseluruhan, ekonomi token membantu membentuk dan menemukan nilai, sementara buku besar terdesentralisasi dapat menyelesaikan masalah kepercayaan, mengalirkan nilai secara global. Kombinasi ini membawa kemungkinan baru bagi industri AI.
![Pemula Pengetahuan丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-f37fb0100218188368f4d31940aab2a3.webp(
Tinjauan Rantai Industri AI di Sektor Cryptocurrency
Sisi pasokan GPU: Proyek utama termasuk Render, Golem, dan lainnya. Render sebagai proyek yang lebih matang, terutama ditujukan untuk tugas rendering video non-model besar. Pasar kekuatan komputasi cloud GPU tidak hanya dapat melayani pelatihan dan inferensi model AI, tetapi juga cocok untuk tugas rendering tradisional, mengurangi risiko ketergantungan pada satu pasar.
Bandwidth perangkat keras: Proyek seperti Meson Network berusaha membangun jaringan berbagi bandwidth global. Namun, berbagi bandwidth mungkin merupakan permintaan palsu untuk pelatihan model besar, karena latensi yang disebabkan oleh lokasi geografis dapat secara signifikan mempengaruhi efisiensi pelatihan.
Data: Proyek utama termasuk EpiK Protocol, Synesis One, Masa, dan lainnya. Dibandingkan dengan perusahaan data tradisional, penyedia data blockchain memiliki keunggulan dalam pengumpulan data, dapat memberikan harga untuk data pribadi dan mendorong pengguna untuk memberikan data melalui insentif token.
ZKML: Proyek seperti Zama, TruthGPT, dan lainnya menggunakan teknologi bukti nol untuk mewujudkan komputasi dan pelatihan privasi. Selain itu, beberapa proyek ZK umum seperti Axiom, Risc Zero juga patut diperhatikan.
Aplikasi AI: Saat ini, yang utama adalah aplikasi blockchain tradisional yang menggabungkan kemampuan otomatisasi dan generalisasi. AI Agent) seperti Fetch.AI( diharapkan menjadi jembatan antara pengguna dan berbagai aplikasi, serta berpeluang untuk mendapatkan manfaat terlebih dahulu.
AI Blockchain: seperti Tensor,