Tengyan Röportajı | Akademisyen Wu Hequan: Çin'in büyük ölçekli model geliştirmesinin avantajları, zorlukları ve inovasyon yolları

Resim kaynağı: Unbounded AI aracı tarafından oluşturulmuştur

ChatGPT küresel bir çılgınlık başlatırken, arkasındaki AI modeli birdenbire yükseldi. Herkes bilmek ister, büyük bir modelin seviyesini değerlendirmek için boyutlar ve standartlar nelerdir?

ChatGPT'nin lansmanı, AIGC konusunda Çin ile Amerika Birleşik Devletleri arasındaki uçurumu görmemizi sağlıyor. Peki, Çin'in büyük modelinin mevcut gelişme durumu nedir? Çin'in büyük ölçekli model geliştirmesi gelecekte hangi fırsatlar ve zorluklarla karşılaşacak?

Şu anda genel yapay zekanın gelişimi için kritik bir dönemdeyiz.Çeşitli kurumlar tarafından büyük modeller üzerinde bağımsız araştırma geliştirme eğilimiyle karşı karşıyayken, bilgi işlem gücünün verimliliği nasıl artırılır ve düşük seviyeli tekrardan etkili bir şekilde nasıl kaçınılır?

Sektördeki bazı insanlar yapay zekanın insanları yok edeceğinden endişe ediyor, bu endişe yersiz mi? Sorunları gerçekleşmeden önce nasıl önleyebiliriz ve yapay zekanın öngörülebilir sonuçlarını ve kontrol edilebilir davranışını nasıl gerçekleştirebiliriz?

AIGC hakkında çeşitli sorular içeren **Tencent Araştırma Enstitüsü, Çin Mühendislik Akademisi akademisyeni ve ülkemde iletişim alanında yetkili bir uzman olan Wu Hequan ile özel olarak röportaj yaptı. **

【Görüşmeci】

Niu Fulian Kıdemli Araştırmacı, Tencent Araştırma Enstitüsü

Wu Chunling Tencent Araştırma Enstitüsü Kıdemli Araştırmacısı

Wang Qiang Tencent Araştırma Enstitüsü Kıdemli Uzmanı

(bundan sonra T olarak anılacaktır)

ABD ile karşılaştırıldığında Çin'in mevcut bilgi işlem gücünün toplam ölçeği: bir boşluk var ama büyük değil

**T: Bazı insanlar Çin'in büyük ölçekli model geliştirmesinin yabancı ülkelerden 1-2 yıl geride olduğunu söylüyorlar, Çin'in büyük ölçekli modellerinin şu anki gelişimi hakkında ne düşünüyorsunuz? **

**Wu Hequan: **Çin, büyük ölçekli modellerin geliştirilmesine ABD'den sonra başladı. ChatGPT çıktıktan sonra birçok yerli birim, üretken büyük ölçekli modeller geliştirdiğini ifade etti. Şu anda yalnızca birkaç tane var. Amerika Birleşik Devletleri'ndeki Microsoft ve Google gibi şirketler.Büyük ölçekli model araştırmalarıyla karşılaştırıldığında, ülkemde Amerika Birleşik Devletleri'nden daha fazla büyük ölçekli model geliştiren birim var, ancak araştırma konusu sayısının çok olması Çin'in yüksek olduğu anlamına gelmiyor. büyük ölçekli modellerde araştırma ve geliştirme düzeyi. Büyük bir yerli modelin parametre sayısının 1,75 trilyon kadar yüksek olduğu ve GPT-4'ü geride bıraktığı söyleniyor ancak uygulamasına dair herhangi bir rapor yok. **Bazı Çinli şirketler ChatGPT'ye benzer sohbet botları başlattığını iddia etse de, şu anda çok dilli destek açısından ChatGPT kadar iyi değiller ve Çince diyalog yetenekleri açısından yanıt hızı açısından hala bir boşluk var. **

**Şu anda yalnızca üretken görevleri hedefleyen ve temel olarak sohbet ve yazma gibi dil oluşturmayı tamamlayan ChatGPT'yi fark ediyoruz. Google'ın BERT modeli, soru yanıtlama ve anlamsal ilişki çıkarma gibi dil anlayışını vurgulayarak muhakeme ve karar vermeye daha fazla önem veriyor. görev, BERT modelinin teknolojisi de ilgimizi hak ediyor. **Büyük ölçekli modellerin düzeyinin değerlendirilmesi çok boyutlu, kapsamlılık, rasyonellik, kullanım kolaylığı, tepki hızı, maliyet, enerji verimliliği vb. olmalıdır. **Genel olarak konuşursak, büyük ölçekli modellerin geliştirilmesi arasındaki fark Benim ülkemde ve yabancı ülkelerde 1-2 yıldır. Temeli hala net değil ve şu anda bu sonuca varmak anlamlı değil. **

Çin şirketleri, Çin külliyatını edinme ve Çin kültürünü anlama konusunda yabancı şirketlere göre doğal avantajlara sahiptir.**Çin, en eksiksiz üretim kategorilerine sahiptir ve AIGC'yi gerçek endüstriler için eğitmek için uygun koşullara sahiptir. Bilgi işlem gücü açısından, Çin zaten iyi bir temele sahip. **OpenAI raporuna göre, GPT3 modelini eğitmek için gereken bilgi işlem gücü 3,64EFlops/gün kadar yüksektir, bu da 3-4 Pengcheng Cloud Brain II'ye eşdeğerdir (Pengcheng Cloud Brain II, 1Eflop'tur, yani onlarca saniyede milyarlarca kayan nokta hesaplaması). **2022 sonundaki verilere göre, küresel bilgi işlem gücünün %36'sını ABD, %31'ini Çin oluşturuyor. Bunların arasında Çin, ABD'den önemli ölçüde daha yüksek (verilere göre) 2021'in sonunda, Amerika Birleşik Devletleri'ndeki akıllı bilgi işlem ölçeği, küresel akıllı bilgi işlemin toplam ölçeğinin %15'ini ve Çin ise %26'sını oluşturuyor. Ülkem yalnızca önemli bilgi işlem gücüne sahip büyük bir İnternet şirketi değil, aynı zamanda ulusal laboratuvarlar ve bazı şehir yönetimleri tarafından desteklenen Laboratuvarlar da büyük ölçekli hesaplama gücü kaynaklarına sahiptir.Çin'in de büyük modellerin eğitimi için gerekli olan hesaplama gücü desteğini sağlayabildiği söylenebilir. **Pengcheng Lab'in GPT-3'ün üç katı olan 16EFlops bilgi işlem gücüne sahip Pengcheng Cloud Brain III'ü tasarladığı anlaşılmaktadır. 6 milyar yuan'a mal olacağı tahmin edilmektedir ve güçlü bilgi işlem sağlamaya devam edecektir. yapay zeka eğitimi için güç. güçlü destek.

Çin AIGC araştırma ve geliştirme: Boşluğu tanıma, zorluklara odaklanma ve yenilik yapma ihtiyacı

**T: Bilgi işlem gücü konusundaki iyi temelimize ek olarak, Çin'de büyük ölçekli bir model oluşturmanın ne gibi zorlukları olduğunu düşünüyorsunuz? **

Wu Hequan: Bilgi işlem gücü tek başına yeterli değil. Aşağıdaki yönlerden hâlâ birçok zorlukla karşılaşıyoruz:

**Her şeyden önce, büyük modelin temeli derin öğrenme çerçevesidir. Amerika Birleşik Devletleri'ndeki Tensorflow ve PyTorch, derin öğrenme çerçevesi ekolojisini uzun yıllardır geliştirmektedir. Yerli şirketler de derin öğrenme çerçevesini bağımsız olarak geliştirmiş olsalar da, pazar testi yeterli değil ve ekolojinin hala inşa edilmesi gerekiyor.

**İkincisi, AIGC'yi endüstriyel uygulamalara genişletmek, birden fazla büyük model gerektirebilir. Birden çok büyük modelin nasıl verimli bir şekilde entegre edileceği, standardizasyon ve veri birleştirmede zorluklara sahiptir.

Üçüncü, büyük modeller yoğun veri eğitimi gerektirir. Çin'in binlerce yıllık uygarlığı var, ancak zengin kültürel birikimlerin çoğu dijitalleştirilmemiş. Çince, ChatGPT eğitiminde kullanılan külliyatın %0,1'inden daha azını oluşturuyor. Ülkemdeki İnternet şirketlerinin e-ticaret, sosyal ağ ve arama gibi büyük miktarda ağ verisine sahip olmasına rağmen, veri türleri yeterince kapsamlı değil ve çevrimiçi bilginin güvenilirliği kesin olarak garanti edilmiyor. Eğitim için kullanılan hala çok fazla madencilik çalışması gerektiriyor.

Dördüncü, büyük model eğitiminin dayandığı GPU yongası, Nvidia'nın A100 yongası tarafından temsil ediliyor, ancak yonganın Çin'e ihraç edilmesi ABD tarafından kısıtlandı ve yerel GPU'ların performansının daha fazla test edilmesi gerekiyor. hala verimlilikte bir boşluk var.

Beşinci olarak, Çin'de yapay zeka araştırmasıyla uğraşan teknisyen sayısı az değil, ancak mimari tasarım yetenekleri ve AIGC veri eğitimi yönlendiricileri konusunda hâlâ bir yetenek eksikliği var. ChatGPT'nin ortaya çıkmasından önce, bazı insanlar Çin'deki yapay zeka alanındaki makale ve patent sayısının Amerika Birleşik Devletleri'ndekiyle karşılaştırılabilir olduğunu düşünüyordu.**ChatGPT'nin piyasaya sürülmesi, AIGC'de Çin ile ABD arasındaki uçurumu görmemizi sağladı. Karşılaştığımız zorlukları net bir şekilde anlamamız ve bunlara dikkat etmemiz, gerçek yenilikler yapmamız, zorlukları fırsata dönüştürmemiz ve Çin'in yeni AI yoluna katkısını sağlamamız gerekiyor. **

Çeşitli büyük ölçekli model eğitimlerini desteklemek için ulusal bilgi işlem gücü platformunun açılması önerilir

**T: ChatGPT şüphesiz çok büyük bir yenilik. Çin gelecekte buna benzer yenilikleri nasıl teşvik etmeli ve hangi alanlarda çalışma yapmalı? **

**Wu Hequan: **Yapay zekanın ayrımcıdan üretkene doğru gelişimi bir dönüm noktasıdır ve genel yapay zekanın yoluna girmeye başlamıştır. GPT-3'ten GPT-4'e kadar metin girişinden kısmi grafik girişine kadar gelişmiş yani grafikleri anlama becerisini arttırmıştır.Bu temelde derin öğrenme mimarisi ve genel bir model uygulamak uzak değildir. çok modlu veri girişini desteklemek için. Evet, ancak büyük modellerin görev genellemesi ve büyük modellerin talep üzerine çağrılmasının iyileştirilmesi hala daha fazla yatırım ve yenilik gerektiriyor. Grafikler ve videolar için etiketsiz ve denetimsiz veri öğrenimi, dilden çok daha zordur. ve metin girişi.

Şu anda genel yapay zekaya yönelik kritik bir gelişim dönemindeyiz.Ülkemiz için bu, birdirbir gelişim için nadir bir fırsat ve aynı zamanda ciddi bir zorluk. Bilgi işlem gücü, modeller ve veriler, ChatGPT'nin başarısı için gerekli koşullardır ve genel yapay zekanın başarısı için de temel faktörler olacaktır.Ayrıca, en yenilikçi ekoloji, mekanizma ve yetenekler anahtardır. Çin, toplam bilgi işlem gücü ölçeği açısından Amerika Birleşik Devletleri ile karşılaştırılabilir, ancak veri merkezleri genelinde bilgi işlem gücünün koordinasyonu hâlâ kurumsal zorluklarla karşı karşıyadır ve birçok akıllı bilgi işlem merkezinde bilgi işlem gücünün kullanım oranı ve verimliliği yüksek değildir. **Birçok birim bağımsız olarak büyük modelleri araştırır ve düşük düzeyde tekrarlama kaçınılmazdır Ulusal bilim ve teknoloji ve sanayi planlarının koordinasyonunda makul bir işbölümü ile ortak bir güç oluşturulması önerilir. Çeşitli büyük ölçekli model eğitimlerini desteklemek için ulusal laboratuvarın bilgi işlem gücü platformunun açılması önerilir. Örneğin, Pengcheng Cloud Brain'in bilgi işlem gücü toplam kapasitenin 3/4'üne ulaştı ve bu da ölçeği destekleyebilir. GPT-3 ile karşılaştırılabilir 200 milyar parametre Açık kaynak Çince önceden eğitilmiş dil büyük modeli. **Aynı zamanda, mevcut üst düzey GPU'ların bilgi işlem gücü kaynaklarını yoğunlaştırmak ve büyük ölçekli model veri eğitimi için gereken bilgi işlem gücünü sağlamak için bir bilgi işlem gücü ittifakı oluşturulması önerilir. **Şu anda, esas olarak Pengcheng Laboratuvarı tarafından kurulan "Çin Bilgi İşlem Güç Ağı (C2NET)", 20'den fazla büyük ölçekli akıllı bilgi işlem, süper bilgi işlem ve veri merkezine bağlanmıştır ve toplam heterojen bilgi işlem gücü 3EFlops'a ulaşmıştır. kendi geliştirdiği AI bilgi işlem gücü 1,8EFlops'u aşıyor. Ek olarak, sohbet robotlarının uygulanması, AIGC'yi eğitmenin ve test etmenin yalnızca sezgisel bir yoludur, ancak sohbet yalnızca gerekli değildir. mümkün olan en kısa sürede Hayatın her alanında uygulamada daha fazla yetenek geliştirin. **

Büyük model endüstri uygulamaları, hem endüstri teknolojisini hem de yapay zeka eğitimini anlayan kapsamlı yetenekler gerektirir

**T: Şimdiye kadar ChatGPT'nin chatbot'lar, metin oluşturma ve konuşma tanıma gibi bazı alanlarda uygulandığını gördük. Gelecekte fiziksel endüstride ve alanda bazı uygulama fırsatları olacak mı? Fiziksel endüstride büyük modellerin uygulanmasında hala hangi engellerle karşılaşılmaktadır? **

**Wu Hequan: **Mevcut ChatGPT sohbet robotlarına dayalı olarak, ilgili endüstri ve kurumsal bilgi eğitimini tamamladıktan sonra, müşterilere satış öncesi ve satış sonrası hizmetler sağlamak için çalışanların yerini alarak işletmelerde akıllı müşteri hizmetleri işini üstlenebilirler. Yazılım programlama gerektiren tasarım ve üretim sürecinde ChatGPT, programlama görevlerini tamamlamak ve yazılım hatalarını kontrol etmek için programcıların yerini alabilir. Tasarım ve üretim sürecinde gerekli olan belge ve materyallerin toplanması, tercümesi ve düzenlenmesini üstlenebilir. Mesleki eğitimden sonra AIGC benzeri büyük modeller, IC tasarımı için araç yazılımı gibi EDA yazılımı tasarlamak için kullanılabilir. Animasyon ve oyun şirketlerinde, AIGC benzeri büyük modellere göre eğitilen robotlar, komut dosyaları yazabilir, oyun komut dosyaları oluşturabilir ve komut istemlerine göre programlayabilir ve 3D animasyonların render işlemini tamamlayabilir.

Bununla birlikte, ChatGPT genel bir model değildir ve gerçek endüstrinin üretim sürecine doğrudan uygulanması zordur.Ancak, ChatGPT'yi eğitme ilkesine dayanabilir ve endüstrilerin ve işletmelerin bilgi grafiğini bilgi için kullanabilir. derinlemesine eğitim.Bunu tamamlamak için işletmelere özel büyük bir model geliştirmek mümkündür.İlk işin zorluğu, yalnızca kurumsal yükleme sürecine ve anahtar bağlantı teknolojisine aşina olmakla kalmayıp aynı zamanda yapay zeka büyük veri eğitiminde de uzman olan yeteneklere ihtiyaç duymaktır. teknoloji.

Sonuçlara odaklanmaktan sürece odaklanmaya kadar, teknolojinin ve yasal sistemin entegrasyonu, AIGC'nin muhakeme sürecine hakimdir

**T:ChatGPT ayrıca çeşitli hatalar yapacak ve bazı etik, güvenlik ve gizlilik sorunlarını da beraberinde getirecektir.Gelecekte büyük modelleri uygularken, kapsayıcı ve güvenli bir geliştirme ortamını nasıl oluşturabiliriz? **

**Wu Hequan:**Üretken yapay zekanın ortaya çıkışı, toplumun dikkatini yapay zekaya eşi görülmemiş bir yüksekliğe çekti. Bilimsel ve endüstriyel çevrelerde yapay zeka araştırmalarında bir artışı tetiklerken, birçok uzman yapay zekanın insanları ve insanları yok edeceğinden endişe ediyor. GPT-5 ile ilgili araştırmayı durdurma çağrısı. Bazı uzmanların endişeleri yersiz değil, çünkü ChatGPT robotlarının düşünme süreci şu anda opak. ChatGPT'yi insanlar yarattı, ancak şu anda insanlar onun muhakeme sürecini tam olarak kavrayamıyorlar. Bilinmeyen kontrol edilemez olacak ve robot anormalliği riskleri var. , etik kuralsızlık ve kontrol dışı davranış.

**Çözüm, yapay zeka araştırmalarını durdurmak değil, sonuçlara odaklanmak yerine AIGC araştırmasına odaklanmak, akıl yürütme sürecini tasarlamak ve yönlendirmek, böylece sonuçlar beklenebilir ve davranışlar kontrol edilebilir. **Gelecekte büyük modelin tanıtılması ve uygulanması, nitelikli bir kuruluş tarafından güvenli ve güvenilir bir değerlendirme gerektirir ve büyük modelin muhakeme süreci, denetimden sonra izlenebilir. Aynı zamanda, yanıltıcı AIGC eğitimini önlemek, AIGC eğitim konularını sorumlu tutmak ve yataklık ve yataklık suçlarını ciddi şekilde cezalandırmak için ilgili AI yönetişim yasalarını ve düzenlemelerini oluşturmak gerekir. Teknoloji ve hukuk sisteminin bütünleyiciliği sayesinde yapay zeka, insanoğlunun gerçek anlamda sadık bir yardımcısı haline geldi.