Стан та виклики розвитку Web3 AI

Акції NVIDIA досягли нового рекорду, прогрес мультимодальних моделей ще більше укріпив технологічну перевагу Web2 AI. Від семантичного вирівнювання до візуального розуміння, від високорозмірних вбудувань до злиття ознак, складні моделі інтегрують різні способи вираження з небаченою раніше швидкістю, створюючи все більш закриту AI вершину. Тим часом, криптовалюти та акції, пов'язані з AI, також пережили малий бичачий ринок.

Однак ця хвиля, здається, не має нічого спільного з сферою криптовалют. Нещодавні спроби Web3 AI в напрямку агентів виявилися помилковими. Спроба зібрати багатофункціональну модульну систему в стилі Web2 за допомогою децентралізованої структури насправді є невідповідністю технологій і мислення. У сьогоднішніх умовах, коли модулі мають сильну зв'язність, розподіл ознак нестабільний, а вимоги до обчислювальної потужності зосереджені, багатофункціональні модульні системи складно закріпитися в Web3.

Майбутнє Web3 AI не повинно обмежуватися імітацією, а має приймати стратегічні обходи. Від семантичного вирівнювання у високорозмірному просторі до інформаційного вузького місця в механізмі уваги та вирівнювання ознак у гетерогенних обчисленнях, Web3 AI потрібно використовувати тактичну програму "село оточує місто".

Виклики, з якими стикається Web3 AI

Важко досягти семантичної відповідності

Web3 AI базується на спрощеній багатосторонній моделі, що ускладнює реалізацію високорозмірного вбудованого простору. Це призводить до того, що семантика не може бути узгоджена, а продуктивність є низькою. Високорозмірний вбудований простір є надзвичайно важливим для розуміння та порівняння різних модальних сигналів, але протокол Web3 Agent має труднощі з його реалізацією.

Більшість Web3 Agent є простими обгортками готових API, які не мають єдиного центрального вбудованого простору та механізму уваги між модулями. Це призводить до того, що інформація не може взаємодіяти між модулями з різних точок зору та на різних рівнях, а лише йде лінійним потоком, демонструючи єдину функцію, не здатну сформувати загальну замкнуту оптимізацію.

Дизайн механізму уваги обмежений

Низькодимензійний простір обмежує точне проектування механізму уваги. Моделі з високим рівнем мультимодальності потребують точного механізму уваги, а це вимагає високодимензійного простору як основи.

Web3 AI на основі модульного дизайну важко реалізувати єдине управління увагою. Відсутність спільного векторного подання, паралельного зважування та здатності до агрегації унеможливлює створення "єдиного управління увагою", подібного до Transformer.

Злиття ознак зупиняється на поверхневому рівні

Дискретна модульна складання призводить до того, що злиття ознак залишається на поверхневій статичній стадії. Web3 AI часто використовує практику дискретного модульного складання, що позначається відсутністю єдиної навчальної мети та міжмодульного потоку градієнтів.

В порівнянні зі складними методами злиття ознак Web2 AI, стратегії злиття Web3 AI занадто прості, щоб захопити глибокі та складні зв'язки між модальностями.

Бар'єри та напрямки розвитку в галузі ШІ

Технічні бар'єри в галузі штучного інтелекту поглиблюються, але болючі точки входу Web3 AI ще не повністю проявилися. Web2 AI інвестував величезні кошти в розробку мультимодальних систем, створивши потужні галузеві бар'єри.

Розвиток Web3 AI повинен слідувати тактиці "сільська обробка міст". Слід проводити маломасштабні випробування в крайових сценаріях, забезпечивши надійність основи, після чого дочекатися появи основних сценаріїв. Відповідні напрямки включають легкі структури, прості для паралельного виконання та заохочувані завдання, такі як мікронастройка LoRA, післятренувальні завдання для вирівнювання поведінки, краудсорсингове навчання та маркування даних, навчання малих базових моделей, а також спільне навчання на крайових пристроях.

Перш ніж вигоди Web2 AI зникнуть, Web3 AI потрібно обережно вибирати точки входу, зосереджуючись на проектах, які можуть відштовхуватися від краю, поєднувати різні аспекти, просуватися по колу та бути гнучкими. Лише так можна знайти своє місце у майбутній конкуренції AI.