Интервью Tengyan | Академик У Хэцюань: преимущества, проблемы и инновационные пути развития крупномасштабной модели Китая

Источник изображения: сгенерировано инструментом Unbounded AI

Когда ChatGPT вызвал глобальное помешательство, модель искусственного интеллекта, стоящая за ним, внезапно выросла. Все хотят знать, какие есть размеры и нормы оценки уровня крупной модели?

Запуск ChatGPT позволяет нам увидеть разрыв между Китаем и США в AIGC Итак, каков текущий статус развития большой модели Китая? С какими возможностями и проблемами столкнется в будущем крупномасштабная разработка моделей в Китае?

В настоящее время мы находимся в критическом периоде для развития общего искусственного интеллекта.Сталкиваясь с тенденцией развития независимых исследований больших моделей различными учреждениями, как повысить эффективность вычислительной мощности и эффективно избежать дублирования на низком уровне?

Некоторые представители индустрии опасаются, что ИИ уничтожит людей. Как мы можем предотвратить проблемы до того, как они возникнут, и реализовать предсказуемые результаты и контролируемое поведение ИИ?

С различными вопросами об AIGC **Исследовательский институт Tencent эксклюзивно взял интервью у У Хэцюаня, академика Китайской инженерной академии и авторитетного эксперта в области коммуникаций в моей стране. **

【Интервьюер】

Ниу Фулиан Старший научный сотрудник, Исследовательский институт Tencent

Ву Чуньлин Старший научный сотрудник исследовательского института Tencent

Ван Цян Старший эксперт Исследовательского института Tencent

(далее Т)

Общий масштаб существующих вычислительных мощностей Китая по сравнению с США: разрыв есть, но небольшой

**T: Некоторые люди говорят, что разработка крупномасштабных моделей в Китае отстает от зарубежных стран на 1-2 года.Что вы думаете о текущем развитии крупномасштабных моделей в Китае? **

**Ву Хэцюань: **Китай начал разработку крупномасштабных моделей позже, чем США.После выхода ChatGPT многие отечественные подразделения заявили, что они разрабатывают генеративные крупномасштабные модели.В настоящее время существует лишь несколько компаний, таких как Microsoft и Google в Соединенных Штатах.По сравнению с крупномасштабными исследованиями моделей, в моей стране больше подразделений, которые разрабатывают крупномасштабные модели, чем в Соединенных Штатах, но большое количество объектов исследования не означает, что Китай имеет высокий уровень исследований и разработок в крупномасштабных моделях. Говорят, что количество параметров крупной отечественной модели достигает 1,75 трлн, превосходя ГПТ-4, но сообщений о ее применении нет. **Хотя некоторые китайские компании заявляют о запуске чат-ботов, подобных ChatGPT, в настоящее время они не так хороши, как ChatGPT, с точки зрения многоязычной поддержки, и все еще существует разрыв в скорости ответа с точки зрения возможностей диалога на китайском языке. **

** Сейчас мы замечаем только ChatGPT, который нацелен на генеративные задачи и в основном завершает создание языка, такого как общение в чате и письмо. Модель BERT от Google уделяет больше внимания суждениям и принятию решений, делая упор на понимание языка, например, ответы на вопросы и извлечение семантических отношений. задача, технология модели BERT также заслуживает нашего внимания. **Оценка уровня крупномасштабных моделей должна быть многомерной, полноты, рациональности, простоты использования, скорости отклика, стоимости, энергоэффективности и т.д. **Вообще говоря, разрыв между разработками крупномасштабных моделей в моей стране и зарубежных странах составляет 1-2 года. Основания пока неясны, и делать такой вывод сейчас не имеет смысла. **

Китайские компании имеют естественные преимущества перед иностранными компаниями в получении китайского корпуса и понимании китайской культуры.** Китай имеет наиболее полные производственные категории и имеет благоприятные условия для обучения AIGC для реальных отраслей. С точки зрения вычислительной мощности у Китая уже есть хороший фундамент. **Согласно отчету OpenAI, вычислительная мощность, необходимая для обучения модели GPT3, достигает 3,64 EFlops/день, что эквивалентно 3-4 Pengcheng Cloud Brain II (Pengcheng Cloud Brain II составляет 1Eflops, то есть десятки миллиардов вычислений с плавающей запятой в секунду). **По данным на конец 2022 г., на долю США приходится 36 % мировых вычислительных мощностей, а на Китай — 31 %.Среди них Китай значительно выше, чем США (по данным на конце 2021 года масштабы интеллектуальных вычислений в США составляют 15% от общего масштаба глобальных интеллектуальных вычислений, а на Китай — 26%. Моя страна — это не только крупная интернет-компания со значительной вычислительной мощностью, но и национальные лаборатории и лаборатории, поддерживаемые некоторыми городскими властями, также обладают крупными вычислительными ресурсами.Можно сказать, что Китай также может обеспечить поддержку вычислительной мощности, необходимую для обучения больших моделей. ** Понятно, что Pengcheng Lab разрабатывает Pengcheng Cloud Brain III, который имеет вычислительную мощность 16 EFlops, что в три раза выше, чем у GPT-3. Ожидается, что он будет стоить 6 миллиардов юаней и будет продолжать обеспечивать мощные вычисления. мощность для обучения искусственному интеллекту сильная поддержка.

Научно-исследовательские и опытно-конструкторские работы AIGC в Китае: необходимо признать разрыв, сосредоточиться на проблемах и внедрять инновации

**T: В дополнение к нашему хорошему фундаменту в области вычислительной мощности, какие проблемы, по вашему мнению, существуют при создании крупномасштабной модели в Китае? **

Ву Хэцюань: Одной вычислительной мощности недостаточно. Мы по-прежнему сталкиваемся со многими проблемами в следующих аспектах:

**Прежде всего, основой большой модели является фреймворк глубокого обучения. Tensorflow и PyTorch в США уже много лет культивируют экологию фреймворка глубокого обучения. Хотя отечественные компании также самостоятельно разработали фреймворк глубокого обучения, рыночного теста недостаточно, а экологию еще нужно построить.

**Во-вторых, для расширения AIGC до промышленных приложений может потребоваться более одной большой модели.Как эффективно интегрировать несколько больших моделей, возникают проблемы со стандартизацией и объединением данных.

В-третьих, большие модели требуют обучения массивным данным. В Китае тысячи лет цивилизации, но большая часть богатого культурного наследия не была оцифрована. Китайский язык составляет менее 0,1% корпуса, используемого при обучении ChatGPT. Хотя интернет-компании моей страны имеют большой объем сетевых данных, таких как электронная коммерция, социальные сети и поиск, соответствующие типы данных недостаточно полны, и достоверность онлайн-знаний строго не гарантируется. используется для обучения, по-прежнему требует много горных работ.

В-четвертых, чип графического процессора, на котором основано обучение большой модели, представлен чипом Nvidia A100, но этот чип был запрещен к экспорту в Китай Соединенными Штатами, а производительность отечественных графических процессоров требует дальнейшего тестирования. все еще отставание в эффективности.

В-пятых, в Китае немало техников, занимающихся исследованиями в области ИИ, но по-прежнему ощущается нехватка талантов с возможностями проектирования архитектуры и суфлерами по обучению данным AIGC. До появления ChatGPT некоторые считали, что количество документов и патентов в области ИИ в Китае сопоставимо с количеством в США.**Запуск ChatGPT заставил нас увидеть разрыв между Китаем и США в AIGC. мы должны четко понимать и обращать внимание на проблемы, с которыми мы сталкиваемся, внедрять настоящие инновации, превращать проблемы в возможности и вносить вклад Китая в новый этап развития ИИ. **

Рекомендуется открыть национальную платформу вычислительной мощности для поддержки различных крупномасштабных моделей обучения

**T: ChatGPT, несомненно, является огромной инновацией. Как Китай должен поощрять подобные инновации в будущем и какие аспекты работы он должен выполнять? **

**Ву Хэцюань: **Развитие искусственного интеллекта от дискриминативного к генеративному является важной вехой, и он начал выходить на путь общего искусственного интеллекта. От GPT-3 до GPT-4 он развился от ввода текста до частичного графического ввода, то есть увеличил способность понимать графику На этой основе недалеко реализовать архитектуру глубокого обучения и общую модель для поддержки мультимодального ввода данных. Да, но задача обобщения больших моделей и уточнение вызова больших моделей по требованию по-прежнему требуют больших инвестиций и инноваций. Немаркированное и неконтролируемое обучение данных для графики и видео намного сложнее, чем язык и ввод текста.

Сейчас мы находимся в критическом периоде развития общего искусственного интеллекта.Для нашей страны это редкая возможность для скачкообразного развития, а также серьезный вызов. Вычислительная мощность, модели и данные являются необходимыми условиями для успеха ChatGPT, а также будут важными факторами для успеха общего искусственного интеллекта.Кроме того, самая инновационная экология, механизм и таланты являются ключевыми. Китай сравним с США по общему масштабу вычислительной мощности, но координация вычислительной мощности между центрами обработки данных по-прежнему сталкивается с институциональными проблемами, а коэффициент использования и эффективность вычислительной мощности во многих интеллектуальных вычислительных центрах невысоки. **Многие подразделения исследуют большие модели самостоятельно, и дублирование на низком уровне неизбежно.Рекомендуется сформировать совместные силы с разумным разделением труда при координации национальных научно-технических и промышленных планов. Рекомендуется открыть платформу вычислительной мощности национальной лаборатории для поддержки обучения различных крупномасштабных моделей. Например, вычислительная мощность Pengcheng Cloud Brain достигла 3/4 от общей мощности, которая может поддерживать масштаб 200 миллиардов параметров, сопоставимых с GPT-3. Большая модель китайского предварительно обученного языка с открытым исходным кодом. ** В то же время рекомендуется сформировать альянс вычислительных мощностей, чтобы сконцентрировать ресурсы вычислительной мощности существующих высокопроизводительных графических процессоров и обеспечить вычислительную мощность, необходимую для обучения данных крупномасштабной модели. ** В настоящее время «Китайская сеть вычислительной мощности (C2NET)», в основном построенная лабораторией Pengcheng, подключена к более чем 20 крупномасштабным интеллектуальным вычислениям, супервычислениям и центрам обработки данных, а совокупная разнородная вычислительная мощность достигла 3EFlops. Их вычислительная мощность искусственного интеллекта собственной разработки превышает 1,8 EFlops. Кроме того, применение чат-ботов является лишь интуитивным способом обучения и тестирования AIGC, но общение в чате не просто необходимо, необходимо разработать различные модели для отраслевых приложений на основе больших моделей, чтобы сделать большие модели эффективными в отрасли. как можно скорее Развивайте больше талантов во всех сферах жизни. **

Для отраслевых приложений крупных моделей требуются разносторонние таланты, которые разбираются как в отраслевых технологиях, так и в обучении ИИ

**T: До сих пор мы видели применение ChatGPT в некоторых областях, таких как чат-боты, генерация текста и распознавание речи. Будут ли какие-то возможности применения в физической промышленности и области в будущем? Какие препятствия все еще встречаются при применении больших моделей в физической промышленности? **

**Ву Хецюань: **Исходя из существующих чат-ботов ChatGPT, после дополнительного обучения соответствующим отраслевым и корпоративным знаниям они могут выполнять интеллектуальную работу по обслуживанию клиентов на предприятиях, заменяя работников для предоставления клиентам предпродажного и послепродажного обслуживания. В процессе проектирования и производства, требующем программирования программного обеспечения, ChatGPT может заменить программистов для выполнения задач программирования и проверки программных ошибок. Может взять на себя сбор, перевод и размещение документов и материалов, необходимых в процессе проектирования и производства. После профессионального обучения большие модели, подобные AIGC, можно использовать для разработки программного обеспечения EDA, такого как инструментальное программное обеспечение для проектирования ИС. В анимационных и игровых компаниях роботы, обученные на основе больших моделей, подобных AIGC, могут писать сценарии, создавать игровые сценарии и программировать их в соответствии с подсказками, а также выполнять рендеринг 3D-анимации.

Однако ChatGPT не является общей моделью, и ее сложно напрямую применить к производственному процессу реальной отрасли, однако ее можно построить по принципу обучения ChatGPT и использовать для обучения граф знаний отраслей и предприятий. углубленное обучение. Для этого можно разработать большую модель, предназначенную для предприятий. Задача первой работы состоит в том, чтобы нуждаться в талантах, которые не только знакомы с корпоративным процессом загрузки и технологией ключевых ссылок, но также осваивают обучение работе с большими данными искусственного интеллекта. технологии.

От сосредоточения внимания на результатах до сосредоточения внимания на процессе, интеграция технологий и правовой системы доминирует в процессе рассуждений AIGC

**T:ChatGPT также совершит различные ошибки, а также вызовет некоторые проблемы с этическими нормами, безопасностью и конфиденциальностью.Как при применении больших моделей в будущем мы можем создать инклюзивную и безопасную среду разработки? **

У Хэцюань: Появление генеративного ИИ подняло внимание общества к искусственному интеллекту на беспрецедентную высоту. Вызвав бум исследований ИИ в научных и промышленных кругах, многие эксперты опасаются, что искусственный интеллект уничтожит людей и призыв к остановке исследований по GPT-5. Опасения некоторых экспертов небезосновательны, потому что процесс мышления роботов ChatGPT в настоящее время непрозрачен.ЧатGPT создали люди, но в настоящее время люди не полностью понимают процесс его мышления.Непознаваемое будет неуправляемым, и существуют риски аномалий роботов. , этическая аномия и неконтролируемое поведение.

**Решение состоит не в том, чтобы прекратить исследования в области искусственного интеллекта, а в том, чтобы сосредоточиться на исследованиях AIGC вместо того, чтобы сосредотачиваться на результатах, разработать и возглавить процесс рассуждений, чтобы можно было ожидать результатов и контролировать поведение. ** Продвижение и применение большой модели в будущем требует безопасной и надежной оценки квалифицированным учреждением, а процесс рассуждений большой модели можно проследить после проверки. В то же время необходимо принять соответствующие законы и положения об управлении ИИ, чтобы предотвратить вводящее в заблуждение обучение AIGC, привлекать к ответственности участников обучения AIGC и строго наказывать за пособничество и подстрекательство к преступлениям. Благодаря взаимодополняемости технологий и правовой системы искусственный интеллект стал поистине верным помощником человека.