Meta запускает Llama 3, модель искусственного интеллекта, способную генерировать изображения в реальном времени в WhatsApp

Сегодня (18) Мета анонсировала первые две модели следующего поколения Llama, Мета Лама 3, готовый к комплексному использованию. Эта новая версия включает предварительно обученные и точно настроенные языковые модели с параметрами 8B e 70B, способный удовлетворить широкий спектр потребностей. Следуя традиции поддержки сообщества открытого исходного кода, Meta сделала Llama 3 для сообщества. Это также означает, что Мета ИИИскусственный интеллект, присутствующий в социальных сетях компании, также будет улучшен, включая возможность создавать изображения в реальном времени в WhatsApp. Узнать больше!

Знакомьтесь, Лама 3

С Llama 3 компания намерена разрабатывать открытые модели, которые будут конкурировать с лучшими доступными в настоящее время моделями проприетарных языков, как в случае с GPT-4. По словам Meta, отзывы разработчиков были приоритетными для улучшения общего удобства использования Llama 3».поддержание приверженности лидерству в ответственном использовании и внедрении моделей большого языка (LLM)».

Следуя принципам открытый кодбыл принят подход к раннему и частому выпуску, позволяющий сообществу получать доступ к этим моделям и участвовать в их разработке в режиме реального времени. Текстовые шаблоны, представленные сегодня, являются лишь первыми в серии Llama 3. Видение будущего включает дальнейшее расширение Llama 3, чтобы обеспечить многоязычную и мультимодальную поддержку, расширить возможности контекста и постоянно улучшать производительность по всем ключевым аспектам. LLM, такие как рассуждения и кодирование.

В соответствии с дизайнерским подходом, Llama 3, Мета выбрала архитектуру-трансформер только для декодера, что является выбором по умолчанию. Llama 3 использует токенизацию с расширенным словарем 128 тысяч токенов, что приводит к более эффективному языковому кодированию и, следовательно, к повышению производительности модели. Чтобы оптимизировать эффективность вывода моделей Llama 3, компания внедрила технику внимания к кластерным запросам (GQA) двух разных размеров: 8B и 70B. Во время обучения используемые последовательности имеют длину 8.192 токена, а маска применяется, чтобы гарантировать, что самовнимание остается в границах документа.

Чтобы обучить лучшую языковую модель, важно иметь большой набор высококачественных обучающих данных. В соответствии с нашими принципами проектирования мы вложили значительные средства в данные предварительного обучения для Llama 3. Эта модель предварительно обучена на более 15 триллионов токенов, все из общедоступных источников. Наш набор обучающих данных в семь раз больше, чем тот, который использовался для Llama 2, и включает в себя в четыре раза больше кода.

В рамках подготовки к будущим многоязычным вариантам использования более 5% набора данных для предварительного обучения Llama 3 состоит из высококачественных данных на других языках, кроме английского. охватывающий более 30 языков. Однако Meta не рассчитывает достичь такого же уровня производительности на этих языках, как на английском.

Чтобы обеспечить обучение Llama 3 с использованием данных высочайшего качества, был разработан ряд конвейеров фильтрации данных. Эти трубопроводы включают использование эвристические фильтры, фильтры нежелательного контента, методы семантической дедупликации и классификаторы текста для оценки качества данных. Предыдущие версии Llama эффективны в качественная идентификация данных, затем Llama 2 использовалась для генерации обучающих данных для классификаторов качества текста, которые поступают в Llama 3.

Кроме того, Meta использовала эксперименты, чтобы определить наилучшие способы объединения данных из разных источников в окончательный набор данных для предварительного обучения. Эти эксперименты позволили нам выбрать комбинацию данных, которая обеспечивает хорошую работу Llama 3 в различных сценариях использования, включая пустяковые вопросы, STEM (наука, техника, инженерия и математика), кодификация, исторические знания, Среди других.

Сравнение с Ламой 2

новые модели Llama 3, с параметрами 8B и 70B, представляют собой прогресс по отношению к Llama 2, устанавливая новый стандарт для моделей LLM в таких масштабах. Мета утверждает, что благодаря улучшениям как в предварительном обучении, так и после обучения, предварительно обученные и точно настроенные модели в настоящее время являются бесспорными лидерами по шкале параметров 8B и 70B.

Оптимизация процедур после обучения привела к снижение количества ошибочных отказов, в дополнение к улучшению согласованности и увеличению разнообразия ответов моделей. Значительные улучшения были также замечены в таких функциях, как рассуждение, генерация кода и руководство на будущее, что сделало Llama 3 еще более адаптируемым и целенаправленным.

При разработке Llama 3 проводился анализ производительности модели как в стандартных тестах, так и в реальных сценариях. Чтобы обеспечить эффективную оптимизацию для практических приложений, был создан новый высококачественный пакет для оценки человеком. Этот набор состоит из 1.800 подсказок, охватывающих 12 основных случаев использования, включая просьба совета, мозговой штурм, сортировка, ответы на закрытые вопросы, кодирование, творческое письмо, извлечение, выдача себя за персонажей/персонажей, ответы на открытые вопросы, рассуждения, переписывание e resumo.

Чтобы избежать переоснащение (или переобучения, наиболее широко используемый термин) является случайной моделью в этом оценочном наборе, даже собственные группы моделирования Meta не имеют к нему доступа. На представленном графике показаны агрегированные результаты человеческих оценок в этих категориях и подсказки, сравнивающие производительность Llama 3 с моделями. Клод Sonnet, Мистраль Медиум e GPT-3.5.

Как Llama 3 улучшает мета-ИИ

В связи с прогрессом, достигнутым с Meta Llama 3, компания объявляет о международном расширении Meta AI — напоминая, что ресурс был эксклюзивным для США. Будучи сильным конкурентом существующих моделей, Meta AI теперь доступен большему количеству людей по всему миру, позволяя пользователям Facebook, Instagram, WhatsApp e Messenger наслаждайтесь этой бесплатной технологией для выполнения различных действий, создания контента и доступа к информации в режиме реального времени.

Meta AI был первоначально представлен во время конференции Connect в прошлом году, и теперь пользователи в таких странах, как Австралия, Канада, Гана, Ямайка, Малави, Новая Зеландия, Нигерия, Пакистан, Сингапур, Южная Африка, Уганда, Замбия. e Зимбабве также может воспользоваться его преимуществами. В рамках расширения Meta AI люди теперь также смогут получить к нему доступ на мета.ай, в веб-версии.

Планируете пойти куда-нибудь вечером с друзьями? Попросите Meta AI порекомендовать ресторан с потрясающим видом и даже веганские блюда. Вы организуете поездку на выходные? Попросите Meta AI найти шоу на субботний вечер. Вы готовитесь к тесту? Попросите Мета ИИ объяснить, как работают наследственные черты. Вы переезжаете в свою первую квартиру? Попросите Meta AI «представить» желаемую эстетику, и помощник создаст несколько вдохновляющих фотографий для вашей мебели. 

Мета, объясняющая, как ИИ может вам помочь

O Мета ИИ он также будет доступен непосредственно в функции поиска Facebook, Instagram, WhatsApp и Messenger. Это означает, что вы можете доступ к информации из Интернета в режиме реального времени без необходимости переключения между приложениями. Например, представьте, что вы планируете поездку с друзьями в групповом чате Messenger. С помощью поиска в Messenger вы можете попросить Meta AI на базе нового Llama 3 найти рейсы из пункта отправления в пункт назначения и обнаружить самые медленные выходные для посещения. И, конечно же, все это не выходя из приложения Messenger.

Люди также смогут получить доступ к Meta AI во время просмотра своей ленты Facebook. Если вы найдете публикацию, которая вас заинтересовала, вы можете запросить дополнительную информацию непосредственно у Meta AI из этой публикации, как и при обычном поиске в Google, только внутри публикации в Facebook.

Meta ускоряет процесс обработки изображений, позволяя людям создавать изображения в реальном времени из текста с помощью функции Imagine Meta AI. Сегодня началось внедрение этой функции в бета-версии, доступной в WhatsApp и веб-интерфейсе Meta AI в США. Когда они начнут печатать, люди мгновенно увидят изображение. Это изображение будет меняться с каждым вводом нескольких букв, позволяя вам наблюдать, как Meta AI воплощает вашу идею в жизнь в режиме реального времени.

По данным компании, эти сгенерированные изображения представляют собой улучшенная резкость и качество, предлагая лучшую возможность включения текста в изображения. Кроме того, он предоставит предложения по улучшению изображения, что позволит вам продолжить его совершенствование с начальной отправной точки. Когда вы найдете изображение, просто попросите Meta AI анимировать его, адаптировать к новому формату или даже преобразовать в GIF поделиться с друзьями.

Хотя эти обновления касаются Meta AI в Facebook, Instagram, WhatsApp, Messenger и в Интернете, важно помнить, что Meta AI также доступен в США для умных очков. Ray-Ban Мета, и вскоре в Мета-квест — Мета-устройства виртуальной реальности.

Прозрачность с открытым исходным кодом и безопасностью

Потенциал генеративной технологии искусственного интеллекта может действительно улучшить пользовательский опыт продуктов Meta и экосистемы в целом. Тем не менее, еще одним моментом, который необходимо решить, является обеспечение того, чтобы это было сделано в ответственный e безопасный. Поэтому компания принимает меры по оценке и снижению рисков на всех этапах разработки и внедрения ИИ. Это включает в себя интеграцию мер безопасности в процесс разработки и выпуска базовой модели Llama, а также поддержку экосистемы разработчиков для продвижения ответственных методов.

Поэтому в Llama 3 был принят системный подход, объединяющий гарантии на всех этапах разработки. Это означает, что особое внимание уделяется процессам обучения и настройки, а также предлагаются инструменты, которые позволяют разработчикам ответственно реализовывать модели.

Такой подход не только укрепляет усилия по созданию ответственного ИИ, но и отражает видение открытых инноваций, предоставляя разработчикам возможность безопасно настраивать свои продукты в интересах своих пользователей. Мета также имеет Руководство по ответственному использованию, важный источник для разработчиков, предоставляющий рекомендации по созданию продуктов.

Как мы объясняли при выпуске Llama 2, важно тщательно разрабатывать эти меры, поскольку некоторые из них могут быть эффективно реализованы только поставщиком модели, а другие эффективно работают только тогда, когда они реализованы разработчиком в рамках их конкретных задач. приложение.

Укрепляет компанию

С момента запуска Meta AI в прошлом году бренд постоянно совершенствовал свои возможности в нескольких областях:

• Реакция Meta AI на политические и социальные проблемы была усовершенствована, включая конкретные рекомендации по этим темам. Цель состоит в том, чтобы предложить различные точки зрения по теме, уважая при этом намерения пользователя, когда он задает конкретные вопросы.
• Включая конкретные инструкции и ответы, чтобы сделать его более полезным, используя модели вознаграждения для управления своим поведением.
• Производительность Meta AI оценивается с помощью тестов и испытаний с участием экспертов, устраняющих любые проблемы, выявленные в ходе текущего процесса.
• Защитные меры на уровне запросов и ответов, включая фильтры и классификаторы, обеспечивающие соответствие взаимодействия рекомендациям и безопасность.
• Инструменты обратной связи, позволяющие пользователям делиться своим опытом, что позволяет нам постоянно улучшать производительность Meta AI.

А ты, что ты думаешь об этой новости? Нам не терпится попасть в Бразилию, не так ли? Расскажите нам, что вы нашли в нас Комментировать!

См. также:

Google Фото бесплатно бесплатное редактирование изображений AI для всех пользователей.

С информацией от: Цель [1], [2] e [3].

Рассмотрено Главкон Витал от 18.