Meta Announces Llama 3 at Weights & Biases’ conference
AI技術の最新動向において、MetaのGenAI製品ディレクターであるJoe Spisak氏がWeights & BiasesのFully Connectedカンファレンスで行った魅力的なプレゼンテーションにおいて、最新のLlamaモデルファミリー、「Llama 3」が発表されました。
このLlama 3モデルは、会議中にリリースされた印象的な80億パラメータおよび700億パラメータモデルを含むものであり、また開発中である4000億パラメータモデルの一部も紹介されました。
Joeは、Llama 3のトレーニングプロセスとアライメントに関する洞察を共有しました。これにより、Llama 3はMMLU、GSM-K、HumanEvalベンチマークにおいてオープンウェイトカテゴリーで最高性能を誇るモデルとなりました。
Weights & Biasesは、Metaなどの顧客がAIの限界を押し広げることを誇りに思っています。torchtuneやWeights & Biasesを使用してLLMsを微調整する方法を学ぶためにはこちらから始めましょう：https://wandb.me/torchtune
このプレゼンテーションでは、以下のタイムスタンプも提供されています：
00:00 イントロダクション
03:05 MetaにおけるLlama概要
05:59 Meta Llama 3 の紹介
7:04 Llama 3 の進化：トレーニングとデータ規模
10:02 Llama 3 のパフォーマンス比較
14:01 モデル安全性とRed Teamingの強化
16:23 生態系拡大と将来展望
23:00 結び：Llamaモデルの将来計画とMeta Llama 3 のご利用案内
Meta Llamaや人工知能分野での最新トレンドや技術革新について深く掘り下げた記事です。AI技術への興味を持つ読者にとって興味深いポイントが多数含まれています。
why is mmlu still being used? it's broken
Thanks Joe Spisak
I fucking hate this guy. So full of himself and trying to be humble.
Summary: Safety and size. The end.
20:27 cyberattackers watching this: "wtf I love ChatGPT now"
What will be the SQLite of LLMs, with capability for local use? Llama?
How much did it cost to build, including hardware and engineering costs?
vin diesel!
There's a universe where Joseph Spisak is Mark Zuckerberg's brother. Oh, and nice presentation. Wonderful work they are doing at Meta AI.
My favorite fact from this is that the smarter the model, the more it violates rules. Just like us 🙂
Congratulations!
I’m glad they saw how useless they made codellama 😂, it was waaaay overly aligned
Thanks for this W&B
so all those supervisor/safeguard models are only utilized during training? i mean, once the weights of llama3 are out, there is no safeguard network between user and inference engine right?
a few hours go by…llama 3 no longer SOTA
I really enjoyed this. Thanks
I think he could have said "ridiculous" a bit more often