Файнтюнинг на примере Llama 3 + QLoRA. ПРОЩЕ и ЭФФЕКТИВНЕЕ чем когда-либо
AI技術は現代社会においてますます重要性を増しており、その魅力は多岐にわたります。まず第一に、AI技術は私たちの生活を効率化し、便利さを提供しています。例えば、AIアシスタントや自動運転車などが日常的に使用されるようになりました。
また、AI技術はビジネス分野でも革新をもたらしており、データ解析や予測分析などの領域で劇的な進歩が見られています。これにより企業はより的確な意思決定を行うことができるようになり、競争力を高めることが可能となっています。
さらに、AI技術は医療分野や環境保護活動などの社会問題解決にも貢献しています。例えば、医療画像解析や気候変動モデリングなどでAI技術の活用が進んでおり、人類全体の福祉向上に寄与しています。
このように、AI技術は様々な分野で革新的かつ有益な成果をもたらしており、ますますその重要性が高まっていると言えます。そのため、今後もAI技術の発展と活用が進むことが期待されています。
Вышла новая часть – Файнтюнинг и квантизация Llama-3-70B https://youtu.be/ML4M1UQHxbU
Я обучил самую большую пока Ламу на мультиязычном датасете, и она начала следовать инструкциям на русском.
А также я показал процесс квантизации модели с сохранением в формат gguf.
Я вот только не понял зачем ваш спонсор предлагает покупать 3090 за потинник в месяц?
Это очень интересно спасибо
Вот это контент) Только я почти ничего не понимаю. Например, я хочу обучить, что б она кодила. Что нужно? Какие то примеры из гит хаб, или простые функции?
а что можно обучить на локальном компьютере? chatgpt предлагает использовать Bert для обучение своего ассистента. Можете ли подобное разобрать?
как сделать чтобы задавать вопросы голосом и получать ответы голосом ?
Привет! Спасибо за видео! Чем вы генерировали голос?
Здравствуйте! Подскажите пожалуйста, какая лучше модель llm подойдет для задачи вытаскивания из текста названия книги, автора, года и издательства. Текст подается в промте, но он с ошибками и неточностями, так как распознается по фото книги моделью ocr)
привет,
hi, it's not clear. This is probably an advertisement for those in the know.нихера непонятно. Наверно это реклама или что?
спасибо. это нужное видео
Привет 👋 было бы круто если бы она в конце ответа не как обычно говорила бы чем ещё помочь а сначала бы предложила свой собственный вопрос для продления темы которая рассказывала только что, что бы вопрос её был на столько интересным от которого не возможно было-бы удержатся и сказать ей , да я хочу знать ответ на этот вопрос , тем самым она могла бы затягивать общение все глубже и обширней в той теме которая началась из начально !)
Да это интересно. Спасибо за Вашу работу.
Добрый день а вашу модель можно скачать и потестить на мак ос в ml studio?
Всё интересно, квантизация тоже, но также интересует дообучение модели и практические рекомендации по сбору хорошего датасета для русского языка
Да, было бы интересно. Так же было бы интересно стоимости на подобные обучения. и цены на развертывание обученных моделей. к примеру Llama3 8B и Llama3 70B в какую сумму влетит если развернуть на данном сервисе?
Заранее спасибо!
Можешь показать, как сделать автономный, эффективный переводчик (чем больше языков, тем лучше, но для начала русский- английский хватило бы)? Какую модель лучше использовать и как?
Я экспериментировал с Llama 3 7b Q8 на Llama.cpp, так и она и Gemma Q8 болеют словоблудием и после правильного ответа начинают рассказывать всякую дичь или повторяют одно и то же. Иногда даже дополняют мой вопрос своими домыслами и на это уже пытаются ответить, но эта проблема исчезает в интерактивном режиме. И так же эта проблема не актуальна в GPT4ALL. Я думаю, что это можно как-то устранить с помощью правильного подбора параметров –temp и –чего-то-там-repeat
Первое предложение автору. Если тебе не хватает денег на те или иные эксперименты, то предлагаю делать краудфандинг. Можно прям тут на ютубе – типа хотите посмотреть на файн-тюнинг и квантизацию llama 3 70b – скидывайте бабосы
Да. Очень интересно! Продолжи пожалуйста по квантизацию и создание gguf
Мужик спасибо. Давно хотел что-то подобное 🔥
да хотим увидеть квантилизацию
Интересно, продолжай в том же духе 👍
Квантизацию модели с последующей конвертацией в GGUF поддерживаю.
Было бы интересно получить инструкцию по дообучения на своих данных. Например у меня есть excel таблица с данными, скормили эту таблицу LLM, а она после отвечает по таблице. Такое возможно?
Хорошее видео, спасибо! Интересно увидеть продолжение видео.
Спасибо, очень интересно. Квантизацию поддерживаю. Интересно познакомиться поближе с библиотекой.
Добрый день! Было бы очень интересно как вы конвертируете модель в формат для TensorRT и запускаете её, собственно на TensorRT. Особенно интересно было бы измерить прирост в скорости.
Так, дуже цікаво!
Интересно запустить инференс на чем-нибудь вроде Raspberry pi
Квантизацию модели с последующей конвертацией в GGUF поддерживаю!
Да , интересно
Квантизация очень интересна! И не сколько для мобильных устройств, сколько запуск тяжёлых моделей (70-30B) на 24Gb видеокартах, Tesla P40, например. Запуск на нескольких видеокартах, оптимизация под разные архитектуры…
Спасибо за видео. Да, интерересно было бы продолжение с получением gguf
Отличное видео, спасибо!Можете подсказать какие ещё есть популярные датасеты для файнтюнинга кроме Саманты и их предназначение
Как обучить whisper? Нигде не могу найти видео на эту тему. Мне постоянно необходимо расшифровывать аудиозаписи в текст. Необученный whisper плохо работает с русским языком. Хотелось бы допилить модель, но не знаю как.
Было бы интересно про метрики и сравнение качества моделей, а то на глаз такое себе. Вдруг при обучении она позабыла все.
Сколько ресурсов ест в процессе обучения, и сколько когда модель готова . Есть метрики?
Честно говоря я ожидал большего. В начале видоса был радостный возглас: "наконец-то мы получили модель сопоставимую по качеству с GPT-4"!!! Речь шла конечно о Llama-3-70b И потом автор с покер-фейсом просто берёт для своего фантюнинга модель Llama-3-8b-4bit. То есть не только модель в на порядок меньше так ещё и квантизованую по самое нибалуйся. Я ожидал увидеть процесс обучения 70b квантизованой до 8 бит модели на A100 GPU камне и понять примерно сколько времени это может занять. И дообучать чему-то полезному например вопросам и ответам на русском языке. В этом видосе кстати сам процесс обучения скипнут хотя это самое интересное можно было показать минуту начала и минуту конца. Просто так скипать весь процесс это не правильно потому что ради этого процесса все эти подготовительные танцы с бубном и проделывались.
Интересно! И ещё полную подготовку датасета для обучения.
А если обучить на своём датасете по определённому домену, насколько хорошо она будет отвечать по этому домену без подгрузки контекста
Квантизацию модели с последующей конвертацией в GGUF поддерживаю.
Было бы ещё Здорово эту модель залить на хостинг через фласк или Джанго чтобы она там отвечала на вопросы,(конечно в закрытом режиме для безопасности) также было бы интересно посмотреть как реализовывается Telegram бот с её помощью, конечно после того как квантизация будет сделана. Думаю что это были бы очень ценные ролики для многих.
Спасибо большое за ролик. Было бы здорово увидеть ролик про квантизацию и разбор Вашей библиотеки.