Comments

Log in with itch.io to leave a comment.

Thank you for all this powerfull softwares ! I have a problem with

LocalGPT Llama2-7b (w/o gui) [CUDA(tokenizing only, chat on cpu)/CPU] 

i launch the first .bat to ingest a document (a pdf in folder SOURCE_DOCUMENTS)., a message shows loading document... and that's all ! console command is not freezed but nothing seems to work, i wait some hours...

so i launch the last .bat to start localgpt, i have errors : 

"

CUDA extension not installed.

CUDA extension not installed.

2024-03-27 10:54:55,908 - INFO - run_localGPT.py:244 - Running on: cuda

2024-03-27 10:54:55,908 - INFO - run_localGPT.py:245 - Display Source Documents set to: False

2024-03-27 10:54:55,909 - INFO - run_localGPT.py:246 - Use history set to: False

2024-03-27 10:54:57,360 - INFO - SentenceTransformer.py:66 - Load pretrained SentenceTransformer: hkunlp/instructor-large

load INSTRUCTOR_Transformer

D:\LocalGPT\miniconda3\lib\site-packages\torch\_utils.py:776: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly.  To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage()

  return self.fget.__get__(instance, owner)()

max_seq_length  512

2024-03-27 10:55:00,011 - INFO - run_localGPT.py:132 - Loaded embeddings from hkunlp/instructor-large

2024-03-27 10:55:00,260 - INFO - run_localGPT.py:60 - Loading Model: TheBloke/Llama-2-7b-Chat-GGUF, on: cuda

2024-03-27 10:55:00,260 - INFO - run_localGPT.py:61 - This action can take a few minutes!

2024-03-27 10:55:00,262 - INFO - load_models.py:38 - Using Llamacpp for GGUF/GGML quantized models

Traceback (most recent call last):

  File "D:\LocalGPT\localGPT\run_localGPT.py", line 285, in <module>

    main()

  File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1157, in __call__

    return self.main(*args, **kwargs)

  File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1078, in main

    rv = self.invoke(ctx)

  File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 1434, in invoke

    return ctx.invoke(self.callback, **ctx.params)

  File "D:\LocalGPT\miniconda3\lib\site-packages\click\core.py", line 783, in invoke

    return __callback(*args, **kwargs)

  File "D:\LocalGPT\localGPT\run_localGPT.py", line 252, in main

    qa = retrieval_qa_pipline(device_type, use_history, promptTemplate_type=model_type)

  File "D:\LocalGPT\localGPT\run_localGPT.py", line 142, in retrieval_qa_pipline

    llm = load_model(device_type, model_id=MODEL_ID, model_basename=MODEL_BASENAME, LOGGING=logging)

  File "D:\LocalGPT\localGPT\run_localGPT.py", line 65, in load_model

    llm = load_quantized_model_gguf_ggml(model_id, model_basename, device_type, LOGGING)

  File "D:\LocalGPT\localGPT\load_models.py", line 56, in load_quantized_model_gguf_ggml

    return LlamaCpp(**kwargs)

  File "D:\LocalGPT\miniconda3\lib\site-packages\langchain\load\serializable.py", line 74, in __init__

    super().__init__(**kwargs)

  File "pydantic\main.py", line 341, in pydantic.main.BaseModel.__init__

pydantic.error_wrappers.ValidationError: 1 validation error for LlamaCpp

__root__

  Could not load Llama model from path: ./models\models--TheBloke--Llama-2-7b-Chat-GGUF\snapshots\191239b3e26b2882fb562ffccdd1cf0f65402adb\llama-2-7b-chat.Q4_K_M.gguf. Received error [WinError -1073741795] Windows Error 0xc000001d (type=value_error)

"

can you help me ? i have 3060 RTX and Xeon E5 with 64 GB RAM?

thank you for all.

Была такая программа Amuse, она с помощью комбинации технологий: DirectML и ONNX могла при использовании модели SD Turbo генерить картинки за 9-10 секунд даже на слабой бюджетной встройке АМД. Но потом у кодера случилась депрессия/весеннее обострение/или что-то ещё и он удалил Амьюз  с гитхаба. У меня на компе сохранился архив с этой полезной прогой, решил поделиться: https://www.dropbox.com/scl/fi/5w0eycv8c2gtdvgs8f1pm/Amuse_v1.3.0.zip?rlkey=8ptq...

Я потестил и вышло оч странно. На 1050 4 гига амьюз делает 512x512 20 шагов аж за 4 минуты на оннх модельке, на оливке ровно минута, ккогда как sdwebui-directml с --medvram флажком тратит чуть больше 40 секунд, при этом врама тратится плюс минус одинаково. На картофельной встройке интела корi3 оно вообще отказалось запускаться, всмысле рядом с моделькой были крестики эти. Я ведь наверное что-то не так делаю, да? Можете провести тесты со своим амьюзом и сдвебуидиректмлом на скорость и врам, а то я походу где-то чето не так сделал видимо. Кстати, оч странная механика подгружания моделек в гуй, я не могу загрузить кастомную модельку, мне пришлось грузить олив версию сд1.5, как совершенно другую, по моему чёт фигня какая-то (.

У меня встройка АМД Вега 7 на бюджетном ноутбучном проце Райзен 7 4700у, выпущенном 4 года тому назад. Важно использовать модель СД-Турбо, она рисует картинку 512х512 менее чем за 10 секунд. Неуверен, что смогу запустить что-либо в сд-веб-уи, так как браузерные гуи и памяти отъедают ого-го, и работают медленнее, и модели для них (не онниксовая СД-турбо, а стандартные) больше весят. В моём распоряжении всего-то 16 гб ДДР4. 11-я винда после всех оптимизаций минимум два гига отнимает. Поэтому я всё время нахожусь в поиске нейросетей для слабых пк. Запустил сейчас Амьюз, дал запрос "a cat in a park, sunglasses", и рисунок был готов за 8,87 секунды! Пруф (см. правый нижний угол скриншота): 

(2 edits)

Скрин настроек проги:

Скрин настроек модели:

SD-turbo это lcm, а у лцмов падает умность модельки и иногда консистентность и детализация на сложных для нейронки штуках, например людях и это не всегда хорошо, серьёзно. насчёт теста в сдвебуи. Смотри, попробуй скачать вот это, и закинь вот эту лору в папку с лорами (models/lora). При генерации используй эту лору (её можно с любыми модельками), кфг скейл поставь 1.5, 4 шага, семплер euler и замерь скорость генерации картинки на максимально рабочей конфигурации (сначала через просто start.bat, если не работает то start medvram и потом start lowvram). Я уверен, что скорость не будет сильно разниться, а возможностей у автоматика намного больше, плюс здесь используется стандартный формат моделек, который везде есть, а я нашёл в оливье только стандартный sd1.5

Потестил на низкой "видеопамяти". Встройка берёт себе память из ОЗУ. Итог: браузерное веб-уи + ядро питона + делибирэйт + лора + ос = 11,4-12 гб озу, т.е пробовать среднюю загрузку "видеопамяти", наверное, можно и не пытаться, так как она будет близка к  15,4 гб (максимально доступная память для 16 гигов физической памяти на двух плашках). Во время теста возник вопрос: какой вес должен быть у лоры, ну тот, который в промте в угловых скобках цифрой после двоеточия указывается? Картинка рисуется за тридцать секунд, но цвета фона едкие, кислотные, вырвиглазные, сам фон замылен, морда кота периодически бывает искорёжена.

Hello, is it possible to include Text-Generation-WebUI? And if so, could you show me the process of packaging the application? How do you do it?

If needed, send me an email to djschachthutte@gmail.com as I don't check itch.io often.

Thanks!

(+1)

It already has automatic installer(your folder with this webui will be portable), just download repo, run setup-windows.bat and it will be done. Text generation webui is supporting alot of backends, that make it modular and not too suitable to make portable of it. If you want something really "portable", use llama.cpp. Or ima just a lazy to do it, ya(. 

>could you show me the process of packaging the application?

I have a rough "toolkit" of it on huggingface (link) with also rough instructions in it. In short the process consists of:

-cloning repo from github or huggingface demo (yes you can clone and run it locally)

-pip installing all repository requirements (open miniconda3/scripts/start.bat in cmd, this will open miniconda)

-then little rewriting .bat file to run exact .py file that will be launch something you want and adding some things that repo need to be set, such as environment variables or smth. This bat file is stolen from various other .bats (basically from one that was in automatic1111 portable) and sets your path(folder where you can execute .exes just by typing its name, not needed to type its full path), user folder, appdata folder, python folder, huggingface cache folder and other folders that needs to be placed deeply in your computer as paths inside the miniconda3 folder, that makes it portable. If you open each .bat, i created rough description of what each section does.

-testing it and packing in .7z

You can theoretically make a portable of any program, that is have dependeces of some unix hell packages, like this one or this. If your program is written and compiled for windows, in 95% it just dont needs an installer lol, you can just pack your skyrim folder and here it is, portable skyrim.

Доброго времени суток. Тут вышел новый питоновский гуи, который существенно ускоряет генерацию картинок. На мощном процессоре картинка 512х512 создаётся всего за 10 секунд. Ссылка: rupeshs/fastsdcpu: Fast stable diffusion CPU (github.com) И всё было бы хорошо, если бы не эта ошибка:  Поэтому вся надежда на Вас, уважаемый gz1k.

чёт почувствовал себя доном карлеоне :3. Ща попробую собрать. Я кстати, не пробовал делать портабельки микромамбой, вместо этого берётся просто миниконда, она оказывается сама по себе тоже портабельная https://huggingface.co/datasets/4eJIoBek/PAIT-Downloads/resolve/main/%D0%BF%D1%8...

лол, у него в батнике прям написано micromamba activate "%~dp0env\envs\fastsd-env" && python "%~dp0main.py"

т.е. ему надо чёрным по белому микромамба, хотя по логике там любой питон подойдёт

АААА бля это не просто сд, а дистилированный в consistency model чтобы мало степов делать, охуеть

правда результаты отличаются от ванильного сд в худшую сторону

latent consistency model

просто дримшейпер


но да, lcm действительно оч быстрый, всего 23 секунды на моём цпу против 5 минут на обычной pytorch имплементации в автоматике

(1 edit) (+1)

готово https://huggingface.co/datasets/4eJIoBek/PAIT-Downloads/blob/main/fastsdcpu%5Bex...

но здесь работает только openvino, тк она быстрее раза в три и на большинстве новых цпу поддерживается. А ещё эта портабелька почему-то не может без интернета, я пытался, но отвязать её не получилось.

(1 edit)

Ура, заработало! Спасибо! Чуть позже попрошу автора программы, чтобы он сделал оффлайн-версию. Будем надеяться, что согласится. 

Разработчик добавил оффлайн-режим.

Whenever I try to run Shap-E, it always just opens in the browser and loads forever? I have tried CUDA, and CPU. What am I doing wrong? 🤔

(I have a GTX 1050Ti and a i5-3550.)

(3 edits)

seems like variables HF_DATASETS_OFFLINE, TRANSFORMERS_OFFLINE and DIFFUSERS_OFFLINE=1 for some strange reason brokes loading of exact this one webui lol, i removed them and replaced with another variable that makes webui works offline, so you can redownload it. let me know if it really works.

You also can make your portable work without downloading these 6gb twice, just open miniconda3/scripts/activate.bat in console and type 

conda env config vars set HF_DATASETS_OFFLINE=0 TRANSFORMERS_OFFLINE=0 DIFFUSERS_OFFLINE=0 GRADIO_ANALYTICS_ENABLED=0

Okay I needed to open the activate.bat in cmd and type in what you said correct? It said that to save changes, I needed to reactivate my environment, so I closed the cmd, and restarted my PC, but the loading screen is still endless. Did I do something wrong? 😅

No, you did everything correct... Idk, maybe if you just redownload it (Link) everything will work correct.

I will try, but my internet is very slow. (Like 50kbps kind of slow.) So it may take me awhile, but I'll let you know if it fixes the issue.

I finally redownloaded it, and everything works as it should! Thanks so much for the help! 👍

lol ok 🤗

Ссылка на архив.орг больше не открывает список рар-ов с нейросетями.

Они как я понял чёто временно сломали и профили почему-то не отображаются у всех юзеров. Ну, это особо не проблема, архив это не основной хост для загрузок

Профили на архиве снова заработали

Синтезатор речи для более чем 1100 языков: fairseq/examples/mms at main · facebookresearch/fairseq · GitHub Все языки скачивать нет смысла, но сам движок наверняка можно заставить работать локально.

(1 edit)

Без вебгуя пользоваться такой штукой будет немного боль, есть таковой только для транскрибации(и я не уверен, работает ли он)https://huggingface.co/spaces/GreenRaptor/MMS , а для ттс надо писать батники походу(либо делать всё через юпитер, благо тут блокнотик естьhttps://colab.research.google.com/github/facebookresearch/fairseq/blob/main/exam...) Я эту штуку пытался запустить неделю назад, но она так и не заработала, щас там много чего поисправляли, так что как-нибудь обязательно попробую запустить.

(1 edit)

я знал изначально, что STT у ммса был такой себе, а ттс только сейчас потыкал, он вот такой:

это на уровне говорилки, камон

думаю связка bark + voicefixer + whisper будет весить меньше и результат выдаст лучше

Появился вебгуй https://huggingface.co/spaces/mms-meta/MMS, можно потыкать, но опять же я оч сомневаюсь, что надо делать портабельку

Это уникальный ттс, там множество редких языков, определённо надо делать!))

Короче на следующей неделе думаю запилю

Новый ИИ, меняющий фотографии: Zeqiang-Lai/DragGAN: Online Demo and Implementation of DragGAN - "Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold" (DragGAN 全功能实现,在线Demo,本地部署试用,代码、模型已全部开源,支持Windows, macOS, Linux) (github.com) Возможно его в архив упаковать?

О, кто-то код запилил, спасибо огромное, сегодня вечером попробую запустить и упаковать

(2 edits)

запускается и работает и на куде и на цпу, но на цпу отказывается импортировать свою картинку, я ишшью конечно написал на гитхабе, но хз, сколько времени уйдёт в целом на то, чтобы эта фича норм заработала. на куде надо 6 гб врама минимум, так что если есть столько, то вот временный билд: https://dropmefiles.com/LvErf  Двигание сгенерированных картинок из латента на цпу работает, если что, плюс тут ещё пока нет модельки с imagenet (широкий охват тем картинок, а не только лица/коты) и я её не тестил.

Спасибо. Попробую на цпу запустить. У меня нет видеокарты, только встройка.

С ДропМиФайлз почему-то не скачивается.

(1 edit)

а, это я смешарик, не загрузил, я нашёл другой вебгуй, на котором всё работает https://huggingface.co/spaces/wuutiing2/DragGAN_pytorch и оказалось, что кастомные картинки оно кодирует не оч, не думаю, что в таком случае драгган кому-нибудь нужен. Если что, то это стайлган-штука, которая изменяет НЕ фотографии, а значения в латенте стайлгана, т.е. сгенерированные стайлганом картинки

Здравствуйте. Большое спасибо за Вашу сборку полезных нейросетей. Подскажите, пожалуйста: как установить Nllb 600m Translator на Windows?

там немного муторно и без графического интерфейса, хотя он есть (https://huggingface.co/spaces/Geonmo/nllb-translation-demo), если надо, то мне не сложно сделать архивчик с гуем

-надо поставить миниконду, устанавливать всем пользователям или делать основным питоном не обязательно

-потом надо переместить содержимое папки miniconda3 в свою миниконду с заменой

- потом переместить .cache в папку пользователя (там модельки)

-потом зайти в anaconda prompt (miniconda3)

-cd *здесь путь до папки, где лежит inference.ipynb, можно просто перетащить папку в окно консоли*

- python -m notebook

-откроется окошко браузера с юпайтером. надо открыть этот самый inference.ipynb и там запускаем все ячейки и всё должно заработать

Но вообще лучше я на днях переделаю с граф. интерфейсом

Благодарю за ответ. Стало немного понятнее (читал английскую инструкцию в txt-файле из архива с нллб, но опыта работы с питоном у меня нет, поэтому полностью разобраться в ней не получилось). Про онлайн-демку на хагингфейс знаю, я написал её админу с просьбой помочь мне разобраться в том, как установить оффлайн версию, но он лишь посоветовал мне изучать питон. Также на гитхабе нашёл страницу авторов нллб и там в разделе решения проблем задал тот же вопрос, ответа пока не последовало. Оставалось только продолжать гуглить, что я и сделал и в итоге нашёл вот этот проект: https://github.com/thammegowda/nllb-serve Сделал всё по приведённой там инструкции и переводчик наконец-то заработал в браузере (открывается на 6060 порте локалхоста), причём особенно радует то, что он может работать оффлайн (отключал вай-фай, чтобы проверить). Не знаю, будете ли Вы делать гуи-сборку нллб, используя установочный пакет с той странички, которую я дал выше, или, возможно, Вы знаете какой-то другой гуи-дистрибутив, но, думаю, люди будут Вам благодарны, потому что с миникондой и юпитером действительно как-то заморочно получается, имхо.

(2 edits)

короче я немного подумал и сделал батник, чтобы запускать всякие вебгуйки на градио однокнопочно, теперь nllb, point-e, freevc, track-anything(ну, почти) и shap-e запускаются просто с тыканья по  батнику.

(2 edits)

Архив с Shap-e вроде как старый остался, от 6-го мая. Спасибо, что упростили установку, благодарствую. Раз уж Вы делаете доброе дело, то, может быть, имеет смысл собрать в одном месте и другие нейросети, которые можно установить на ПК? Gpt4all, Alpaca Electron, Faraday.dev, Freedomgpt - это только то, что касается бесед с ии, да и то это далеко неполный список. А ведь наверняка существует немало похожих программ и по работе с изображениями, звуком, видео, программным кодом, синтезом речи и т.д. Простым пользователям бывает сложно найти их в огромном массиве англоязычной информации по данной теме, приходится тратить уйму времени пока среди кучи онлайн версий удаётся-таки найти сборку для автономной работы на цпу.

(2 edits)

Все альпакогуи основываются на консольном экзешнике llama.cpp, а значит все используют формат моделей ggml. Koboldcpp имхо самое удобное сейчас, что есть для ggml, плюс он мало весит. Из современных альпак самая лучшая сейчас это wizardLM (есть даже uncensored версия, которая никогда не откажет в ответе и вроде такая же умная), но она галлюцинирует иногда. И ещё есть vicuna 1.1, которая галлюцинирует поменьше (хотя мб это я сам себе галлюцинирую и у обоих всё збс, но визард плохо умеет в мультиязычность). Викуна с koboldcpp в загрузках есть, wizardlm с тем же гуем будет скоро, а остальной шлак, делающий то же самое, не думаю, что будет полезен. Для видео/картинок то же самое примерно получается, вот например есть vladmandic/automatic, automatic1111 и invokeai, они в целом выполняют одну функцию, но не выкладывать же теперь их все три, так что лучше будет меньше хлама и всё норм работающее (кроме point-e, он не оч)

post on something else, mega is shit

you can also download tools from archive.org without limits https://archive.org/details/@takeonme1?tab=uploads

thank you so much

Thank you so much for this! I couldn't get AUTOMATIC1111 to install correctly for the life of me! This saved me so much time! Really made my week! Thanks a ton! 😊