Чи могли б оновити додаток, а також підсказати як використовувати квантонізовану версію?

[olehbozhok]

Чи могли б оновити додаток, а також підсказати як використовувати квантонізовану версію?

Намагався запустити, сходу не запустилось, після встановлення залежностей з файлу залежностей, видавало помилку, Бо вже не сумісне з бібліотекою.
Після того, як використовуючи ChatGPT з горем пополам запустив, то свопнуло на 80 гб. Чи могли б підсказати, як запустити так, щоб влазило в 10 гб пам'яті?

[olehbozhok]

Завчасно дякую!

[robinhad]

@olehbozhok, доброго дня, тут демо нової моделі, можете взяти код як запустити звідти:
https://huggingface.co/spaces/robinhad/UAlpaca

В цьому файлі є приклад як запустити:
https://huggingface.co/spaces/robinhad/UAlpaca/blob/main/app.py