Wątek: Faster Whisper czyli nowa optymalizacja

Strona: 1 z 1

1 z 20: tomecki

https://github.com/guillaumekln/faster-whisper
Ma to działać szybciej na procku niż Whisper CPU, ale na GPU również ma być lepiej. Twórca tłumaczy to użyciem Ctranslate2. Nie wiem, nie znam się. Puściłem u siebie i na CPU i nie wiem czy jest szybszy od wiadomego exe, bo u mnie tamto nie działało, ale large robił się tak mniej więcej 0,5x oryginał. Aha, pamięci też ma mniej zajmować. Na GPU nie ruszyło, bo Could not load library cudnn_ops_infer64_8.dll. Error code 126
Please make sure cudnn_ops_infer64_8.dll is in your library path!
Okazuje się, że GPU execution requires the NVIDIA libraries cuBLAS 11.x and cuDNN 8.x to be installed on the system. Czyli, że chyba tego nie mam. Zobaczę czy uda się to zainstalować i jak to wpłynie na szybkość działania.

27.03.2023 23:26

2 z 20: zywek

żęby ściągnać cudnn musisz mieć konto nvidia deweloperskie, do któęgo chyba się nie dało utworzyć hasła, więc się potem nie zalogujesz, albo ja czegoś nie potrafię.

27.03.2023 23:36

3 z 20: tomecki

Nie miałem z tym problemów. Jest tam captha, ale taka, którą się da chociaż trzeba też konto zakładać.

28.03.2023 18:37

4 z 20: tomecki

Testuję i... robi wrażenie! Dwie godziny Tyfloprzeglądu na mobilnym rtx3070ti zrobił w 15 minut używając fp16 i chyba 13 minut via int8. Mowa o modelu large v2, który w oryginalnej implementacji u mnie w ogóle na gpu nie rusza, bo wymaga 10gb vramu. To nowe chce trochę ponad 3gb. mam 8, więc spoko. Wychodzi na to, że każdy produkowany obecnie rtx uciągnie wszystkie modele. Trzeba faktycznie ten cudnn instalować, ale procedura, pomijając samą rejestrację u Nvidia nieco podobna do Ffmpeg czyli skopiuj pliczki do odpowiednich lokalizacji i dodaj do path. Prawdopodobnie są delikatne różnice względem modeli od Openai i będę to jeszcze testował, ale wydaje mi się, że warto.

02.04.2023 01:09

5 z 20: midzi

U mnie Tomecki ten sam błąd który występował u Ciebie. Tylko, głupia sprawa. Jak pobrać cublasta? Bo z Cudnn nie mam problemów, ale o cublast poczytać mogę, ale gdzie to jest do pobrania?


03.04.2023 22:30

6 z 20: tomecki

Cublas, nie Cublast. Ja to miałem więc pewnie z czymś się zainstalowało. Aha, wymagany jest ponoć Cuda Toolkit 11x. Ludzie mogą mieć 10x i chyba nie pójdzie na tym.

04.04.2023 21:57

7 z 20: midzi

ciekawe, jak z cuda toolkit 12, bo to jest najnowsza wersja. Ja sobie do takiej zaktualizowałem i nadal nie działa, więc w wolnej chwili popróbuję eksperymentów z downgradem.

04.04.2023 22:27

8 z 20: tomecki

Tak w razie czego, po wpisaniu czegokolwiek do path musisz przeuruchomić wiersz poleceń jeśli takiego używasz, bo te zmienne środowiskowe ładuje na początku i ewentualne zmiany już go nie interesują.

04.04.2023 22:40

9 z 20: midzi

Tak tak, to wiem. A co Ty wpisywałeś do path? tylko lokalizację plików wykonywalnych cudnn, czy coś jeszcze?

04.04.2023 23:43

10 z 20: tomecki

Wpisałem co kazali czyli: w moim przypadku C:\Program Files\nvidia\cudnn\v8.8.1.3\bin oraz C:\Program Files\zlib123\dll_x64

06.04.2023 15:24

11 z 20: midzi

Ok, udało mi się, problem był z niewłaściwą wersją CUDA Toolkit i CUDNN, okazało się, że trzeba zainstalować 11.4, przynajmniej u mnie pomogło. Szczerze? nie zauważam u siebie jakiejś ekstremalnej poprawy, jest istotnie troszkę szybciej, ale nieznacznie. No chyba, że u Ciebie te efekty były po zastosowaniu konkretnego przełącznika?

07.04.2023 01:29

12 z 20: tomecki

Nie. U mnie efekt był natychmiastowy i u ciebie w sumie też powinien być, bo jeśli na moim mobilnym 3070ti large robi 8xraltime to u ciebie powinno być duuużo szybciej.

07.04.2023 11:07

13 z 20: midzi

Niestety, nie jest. Tzn, oczywiście, działa szybciej niż standardowy whisper, bo jakąś godzinę materiału robi w 6 minut, ale wykorzystuje jakieś 40% GPU.

07.04.2023 13:03

14 z 20: Pitef

Powiedzcie. Jak zainstalować to całe Cudnn?
Sygnatura? A co to jest i do czego :D
07.04.2023 13:40

15 z 20: djdenismusic

Ja to nierozumiem jednego. Czemu nikt mądry jeszcze nie zrobił do tego jakiegoś prostego gui? Osobiście wkurza mnie, że trzeba się tyle bawić. Gdyby nie to, to już dawno bym sobie zobaczył, czy ruszyło by na moim parchawym 1650 ti.
Albo przynajmniej na cpu.
ALe nie. Bo trzeba ludziom życie utrudniać poprzez klepanie w konsolce pierdyliarda komend.

07.04.2023 14:20

16 z 20: midzi

Metod jest kilka, najprostsza to chyba skopiowanie do odpowiednich katalogów z cuda toolkit tego, co siedzi w archiwum CUDNN, czyli bin do bin, lib do lib, include do include, nie trzeba się wtedy bawić w dodawanie elementów do patha

07.04.2023 19:41

17 z 20: midzi

@denis, ależ gui są, przegrzeb sobie sekcję show and tell z repo whispera, to coś pewnie znajdziesz.

07.04.2023 19:43

18 z 20: Pitef

nie wiem skąd wziąć ten cały CUDNN. Czy jest możliwość jakiegoś łatwego ściągnięcia tego? Na stronie nvidia jest jakaś captha, a jak już się to przejdzie, to niestety jest jakiś formularz rejestracji jako deweloper czy cuś.
Sygnatura? A co to jest i do czego :D
08.04.2023 20:24

19 z 20: midzi

Pobierz sobie:
http://dziwisz.net/cuda/
U mnie działa ta kombinacja CUDA Toolkit i CUDNN.

08.04.2023 20:45

20 z 20: Pitef

Dzięki, sprubuję.
Sygnatura? A co to jest i do czego :D
09.04.2023 18:39