Új hozzászólás Aktív témák
-
haxiboy
veterán
A futtatásnál a probléma leginkább a szükséges RAM miatt probléma, de az izmosabb eszközökön a LLaMA2-7B -t már lehet futtatni vállalható sebességgel bár ehhez is szükséges kb 16gb ram
De a Fine tuneolásához egy 7B modellnek...háát mobil eszközökön ez nem mostanában lesz lehetséges.
Bár ez az önálló személyisége van dolgot nem igazán lehet értelmezni egy LLM esetében. Csak azt "tudja" egy model amin fel lett tanítva.
Persze szép és jó látni amikor egy öntanuló modellt ráengednek az internetre, mint anno a Microsoft a sajátját a Twitterre. Körülbelül 1 napig futott mert rasszista adatokkal etették.Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
Abu85
HÁZIGAZDA
Sok paraméteres neuronháló futtatását gyorsítja. Konkrétan gyorsabban hajtja végre a mátrixszorzást, ami a vezető műveletnek számít.
Ugyanezt csinálják egyébként az online szolgáltatások is. A probléma ott van, hogy ha ennyire növekszik az igény erre a munkamenetre, akkor muszáj valamiféle hibrid irányba elvinni, mert nem lehet elég szervert kiépíteni mindenkinek. Tehát optimális az lenne, ha némelyik folyamat lokálisan futna, némelyik pedig távolról.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
-
Komplikato
veterán
Van brutális modell, ami meglepően jó, csak nem mindenkinek van a gépében 300GB+ vram és 1TB+ memória. De elfutni elfut lokálisan. Saját betanításhoz sok mindenre elég lenne egy 7B vagy 13B modell is, csak betanításhoz még több vram kell.
"Figyelj arra, aki keresi az igazságot és őrizkedj attól, aki hirdeti: megtalálta." - (André Gide)
-
Abu85
HÁZIGAZDA
Bármi, amihez van elég memóriád lokálisan, illetve elég gyors, mátrixszorzást alkalmazó részegységed. A lényeg annyi, hogy ne a szerverinfrastruktúrát terheld olyan feladattal, ami lokálisan is lefuttatható. A szervert csak akkor terheld le, ha a feladat lokálisan, reális időn belül megvalósíthatatlan. Ezzel tehermentesíted az adatközpontokat, így nem kell annyira sokat építeni, amivel kisebb lesz a fenntartási költség, stb.
[ Szerkesztve ]
Senki sem dől be a hivatalos szóvivőnek, de mindenki hisz egy meg nem nevezett forrásnak.
Új hozzászólás Aktív témák
Állásajánlatok
Cég: Promenade Publishing House Kft.
Város: Budapest
Cég: Ozeki Kft.
Város: Debrecen