Új hozzászólás Aktív témák
-
ddekany
veterán
De mit csináló AI-hoz kell az a 40 TOPS? Mert belátható időn belül elérhető notebook/desktop gép nagyságrendileg kevés pl. egy értelmesebb LLM futtatására. Kapásból a memóra méret és szávszélesség sehol nincs meg hozz. És jelenleg legtöbb területen az AI még erősen korlátos intelligenciája (megbízhatatlansága) a szűk keresztmetszet, és úgy, hogy azok nagy modellek, értsd, párszáz GB RAM kell neki, meg egy "fióknyi" monstrum GPU sem árt, ha nem akarsz megőszülni.
[ Szerkesztve ]
-
ddekany
veterán
válasz Döglött Róka #49 üzenetére
Csak persze ezek a már módjával használható copilot funkciók mögött akkora LLM van, aminek belátható időn belül nagyságrendileg kevés marad egy saját gép. Meg az MS stb. nyilván azt preferálja bevétel szempontjából, ha ez előfizetéses szolgáltatás. Plusz nyilván nem engedi ki a szerver teremből a csúcs AI modelljeit, amit csilliárdokért tréningezett, és alapvetően befolyásolja a versenyképességét.
-
ddekany
veterán
Ahol én vagyok, ott közel sem csak programozókat érinti (azaz nem csak Github Copilot), ha sikeresen túllépnek a pilot fázison. Legkülönfélébb pénzügyi papírmunka felgyorsítására próbálják bevezetni. Meg hogy a hegyomlásnyi belső dokumentációról (mindenféle policy, stb.) lehessen kérdezni (RAG). És nem csak bérelnek, hanem veszik a H100-okat, hogy totál házon belül is fusson model, meg fine tuning. Jelentős nagyon-nagy vállalatról van szó, gondolom a többi is ezt csinálja. 1-2 év múlva lehet ebből pislogás szinte minden "ülős" munkakörben ha bejön.
-
ddekany
veterán
A kulcsszavak: vector database, RAG.
"Win eleve tudjon normálisan keresni a gépen?"
Nekem van is ilyen összeesküvéselméletem, hogy azért akarja kliens oldalra ezt az MS, mert néhány ilyen alap dolgot 30 éve képtelenek megugrani, és talán majd akkor az AI megoldja... Pl. a vezérlőpultos vergődés gordiuszi csomót átvágják azzal, hogy betesznek egy pici LLM-et, ami beállítja, amit emberi nyelven kérsz. (Mondjuk itt is erősen kérdéses, hogy mennyire lehet az pici... 7GB-t evő LLM már meglehetősen pici, pláne ha megbízhatóra akarod, de kicsit fájó beröffenteni, mikor mondod, hogy "Hé, Windows, a másik mikrofont használjuk!")
[ Szerkesztve ]
Új hozzászólás Aktív témák
- OpenWRT topic
- Forza sorozat (Horizon/Motorsport)
- Futás, futópályák
- Autós topik látogatók beszélgetős, offolós topikja
- iPhone topik
- Politika
- D1Rect: Nagy "hülyétkapokazapróktól" topik
- Bambu Lab X1/X1C, P1P-P1S és A1 mini tulajok
- Windows 10
- Debrecen és környéke adok-veszek-beszélgetek
- További aktív témák...
Állásajánlatok
Cég: Promenade Publishing House Kft.
Város: Budapest
Cég: Alpha Laptopszerviz Kft.
Város: Pécs