Yksi kone, monta mallia
Yhden mallin ajaminen omalla koneella on helppo osa. Vaikeaa on ajaa useaa mallia usealle ihmiselle: kaksi asiakasta törmää samaan palvelimeen, kuvatyö vie muistin jota kielimalli juuri piti, jokainen moottori haluaa oman ympäristönsä, eikä mitään tästä ole rakennettu jaettavaksi.
llamanager on se kerros, joka saa yhden koneen käyttäytymään kuin palvelu. Se asentaa moottorit, lataa mallit, valvoo prosesseja ja asettaa yhden jonon niiden kaikkien eteen. Teksti, kuva, video ja puhe saapuvat samaan osoitteeseen, kulkevat samasta ovesta ja näkyvät samassa näkymässä.
Rakensimme sen omaan työhömme ja ajamme sitä joka päivä. Se on yksityinen ohjelmisto, jota tarjoamme tarjouksella: asennamme sen laitteistollesi, valitsemme työhön sopivat mallit ja olemme tukena sen jälkeenkin. Se, minkä tuotat, pysyy sillä koneella joka sen tuotti.
- Neljä perhettäteksti, kuva, video, puhe
- Yksi osoitemuodoissa joita työkalusi jo puhuvat
- Oma koneesimacOS, Linux, Windows
Neljä perhettä, yksi jono
Jokainen perhe asentuu samalta sivulta ja palvellaan saman jonon läpi.
Tekstin tuotto
Kielimallit osoitteen takana, jota työkalusi jo puhuvat. Nimeä pyynnössä toinen malli, niin jono vaihtaa sen tilalle pudottamatta kesken olevaa työtä, tai pidä useampaa mallia lämpimänä rinnakkain, kukin omassa paikassaan, jolloin jokainen pyyntö löytää pyytämänsä mallin ilman odotusta.
Kuvien tuotto
Useita kuvamoottoreita, jotka asentuvat näkymästä sen sijaan että ne kasattaisiin käsin. Tuota kuva kehotteesta tai viitekuvista muokkaukseen, sommitteluun ja muunnelmiin. Jokainen tulos tallentuu levylle galleriaan yhdessä niiden asetusten kanssa, jotka sen tekivät.
Videon tuotto
Klippejä kehotteesta, aloituskuvasta tai kourallisesta viitekuvia. Ennen kuin mitään ladataan, llamanager laskee mitä klippi maksaa näyttömuistina ja sanoo suoraan jos se ei mahdu, ja minkä kokoinen mahtuisi, sen sijaan että työ kaatuisi puolivälissä.
Äänen tuotto
Äänellä on paikkansa samassa jonossa kuin kaikella muulla. Tuotetuissa klipeissä voi olla kuvan rinnalla syntyvä ääniraita, ja äänityö asennetaan, jonotetaan ja palvellaan samalla tavalla kuin muutkin perheet, samasta näkymästä.
Puheen litterointi
Puhe tekstiksi, jokaisen sanan ajoituksella ja varmuudella, tiedostosta tai suoraan mikrofonista. Litterointi pitää työntekijän lämpimänä ja palvelee useaa pyyntöä yhtä aikaa muistibudjetin sisällä, joten se ajaa ladatun kielimallin rinnalla sen sijaan että ajaisi sen pois.
Rakennettu jaettavaksi
Jono ja prioriteetit
Jokainen pyyntö liittyy samaan jonoon merkittynä sillä asiakkaalla jolta se tuli ja sillä prioriteetilla joka asiakkaalle on annettu. Pitkä yön yli jatkuva erä ei voi tukkia editoria johon juuri kirjoitat, ja työn peruminen pysäyttää itse työn, oli se jonossa tai jo käynnissä.
Käyttäjät ja avaimet
Jokaisella ihmisellä ja työkalulla on oma avaimensa, joka säilytetään vain tiivisteenä. Prioriteetti asetetaan avainkohtaisesti, ja minkä tahansa avaimen voi kytkeä pois ja takaisin päälle, joten asiakkaan voi pysäköidä viikoksi poistamatta mitään. Tapahtumaloki kertoo kuka pyysi mitäkin.
Moottorit ja mallit asennettuina
Moottorit asentuvat napista. llamanager rakentaa kullekin sen tarvitseman ympäristön, pitää ne erillään niin etteivät ne riko toisiaan, ja näyttää paljonko levytilaa kuluu ja mitä loki kertoo matkan varrella. Avoimin painoin julkaistut mallit ladataan julkisista lähteistä samalla tavalla, kokonaan tai osittain, edistyminen sivulla näkyvissä.
Yksi näytönohjain jaettuna
Perheet, jotka muuten taistelisivat samasta muistista, vuorottelevat oletuksena ja jakavat muistin silloin kun tilaa on, sinun asettamasi käytännön mukaan. Litterointi ajaa budjetin sisällä, joka jättää kielimallin paikalleen. Kaatunut moottori käynnistetään uudelleen, katon kanssa, jottei rikkinäinen malli jää pyörimään loputtomiin.
Yksi osoite kaikelle
Kaikki vastaa yhdestä osoitteesta muodoissa, joita yleiset kirjastot jo puhuvat, joten olemassa oleva koodi osoitetaan omaan koneeseen yhtä riviä vaihtamalla. Avustajat ja agentit voivat myös ohjata konetta, eivät vain jutella mallin kanssa: listata malleja, seurata muistia, ladata malleja, tuottaa kuvaa, litteroida.
Vilkaisu puhelimesta
Näkymä on oikea puhelinnäkymä, ei kutistettu työpöytä. Oman verkkosi yli näet jonon liikkeen, ladatun mallin ja sen mikä kaatui poissa ollessasi, ilman päätettä.
Missä se ajetaan
- Käyttöjärjestelmät
- macOS, Linux ja Windows. Se voi käynnistyä koneen mukana tai kirjautumisen yhteydessä, ja sitä hallitaan samalla tavalla kaikilla kolmella.
- Näytönohjaimet
- Applen, NVIDIAn, AMD:n ja Intelin kortit tunnistetaan ja niiden muisti raportoidaan reaaliajassa. Ilman tuettua korttia se ajaa suorittimella, hitaammin.
- Yhteydet
- Se kuuntelee vain itse konetta, kunnes toisin sanot. Avaa se omaan verkkoosi, niin näkymä ja osoite seuraavat puhelimeen tai toiselle koneelle.
- Mitä lähtee ulos
- Kehotteet, kuvat, klipit ja nauhoitteet pysyvät siellä missä ne tehtiin. Ainoa liikenne, jonka llamanager itse aloittaa, on pyytämiesi moottoreiden ja mallien lataaminen ja sen tarkistaminen, onko uudempi versio olemassa.
Usein kysyttyä
Mikä llamanager on?
llamanager on ohjelmistomme mallien ajamiseen omistamallasi koneella. Se asentaa moottorit, lataa mallit ja palvelee teksti-, kuva-, video- ja puhetyöt yhden jonon, yhden osoitteen ja yhden näkymän kautta, kullekin käyttäjälle oma avain ja oma prioriteetti.
Lähteekö datamme koneelta?
Se, minkä tuotat, pysyy sillä koneella joka sen tuotti. Kehotteet, kuvat, klipit ja nauhoitteet kirjoitetaan koneen omalle levylle eikä niitä lähetetä mihinkään. Ainoa ulospäin suuntautuva liikenne, jonka llamanager aloittaa, on pyytämiesi moottoreiden ja mallien lataaminen sekä sen tarkistaminen, onko siitä uudempi versio.
Millaista laitteistoa se vaatii?
Näytönohjaimella varustettu kone on mukavin tapaus, ja mitä enemmän kortilla on muistia, sitä suurempia malleja ja pidempiä klippejä se kantaa. Kovaa alarajaa ei ole: llamanager lukee mitä koneessa on, ehdottaa siihen sopivia mallikokoja ja kieltäytyy työstä joka ei mahtuisi, kertoen minkä kokoinen mahtuisi. Kerro meille koneesi, niin kerromme mitä se ajaa.
Voiko useampi ihminen jakaa yhden koneen?
Kyllä, juuri sitä varten se on olemassa. Jokaisella ihmisellä ja työkalulla on oma avain ja oma prioriteetti, kaikki päätyy samaan jonoon, eikä yhden asiakkaan pitkä työ voi näännyttää toista. Minkä tahansa avaimen voi kytkeä pois poistamatta sitä.
Toimiiko se jo käyttämiemme työkalujen kanssa?
Kyllä. Se vastaa muodoissa, joita yleiset kirjastot jo puhuvat, joten pilvipalvelua vasten kirjoitettu koodi tarvitsee yleensä vain uuden osoitteen ja avaimen. Koodiavustajat ja agentit voivat lisäksi ohjata itse konetta: ladata malleja, seurata muistia, tuottaa kuvaa, litteroida.
Miten llamanagerin saa käyttöön?
llamanager on yksityinen ohjelmisto, eikä sitä myydä ladattavana. Asennamme sen laitteistollesi, määritämme sen sitä käyttäville ihmisille ja työkaluille, valitsemme työhön sopivat mallit ja olemme tukena sen jälkeenkin. Jokainen käyttöönotto hinnoitellaan tarjouksella: kerro, mitä haluat ajaa ja millä koneella.
Aja se omalla koneellasi
Kerro mitä haluat tuottaa, litteroida tai pitää omissa käsissäsi, ja millainen laitteisto sinulla on. Me kerromme mitä llamanager saa siitä irti ja mitä se maksaa.
- Mitä haluat ajaa: keskustelua, kuvia, videota, litterointia
- Millainen laitteisto sinulla on tai aiot hankkia
- Montako ihmistä ja työkalua sitä jakaa
Avaa sähköpostin, jossa nämä kohdat ovat valmiina täytettäviksi.