Qafas NVIDIA NeMo

Speċifikazzjonijiet

• Isem tal-Prodott: Qafas NVIDIA NeMo
• Pjattaformi Affettwati: Windows, Linux, macOS
• Verżjonijiet Affettwati: Il-verżjonijiet kollha qabel l-24
• Vulnerabbiltà tas-Sigurtà: CVE-2025-23360
• Punteġġ Bażi tal-Valutazzjoni tar-Riskju: 7.1 (CVSS v3.1)

Istruzzjonijiet għall-Użu tal-Prodott

Installazzjoni tal-Aġġornament tas-Sigurtà:
Biex tipproteġi s-sistema tiegħek, segwi dawn il-passi:

1. Niżżel l-aħħar rilaxx mill-paġna NeMo-Framework-Launcher Releases fuq GitHub.
2. Mur fuq is-Sigurtà tal-Prodott NVIDIA għal aktar informazzjoni.

Dettalji tal-Aġġornament tas-Sigurtà:
L-aġġornament tas-sigurtà jindirizza vulnerabbiltà fil-Qafas NVIDIA NeMo li jista 'jwassal għal eżekuzzjoni ta' kodiċi u data tampering.

Aġġornament tas-Softwer:
Jekk qed tuża rilaxx tal-fergħa preċedenti, huwa rakkomandat li taġġorna għall-aħħar rilaxx tal-fergħa biex tindirizza l-kwistjoni tas-sigurtà.

Fuqview

NVIDIA NeMo Framework huwa qafas AI ġenerattiv skalabbli u cloud-native mibni għal riċerkaturi u żviluppaturi li jaħdmu fuq Mudelli Kbar tal-Lingwa, Multimodali, u Diskors AI (eż Rikonoxximent Awtomatiku tad-Diskors u Test-to-Speech). Jippermetti lill-utenti joħolqu, jippersonalizzaw, u jużaw mudelli AI ġenerattivi ġodda billi jisfruttaw kodiċi eżistenti u punti ta 'kontroll tal-mudell imħarrġa minn qabel.

Setup Istruzzjonijiet: Installa NeMo Framework

Mudelli Lingwi Kbar u Mudelli Multimodali
Il-Qafas NeMo jipprovdi appoġġ minn tarf sa tarf għall-iżvilupp ta’ Mudelli ta’ Lingwi Kbar (LLMs) u Mudelli Multimodali (MMs). Jipprovdi l-flessibilità biex jintuża fuq il-post, f'ċentru tad-dejta, jew mal-fornitur tal-cloud preferut tiegħek. Jappoġġja wkoll l-eżekuzzjoni fuq ambjenti ppermettiet SLURM jew Kubernetes.

Kurazzjoni tad-Data
Kuratur NeMo [1] hija librerija Python li tinkludi sett ta 'moduli għall-estrazzjoni tad-data u l-ġenerazzjoni ta' data sintetika. Dawn huma skalabbli u ottimizzati għall-GPUs, li jagħmluhom ideali għall-kura tad-dejta tal-lingwa naturali biex jitħarrġu jew jiġu rfinati l-LLMs. B'NeMo Curator, tista 'tiġbed b'mod effiċjenti test ta' kwalità għolja minn materja prima estensiva web sorsi tad-dejta.

Taħriġ u Personalizzazzjoni

NeMo Qafas jipprovdi għodod għal taħriġ effiċjenti u l-adattament ta ' LLMs u Mudelli Multimodali. Jinkludi konfigurazzjonijiet awtomatiċi għall-konfigurazzjoni tal-cluster tal-kompjuters, it-tniżżil tad-dejta, u l-iperparametri tal-mudell, li jistgħu jiġu aġġustati biex jitħarrġu fuq settijiet ta 'dejta u mudelli ġodda. Minbarra t-taħriġ minn qabel, NeMo jappoġġa tekniki kemm ta 'Supervised Fine-Tuning (SFT) kif ukoll ta' Parameter Efficient Fine-Tuning (PEFT) bħal LoRA, Ptuning, u aktar.

Żewġ għażliet huma disponibbli biex tniedi t-taħriġ fin-NeMo - bl-użu tal-interface tal-API NeMo 2.0 jew b'NeMo Run.

• B'NeMo Run (Rakkomandat): NeMo Run jipprovdi interface biex tissimplifika l-konfigurazzjoni, l-eżekuzzjoni u l-ġestjoni ta 'esperimenti f'diversi ambjenti ta' komputazzjoni. Dan jinkludi t-tnedija ta' impjiegi fuq l-istazzjon tax-xogħol tiegħek lokalment jew fuq raggruppamenti kbar - kemm SLURM attivat kif ukoll Kubernetes f'ambjent cloud.
  • Pre-taħriġ u PEFT Quickstart b'NeMo Run
• Bl-użu tal-API NeMo 2.0: Dan il-metodu jaħdem tajjeb b'setup sempliċi li jinvolvi mudelli żgħar, jew jekk inti interessat li tikteb id-dataloader tad-dwana tiegħek stess, il-loops tat-taħriġ, jew tibdel is-saffi tal-mudelli. Jagħtik aktar flessibilità u kontroll fuq il-konfigurazzjonijiet, u jagħmilha faċli li testendi u tippersonalizza l-konfigurazzjonijiet b'mod programmatiku.
  • Training Quickstart b'NeMo 2.0 API
  • Migrazzjoni minn NeMo 1.0 għal NeMo 2.0 API

Allinjament

• NeMo-Aligner [1] hija sett ta' għodda skalabbli għal allinjament effiċjenti tal-mudelli. Is-sett ta’ għodod għandu appoġġ għal algoritmi ta’ allinjament ta’ mudelli ta’ l-aktar avvanzata bħal SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF), u ħafna aktar. Dawn l-algoritmi jippermettu lill-utenti jallinjaw il-mudelli tal-lingwa biex ikunu aktar sikuri, li ma jagħmlux ħsara, u ta’ għajnuna.
• Il-punti ta 'kontroll NeMo-Aligner kollha huma kompatibbli ma' l-ekosistema NeMo, u jippermettu aktar adattament u skjerament ta 'inferenza.

Fluss tax-xogħol pass pass tat-tliet fażijiet kollha ta' RLHF fuq mudell żgħir GPT-2B:

• Taħriġ SFT
• Ippremja t-taħriġ tal-mudell
• Taħriġ PPO

Barra minn hekk, aħna nuru appoġġ għal diversi metodi ġodda ta' allinjament oħra:

• DPO: algoritmu ta 'allinjament ħafif meta mqabbel ma' RLHF b'funzjoni ta 'telf aktar sempliċi.
• Self-Play Irfinar (SPIN)
• SteerLM: teknika bbażata fuq kondizzjonata-SFT, b'output iggwidat.

Iċċekkja d-dokumentazzjoni għal aktar informazzjoni: Dokumentazzjoni ta' Allinjament

Mudelli Multimodali

• Il-Qafas NeMo jipprovdi softwer ottimizzat biex iħarreġ u juża mudelli multimodali tal-aktar avvanzati f'diversi kategoriji: Mudelli tal-Lingwa Multimodali, Fondazzjonijiet tal-Lingwa tal-Viżjoni, mudelli minn Test għal Immaġini, u lil hinn mill-Ġenerazzjoni 2D bl-użu ta' Oqsma ta' Radjanza Neurali (NeRF).
• Kull kategorija hija mfassla biex tilqa' għal ħtiġijiet u avvanzi speċifiċi fil-qasam, billi tuża mudelli avvanzati biex jimmaniġġjaw firxa wiesgħa ta 'tipi ta' dejta, inklużi test, stampi u mudelli 3D.

Skjerament u Inferenza
Il-Qafas NeMo jipprovdi diversi mogħdijiet għall-inferenza tal-LLM, li jaħseb għal xenarji ta’ skjerament u ħtiġijiet ta’ prestazzjoni differenti.

Uża b'NVIDIA NIM

• NeMo Framework jintegra bla xkiel ma' għodod ta' skjerament tal-mudelli fil-livell ta' intrapriża permezz ta' NVIDIA NIM. Din l-integrazzjoni hija mħaddma minn NVIDIA TensorRT-LLM, li tiżgura inferenza ottimizzata u skalabbli.
• Għal aktar informazzjoni dwar NIM, żur il-NVIDIA websit.

Skjerament b'TensorRT-LLM jew vLLM

• NeMo Framework joffri skripts u APIs biex jesporta mudelli għal żewġ libreriji ottimizzati għall-inferenza, TensorRT-LLM u vLLM, u biex juża l-mudell esportat bis-Server ta 'Inferenza NVIDIA Triton.
• Għal xenarji li jeħtieġu prestazzjoni ottimizzata, il-mudelli NeMo jistgħu jisfruttaw TensorRT-LLM, librerija speċjalizzata għall-aċċellerazzjoni u l-ottimizzazzjoni tal-inferenza LLM fuq GPUs NVIDIA. Dan il-proċess jinvolvi l-konverżjoni tal-mudelli NeMo f'format kompatibbli ma 'TensorRT-LLM bl-użu tal-modulu nemo.export.
  • Skjerament LLM Overview
  • Uża Mudelli Lingwi Kbar NeMo bl-NIM
  • Uża Mudelli Lingwi Kbar NeMo b'TensorRT-LLM
  • Uża Mudelli Lingwi Kbar NeMo b'vLLM

Mudelli Appoġġjati

Mudelli Kbar tal-Lingwa

Mudelli Kbar tal-Lingwa

Mudelli Kbar tal-Lingwa	Taħriġ minn qabel u SFT	PEFT	Allinjament	FP8 Konverġenza tat-Taħriġ	TRT/TRTLLM	Ikkonverti Għal & Minn Wiċċ Hugging	Evalwazzjoni
Llama3 8B/70B, Llama3.1 405B	Iva	Iva	x	Iva (verifikata parzjalment)	Iva	It-tnejn	Iva
Mixtral 8x7B/8x22B	Iva	Iva	x	Iva (mhux verifikata)	Iva	It-tnejn	Iva
Nemotron 3 8B	Iva	x	x	Iva (mhux verifikata)	x	It-tnejn	Iva
Nemotron 4 340B	Iva	x	x	Iva (mhux verifikata)	x	It-tnejn	Iva
Baichuan2 7B	Iva	Iva	x	Iva (mhux verifikata)	x	It-tnejn	Iva
ChatGLM3 6B	Iva	Iva	x	Iva (mhux verifikata)	x	It-tnejn	Iva
Gemma 2B/7B	Iva	Iva	x	Iva (mhux verifikata)	Iva	It-tnejn	Iva
Gemma2 2B/9B/27B	Iva	Iva	x	Iva (mhux verifikata)	x	It-tnejn	Iva
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Iva	Iva	x	Iva (mhux verifikata)	x	x	Iva
Phi3 mini 4k	x	Iva	x	Iva (mhux verifikata)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Iva	Iva	x	Iva (mhux verifikata)	Iva	It-tnejn	Iva
StarCoder 15B	Iva	Iva	x	Iva (mhux verifikata)	Iva	It-tnejn	Iva
StarCoder2 3B/7B/15B	Iva	Iva	x	Iva (mhux verifikata)	Iva	It-tnejn	Iva
BERT 110M/340M	Iva	Iva	x	Iva (mhux verifikata)	x	It-tnejn	x
T5 220M/3B/11B	Iva	Iva	x	x	x	x	x

 

Mudelli tal-Lingwa tal-Viżjoni

 

Inkorporazzjoni Mudelli

 

Mudelli tal-Fondazzjoni Dinjija

Nota
NeMo jappoġġja wkoll it-taħriġ minn qabel kemm għall-arkitetturi tad-diffużjoni kif ukoll autoregressive text2world mudelli tal-pedament.

Diskors AI

L-iżvilupp ta' mudelli ta' AI konversazzjonali huwa proċess kumpless li jinvolvi d-definizzjoni, il-kostruzzjoni u t-taħriġ ta' mudelli f'oqsma partikolari. Dan il-proċess tipikament jeħtieġ diversi iterazzjonijiet biex jilħaq livell għoli ta 'eżattezza. Ħafna drabi tinvolvi iterazzjonijiet multipli biex tinkiseb preċiżjoni għolja, irfinar fuq kompiti varji u dejta speċifika għad-dominju, tiżgura l-prestazzjoni tat-taħriġ, u tħejji mudelli għall-iskjerament tal-inferenza.

Il-Qafas NeMo jipprovdi appoġġ għat-taħriġ u l-adattament tal-mudelli ta’ Speech AI. Dan jinkludi kompiti bħar-Rikonoxximent Awtomatiku tad-Diskors (ASR) u s-sinteżi Test-To-Speech (TTS). Joffri transizzjoni bla xkiel għall-iskjerament tal-produzzjoni fil-livell tal-intrapriża b'NVIDIA Riva. Biex jassisti lill-iżviluppaturi u r-riċerkaturi, il-Qafas NeMo jinkludi punti ta’ kontroll avvanzati mħarrġa minn qabel, għodod għall-ipproċessar tad-dejta tad-diskors riproduċibbli, u karatteristiċi għal esplorazzjoni u analiżi interattiva ta’ settijiet ta’ dejta tad-diskors. Il-komponenti tan-NeMo Framework for Speech AI huma kif ġej:

Taħriġ u Personalizzazzjoni
Il-Qafas NeMo fih dak kollu meħtieġ biex jitħarreġ u jippersonalizza l-mudelli tad-diskors (ASR, Klassifikazzjoni tad-Diskors, Rikonoxximent tal-Kelliem, Dijarizzazzjoni tal-Kelliem, u TTS) b'mod riproduċibbli.

SOTA Mudelli mħarrġa minn qabel

• Il-Qafas NeMo jipprovdi riċetti tal-aktar avvanzati u punti ta’ kontroll imħarrġa minn qabel ta’ diversi ASR u TTS mudelli, kif ukoll struzzjonijiet dwar kif jgħabbihom.
• Għodda tad-Diskors
• Il-Qafas NeMo jipprovdi sett ta’ għodod utli għall-iżvilupp ta’ mudelli ASR u TTS, inklużi:
  • NeMo Forced Aligner (NFA) għall-ġenerazzjoni ta' timest fil-livell ta' token, kelma u segmentamps ta 'diskors fl-awdjo bl-użu ta' mudelli ta 'Rikonoxximent Awtomatiku tad-Diskors ibbażati fuq CTC ta' NeMo.
  • Proċessur tad-Data tad-Diskors (SDP), sett ta' għodod għas-simplifikazzjoni tal-ipproċessar tad-dejta tad-diskors. Jippermettilek tirrappreżenta l-operazzjonijiet tal-ipproċessar tad-dejta f'konfigurazzjoni file, jimminimizza l-kodiċi boilerplate u jippermetti riproduċibbiltà u qsim.
  • Speech Data Explorer (SDE), ibbażat fuq Dash web applikazzjoni għall-esplorazzjoni interattiva u analiżi ta 'settijiet ta' dejta tad-diskors.
  • Għodda għall-ħolqien tas-sett tad-dejta li jipprovdi funzjonalità biex tallinja awdjo twil files bit-traskrizzjonijiet korrispondenti u aqsamhom fi frammenti iqsar li huma adattati għat-taħriġ tal-mudell tar-Rikonoxximent Awtomatiku tad-Diskors (ASR).
  • Għodda ta' Tqabbil għall-Mudelli ASR biex iqabblu tbassir ta 'mudelli ASR differenti fil-preċiżjoni tal-kliem u l-livell tal-kelma.
  • Evalwatur ASR għall-evalwazzjoni tal-prestazzjoni tal-mudelli ASR u karatteristiċi oħra bħal Voice Activity Detection.
  • Għodda ta' Normalizzazzjoni tat-Test għall-konverżjoni tat-test mill-forma miktuba għall-forma mitkellma u viċi versa (eż. “31” vs “wieħed u tletin”).
• Mogħdija għall-Iskjerament
• Mudelli NeMo li ġew imħarrġa jew personalizzati bl-użu tal-Qafas NeMo jistgħu jiġu ottimizzati u skjerati b'NVIDIA Riva. Riva tipprovdi kontenituri u charts Helm iddisinjati speċifikament biex awtomatizzati l-passi għall-iskjerament tal-buttuna.

Riżorsi Oħra

GitHub Repos

• NeMo: Ir-repożitorju ewlieni għall-Qafas NeMo
• NeMo–Mexxi: Għodda biex tikkonfigura, tniedi u timmaniġġja l-esperimenti tiegħek tat-tagħlim bil-magni.
• NeMo-Aligner: Toolkit skalabbli għal allinjament effiċjenti tal-mudell
• NeMo-Kuratur: Kit ta' għodod għall-ipproċessar minn qabel u l-kura tad-dejta skalabbli għal LLMs

Ikseb Għajnuna
Involvi ruħek mal-komunità NeMo, staqsi mistoqsijiet, ikseb appoġġ, jew irrapporta bugs.

• Diskussjonijiet NeMo
• Kwistjonijiet NeMo

Lingwi u Oqfsa ta' Programmazzjoni

• Python: L-interface ewlenija biex tuża NeMo Framework
• Pytorch: NeMo Framework huwa mibni fuq PyTorch

Liċenzji

• NeMo Github repo huwa liċenzjat taħt il-liċenzja Apache 2.0
• Il-Qafas NeMo huwa liċenzjat taħt il-FTEHIM TAL-PRODOTT NVIDIA AI. Billi tiġbed u tuża l-kontenitur, taċċetta t-termini u l-kundizzjonijiet ta 'din il-liċenzja.
• Il-kontenitur tal-Qafas NeMo fih materjali Llama rregolati mill-Ftehim tal-Liċenzja Komunitarja Meta Llama3.

Noti f'qiegħ il-paġna
Bħalissa, l-appoġġ ta 'NeMo Curator u NeMo Aligner għal mudelli Multimodali huwa xogħol li qed isir u se jkun disponibbli dalwaqt.

FAQ

Q: Kif nista' niċċekkja jekk is-sistema tiegħi hijiex affettwata mill-vulnerabbiltà?
A: Tista 'tiċċekkja jekk is-sistema tiegħek hijiex affettwata billi tivverifika l-verżjoni tal-Qafas NVIDIA NeMo installat. Jekk tkun taħt il-verżjoni 24, is-sistema tiegħek tista' tkun vulnerabbli.

Q: Min irrapporta l-kwistjoni tas-sigurtà CVE-2025-23360?
A: Il-kwistjoni tas-sigurtà ġiet irrappurtata minn Or Peles – JFrog Security. NVIDIA tirrikonoxxi l-kontribut tagħhom.

Q: Kif nista' nirċievi notifiki futuri tal-bullettin tas-sigurtà?
A: Żur il-paġna tas-Sigurtà tal-Prodott NVIDIA biex tabbona għan-notifiki tal-bullettin tas-sigurtà u tibqa’ infurmata dwar l-aġġornamenti tas-sigurtà tal-prodott.

Dokumenti / Riżorsi

Qafas NVIDIA NeMo [pdfGwida għall-Utent Qafas NeMo, NeMo, Qafas

Referenzi

• Manwal għall-Utent