【CNMO科技动静】据CNMO科技相识，MiniMax近日正式开源多模态天生模子MiniMax H3。与此同时，摩尔线程公布，已经基在AI训推一体智算卡MTT S5000和MUSA软件栈，完成对于MiniMax H3的适配与运行。

MiniMax

MiniMax H3是一套通用型全模态天生体系，可同一理解文本、图象、视频及音频组成的多模态上下文，并天生最高2K分辩率、最长15秒、带有原生立体声音频的视频。这次开源内容包括模子权重，同时提供当地部署及完备事情流验证方案。

MiniMax H3

从架构来看，H3体系由三个焦点模块构成。此中，H3-Context-IR卖力理解并提炼用户输入的多模态指令，将其转换为布局化的上下文中间暗示，今朝经由过程API提供；H3-Base按照中间暗示天生768p分辩率音视频内容，是这次开源主体；H3-Regenerate-2K则将768p成果与原始上下文一同送回模子，以2K分辩率从头天生更高画质视频，该模块暂未开源，也经由过程API提供。

于模子设计上，H3-Base采用330亿参数的H3-Omni-Transformer架构，经由过程差别模态编码器将文本、图象、视频及音频同一编码为多模态序列落伍行结合猜测。其下包罗H3-VisualVAE及H3-AudioVAE，别离用在视觉及音频信息压缩。官方同时提供两个重要版本，别离面向文生视频、首尾帧生视频，以和多图象、多视频、多音频混淆输入等使命，合用在人物与场景保留、动作及嘴型编纂等场景，并撑持包括中文、英语、日语、韩语于内的11种语言对于话。

为利便开发者部署，官方给出“H3-Base当地部署”及“完备2K事情流”两条验证路径，撑持经由过程SGLang、vLLM、diffusers、ComfyUI等框架举行推理。模子今朝基在MiniMax H3 Co妹妹unity License发布，开发者可经由过程开源平台下载利用。

版权所有，未经许可不患上转载