微软启用自研医疗语音模型MAI-Transcribe-2

MAI-Transcribe 是由Microsoft AI 团队内部构建的下一代语音转文本模型。 它跨 60 种语言和真实音频条件提供快速准确的听录。 MAI-Transcribe-2 支持各种工作负载,包括视频字幕、会议、临床笔记、呼叫中心文档、辅助功能工具、内容创建和语音代理。 该模型提供说话人分离、在嘈杂环境中的出色表现、词级时间戳、自动语言识别、关键词偏置、语码切换以及可配置的转录样式(去除语气词的干净转录文本或逐字转录)。

支持以下模型:

MAI-Transcribe-2

MAI-Transcribe-1.5

MAI-Transcribe-1: 已于 2026 年 8 月 20 日弃用。

先决条件

Azure订阅。 可以 免费创建一个。

Azure 门户中的微软 Foundry 语音资源。

语音资源密钥和区域。 部署语音资源后,选择“ 转到”资源 以查看和管理密钥。 有关受支持区域的当前列表,请参阅 语音服务区域。

以下格式之一的音频文件:WAV、MP3 或 FLAC。 有关最大文件大小和音频时长,请参阅 转录 - 创建转录 REST 参考中的 audio 参数。 如果您启用了说话人分离,请参阅下一部分中关于录音时长的说明。

使用 MAI-Transcribe 模型

使用 MAI‑Transcribe‑2 根据音频输入生成转录文本。 通过相应的 API 参数配置以下功能:

功能 参数 价值观 默认 Description
模型选择(必需) enhancedMode.
model
"MAI-Transcribe-2"  — 设置为调用 MAI-Transcribe 模型。
增强模式(必需) enhancedMode.
enabled
true | false false 将其设置为 true 以调用 MAI-Transcribe。
扬声器分割 diarization.
enabled
true | false false 按说话人对录音进行分段,并将每个片段归属于正确的人。 返回带有说话人标签的分段,并附带 speaker、offsetMilliseconds 和 durationMilliseconds 元数据。 支持比不进行分割的听录时间短的录制;请参阅下表后面的注释。
Word级时间戳 modelOptions.
timestamps
"word" | "segment" | "none" none 控制计时精度。 "word" 为每个单词返回 offsetMilliseconds 和 durationMilliseconds,从而支持精确的对齐、搜索、导航和编辑。 "segment" 返回每个段的计时信息:输出脚本按语言和说话人划分为段。 因此,启用分割时,会为每个说话人和语言创建一个段,并在禁用时为每个语言创建段。 "none" 省略计时数据。
关键字偏差 phraseList.phrases 字符串数组 [] 使识别偏向于提供的关键字。 用于仅凭上下文难以消除歧义的特定领域术语、缩写、产品名称和专有名词。 术语只是提示,并非强制生成的结果。
转录样式 modelOptions.
transcribeStyle
"verbatim" | "clean" "verbatim" 控制输出样式。 "verbatim" 能精准捕捉实际说话内容,包括语气词和开头停顿,以满足合规性、QA 和分析工作负载需求。 clean 删除填充物以生成可读的标题、笔记和已发布的脚本。
语言选择 locales ["language_code"] 未指定(自动检测) 允许强制使用特定语言进行转录。 这是对模型的非常强烈的提示,除非绝对确定录制是使用给定语言的,并且默认的自动检测不起作用,否则不要指定该提示。 此处只能提供一种语言。 MAI-Transcribe-2 支持 60 种语言。
代码切换 自动 — — 对于常见的混合语言组合(如 Hinglish 和 Spanglish),能够处理在一句话中途切换语言的对话。
噪音可靠度 固有 — — 即使存在背景噪音、语音重叠和麦克风质量参差不齐等情况,也能对在非受控环境中录制的音频保持较高的转录质量。

若要开始使用具有增强模式的听录,请先遵循 LLM 语音快速入门。 然后,指定该Model。

语言支持

默认情况下,该模型以多语言模式运行。

将 MAI-Transcribe 与语音直播配合使用

还可以使用 MAI-Transcribe 模型在 语音实时 API 中输入音频听录。 在 model 会话配置中设置 input_audio_transcription 字段。


特别声明:本文版权归文章作者所有,仅代表作者观点,不代表本网观点和立场。本文为第三方用户上传,仅用于学习和交流,不用于商业用途,如文中的内容、图片、音频、视频等存在第三方的知识产权,请及时联系我们删除。