1. 初始化
使用平台账户中提供的appId和appSecret初始化模块并获取Play对象2. 连接数字人
使用平台账号提供的conversationId连接数字人onShow 数字人可以展示了
onError 连接数字人发生异常
| 参数名 | 类型 | 说明 |
|---|---|---|
| msgType | int | 错误类型 |
| msgSubType | int | 子错误类型 |
| msg | String | 异常消息 |
| 取值 | 说明 | |
|---|---|---|
| 1000 | 授权异常 | |
| 1001 | 创建会话异常 | |
| 1002 | 获取素材异常 | |
| 1010 | IM创建连接失败 | |
| 1011 | 渲染服务返回异常 | |
| 1020 | RTC 状态异常 | |
| 1030 | 渲染服务主动关闭 | |
| 1040 | IM连接丢失 | |
| 1050 | RTC连接丢失 |
onVideoTrack RTC媒体通道创建成功
在该回调中展示数字人控件绑定到track中
| 参数名 | 类型 | 说明 |
|---|---|---|
| track | VideoTrack | 视频媒体通道 |
onAudioSamples 本地音频采集数据回调
可在该回调中实现音频图像化等操作
onTtsSpeakStart 数字人开始播放TTS合成音频
onTtsSpeakText 数字人播放TTS的文本内容
onTtsSpeakStop TTS文本播放完成
onSpeakStart 数字人开始播报
onSpeakText 数字人播报的文本内容
onSpeakStop 数字人播报完成
onAsrResult ASR识别内容回调
3. 音频URL驱动数字人说话
使用16k采样率16bit单通道的WAV音频地址驱动数字人说话| 参数名 | 类型 | 说明 |
|---|---|---|
| wavUrl | String | WAV音频的网络地址 |
| interrupt | boolean | 是否打断当前说话状态 |
4. 文本驱动数字人说话
输入想要数字人想说的话,数字人会根据会话配置的音色说出对应的内容。| 参数名 | 类型 | 说明 |
|---|---|---|
| text | String | 数字人的要说的文本内容 |
| interrupt | boolean | 是否打断当前说话状态 |
5. 数字人问答
让数字人来解答您的疑问。| 参数名 | 类型 | 说明 |
|---|---|---|
| text | String | 向数字人表达您的问题 |
| interrupt | boolean | 是否打断当前说话状态 |