Android SDK
关键接口
1. 初始化
使用平台账户中提供的appId和appSecret初始化模块并获取Play对象
2. 连接数字人
使用平台账号提供的conversationId连接数字人
其中callback包含如下回调
onShow
数字人可以展示了
onError
连接数字人发生异常
返回参数说明:
参数名 | 类型 | 说明 |
---|---|---|
msgType | int | 错误类型 |
msgSubType | int | 子错误类型 |
msg | String | 异常消息 |
其中msgType的取值:
取值 | 说明 | |
---|---|---|
1000 | 授权异常 | |
1001 | 创建会话异常 | |
1002 | 获取素材异常 | |
1010 | IM创建连接失败 | |
1011 | 渲染服务返回异常 | |
1020 | RTC 状态异常 | |
1030 | 渲染服务主动关闭 | |
1040 | IM连接丢失 | |
1050 | RTC连接丢失 |
onVideoTrack
RTC媒体通道创建成功
在该回调中展示数字人控件绑定到track中
参数名 | 类型 | 说明 |
---|---|---|
track | VideoTrack | 视频媒体通道 |
onAudioSamples
本地音频采集数据回调
可在该回调中实现音频图像化等操作
onTtsSpeakStart
数字人开始播放TTS合成音频
onTtsSpeakText
数字人播放TTS的文本内容
onTtsSpeakStop
TTS文本播放完成
onSpeakStart
数字人开始播报
onSpeakText
数字人播报的文本内容
onSpeakStop
数字人播报完成
onAsrResult
ASR识别内容回调
3. 音频URL驱动数字人说话
使用16k采样率16bit单通道的WAV音频地址驱动数字人说话
参数名 | 类型 | 说明 |
---|---|---|
wavUrl | String | WAV音频的网络地址 |
interrupt | boolean | 是否打断当前说话状态 |
4. 文本驱动数字人说话
输入想要数字人想说的话,数字人会根据会话配置的音色说出对应的内容。
参数名 | 类型 | 说明 |
---|---|---|
text | String | 数字人的要说的文本内容 |
interrupt | boolean | 是否打断当前说话状态 |
5. 数字人问答
让数字人来解答您的疑问。
参数名 | 类型 | 说明 |
---|---|---|
text | String | 向数字人表达您的问题 |
interrupt | boolean | 是否打断当前说话状态 |
6. 打断数字人说话
让数字人不要再说了