stage2如何同时训练audio/text input

[vra]

Hi @mini-omni ,论文中提到stage2训练audio/text input (Stage 2 uses TextQA and AudioQA for audio/text input and text response training)

想问一下：

1. audio /text input是来自相同的数据集吗，还是audio input来自数据集A, text input来自数据集B?
2. 训练时两种类型的输入是怎么组织的，一个batch里面包含一般的audio input, 一半的text input?
3. 两种数据是在一个DataModule中实现的还是单独分开实现的呢？

提前感谢~

[mini-omni]

1. 文字描述有些不准确，stage 2我们在实验中主要是用ASR数据，以及text QA数据来训的，具体可以参考Table 1.
2. 一个batch里的类型是随机的，整体的比例可以参考1：1。
3. 我们是在同一个dataloader里随机采样