🖼️ 利用编码器和模型进行音乐和图像理解，用户可编辑音乐、调整乐器和速度。
🎥 Midjourney计划推出“文本转视频”模型，扩展AI形象生成器到视频创作领域。
阿里巴巴开源项目DreamTalk，能让人物头像栩栩如生地说话，支持多语言、歌曲、嘈杂音频匹配，开放更多开发者创新。
模型将几乎免费地部署在CPU上，而不是API服务。
它不仅可以从图片中提取信息并回答问题，还可以将图片转化为JSON格式。LLaVA还可以识别验证码、识别图中的物体品种等，展现出了强大的多模态能力。在性能上接近GPT-4的情况下，LLaVA具有更高的成本效益，训练只需要8个A100即可在1天内完成。