🖼️ 利用编码器和模型进行音乐和图像理解,用户可编辑音乐、调整乐器和速度。
🎥 Midjourney计划推出“文本转视频”模型,扩展AI形象生成器到视频创作领域。
阿里巴巴开源项目DreamTalk,能让人物头像栩栩如生地说话,支持多语言、歌曲、嘈杂音频匹配,开放更多开发者创新。
模型将几乎免费地部署在CPU上,而不是API服务。
它不仅可以从图片中提取信息并回答问题,还可以将图片转化为JSON格式。LLaVA还可以识别验证码、识别图中的物体品种等,展现出了强大的多模态能力。在性能上接近GPT-4的情况下,LLaVA具有更高的成本效益,训练只需要8个A100即可在1天内完成。