魏茨曼研究所 Brain-IT 模型可将所见画面还原为图像
以色列魏茨曼研究所 Michal Irani 团队开发的 Brain-IT 模型,仅凭观看者的大脑活动即可重建其所见图像,在构图、色彩等细节上优于现有同类模型。
以色列魏茨曼研究所 Michal Irani 团队开发的 Brain-IT 模型,仅凭观看者的大脑活动即可重建其所见图像,在构图、色彩等细节上优于现有同类模型。
多伦多大学等机构提出生成感知重建(GAR)方法,通过沿加噪路径评估解码器,解决重建指标与生成质量不匹配的问题。基于 GAR 的解码器适配仅微调解码器权重,使 iMF-B/2 的 gFID 从 16.58 降至 12.21,且不增加推理的额外计算。该方法为评估和改进视觉分词器提供了新工具。
研究人员开发出一款 AI 模型,能够根据人脑活动重建出人眼所见的图像。该技术通过分析脑部信号将其还原为对应的视觉画面,在脑机接口与神经科学领域展现出应用潜力。目前相关研究仍处于早期实验阶段。
魏茨曼科学研究所 Michal Irani 团队开发的 AI 脑解码工具,能通过高分辨率 fMRI 扫描重建人所看到的图像,也能根据图像预测脑活动。该工具用双分支解码器分别预测图像结构与内容,再由扩散模型生成重建结果,并配合一个可从图像预测脑活动的编码器联合训练,约 70% 训练数据来自未与 fMRI 配对的图像。
OpenAI 官方博客发表研究《Hierarchical text-conditional image generation with CLIP latents》,主题为基于 CLIP latents 的分层文本条件图像生成。
OpenAI 研究发现,与在语言上训练的大型 Transformer 相同的模型在像素序列上训练后,可以生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,其最佳生成模型在无监督设置下的特征可与顶级卷积神经网络竞争。