在2024年谷歌I/O开发者大会上,谷歌重磅发布了Project Astra,这是一项基于Gemini模型打造的全新AI项目,可直接在Pixel手机上本地运行,被视作直接对标OpenAI GPT-4o的最新力作。
具体而言,Project Astra是谷歌推出的最新多模态人工智能项目。简单来说,用户只需打开手机摄像头,它便能实时识别并解释画面中的各类物品,无需任何额外操作,交互体验如同与真人对话般自然流畅。
谷歌还通过一段令人印象深刻的视频展示了其实际能力。在连续不断的镜头中,Astra能够精准识别多种物品,甚至记得主人的眼镜放在哪里——就在桌子上的红苹果旁边。更令人惊叹的是,它还能识别屏幕上的代码并给出解释。这种低延迟的多模态实时交互技术,无疑令人耳目一新。
