在Y Combinator举办的Startup School活动中，谷歌首席科学家Jeff Dean与YC管理合伙人Diana Hu展开了一场深入对话，探讨了AI创业者在基础模型能力不断增强的背景下如何寻找机会。Jeff Dean指出，尽管大型科技公司在基础模型和硬件设施上占据优势，但初创团队仍有机会通过聚焦特定领域实现突破。
Jeff Dean强调，创业者应关注通用模型当前几乎无法完成的任务，而非那些已有20%成功率的领域。他提出"1%法则"：寻找模型成功率为0%或1%的问题，这些领域往往因数据获取困难或任务复杂度高而被大公司忽视。例如，企业内部的业务数据、个人用户的私密文件等，都是基础模型难以直接利用的资源。初创团队可以通过开发专用工具或训练小型专用模型，在这些领域建立竞争优势。
在硬件层面，Jeff Dean预测推理将成为AI发展的新瓶颈。随着模型大规模应用，降低推理延迟和能耗变得至关重要。他以谷歌TPU的开发为例，说明专用硬件需在通用性和性能间取得平衡。第一代TPU设计时Transformer尚未出现，但其通用计算架构仍能支持后续模型发展。这种设计理念对当前推理硬件开发具有借鉴意义。
关于Agent技术的演进，Jeff Dean认为长期运行能力将成为关键。他分享了与Sanjay Ghemawat合作优化底层代码库的经验：通过将人类工程师的调试流程转化为模型可执行的"技能"，显著提升了优化效率。这种上下文工程方法表明，基础模型能力不变的情况下，通过专业经验的结构化整理，也能提升特定任务表现。Jeff Dean预测，到2027年，机器学习系统将具备更大程度的自我改进能力。
面对AI自动化带来的挑战，Jeff Dean指出创业者需具备两项核心能力：清晰定义任务和准确选择问题。他以知识蒸馏技术的发展为例，说明即使面对评审质疑，坚持解决实际问题的研究也能产生重大影响。对于团队组建，他建议选择技能互补且愿意长期合作的成员，使团队能完成个人难以实现的任务。
这场对话为AI创业者提供了新思路：在通用模型快速发展的背景下，通过聚焦特定数据、开发专用工具或训练小型模型，仍能在细分领域建立优势。关键在于准确判断模型能力边界，将人类专业知识与AI技术有效结合，解决通用模型难以触及的问题。
