随着人工智能技术的飞速发展，端侧AI正逐渐成为行业关注的焦点。在终端芯片算力持续提升、端侧模型能力日益增强以及实时响应与隐私保护需求不断增加的背景下，端侧AI已具备实际应用的条件，正引领着一场用户体验与生态格局的革命。
端侧AI，即在终端设备如车载智能座舱、智能除草机、机器人等场景或设备上进行人工智能计算与处理。与云端大模型相比，端侧大模型在资源受限的设备上展现出更高的运行效率，这得益于模型压缩、推理加速及能耗优化等技术的综合运用。轻量化模型技术，如模型剪枝、知识蒸馏和量化，被广泛应用以实现最优的轻量化效果。端侧AI的部署不仅降低了延迟，提升了响应速度，还增强了隐私保护，减轻了云端服务器的负担，降低了成本，同时提供了更加个性化的服务，即使在无网络环境下也能保持应用的可用性和灵活性。
基于端侧部署的特点与优势，多个应用场景已落地或即将落地，包括智能手机、智能家居、可穿戴设备、自动驾驶汽车、工业自动化以及医疗设备等。随着AI技术的不断进步和芯片产业的蓬勃发展，端侧AI部署的挑战正在被逐步克服，更多应用场景正逐渐成熟。
在算法优化方面，大模型本身正在不断演进，计算效率在多个细分行业中显著提升，模型参数减少，但用户体验却更加智能化。更多参数较小的大模型被开源，AI能力日益成熟，这大大降低了大模型应用开发者的门槛，加速了端侧AI的部署。算法层级的技术，如模型量化、剪枝、蒸馏等模型压缩算法，以及专为端侧部署设计的软硬件平台，都在快速发展，使得大模型在端侧设备的部署更加高效。
在产业链方面，端侧AI芯片厂商、中游模组及软件厂商、下游终端厂商正在积极推动AI在端侧的部署落地。多个芯片厂商已推出最新处理器，支持终端侧多模态生成式AI，并完成了多款大模型的适配。广和通作为AIoT产业的积极参与者，持续为行业提供模组及解决方案，积极探索端侧AI相关技术，并推出了多款可应用于机器视觉、具身智能、智能割草等场景的端侧AI解决方案，满足不同终端对算力及模型的需求。
在端侧AI应用方面，广和通深度布局视觉与听觉计算领域，推出了高算力和轻量化机器视觉解决方案。该方案融合了先进的处理能力与边缘计算优势，采用了多种高效的视觉处理算法，如目标检测、关键点检测、图像分割等。同时，广和通的机器视觉解决方案支持蓝牙、Wi-Fi等多种无线通信连接方式，在高端智能影像终端、工业视觉终端、车载终端、机器人等领域具有广泛的应用场景。
作为大模型应用的重要实践领域，端侧AI大模型的全面落地发展需要全产业链的共同努力。广和通积极整合产业上下游资源，为行业提供融合通信、算力、AI算法、AI引擎、模型等能力的端侧AI解决方案，加速AI技术在终端的商用化进程。
