【科讯】2020 Techo Park开发者大会召开，作业帮分享拍搜系统架构演变历程

12月19日至20日，腾讯主办的techopark开发者大会在北京召开。 这次大会邀请了世界200多位顶级技术专家参加现场，与数千名参加者就云计算、大数据、人工智能等尖端技术话题展开了深入的交流，中国和世界云计算爱好者、工人、工人

业务支持视觉智能实验室的结构负责人程童应邀参加了大会，发表了题为“业务支持照片检索系统的结构进化”的主题演讲，业务支持照片检索系统的概况、不同阶段面临的问题和应对方法、gpu服务虚拟化的实践经验和获得的转移

基本技术得到支持，作业可以帮助客户准确地获得全面消息

作为中国最大的k12在线教育企业，作业援助用科技教育普惠，处理教育行业的痛点，旗下有作业援助、作业援助直播课、作业援助口算、鸭ai课、智能硬件猫咪机等多种教育产品，总日活客户为55 其中，作业助app是唯一进入中国应用市场top30的教育类app，作业助生广播课是中国在线教育领先企业品牌，累计服务学习者超过6500万人。

在一整套作业支持的产品线中，摄影检索系统提供了基础的技术支持。 程童表示，作业合作拍摄系统拥有很多ocr、搜索、系统专利，在业界最先下手，秒钟内给出答案。 然后，随着拍摄搜索功能的扩大，作业从单题到整个页面，还有你想拍摄。 从搜索到评分，从各方面搜索问题场景的设定，有助于提高学生的学习效率。

我们知道业务辅助拍摄算法的框架分为ocr和检索两部分。 其中，ocr系统的首要任务是将拍摄的副本识别为副本，由多个战略预解决模块和大量采用gpu作为计算设备的深入学习在线推理服务构成。 检索系统的首要任务是通过识别的副本检索答案，包括战略层、正列系统、逆矩阵系统、离线建设四个第一部分，比较照片检索问题这一垂直行业进行了许多战略优化。

程童说，比较了客户在不同招聘场景中可能出现的模糊、倾斜、低像素、干扰等各种拍照问题，工作支持在5年以上的自主研发和数据积累中，继续进行算法的迭代和结构的完整性

在一次完善的文案识别流水线中，业务辅助摄影系统拥有30多种不同的神经网络各部门的职务，平均一次可以执行260多次神经网络预测。 另外，通过构建大规模的并行gpu集群，平均200毫秒完成完全的识别过程，作业支持系统1分钟可以完成100万次这样的检索要求。 对于确定的主题副本，系统将在索引超过3亿的主题库中的每个搜索引擎中进行匹配，以帮助客户获得更全面、更准确的消息。

更快更准确，更快应变，有限计算力下的极限搜索

程童在演讲中说，过去6年来，作业合作拍摄系统以2年为进化周期，大致分为3个迅速的发展阶段，各阶段根据业务场景和系统的规模，面临的问题也不同。 从年到年是第一阶段，作业合作拍摄系统的业务才刚刚开始，要处理的核心问题更快、更正确。 为了提供更快、更好的顾客体验，更规范更容易形成口碑，吸引越来越多的顾客。

为了实现手工拍摄、秒给出答案的效果，作业辅助视觉智能实验室工程团队从并行计算、调度战略、工程实现三个方面做出了努力。 小组最初将gpu用于在线推理服务。 使用cpu进行了预解决，利用gpu强大的并行计算能力运行深度神经网络，在线后取得了10倍的加速效果。 平均时间从3秒以上缩短到300毫秒以上，然后持续优化到平均200毫秒。 小组还自我学习了轻量级rpc框架，该框架设计了适合多gpu协作的线程池和调度策略，峰值gpu利用率达到了90%以上。

随着业务流量的持续上升，业务支持拍摄系统从年到年进入快速发展的第二阶段，扩大的业务需要引入越来越多的算法模型，开发和提供新的服务。 计算能力的急剧上升又带来了价格上的压力。 这两年，团队在开发和运输双线方面面临挑战。

小组迅速调整战略，制定应对措施。 首先，优先满足业务快速发展的诉求，尽快提供服务，确保算法模型迅速上线，并尽全力优化系统环境，减少技术负债。 例如，比较环境异构的问题，团队通过升级接入层，优化自学rpc的客户端，满足多个机房、多个机型的负载均衡和实验分流的诉求。 根据服务器迁移机会收敛异构模型和环境的业务情况，不断调整系统部署，自动化日常业务，提高管理效率。

在经过技术团队的不懈努力，业务不断扩大，流量持续增加的情况下，系统有力地支持了作业照片检索问题类业务的迅速发展，自身也成长为一定的规模。

虚拟化突破了两大矛盾，显著的迁移效果引起了越来越多的可能性

-年系统进入第三阶段，比较前期快速发展过程中的各种问题，程童和团队不停留在表面，不断回顾、总结、深入思考以前出现的许多问题，表现出的形式与性能和稳定性有关，但实际上 只要人才有限，就不能以物理机( baremetal )作为资源分配和系统管理的最小单位，突破越来越频繁变化的变动和系统管理之间的矛盾，以及越来越多的诉求和资源管理之间的矛盾这两个矛盾。 为了突破这个瓶颈，团队选择了k8s和容器的具体实现形式进行虚拟化。

为什么选择k8s，程童解释说:在最重要的资源分配环节，k8s突破了机器边界，将资源抽象地整合到资源池中，应用按需申请，由调度程序分配，处理了资源管理的矛盾。 通过抽象pod、部署、服务等概念，以低价实现了应用整个生命周期的自动化，处理了系统管理的矛盾。

为了降低系统迁移的风险，团队制定了阶段性迁移步骤。 首先，标准化环境，改造不适合容器环境的组件或功能。 然后，将整个系统进行集装箱化运行，在理解和掌握相关数据的最后，实现灰度环境的验证和在线系统的迁移。 k8s的本机不支持基于图形内存的调度问题，团队也通过开发调度插件来提供处理方案。

从现在的转移效果来看，通过更精细的粒度资源分配和服务混合部，在部分集群转移后节约了50%的设备资源，资源利用率也大幅提高的转移得到的弹性伸缩能力，为了应对流量的峰值，可以使系统更游刃。 与调整群集平均需要2小时的物理机时代相比，现在平均需要10分钟。 关于故障解决，也从以往的平均20分钟缩短到平均5分钟，对于简单的故障，系统可以不通过人工介入。

程童表示，过渡效果不仅如此，虚构化改造带来的灵活性，使迄今为止很多不方便的事件变得更加方便，创造了很多可能性。 将来，作业支持技术团队将继续构建先进的技术体系，突破网上教育快速发展面临的技术课题，用科学技术真正实现网上教育创新的快速发展。