算法工程师的正常研发流程
整体研发流程
- 接受需求
- 需求分析和相关类似项目的方案调研
- 判断开发的必要性
- 明确输入和输出
- 确定评价指标和评价方法
- 取数，并进行数据的基本统计分析
- 数据的清洗和筛选
- 数据标注
- 有标签的评估标签的质量，随机取50-100条进行评估。【重要】
- 无标签标注
- 使用开源接口进行相关数据标注
- 看是否能总结基本的规则，使用规则标注
- 看是否有类似的开源数据集，或先小部分标注数据进行初步训练，然后用训练模型进行初步标注。
- 最后才使用人工标注。
- 应用算法与优化策略
- 策略效果评估，判断是否符合预期，否则重新进行9
- 开发服务接口，进行代码review，上线对接，构建相关的监测和例行维护。
细节
需求想法
- jira上同步提出需求和想法，构建对应jira号的钉钉群，关联后续的算法服务接口的提交分支。
- 后续对应的算法任务优化继续复用第一步的jira和讨论群。保证一个识别能力同时只做一个优化点。
正常的迭代【保证一切都有迹可循，不需艰难考古】
- 按月作为迭代周期
- 需求规划月：
- 产品进行新项目开发或者客户需求的调研，确定功能的规划、基本的需求分析，明确开发同学需要解决的问题。
- 召集开发同学进行需求评审，确认可行性和开发目标。
- 开发月：
- 周：
- 取数，确定取数的范围，是否需要按时间或其他指标进行排序，以及取数的量级。明确测试集。
- 明确需要达到的评价指标如精度和召回，作为量化标准。
- 理清相关的标签体系，如需标注需要产品和算法同事共同标注，并将落实的标签体系同步到wiki或钉钉文档。
- 周：
- 算法：识别能力开发
- 标注：更大范围的标注【可选】
- 周：算法：
- 输出对应标签的识别质量评估报告。优先保证精度。
- 进行压测、qps、内存占用、相关资源的下载成功率、下载时间等基本分析。
- 进行服务接口的开发。
- 周：
- 上线：不选周末或节假日前上线，上线后进行大范围数据【全量数据重跑】识别输出。
- 如有严重性能和成本的限制，优化识别代码或模型复杂度。
- 周：
- 上线月：
- 相关服务上线并例行运行，评估使用情况，可以用sql构建对应的监控面板。
- 根据情况进行定期每月小批量数据的质量评估报告。
- 处理badcases，并进行记录【这部分可直接修改数据表，将修改过的数据的部分字段进行更改，便于后续取数用于服务的迭代优化】。
- 相关项目代码进行整理并提交，保证后续人员可复现。
- 需求规划月：
人员工作
同时处理的算法需求每人不超两个，至少有一个是处于例行的优化工作。（避免单任务卡依赖，如等标注数据、没有思路可以换方向调剂下）
算法工程师的正常研发流程相关推荐
- 算法工程师属于计算机哪个领域,算法工程师、数据研发工程师，数据挖掘工程师的区别是什么？...
算法工程师: 专业要求:计算机.电子.通信.数学等相关专业: 学历要求:本科及其以上的学历,大多数是硕士学历及其以上: 语言要求:英语要求是熟练,基本上能阅读国外专业书刊: 必须掌握计算机相关知识,熟 ...
- Shopee招聘计算机视觉算法工程师
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 社招: [电商业务]计算机视觉算法工程师 Marketplace Intelligence 研发类 工作地点 ...
- 深圳招聘 | 元象唯思：决策AI研发工程师、NLP算法工程师（可实习）
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 元象唯思 元象(XVerse)将前沿科技,特别是人工智能.云渲染.视频编解 ...
- Interview之AI：人工智能领域岗位求职面试—人工智能算法工程师知识框架及课程大纲(AI基础之数学基础/数据结构与算法/编程学习基础、ML算法简介、DL算法简介)来理解技术交互流程
Interview之AI:人工智能领域岗位求职面试-人工智能算法工程师知识框架及课程大纲(AI基础之数学基础/数据结构与算法/编程学习基础.ML算法简介.DL算法简介)来理解技术交互流程 目录 一.A ...
- 网易杭州研发中心-算法工程师面经
前一段看到网易有内推,瞧着这个算法工程师有语音方向,随便投了个,没抱多大期望来着..毕竟听说网易要求也是很高哒. 简历投了大概几天,17号接到短信预约18号面试,我也刚放假回来,而且也不知道算法工程师 ...
- 上海/北京内推 | 百度商业研发部模型团队招募机器学习算法工程师/实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 百度 百度商业研发部模型团队传承自百度凤巢model组,长久以来以开创.领 ...
- 算法工程师研发技能表
算法工程师 Author:louwill Machine Learning Lab 由于算法工程师这个岗位根据不同的业务场景和应用方向,各自的工作差异相对较大.所以很难有一个一概而论的算法工程师技术栈 ...
- 算法工程师（机器学习/深度学习）Offer的准备流程
目录 关注相关咨讯 打造自己的github专栏,csdn博客 题库刷起来 比赛搞起来 多看看别人的经验分享 视频教程 博客上的学习资料 啃书也是必要的 关注相关咨讯 1.公众号 学校官方就业公众号,名 ...
- 给算法工程师和研究员的「霸王餐」| 附招聘信息
现在的算法工程师真的是太难了! 要让AI会看人眼都分辨不清的医疗影像! 数据又不够,还得用前沿技术! 好不容易学会看片,还要让AI会分析病理! 然后 模型搞出来了,还要把几十种模型,做N次计算 大规模 ...
最新文章
- Java 成员变量与局部变量
- 自研Spring容器，带你解析ioc内部原理
- wiki维基百科上logo中字母的意思是什么？
- ROS知识【13】：ubuntu下安装eclipse-CDT【非installor】
- linux中Shell历史命令记录文件的路径是什么
- 初学echart的简单使用
- Node.js ES6 模块化的基本语法-直接导入并执行模块代码
- 本周小结！（回溯算法系列三）
- 漂亮html表格页面模板,四款好看实用的CSS表格样式分享
- 【周末福利日】资料免费赠送
- SecureCRT中文乱码解决(汇总)
- 计算机光驱无法启用,刻录的系统盘用USB光驱无法启动是怎么回事？
- Springboot集成第三方登录(facebook,linkedin,github)
- Fitbit表高兴太早，廉价手环和智能手表的威胁就在眼前
- python画小猪_利用python画小猪佩奇
- Linux操作与管理文件（多次打开同一文件，文件共享，fcntl函数，标准IO库）
- 安卓毕设项目总结（一）校园订餐app
- 告别传统开店模式，借鉴餐饮理发店经营思路，谁都可以当甩手掌柜
- Win10玩魔兽争霸不能全屏显示的设置教程
- 下载NVIDIA老版本驱动教程