谈谈数据项目的挑战

虎嗅2022-06-29

本文来自微信公众号：聂子云（ID：nieziyun161209），作者：聂子，题图来自：《斯巴达300勇士》近几年，随着数据和人工智能越来越受关注，数据与人工智能项目（统称数据项目）也遍地开花，和传统应用类项目相比，数据项目有其自身的特点和挑战，本文就来盘一下这些挑战。一、数据质量，横亘在理想与现实之间那道坎企业想从数据里面发掘价值，首先需要有数据，大部分企业面临的问题不是无数据可用，而是无可用...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2247045465?lang=zh_CN&edition=full","thumbnail":"https://img.huxiucdn.com/article/cover/202203/09/073742252029.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg","is_english":false,"pubTime":"2022-06-29 22:03","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2247045465","market":"sh","top_or_hot":-1,"title":"谈谈数据项目的挑战","media":"虎嗅","content":"<div>\n<p>本文来自微信公众号：聂子云（ID：nieziyun161209），作者：聂子，题图来自：《斯巴达300勇士》近几年，随着数据和人工智能越来越受关注，数据与人工智能项目（统称数据项目）也遍地开花，和传统应用类项目相比，数据项目有其自身的特点和挑战，本文就来盘一下这些挑战。一、数据质量，横亘在理想与现实之间那道坎企业想从数据里面发掘价值，首先需要有数据，大部分企业面临的问题不是无数据可用，而是无可用...</p>\n\n<a href=\"https://www.huxiu.com/article/595257.html\">网页链接</a>\n\n</div>\n","source":"highlight_huxiu","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谈谈数据项目的挑战</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谈谈数据项目的挑战\n</h2>\n\n<h4 class=\"meta\">\n\n\n2022-06-29 22:03 北京时间&nbsp;&nbsp;&nbsp;<a href=https://www.huxiu.com/article/595257.html><strong>虎嗅</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>本文来自微信公众号：聂子云（ID：nieziyun161209），作者：聂子，题图来自：《斯巴达300勇士》近几年，随着数据和人工智能越来越受关注，数据与人工智能项目（统称数据项目）也遍地开花，和传统应用类项目相比，数据项目有其自身的特点和挑战，本文就来盘一下这些挑战。一、数据质量，横亘在理想与现实之间那道坎企业想从数据里面发掘价值，首先需要有数据，大部分企业面临的问题不是无数据可用，而是无可用...</p>\n\n<a href=\"https://www.huxiu.com/article/595257.html\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4077","symbol_name":"互动媒体与服务","start_time":0,"source_url":"https://www.huxiu.com/article/595257.html","article_id":"2247045465","we_media_id":null,"thumbnails":["https://img.huxiucdn.com/article/cover/202203/09/073742252029.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2247045465","pubTimestamp":1656511410,"sourceInfo":{"source_id":"highlight_huxiu","name":"虎嗅网"},"weMediaInfo":null,"summary":"数据质量，横亘在理想与现实之间那道坎","collect":0,"end_time":0,"defaultTopTitle":"huxiu.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4077":"互动媒体与服务","TCEHY":"腾讯控股ADR","02015":"理想汽车-W","LI":"理想汽车","BK1119":"汽车制造商","BK1539":"汽车股","BK1587":"次新股","BK1588":"回港中概股","BK1575":"同股不同权"},"translate_title":"Talk about the challenges of data projects","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"02015":0.9,"TCEHY":0.63,"LI":0.6},"content_text":"本文来自微信公众号：聂子云（ID：nieziyun161209），作者：聂子，题图来自：《斯巴达300勇士》近几年，随着数据和人工智能越来越受关注，数据与人工智能项目（统称数据项目）也遍地开花，和传统应用类项目相比，数据项目有其自身的特点和挑战，本文就来盘一下这些挑战。一、数据质量，横亘在理想与现实之间那道坎企业想从数据里面发掘价值，首先需要有数据，大部分企业面临的问题不是无数据可用，而是无可用数据。多年的业务经营，许多企业已经积累了大规模的数据，看上去是一笔巨大的财富，这就会造成一种假象，会让企业的管理者和高层过高估计数据给他们带来的价值，相应的也会对数据项目产生过高的预期。理想状态下，数据是能够带来价值的重要的生产要素，但现实是，真正打开之后，才会发现可以直接拿来使用的数据并不多，比如数据存在各个系统孤岛里，获取不到；比如，数据的标准不统一，口径不一致；比如，数据中出现大量的错误，许多关键数据是缺失的，矛盾的，等等，这些都是数据质量问题。举个典型的例子，服务过的某家车企，想做一些老客深挖、通过老客引入购车机会的事情，这个工作需要基于数据分析老客的特点和行为特征，从而预测老客带来新客户的可能性，但当真正基于数据做客户分析和模型开发时，发现只有不到40%的数据可用，可想而知，模型结果也就不具备很高的参考性，这和企业的期望是相背的。所以数据项目从立项那一刻起往往就背上了一个不切实际的预期，项目被认为是炼丹炉，数据进去，丹药出来，包治百病，很少会有人考虑炼丹成功的几率问题。要提高胜算的几率，也是有方法可循的，比如盘资产、提质量、推确权，解决历史数据中的遗留问题，从源头上管控好数据的生产问题，也就是把企业的数据统一、科学、专业的管理起来。唯有如此，才有可能提高数据价值兑现的可能性，但这需要一个过程，这也是企业的系统工程。总的来说，数据质量问题，是横亘在理想与现实之间难以逾越的那道坎，解决这个问题，需要决策者保持清醒的头脑，也需要决策者拥有大胆革新的魄力。二、跨部门合作问题，人的问题最关键许多企业里面，数据的生产者、使用者、管理者、所有者来自于不同的团队，所以和应用类项目的开发比起来，数据项目需要更多的团队和部门参与和支持，但由于大部分部门的KPI是和部门内部的职责相关的，每个部门的权责利清晰，当跨部门的协作和本部门的资源或者利益出现冲突，协作的动力便会出现问题，所以跨团队合作在很大程度上增加了数据项目的复杂度。举个现实中的例子，曾参与过某家零售企业数据驱动的供应链数字化转型项目，项目由一把手推动，轰轰烈烈展开，启动会议上，各部门的负责人也是拍着胸脯喊口号、表决心，给人一种上下一盘棋、未来可期的壮丽景象。但当真的着手开展工作时，会发现各部门有各部门的生存压力，年度指标压着，部门考核绑着，资源计划空着，整个数据项目就是在各自KPI之外的“爱心工程”，项目进展到第二个月，大部分部门的参与度就已经明显降低，信息收集不上来，任务推进不下去，接口人频繁变更，最终连会议也很少参加了，刚开始的时候，一把手过问一次，紧迫感提升一点，但一把手也苦于没有精力紧盯执行细节，渐渐地也就相信了各部门已经尽了最大的努力在做好份内的事情，数据工作不是想象的那样立竿见影，可以在未来徐徐图之，只是这个未来在什么时候，是不确定的事情。这就是为什么很多数据项目，会经历高高举起、轻轻放下的过程。总的来说，数据项目要做到有始有终，有目标、有行动、有结果，跨部门协作是绕不开的话题，归根结底这也是解决人的问题，这需要在立项的时候，相应的有组织设计上面的辅助支撑，比如，责权利的重新界定，比如KPI的调整设计，等等，跨部门协作的事情如果不能得到解决，企业里一系列和数据相关的工作，很容易变成只有开始没有下文的结局。三、价值衡量的问题，一个悬而未决的问题数据项目还会遇到另外一个挑战，也和跨部门协作相关，那便是如何衡量价值，如何测算ROI（投资回报率），这是很现实的一个问题。因为要持续获得投入和支持，就要看项目的产出结果，也要看投入产出比，要获得跨部门多个团队的支持，就要给对方带来看得见的利益和价值，归根结底，数据项目如何衡量结果和价值呢？这些价值对应到应用类开发项目，可以是上手的功能，华丽的界面，友好的用户交互体验，可以用“姣好的颜值”、顺畅的流程、提升的效率来衡量结果，也可以用获得的客户满意度来证明价值，但很多数据项目，大部分工作隐藏在“冰山”之下，比如，数据接入、数据处理、数据清洗，比如，模型开发、测试、优化，比如，数据治理，套用冰山模型来解释的话，这些数据工作如果能让人看到冰山之上30%的结果，通常代表冰山之下至少有70%的投入，所以，数据项目的投入产出比经常会受到挑战。尽管有许多从业者已经在不断寻求和验证数据项目的衡量标准，但直到现在业界没有很好的实践和标准供参考，在这个标准被找到之前，估计还会有很长的一段路需要摸索。四、业务与技术的调和问题，志不同则道不合业务团队和技术团队的出发点不一样，经常会体现在诉求的不一致上，但项目的成功依赖于两个团队对于目标的认识保持一致，也需要双方对行动方案给予支持。现实场景中，业务拥有最多的上下文，希望技术团队快速满足业务诉求是最高优先级，哪怕诉求还没有成体系，也可能会存在频繁变更的可能，但“多快好省”是永远正确的追求，但技术团队要考虑变动带来的影响，要考虑架构，考虑资源，考虑远期目标与短期需求，所以，满足了“多”，不一定能“省”，要追求“好”，实现起来不一定“快”。比如，建设中台，或许能解决远期的效率，但未必能提升近期的速度，比如，数据治理，能辅助未来的决策更贴近“精”和“准”，但既需要业务团队参与，又需要时间周期，而业务团队背着指标分身乏力，开展业务紧迫在时间上往往也等不起。业务和技术的矛盾，尤其在数据工作上，调和起来有很大的难度和挑战，但两个团队又互相依赖，在很多企业里面，业务依赖技术团队走项目流程，技术依赖业务提供需求上下文，并给予产出结果肯定或反馈。解决这个问题，需要双方共同努力，业务和技术分享业务上下文，帮助技术了解诉求背后的原因和压力，技术帮助业务了解数字化和数据背后的原理，双方统一语言，频繁沟通，最终实现认知和理解上的一致。以上是一种理想的状态，要达到这种状态，企业在文化上要鼓励沟通，尤其是跨部门沟通，在环境上要营造开放的氛围，倡导包容与理解，在组织结构和绩效考核上，要设置一些促进信息共享、跨部门合作的标准和激励。如此，企业在整体的协作上得到调和，企业级的信息共享问题才有可能得到缓解或解决。五、数据思维问题，一切问题的起点在这个上下文中，数据思维是一种思考的能力，简单来讲就是如何看待数据，以及对数据能带来什么价值、如何带来价值的认知。近几年，数据被提的次数多了，加上数据经常会和人工智能一起被提及，不同的人对数据思维的理解有着千差万别，这里面也不乏有一些错误的认知。比如，数据是面魔法镜，能够看过去知未来，如果数据告诉不了我答案，那一定是方法有问题；比如，数据问题是技术问题，和业务没有关系；比如，数据如果不正确，一定是计算逻辑出了问题，系统的错；比如，技术是个魔法棒，如果结果达不成预期，那肯定是能力跟不上。之所以出现这样一些认知，是因为数据思维还没有建立起来，确切的说，是科学合理的数据思维没有建立起来。很多应用类项目的开发，是思维先于行动的，也就是说，先对结果有了相对合理的预期，然后开展行动，而很多数据项目是从尝试开始的，过程中充满探索，充满未知，许多传统企业沿袭的是“不承诺结果便不能投入”的决策规则，所以数据项目立起来困难重重，即使是冲破各种困难走上探险之路，在开发的同时，也肩负着和具有不同数据思维的人沟（ZHAN）通（DOU）并影（JIAO）响（YU）他们的工作，这些都会使数据项目的困难度和复杂度陡增。总的来说，数据如同企业的生命线，它的产生和流转贯通企业的业务和运营，数据的工作牵一发而动全身，绝不是拿着钳子拧螺丝就能解决的简单明了且具体的事情，要把数据工作想清楚，规划好，执行下去，既要做正确的事，又要正确的做事，需要企业上上下下具备数据思维。这种思维需要在业务和数据之间建立联系，既要创新又要谨慎，既要守住优势，又要探索新知，不保守不冒进，所以说，数据思维是企业整体的能力，建设这种能力也是数据项目的挑战和使命。总结一下，和应用类项目比起来，开展数据项目会面临一些新的挑战，这些挑战给数据项目的开发和管理带来了新的困难，如何更专业更成功的管理好数据项目，这些实践值得被探索和总结。本文来自微信公众号：聂子云（ID：nieziyun161209），作者：聂子","kind":null,"is_publish_news":null,"is_publish_highlight":null,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.22.4","shortVersion":"4.22.4","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2247045465"}