客研赋能手册2024

大数据≠智商税 关于品牌使用和知识产权的重要声明 •客研社成立于2017年，旗下仅“青岛客研社数据信息技术服务有限公司”一家在营公司，如有其它以“客研社”品牌进行营销宣传的其他企业或机构，均为假冒伪劣；•知识产权是企业重要的财产，请大家选择合作企业时谨慎甄别，以免因误会陷入法律风险，客研社虽然是一家乐于分享知识成果的企业，但对盗版行为零容忍；•截止至2024年3月15日，客研社的知识成果仅授权予『西安前瞻地产顾问有限公司』和『北京先锋数聚信息科技有限公司』两家公司进行盈利性使用；•2021-2023年期间于3月12日（植树节）发布的客研赋能手册系列在未来会改在3月15日（消费者权益日，也称打假日）发布，敬请关注；•如在盈利性情况下需要使用《客研赋能手册2021-2024》的内容，请提前联系我们，获得授权许可；•在非盈利的情况下，我们不设任何限制，请大家放心使用。 青岛客研社数据信息技术服务有限公司2024年3月15日 To房地产：这是一个绿油油的行业…. The best time to cut a wave of leeks was ten years ago, Next is now…… 割一波韭菜最好的时间是十年前，其次是现在…… 03 01 02 数据获取要么劳力获取，要么脑力获取，要么财力获取 数据黑箱 共生关系 目录 智商税的第一课——别看广告词，看配料表 可能做不到相互成就，但至少要相互依存，一起过冬 END 05 写作团队介绍主编：林睿孜内容编辑：王紫瑛技术编辑：王喻婵 04 联系方式 数据应用 数据分析 本次内容由以下机构联合提供： 数据可以用来写报告，也可以做系统，然后用系统里的数据来写报告 数学好的建模分析，数学不好的统计分析，不会数学的拍脑袋分析 一起共创呀！ 数据黑箱 智商税的第一课——别看广告词，看配料表 黑箱逻辑：“我的数据是准的，但你不能打开看” 首先必须承认数据存在黑箱，它具有法理性，是个人数据的结构化，法律不允许我们逆推，避免涉及个人隐私但是，部分数据供应商，会把“数据黑箱”作为规避数据品质检测的借口，这就值得推敲一二都会有什么情况： 数据供应商几种常见的解释方式（jiekou） “我们的数据来自平台” “我们内部有算法加密” “我们提供的是整合数据” 潜台词是“我们只是数据的整合方，源头数据不在我们这里，你要自己去找他们解决。”一般的甲方因为修正链太长，非常麻烦，最后就会妥协。 某宝、某东、某音的数据，NB品牌，不认可就会被鄙视。实际上大品牌不直接卖数据，都是二级三级甚至是四级受理商提供中间真真假假，添油加醋也未可知 不公开算法也很合理，但是用了的模型、公式、数据源，肯定要清晰明了。配料表要公开，大概使用哪种生产工艺也要说明，不然就是三无产品。但凡数据产品，都是要有“谨慎的解释”。 数据整合还有一个问题就是耦合，数据类目多也有可能是乌合之众 想要规避“数据智商税”，三个金标准 1.数据内容可以打开，可以查看，可以经得起数学计算，统计学计算，这就要求底层数据是结构化高粒度的信息。2.从业务逻辑解释的通，一旦要运用复杂的数学知识或者软件知识去解释（正常人听不懂），就存在智商税空间。3.接受数据共创，共同治理，让使用方参与到治理的过程中，提要求，提建议，一起完善。 共生关系 可能做不到相互成就，但至少要相互依存，一起过冬 涉及玄学，自己理解 1.房地产：涉及房地产开发商、房产中介、二手房交易等业务。2.矿产资源：包括开采、加工和销售矿产资源。3.基础建设：如基础设施建设、城市规划、建筑设计等。4.土地中介买卖、房屋中介买卖：涉及土地和房产的买卖服务。5.建筑业：包括土木工程、建筑设计和施工等。6.土地产、饲料买卖：与土地相关的产品和服务的买卖。7.中介人、企业顾问、秘书、设计、代理商：提供中介、咨询、设计等服务。8.矿石开采业、水泥业：涉及矿物资源的开发和水泥生产等。9.金融：涉及银行业务，特别是与土地和房地产相关的金融服务。 火运（2024-2043）代表的行业包括但不限于：1.服务业：如饮食、饭店、宾馆、美容、照相、理发、化妆品、厨师、家用电器销售等。 2.数据信息：大数据、软件工程、网络、新媒体、人工智能、社群电商等。3.化工类行业：涉及煤炭电力、石油煤气、化工原料制品、橡胶树脂、加油站等。4.光电类行业：包括电机电源电池、电气电工、电线光纤电缆、光电产品、玻璃光学类。5.艺术行业：如歌舞艺术、绘画、教育业、新闻、写作。6.厨师行业和香烟行业：这两个行业在五行中也被认为属火。7.物流快递：物质输送等相关产业，利用火的特性进行运输和销售。8.娱乐业：涵盖电影、电视、音乐、舞台表演等领域。9.广告和营销：火行业在广告和营销领域中非常重要，需要创造力和创新。10.创业和创新：火行业与此紧密相关，人才通常具备敏锐的商业眼光和创业精神。 老将迟暮遇到未来可期，一个苟延残喘，一个方兴未艾 大数据和房地产目前的经济共生状态：一个图对方年轻，一个图对方有钱，简直完美。 对于未来房企已经在重仓大数据但近几年交了一系列智商税对大数据——不信任、不放心、不托底共生关系很微妙对于一个离不开的未来和一个混浊的数据市场敢问路在何方？ 2024赋能手册“大数据≠智商税”为你赋能！ 数据获取 要么劳力获取，要么脑力获取，要么财力获取！ 接触采集/调研、访谈、勘探客观接触，主观认知，没有门槛，难于精通 01 勘探（踩盘、情报收集） 访谈（访问、座谈会） 调研（问卷、测试） 交通成本+沟通成本，如果掌握了奇妙的关系学，可以有效减少成本支出，所以也可以叫面皮子工程 客研人升级版技能，并不只是访谈本身，问题设计、场景设计、道具设计都是关键，属于重度劳力加适度智商，可能情商在这里更加重要 典型的劳动力解决问题，这是房地产行业里最基层的执行逻辑，俗称“客户洞察”，实际上只有察，没有洞。 用劳动力收集数据是目前最可靠的方式，可监控、可验证、可以经验判断。但是缺陷也很多，累、慢、贵，采集数据信息储存和利用环境差；建议“非必要，不展开”，“问题少而精”和“大结果标准化，小结果个性化”。 网络获取/公共数据 基本白嫖，随用随取，利用科技，价值有限 学术开源（科研用途、教育用途） 国家统计（统计公报、年鉴、数据平台） 国外已经有大量的开源数据机构、网站，数据种类丰富；国内刚刚开始，资源不多，不能满足我们正常使用。这里推荐全球人口数据（南安普顿或landscan），如果研值足够，可以发展发展灯光数据和遥感数据。 不知道你们有没有一边搜年鉴，一边往EXCEL表格录数据的经历，现在知道用ORC一秒搞定。以前政府网站只公布大型统计数据，后来发现输入“城市名+公共开放+数据平台”会有好柿花生。 数据费用/以某德地图POI数据为例：直接采买一个城市10万+5万平台费；如果找中间商，大约500-1000块钱，问题是不全，大概只有40%覆盖率；如果用灰科技采集，大概也就是200多块钱含电费，问题就是要解决反PA机制； 商业网站/大型平台 海量数据、高颗粒度、灰色科技、谨慎使用 企业发布/财报、榜单 拿来主义，即查即用，权威发布，缺少细节 02 01 榜单（排行、指数） 企业年报（企业财报、独立调查） 野榜太多了，平常心不太够用，所以尽量找正规渠道发布的，有连续性的榜单，比如城市排名国际上用GaWC，但它的问题就是细节太少，只能看结果，国内第一财经经常发布各类城市排行，有一定的细节，但是在知乎里属于野榜。指数榜就靠谱很多，但是房地产上面用的很少，比较权威的就是微博指数，达多多的直播流量指数（抖音数据，可以看楼盘的直播场观），用途还需要开发。 看财报不是为了看企业的盈利信息，主要是在里面经常会出现行业的调研数据，从里面吸取我们需要的养分。独立调查，特别是行业调查报告这就比较多了不一一举例，一些涉及行业面广的比如瑞银的宏观月报年报，或者房地产咨询企业的年报半年报，也属于独立调查，相信大家不陌生。 下面提供一些调查报告类的网站： 还有就是房地产业内各种排行榜，维度五花八门，比如百强榜，年度销售金额榜，销售面积榜，某片区销量榜，某面积段销量榜….，早些年间企业上榜可以促进金融贷款，这些年银行也不认了，不知道现在用来干嘛，知道的小伙伴可以偷偷告诉我吗？ •巨潮资讯网http://www.cninfo.com.cn/new/index•同花顺http://www.iwencai.com/unifiedwap/•东方财富网https://data.eastmoney.com/report•雪球https://xueqiu.com/S/SH600519•互联网数据报告-艾瑞网http://report.iresearch.cn/•工信部原材料价格https://www.miit.gov.cn/gxsj/index.html 合作购买/数据库 科技产物，粘性付费，经典实用，发生变革 LBS位置数据是房地产客户地图最主要的数据资源，是现在研究价值最高的数据类型 LBS位置数据类数据源对比 合作购买/数据集、数据接口 涉及软件、涉及算法、需要维护、需要运营 02 01 数据接口（API） 数据集（dataset） 数据接口是一种中间件，为两个平台提供数据共享。数据接口需要专业的软件开发人员编程，两个平台开发者之间还要交流数据交互的内容。 数据集是统计学概念，由一系列数据或资料集成的资料包，常见的储存方式为CSV、JSON、SQL等，一般根据使用方式来定，比如使用SPSS、PYTHON或者GIS，都会有格式要求。 房地产从业人员一般不会直接去干开发接口的工作，所以我们只要简单了解一下，采购数据接口可以看做是采购数据的一种，按照供应商提供的格式、数量、周期等，由计算机自己完成传输。 数据集的采购分一次性购买和分期购买，前者用于静态分析，后者一般是自己有数据库或数据中台，可以自己运营。 再比如如果市场部自己做周月报，那就要向数据公司分期购买新房成交数据集，就是按要求处理好的，分月度周度、分板块，分面积段等数据结果。如果你直接买了一房一价数据自己分析，那就叫底层数据或者数据底表。 有时候内部的两个不同软件也需要用到接口，比如你要从CRM往BPM共享业务数据，那就内部写一个接口来实现。数据接口越多，说明要处理的业务越复杂，还有一种结果就是把前端工程师累死在岗位上。 看完这个篇章，你对数据获取应该有基本概念这是你在数据分析前，必须了解的常识Gabagein Garbage out… 数据分析 数学好的建模分析，数学不好的统计分析，不会数学的拍脑袋分析 低阶数据分析VS高阶数据分析 低阶数据 高阶数据 高阶数据 终极分析 拍脑袋分析 普通统计学分析 数学模型-数理统计模型 数学模型-测量模型 K-means聚类：肘部法则系统聚类：原始的数据距离相关分析：自变量筛选主成分分析：指标降维 占比分析：饼图，旭日图趋势分析：柱状图、线形图对比分析：数据比较、环比同比序列分析：排行、中位数…… 黑格尔曾说：历史给我们最大的教训就是人类从来不会从历史中吸取教训。所以哪怕拍脑袋分析有无数的反面教材，但我们也不用太过紧张，人性已经决定了，拍脑袋分析一定会发生，也还会发生。房地产坚信幸存者偏差不是偏差，所以抄成功项目不是抄，拍脑袋不是拍，是自我觉醒。这里建议，看着高阶数据拍。 指标选取：颗粒度、依据性、完善度赋权：数学方法、市场验证计算：机器跑数，去人为主观…… 低阶数据 高阶数据 高阶数据 业务逻辑分析 数学模型-预测模型 地理学模型 回归分析：因果关系灰色模型：残差修正，提升拟合时间序列：时间线更密集随机森林：大数据集成决策 插值分析-反距离权重法OD成本矩阵-多点出发，成本最小…… 矩阵分析：波士顿矩阵、GE矩阵专业测评：专家打分、权重分布…… 低