一、所属领域：兴业

二、案例类别：创新产业

三、案例名称：东平县SWS汽车行业洞察数据中心助力企业精准市场调研

四、案例简介：

（一）背景目的：

随着汽车行业竞争不断加剧，车企需要根据精准的市场调研来制定市场策略和发展战略，然而，传统的市场调研方式具有覆盖面低、时效性差、年轻群体接受度低等缺陷，因此革新市场调研方式，通过大数据分析进行精准度高、实时性的市场调研，是目前车企的刚性需求。SWS汽车行业洞察数据中心是基于国内首个提供汽车行业大数据「前中后·全链路」服务的系统，根据行业及企业的需求，提供舆情洞察分析（前端）、大数据中心平台建设（中端）及数据源合作（后端）等服务，探索大数据商业应用的前沿及价值实践；探索解决现有的磁存储成本高，数据安全性差的技术问题，以及系统安全性与使用效率难以平衡的技术问题。采用SaaS模式为企业的经营活动提供数据采集，处理，分析服务，为企业的营销，公关，宣传，产品设计和售后等活动提供决策参考和依据。

（二）主要做法：

1、聚焦数据挖掘。SWS汽车行业大数据洞察中心主要是服务于汽车行业，汽车品牌商，为企业在智能运营上智慧决策提供数据依据。通过构建智能模型应用，运用自然语言处理（NLP）、AI学习（深度学习，主题分析，意见观点挖掘）、精准用户画像、知识图谱、情感分析（正中负判定，情感得分）等技术，自主开发爬虫采集程序，在IP地址数量达10万+的地址池进行采集，支持断网采集。采集范围涵盖汽车之家、易车网、爱卡汽车、新浪汽车等多家汽车媒体网站及网络知名汽车论坛，还可跟踪采集微信、微博、抖音等自媒体平台知名网络达人发布的评论、视频、文章等内容。所有数据均来自互联网公开发布内容，数据来源合规。数据挖掘量大，采集样本多，数据挖掘过程完全自动化进行。

2、强化数据存储。开发研制了离线式硬盘存储柜系统，综合磁盘库管理软件和数据库管理软件两种管理技术的优点，改进数据读取的方式。结合“离线盘阵”与“离线分布式存储软件系统”FPGA硬盘控制芯片，改变了冷数据高耗能存储的现状，为IDC机房提供了针对冷数据的低碳云存储解决方案，解决了现有的在线磁盘阵列存储成本高，数据安全性差的技术问题，以及系统安全性与使用效率难以平衡的技术问题。使数据的访问效率较传统的离线存储有了很大的提升，真正的意义上的实现了“离线存储，近线查询”。另外，电子数据保存依托于磁介质存储，具备诸多不安全因素。离线式硬盘存储柜采取了一系列措施来保证存储介质内的数据安全，一旦硬盘出现健康问题，存储柜可以在第一时间提示用户，利用系统自带的复制功能将数据及时转移到健康的硬盘上，且离线数据存储柜本身具有防潮，防火，密闭性好等功能，对数据的安全存放也提供了保障。离线式硬盘存储盘阵除了需要对硬盘的健康进行监测，还要能够支持对硬盘内部数据的检测及保护。根据上面提到的目标，SWS系统针对如下几个方面，进行了针对性的设计：

海量数据存储：单台存储柜最大支持144块硬盘，可通过光纤级联多台存储柜，灵活增加容量满足用户在长期使用过程中的扩容需求。

存储介质健康检查：通过读取每块硬盘内的SMART参数，检查每块硬盘的健康状况，一旦出现损坏，立刻产生报警，为数据安全提供了保证。

数据多副本存储：利用存储柜自带的复制功能，可以将一块硬盘上的所有数据全盘镜像到相邻的盘位上，通过对对象的多副本存储，避免了由于硬盘损坏所带来的损失。

数据写保护安全：启动存储柜的硬盘写保护功能后，可以使所有对硬盘内数据的添加，删除，新建等动作无效，保证了数据的安全性。

存储介质内部数据校验：使用MD5校验功能，对硬盘内所有磁道上的数据进行计算产生MD5校验值。通过比较产生的校验值判断硬盘内的数据是否发生变化，保证存储数据的可靠性。

系统断电保护：每个存储柜内部都配有电池，使系统即使在失去外部供电的情况下仍能正常工作，避免了由于突然断电，导致硬盘内数据损坏的可能。

远程访问：通过光纤将离线式硬盘存储柜与用户间进行了点对点的连接。利用光纤，频带宽，损耗低，中继距离长，抗干扰等优点，使用户可以在PC端远距离完成对存储柜内数据的访问。

Web管理：通过网口将命令逐级的传送到执行单元，实现对离线式硬盘存储柜的管理。

3、提供个性服务。根据客户需求和行业特点，可以策略性为客户量身打造风险评估模型，并通过硕为思大数据智能洞察平台，对于全网络数据进行精准监测，并设置企业敏感事件预警、企业领导人敏感事件预警，为客户提供从监测到分析到预警到处理全链路服务。打造数据服务传播和营销模型，通过对全网媒体的定向监测和分析，对关联媒体进行分级判定，打通客户的异构数据源，同时对媒体传播影响力和性价比进行综合评定，服务企业传播，提升传播的效能和降低企业营销成本。

（三）特色亮点：三大技术架构支撑整个SWS汽车行业洞察数据中心：1.流数据的Elasticsearch处理引擎，保证实时快速搜索，主要功能包括强大的全文搜索、高亮显示、分面搜索、动态集群、数据库集成、丰富的文档处理和地理空间搜索；具有高度的可扩展性，提供容错的分布式搜索和索引，并支持许多互联网站点的搜索和导航功能。2.计算引擎Spark可以更高效地进行大规模数据处理，启用了内

存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。同时，该引擎是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。3.MapReduce算法能够更好地适用于数据挖掘和机器学习，作为基于集群的高性能并行计算平台（Cluster Infrastructure），允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。

目前在SWS汽车行业大数据智能洞察系统上，每年可入库10TB+的数据量，包含企业数据，媒体数据，行业数据，还有独有数据。庞大的数据量加上高效地数据处理计算引擎能够为客户提供精准的市场调研结果。

（四）应用成效：目前，硕为思大数据已为已为一汽奔腾、吉利、荣威、东阿阿胶等50余家国内外知名品牌提供数据搜集、数据清洗、数据优化与应用等各项大数据线上营销服务，此外还提供本品和竞品电商平台的监测，了解本品电商的销量趋势和网民意见，关注竞品的电商平台的运营动态，及时给出电商运营建议，协助提升客户的电商销售。其中，已与吉利汽车建立5年以上的长期合作关系，预计将进一步扩大合作力度。