还剩5页未读,继续阅读
文本内容:
市场分析决策平台建设方案粮食行业是传统行业,信息化建设相对其他行业较滞后,但滞后就意味着巨大的潜力国家粮食行业十三五规划一个重要内容就是粮食行业信息化,在互联网加粮食大背景下,国家加大了对粮食行业信息化的投入,可以说粮食行业信息化迎来了春天作为主管行业动态的权威机构,拥有大量数据分析需求的国家粮油信息中心,是如何看待和发展信息化建设的?关于国家粮油信息中心国家粮油信息中心是国家粮食局隶属事业单位,主要职能是提供粮油市场分析服务就是为国家发改委、财政部还有国家粮食局等机构,提供一些信息服务第二个职能是国家农信中心,它是粮食行业新文化支撑单位国家粮油信息中心一共有个处室,其中行业信息化处目前正在筹建8中信息化建设经验信息化中心作为市场分析机构向来以来想拥有自己的数据中心,集中的管理数据,使得分析师与业务人员能够在统一平台下分享数据为此,信息中心也做了不懈的尝试此前购买过第三方的数据服务,曾经屡次独立开辟但效果并不好例如之前开辟粮油统计地理信息系统,它的选型是、叩、图形化插件整个的具体实施就是通NET ExtjsJson SuperMFlash过代码码出所有业务逻辑、显示报示,然后利用进行导入和导出这其中很大的缺点就是,开辟周期长、扩Excel展性差、应对需求变更能力差、没有彻底实现业务目标多次尝试下来,归结如下点信息化建设提议7明确业务需求强烈的业务需求,明晰的业务目标,能否抓住核心是一个项目成败的关键“产品+定制+服务”的建设思路项目建设如果不借助比较成熟的产品工具,从技术代码进行创新式的开辟,不经过迭代以及检验很难规避风险,很难形成一个成熟的产品经过探索实践以及对业务深入的理解,技术的积累,整个行业的调查研究,信息中心总结出来一套建设思路产品是指由生命力的产品像以及;定制就是结合自己的需FineReport FineBI求定制开辟;服务就是定制需求的后期,开辟团队的定征服务谨慎投资,控制风险项目要想可持续发展,必须控制风险,注重成本收益,谨慎投资,任何一笔失败的投资,都有可能影响信息化建设技术的推进谨慎技术选型第三方工具应对需求的变化要强,要简单应用在这里,信息中心与帆软报表不期而遇它最大的特点就是业务需求变化强,功能简单应用,能够应对信息中心业务复杂,需求较快,技术力量不足的现状,能够整合复杂多变的报表数据,能够快速的实现图表多样体现认清技术力量的现状敏捷开辟、迭代开辟和重构技术+管理关于大数据数据是未来的核心大数据的能力核心在于全,要有丰富的获取手段,要提高分析挖掘数据的能力,形成信息中心自己的数据方法论,也就是说大数据能力就是技术+数据+统计分析和业务信息中心是国家粮食局直属事业单位,是粮食行业信息化技术支撑单位有多年粮油市场研究、分析的行业积累粮食行业大数据能力20将是信息中心未来的核心竞争力业务布局社会分工可以提高劳动生产力,可以极大的增加社会物质财富,但同时也失去了个性化和多样性,而个性化和多样性是创新的根源,为了基层提高生产率以及创新,信息中心采用程序化、流程化采集整理管理工作,然后业务员、分析人员集中精力进行模型的建立和市场的研究流程解释蓝色部份是数据处理流程,通过进行展示黄FineReport色部份是人工分析部份,构建分析模型、深入分析市场,反复验证构成城市化模型,形成一个自动的工作流,完后才干后续的采集和权限访问等工作数据分析决策平台建设数据分析决策平台的建设分三步走第一步就是数据整合对多源多类型的数据进行整合,实现数据共享目前以帆软报表为数据处理工具,以为数据库存储平台,SQL Server整合信息中心常用业务数据常用的业务数据包括价格、进出口以及平衡表等仅仅依靠是无法实现大数据战略的,数据报表不可取代excel但是传统报表面临的挑战也越来越多,传统报表主要有以下这几点,数据太多,信息太少;难以多维度交互分析;难以挖掘潜在规则;难以追溯历史;数据形成孤岛选择帆软报表的原因是因为这工具应对需求的变化强,能够快速的以形式导入导出,快速的构建查询,快速形成整合,execl excel多样数据化展现,并提供一套报表管理平台譬如以下模板初步建立了一个市场查询分析,包括价格、评估表、海关进1出口一旦模板建立,相关人员将数据通过填报功能填入,查询时报告自动生成,并在权限范围内自由导出Ba,■14__■・BtU俱♦母■MIV MXWWW^r BMBMM■痴MM-0fHs UMMVHl artMfMI州土―「■廿°主».Si*””也zirtiiCifeiw-n-MciM-iJ-r2flMU-tS8*n-aEBMIl-D胃比kt■分析TWIKlV1«i ietiVIS9*UIVH J121aXMKI,a MwnICIIif第二步就是数据的抓取、处理和分析并自动化生成系列产品报告,实现目标是解放生产力把业务人员从采集、整理、处理数据的体力劳动中解放出来,集中精力于市场深度分析研究、模型建立本质上还是数据整合,不同地方是数据自动采集,并依据构建的模型技术选型(工具)+FineReport+FineBI+Python+Kettle ETLSQLServer实现网页的迅速抓取,抓取网页中的数据,然后通过清洗转换,得Kettle到我们的基础数据,再通过和展现数据库的存储结构FineReport FineBI通过网站的结构来自动抓取数据报告展示这些宏观数据全都自动生成,通过灵便的查询和分析,实现数据直观展示更重要的是,由于业务人员特殊热中于自己研究分析,自己开辟分析模板将实用的模型沉淀下来,形成固定的一系列的查询模型,提交我们信息中心,分析市场,再次响应市场和预警f【二三二二三三nmww田U9m6^9KKjL»v»4Moq^»8BMtODiaraiiTjflc etHfiAHHWf!VMRUOC e,JOXVBD g**V10C.■=■X-第三步是数据挖掘,目标是构建粮食行业模型和行业计量模型实现科学决策基于信息中心多年的粮食市场分析评估,行业积累,依托一期、20二期整合的数据和大数据,接下来将构建大数据能力,提供标准化的服务能力但粮油的分析模型、行业积累模型,是一种因素模型、经验模型,一定程度上依赖于分析师对市场的看法,这个模型分析结果需要分析师经验和直觉来判断,技术上要到位,所以这里通过帆软报表FineReport和商业智能的结果,从数据报表、数据分析、数据挖掘三个层次,FineBI把数据转化为信息把数据转化为信息,使得业务人员能够利用这些信息,辅助决策,这就是商业智能主要解决的问题无论在哪个层次,核心目标就是“把数据转化为信息〃。