乌鸦
发表于 2016-5-21 21:33:02
wild007 发表于 2016-5-20 15:27 static/image/common/back.gif
猜测未来总是免不了的,而且现在看,变化得越快,那种基于数字社会本身特征的变革落地就越容易,因为传统势 ...
现在是数据资本的原始积累阶段。因为大众的数据价值意识还不强,所以获取数据的成本非常低。
就像农业资本(财富)转入工业资本的过程,现在是工业资本(财富)全面转入数据资本的前期。从当下到未来数据资本主导经济的过程,就是数据资本拿着数据这把鞭子把实体经济赶入计划经济模式的过程。
数据资本为利益下嘴的地方是在实体经济降低成本的这块儿,降低成本的这块大蛋糕如果分成数据的作用和其他作用,两者现在的状态是跷跷板,未来将彻底倾斜在数据这边。
未来大众贡献出来的数据简单分为廉价的和高价的,高价数据依存在人们通过思维创造出来的节约数据生产成本的行为之中。
cccfff
发表于 2016-5-22 11:15:39
葡萄 发表于 2016-5-20 12:44 static/image/common/back.gif
不要猜测未来,这一年多来很清晰的看到大时代变数的另一面,哪怕位阶很高的朋友都会忽略一些重要信息碎片 ...
我的理解就是在面临更多不确定性的时候,作为个体,不管我们愿意不愿意,都要在这个不断升温的大锅里面翻腾,躲是躲不过去的。既然如此,索性就放开胆子往前走吧。
落英萧萧
发表于 2016-5-22 12:57:50
葡萄 发表于 2016-5-21 09:41 static/image/common/back.gif
这个时代,你在现实里努力就有回报。以我的经验,这个时代形成趋势后,改变不会一蹴而就。当你努力几年 ...
谢谢葡萄和各位的鼓励。
从最近同事的交流来看,人才的不足可能是未来一个比较大的障碍。不论是人工智能还是大数据,因为有些部分是综合学科,需要下力气才能融会贯通。而以高校硕博而言,培养条件最好,但肯于在这些方面有所建树并在产品上实践的还是少数,避难就易、完成学业还是大部分人的选择。而普通IT从业者,付出的努力需要更大,还要看人事上的运气。看到习总提出的培养人才新战略,我想也是为未来做的一个准备吧。
花差花差农民
发表于 2016-5-22 14:15:35
dio1984 发表于 2016-5-20 17:01 static/image/common/back.gif
感谢葡萄长久的交流与鞭策。
现在手上从事的业务是尝试提升运营商和金融行业在彼此核心资源开放以及大数 ...
谦虚了,这个还不高啊。呵呵,请问方便说用的什么数据源吗?
dio1984
发表于 2016-5-23 08:59:50
花差花差农民 发表于 2016-5-22 14:15 static/image/common/back.gif
谦虚了,这个还不高啊。呵呵,请问方便说用的什么数据源吗?
不谦虚,这个确实不是非常高层次的东西。
数据源就是双方的客户数据,当然必须是脱敏之后的。
skywalker007
发表于 2016-5-23 09:10:09
本帖最后由 skywalker007 于 2016-5-23 09:49 编辑
乌鸦嘴的距离我读过很多遍,这里摘出有价值的一部分内容:
=====================
第一条好办,已经和中国签订了货币互换协议的马来西亚已经将人民币作为仅次于美元的储备货币了。建立一个离岸中心实在不叫事儿。但是第二个关于东南亚电力期货交易中心的方案则让他看了又看,依然拿不准主意。
他的疑惑分成了两部分,一个是为什么选择吉隆坡而不是新加坡。这一条倒是比较好理解,美军依然在新加坡轮换驻军,中国恐怕是要给新加坡一点颜色看看。而第二部分则是关于电力期货的交易形式。
与原油的离岸价格不一样,中国的这份意向书上,用的是下网价格,而上网价格却是与中国国内市场价格挂钩的一个半固定值。而且中方仅仅提供上网价格,并且以人民币交易。对于下网价格,也就是期货市场的交易价格却未写明使用何种货币交易。而同时,这份意向书上反而注明了,与中国政府进行结算的电力总价可以用来抵充中国进口商品的交易金额。
这不是一种变相的易货交易吗?而且为什么中国政府放弃了使用上网价格呢?这样不等于仅收卖电的钱,而中间期货市场的炒作而出现的溢价利润不是白白的给了电力期货炒家们?
扎西尔觉的自己的脑子有些不够用了,他不得不微笑着和姚齐贤商量是否先休会。同时也希望姚齐贤游览一下吉隆坡的风光。对此,姚齐贤欣然答应。
其实吉隆坡的风光有什么好看的,姚齐贤对于扎西尔的费解一清二楚。当初制定政策的时候,中央也是下了好大的决心才放弃了期货交易这块巨大的肥肉。
休会之后,扎西尔紧急召开了会议,两位财长和各种政府顾问悉数到场。分析来,分析去,得出的结论出人意料。
中国人希望建立的是一个交易市场,而不是期货市场,更不是拍卖会。
原因很简单,电力这东西得有消耗才能生产。跟石油等物资不一样,电力无法储存,必须以消耗端为最终释放阱。
交易细则上明确的写着,中方向期货交易市场上提供的仅仅是订单,而且这个订单还是预付款形式的。也就是说,中方放出一份一千万度的订单之后,谁买谁就得交钱,交完钱你自己再怎么办中国人就不管了,就算炒到天上去都跟负责上网的中国国家核聚变电力公司无关。
但是有一点,在订单执行前一个月,手持订单方必须提供输电目的地,也就是你要在哪里用,提供时间为48小时。过期不侯,中方视为对方自动放弃交易,而且电钱不退,也不累积。理由很简单,电网负载有限。
最离谱的是,电力费用冲抵中方进口额拥有最高等级交易权,只有不足部分采用人民币结算,这样的话,在这个期货市场上,国家主权基金将是交易的主体。
中国人摆明了要坑国际炒家们吧。
这样的持续下去的话,迟早各国的大宗商品交易全得以人民币报价,而且最终全得变成一批货物等于多少度电。
=======================
当然,这书里还预言了有一位美女将会接替普京执掌俄罗斯 {:4_238:}{:4_238:}{:4_238:}
未来五年
发表于 2016-5-23 09:39:07
周末又看了《万历十五年》,数目字管理----资本---大数据---?正在梳理
麻雀
发表于 2016-5-23 10:01:15
我的体会:
社会发生变革,是因为生产方式发生了变化,生产力得到了提升,生产主体的要求得不到满足造成的。
变革的推动者,利益的获得者简单来说是由以下组成,平民、奴隶主;农民,封建主;工人,资本家。一方有动力,一方有组织能力。致使财富分配方式发生了变化。
现成信息化的发展又到了一个推动变革的时代。
我推测这次的推动者应是攻城狮(从河里学的,信息化的技术人员),数据主(馆里学的,信息化的管理者)。
但馅饼不是从天掉的。做为普通人还是不投机,务实做事的好。因为得失的代价是对等的,一般人拿什么来支付?
每个人的圈子决定思维、作风、生活的方方面面。这是难以跨越的障碍。学习是为了完善自身,如果有投机的心思,最终难有回报。
在磨刀的胖猫
发表于 2016-5-23 10:33:12
skywalker007 发表于 2016-5-23 09:10 static/image/common/back.gif
乌鸦嘴的距离我读过很多遍,这里摘出有价值的一部分内容:
哎,我苦等金龙电池多少年了,人造太阳先出来会亮瞎这双猫眼的
登临快哉
发表于 2016-5-23 12:45:31
skywalker007 发表于 2016-5-23 09:10 static/image/common/back.gif
乌鸦嘴的距离我读过很多遍,这里摘出有价值的一部分内容:
请问有电子版能分享下吗?如果可以的话,麻烦您发我qq1584561985邮箱下。谢谢!
kuafusoft
发表于 2016-5-23 13:15:02
登临快哉 发表于 2016-5-23 12:45 static/image/common/back.gif
请问有电子版能分享下吗?如果可以的话,麻烦您发我qq1584561985邮箱下。谢谢!
http://www.shushu8.com/d/387.html
登临快哉
发表于 2016-5-23 13:29:32
kuafusoft 发表于 2016-5-23 13:15 static/image/common/back.gif
http://www.shushu8.com/d/387.html
非常感谢!!!
summer
发表于 2016-5-23 15:01:19
你终究要在你的未来中选择一个群体,而不是在不同阶级之间的人游走并享受这种自由.
纵观历史,这句话是正确的,:lol
海因杰
发表于 2016-5-24 09:00:22
记得说过 人工智能可能取代决策者。那么说,这条路就是不断学习,积累信息碎片,拼接,借助大数据进化(相对于基因进化,我感觉这个可以归于信息(数据)进化一类),起码能跟上人工智能的决策进度。
乌鸦
发表于 2016-5-24 11:37:13
海因杰 发表于 2016-5-24 09:00 static/image/common/back.gif
记得说过 人工智能可能取代决策者。那么说,这条路就是不断学习,积累信息碎片,拼接,借助大数据进化(相对 ...
一个数据分析的文章,我们可以从中思考如何建立未来适应的思维。
原文地址:http://www.36dsj.com/archives/50812
大家好,我是来自支付宝的jerry,很高兴有机会跟大家交流做数据分析的一点心得体会。
一、数据分析与分析数据
数据分析
首先是数据分析与分析数据的差别。大家觉得分析是在数据之前还是之后?是否一定要有数据我们才能开始分析?其实分析更多是基于对业务的理解,而数据是用来验证你的分析和判断的。现在有一句话很流行”人人都是数据分析师“,就是因为只要我们能够理解业务,即使没有数据,也可以制定出分析思路。而假如你对业务的理解跟不上对方,那你只能沦为取数的工具,只能取数去验证对方的分析思路是否正确。从而把自己从一个脑力劳动者变为体力劳动者。新入行的数据分析师特别容易掉进这种状态。
理解业务的重要性不光体现在这里,对于任何业务的数据分析师,理解业务都是第一位的。比如有一些数据分析师刚到一个新公司,对业务有一个大概的了解,马上就以巨大的热情去探索这家新公司到底有哪些数据,每一张表,每一个字段的含义,可以做哪些分析,这样扎在数据的海洋里可能一个月都出不来。这样做会有很多弊端:
1、效率非常低,你很容易被数据表之间的各种关联关系搞混乱。
2、你知道数仓有这个数据,但你不知道这个数据是怎么来的,你对数据的质量无法把握。
3、 你只知道数仓里有这些数据,但你不知道数据仓原本还可以有其它数据,只是这些数据没有被记录和存储下来而已,这一点尤其重要。
正确的做法到一家新公司后先花一到两周的时间,去理解公司的业务和产品,尤其是自己负责的业务,要理解每一个环节和分支流程,在理解业务的过程中可以想该业务可以沉淀出哪些数据, 反过来用数仓的数据去印证你的思考。如果发现有没有想到的数据,那这部分就是你忽视的产品流程或分支,如果有你想到而数仓没有的,那可能就是还没有分析角度的或者记录的。
理解了业务,也就理解了数据是如何产生的,你才能理解数据背后的含义、以及数据的准确度。我们在分析APP的时候,经常需要统计页面的UV、PV。你问技术要统计口径时,可能服务端和前端都会给你一个口径,并且两套口径的数据可能存在较大的差异,你拿着两个口径的数据可能就蒙圈了,不知道数据为什么会差很多,到底哪一个才是准确的。但假如你了解服务端和前端的数据采集机制,知道服务端记录的是用户要查看这个页面的请求数据,前端埋点是加载资源完成渲染的数据,两个数据之间的GAP很可能就是因为前端的性能问题导致页面没有渲染成功,此时你不但不会纠结哪个数据是准确的,而且马上就可以把这个作为你的分析突破点,去分析前端是否存在性能问题。
当然,现在的互联网行业产品迭代都很快,人员流动也比较频繁,一个上线才1年的产品,可能已经换了好几个PD和技术了,你要完整了解产品的各种流程会非常困难,因为PD和技术都不一定能够了解所有的分支。但这个时候,作为数据分析师的优势就来了,你除了可以亲自体验产品流程外,还可以通过数据来印证你对产品的理解。一段时间下来,你会发现,你对产品的了解可能比产品经理和技术还要深入,如果达到这个程度,我觉得你就具备成为一个优秀的业务数据分析师的基础了。
二、成为业务与数据的桥梁
有爱
我相信很多数据分析师都会有这样的体验,整理数据口径实在是太费时间了。就如同数学建模,80%的工作在数据提取上面,数据分析工作的很大一部分工作量也是在数据口径的整理上面,我们获得的数据口径可能来自产品经理、数仓或者是技术,但通常最原始的口径是由技术同学给出的,这时候有些数据分析师会收到什么口径就用什么口径来取数,也不做核对和验证,但是仔细想一想,假如数据真的出错了,对谁的影响比较大?很明显是对数据分析师的影响比较大,因为数据准确性是数据分析师的生命线,数据出错会影响别人对你的不信任,你会需要花好几倍的时间和精力去获取别人的信任。作为数据分析师,我们应该对数据准确性负责到底。
我们可能都碰到过这种情况,产品说我提了埋点需求,技术说所有的埋点我都做了,数仓说我把数据都同步了,但听完所有人的话,你发现你还是不知道怎么去取数据。原因就在于每个人都在讲自己的工作,不了解别人的工作模式,也不知道他们的工作在数据上的影响。这就需要一个人作为桥梁,他能了解产品、技术、数仓的工作模式,把沟通拉回同一个频道,而最后你会发现只有分析师才最适合这个角色。优秀的分析师不光要懂数据,还要懂业务,还要懂技术。
数据质量
三、打造业务分析体系
桥梁
什么是指标体系和业务分析体系?
指标体系的建设步骤通常是:确定业务目标、分解指标、确定每个指标的数据口径、搭建成一个完整的体系。业务分析体系包含探索分析、日常监控、异动排查、优化产品4大块。
两者的差别在于指标体系只是数据分析师提供给业务方的一个工具,而业务分析体系是一个以数据为基础,集日常监控、异动排查、优化产品为一体的能够自我良性循环的体系。业务分析体系的主要特征 是:以数据为基础,以改进产品和业务流程为目标。业务分析体系是一个体系而非系统,并非每个环节都要有产品。
如何打造业务分析体系?
1、要以产品经理的思维去打造,明确优先级,以快速迭代的方式更新业务分析体系,同时需要多方面的配合和主动推进。
2、给其他人提需求,而不是等别人给你提需求。给别人提需求可以控制工作节奏、化被动为主动、加强对业务的思考、思考长远目标。通常需求对象包括:一是给你提需求的人;二是产品、技术、数仓。
3、业务分析体系是长期的目标,数据分析师要将产品优化、业务优化纳入我们自己的工作范围内,就像业务催你要数据一样,去催产品和技术,结合我们的建议,去做产品的优化、改造和效果跟踪。
产品经理
Q&A:
Q:传统企业如何做数据分析?
A:不管传统还是互联网企业,如果要做数据分析,就应该先了解业务流程,分析当前业务流程中存在哪些痛点,初期多和各个部门业务人员访谈来帮助你了解业务和发现痛点。
假如你是一家生产型性企业,可以从人员安排,物料运转, 产品的合格率,库存的挤压,周转周期方面着手,分析是否存在人员的优化、减少成本、提高效率的空间。如果你还有一定的行业相关知识,也可以从行业的大环境出发,预测行业环境的变化对公司潜在的影响,从而在战略层面给公司提供建议。
Q:请问真正的数据分析是什么样子?最近在自学python 数据分析,然后学了一点统计学,一点python,但是不知道实际工作中究竟如何来用python数据分析的。
A:从数据分析的角度,最适合的工具就是sql+底层的数仓,也可以是mysql一些开源的软件,python和Java里的数据分析更适合于在算法团队,就是做一些在线的模型算法和推介。
Q:常用的数据分析工具方法有哪些?做数据分析工作快2年了,发现我经常用到的分析工具竟然是excel,最多做的统计还是描述性统计。偶尔会用到关联分析和一些检验验证,但是也仅限于偶尔,但是又因不是统计学科班出生,在做分析时底气不足,所以想问问老师 在数据分析时方法有哪些?我该如何得出结论?
A:这是新手数据分析师的常见问题,就是不知道结论的正确标准是什么。在企业中即使你拿出统计学中通过显著性检验的结论去跟业务部门沟通,他们也不知道你在说什么。其实在数据分析领域,我们更看重的数据分析师的商业嗅觉和逻辑思维能力, 表现出来就是对数据的解读能力,同样的数据在不同的数据分析师眼里给出的建议是不一样的。对我来讲一个有价值的结论标准需要具备两点:一是商业逻辑准确,二是结论具备可操作性。
End.
任物自真
发表于 2016-5-24 21:43:38
与美国彻底翻脸应该是迟早的事!
倾向认为等我们的J20成军,两个航母群初具战力时,就是翻脸之时。
互联网,现代通信技术,大数据等都是共产主义的物质平台基础。
变革是必须的!
earthsound
发表于 2016-5-24 23:42:39
任物自真 发表于 2016-5-24 21:43 static/image/common/back.gif
与美国彻底翻脸应该是迟早的事!
倾向认为等我们的J20成军,两个航母群初具战力时,就是翻脸之时。
互联网 ...
赞同。 J20 成军, 彻底瓦解美帝空优。 剩下了, 就没啥了
foursea
发表于 2016-5-25 10:21:53
葡萄 发表于 2016-5-21 12:22 static/image/common/back.gif
比如文中提到的电力币,背后一个是全球电力网络推进,一个就是现有公开技术条件下的区块链缺陷(可以看老 ...
这个已经开始第一步了?难怪《太阳的距离》又被称为《乌鸦的距离》
俄媒:中俄合作力推石油人民币 欲建金融新秩序
墨西哥经济学家诺亚拉(Ariel Noyola Rodriguez)在外交事务分析网站Voltaire Network撰文称,石油人民币是一种战略性的支付工具,将大大促进一个新的,多极化货币系统的到来,新系统当中会有各种不同的货币,以反映全球力量的均衡。
hippo239
发表于 2016-5-25 11:56:26
今天(5月18日)召开第一次全体会议,意味着2015年12月14日政治局决定成立的党和国家功勋荣誉表彰工作委员会正式开始工作
这个消息,跟太阳里说的把五一劳动奖从全国总工会收回,有呼应。。。太阳真乌鸦
tony
发表于 2016-5-27 11:01:21
据报道,全球首个能源区块链实验室于5月19日在京成立,按计划该实验室今年将建成能源区块链主链。今年3月,美国LO3公司和区块链技术开发企业ConsenSys合作建立的模型,可以让用户将太阳能板产生的过剩电力出售给其它用户,交易以区块链网络连接,实现完全点对点交易并管理记录交易。
业内认为,区块链作为底层技术,可以广泛应用在金融、能源等领域。在特高压和智能电网技术逐步成熟、清洁能源迅猛发展的趋势下,由亿万终端组成的全球能源互联网将加快构建。区块链技术具有去中心化存储、信息高度透明、不易篡改等优势,能实现能源的数字化精准管理,重构电力交易,发展潜力极其巨大。
kuafusoft
发表于 2016-5-27 12:38:04
登临快哉 发表于 2016-5-23 13:29 static/image/common/back.gif
非常感谢!!!
看了下,这个版本不完整,可以换一个:
http://tieba.baidu.com/p/3904030942
葡萄
发表于 2016-5-27 16:54:48
本帖最后由 葡萄 于 2016-5-27 19:00 编辑
落英萧萧 发表于 2016-5-22 12:57
谢谢葡萄和各位的鼓励。
从最近同事的交流来看,人才的不足可能是未来一个比较大的障碍。不论是人工智能 ...
无法改变的事,要学会接受。能够改变的事,要勇于行动。同时要有区分这二者的智慧。
语出,卡通闪点悖论开头。
test5947
发表于 2016-5-28 11:34:15
葡萄 发表于 2016-5-27 16:54 static/image/common/back.gif
无法改变的事,要学会接受。能够改变的事,要勇于行动。同时要有区分这二者的智慧。
语出,卡通闪点 ...
赞一个,葡萄也是DC迷啊
葡萄
发表于 2016-5-28 15:45:41
test5947 发表于 2016-5-28 11:34
赞一个,葡萄也是DC迷啊
我说这个有几层意思
1这段话我是看电影闪点悖论看来的。
2这段话原话是六十年代美国一个宗教哲学家说的。
3闪点悖论是DC动漫世界大事件他导致了DC动漫世界的重启,这实际我在暗喻这个世界在格局重启的前夜。(这次格局重启前的上一轮重启时间点恰好也是六十年代)
4动漫世界的重启格局本身是美帝文宣的一部分。(上周动漫世界重启还有美国队长这个二战美国精神象征的彻底颠覆,对应的就是美国长期以来政治正确下,美国价值的重启与颠覆)
5本篇文字与这个回复对应的格局不只是重启格局下我们如何应对,还有格局重启后无论成败我们要如何建设。
Fuhrer
发表于 2016-5-29 01:26:05
Fuhrer
发表于 2016-5-29 02:02:58
Fuhrer
发表于 2016-5-29 02:32:39
乌鸦
发表于 2016-5-29 10:45:43
Fuhrer 发表于 2016-5-29 02:32 static/image/common/back.gif
这篇转文说得很实在,数据分析其实有两层意义,第一层就是他说的,实际上是做数据分析不要忘了其中的逻辑 ...
受教了。
关于解决数据碎片逻辑的问题,除了人工智能外是否还可以存在一个人力超算中心作为互补,两条腿走路呢?
这两天写了一段文字,你指点一下,挑挑里面的错误。
数据资本的原始积累阶段
现在是数据资本的原始积累阶段。因为大众的数据价值意识还不强,所以获取数据的成本非常低。就像农业资本(财富)转入工业资本的过程,现在是工业资本(财富)全面转入数据资本的前期。从当下到未来数据资本主导经济的过程,就是数据资本拿着数据这把鞭子把实体经济赶入计划经济模式的过程。数据资本为利益下嘴的地方是在实体经济降低成本的这块儿,降低成本的这块大蛋糕如果分成数据带来的作用和其他作用,两者现在的状态是跷跷板,未来将彻底倾斜在数据这边。未来大众贡献出来的数据简单分为廉价的和高价的,高价数据依存在人们通过思维创造出来的节约数据生产成本的行为之中。
关于上面这段话的解析,我们不妨从生产力带来社会发展的其中一个角度来思考理解。
当人类社会有了交换后,首要的就是运送产品,而因为各种条件制约了运送产品的数量和运输时间。这里我们把携带数量可以看作存储行为、运输时间看作流动速度,我们会发现除了生产力条件制约效率外,还有其他制约条件比如交换区域的大小等。于是为了降低交换总成本,人类开始围绕着提高交换效率的各个方向来提升生产力,就是上面提到的两个重要方向——运送数量和运输时间,生产力依靠这两条腿走到今天,已经到了开始探索完善点对点的交换行为和挖掘人类需求的预知,也就是要逐步走向按照需求来计划生产。如果把交换行为用生产活动等概念来替代,上面的逻辑依然行得通,我们可以仔细体会一下。所以我们发现社会一直在降低总成本的路程上行进着,从农业社会到工业社会,直至现在即将进入的数据社会。
依托网络形成的数据处理活动(数据生产),对数据处理的结果(数据产品)所带来的降低社会生产生活成本、增加效率的作用已经成为大众的共识。所以这一活动(数据生产)是符合人类社会和生产力发展的,也更符合上面提到的运行逻辑,于是历史即将再现社会财富的转移过程,这次是从工业资本(财富)全面转入数据资本的过程。
数据生产重点包括两个环节,一是数据收集,二是数据分析(笼统总称)。数据收集也可以看作资源采集活动,数据分析可以看作对数据的加工过程。资源采集活动中的资源概念又可以细分为两种,一种是物质(人和物)的原始行为数据,另一种是经过人类思维处理过的数据,对两种数据的采集方法是不同的,第一种采集成本相对第二种要低的多,而第二种需要设计更巧妙的方法来实现,虽然第二种成本要高,但通过巧妙方法来实现采集还是要比数据资本自身处理原始数据的成本要低的多,现在一些前沿机构尤其是国外机构一直努力探索,我们细心寻找是可以发现那些采集动作的。因为数据涉及到安全观、隐私权等等方面,所以无论未来数据如何开放,第一种资源的采集远远满足不了数据资本的胃口,那么第二种资源的采集将成为数据收集环节的主要方式,于是一个庞大的数据采集创新环节将吸纳更多的脑力劳动者。资源加工过程,这个过程在很多人看来是由专业数据工作者完成的,其实这种理解也不能说是错误的,但如果从加工过程的总成本分布来看,其最大成本集中在专业人员的逻辑视野上面,也就是超出自身视野而忽视的那些数据,这是非常重要的一个点。无论技术多么高超的技术人员其逻辑视野也是有局限的,哪怕是数据分析中已经结合了本专业内技术人员的思维也是如此,这点是必然存在的,并随着未来数据分析生产规模的扩大会体现的越来越突出。如果想降低这个环节的成本还是需要大量的脑力劳动者来加入,包括非数据专业人员和非行业专业人员。因为这里体现在对数据的忽视层面,所以也可以把此归纳在上面提到的数据采集创新环节,这个环节将是吸纳大量脑力劳动力的地方。不过当下数据资本设计了一种加工机器,就是众所周知的人工智能来尝试解决这个点成本问题,只是通过推演会发现能够完全解决这个难题的概率是不高的(只能让成本降低一些),而且假设人工智能能够解决,但人工智能的发展也需要很长时间。说到这里,我要再次重复强调思维的重要性,因为这就是未来大量普通人的饭碗,而目前还没有多少人去重视,不仅不重视还认为大数据时代是虚幻经济和自己无关,可叹的是包括不少具有工业党思维的高层次人士也持有这样的看法,贬低虚拟经济,天天嘴里喊着实体经济的重要性,我们一定要注意上面提到的生产力发展的逻辑,就是社会发展降低成本的路程。
话题说到这里基本讲完了,最后一点建议给马克思主义的理论研究者,是时候重新思考分析什么是劳动和生产资料这些概念。从数据方向思索,劳动是不是指向人类的一切活动?数据是不是下阶段最重要的生产资料?那么所有制的问题又该如何思考呢?
Fuhrer
发表于 2016-5-29 14:44:16
乌鸦
发表于 2016-5-29 21:18:14
Fuhrer 发表于 2016-5-29 14:44 static/image/common/back.gif
指点不敢。我试着理解一下你这段文字。
你提到的两种数据采集方式与资源,第一种就是初始数据,第二种 ...
多谢解读,尤其是知识概念对第二种数据分析的概括,这点我没总结到。
关于人力数据分析,我的意思不是依靠人力来分析数据,而是通过组建人力计算平台来暴力破解数据分析机构(企业或公司)在数据生产环节中的主要难点。就是上文提到的
3、 你只知道数仓里有这些数据,但你不知道数据仓原本还可以有其它数据,只是这些数据没有被记录和存储下来而已,这一点尤其重要。
在未来数据量越来越大的状态下,对特征类别的挖掘成本也会越来越大,用大量人力思维来破解这个环节,这就像用一台众多人力组成的分布式计算机。
特征类别这个概念用在这里我不知道是否准确,就举个例子吧
周涛在《为数据而生》一书提到一个中科大对学习成绩预测的案例。其中的特征描述有:
1.进图书馆的总次数
2.借书总次数
3.期末最后两周进图书馆次数
4.周末和节假日进图书馆次数
5.早饭总次数
6.周末早饭次数
等等还有许多
这里我们会发现,3和4都是1的子集,也就是1的特征被细分。6是5的子集,同样在细分。
要想到和发现新的特征或者细分出更多更准确的特征是需要大量思考的,随着数据量增大,在特征挖掘环节上数据处理机构的工作量和难度同样增大,并且工作绩效很可能同时降低。而依靠大量人力的知识(或者称作认识)来集中思考破解,数据机构处理此环节的成本反而会降下去,并且挖掘特征精度会提高。