第4章 数据科学家 (第1/3页)

    处理完tableau表格，到了下午，我们组的小曦买回了咖啡请大家喝。轮流请客，既有着礼尚往来的礼仪又委婉了同事间奉行的AA。完成了一天的任务，还没有到下班时间，我开始试着用Hadoop写程序。

    虽然大学毕业已经八年，当我仍然只是做些简单的数据处理，数据清洗，对数据进行查错出表，最基本的数据分析的工作。这次从太空回来，想看看会有什麽变化?我也很好奇，如若真的将本不会的知识技能转变为已知的熟练上手，是机械性地运行吗?还是有在大脑里思考感知的过程。

    遂尝试着数据挖掘方向，当遇到MapTask并行度是不是越高越好的时候，脑海里跑出一段计算切片大小的源码:“protected long computeSplitSize(long blockSize，long minSize，long maxSize) return Math.max(minSize，Math.min(maxSize，blockSize));”自动打开配置文件演算出long的最大值是128，得到结论:如果一个文件仅比128M大一点点要被当成一个split对待，而不是多个split。

    当超能力赋於自己身上的那一刻，不仅解开了我工作上的难题，也解开了小时候对於超能力这颗从影视荧幕中飘来的幻想种子。它并非填鸭式灌入，而是一种游走於机械与真是感受间的