技术人如何拥抱大数据

　　2015中国软件开发者大会

　　2015年11月19-21日，由CSDN重磅打造的“2015中国软件开发者大会”（以下简称SDCC 2015）在北京朗丽兹西山花园酒店隆重召开。大会以全面反映中国软件产业技术与发展、推动软件开发实践深入交流与分享为宗旨。在北京连续阴雨的雨雪天气、活动地点较偏远的（近北清路）的情况下，仍有1067名（不含工作人员）参会者来到现场共享本次技术盛宴。

　　本次大会是CSDN年度压轴技术大会，邀请了近百名国内外业界领袖和知名专家共论技术热点与最佳实践，揭示下一代软件开发技术趋势与对各行业的深刻影响。来自Facebook、百度、阿里、腾讯、网易、奇虎360、今日头条、唯品会等公司的一线技术专家针对各自研究领域分享最新的实战经验，结合实战案例，深度剖析各个领域的技术问题，给与会者带来一场技术饕餮盛宴。

　　大数据时代技术人的优势和弱势

　　CSDN以及极客帮创始人蒋涛在大会开始时讲道，这是一个新的创业时代，做开发有很多优势，也有很多风险，他说自己看了上千个项目，投了80个项目，程序员创业最难做的是什么？他就为程序员服务什么。他前两年还去请教过雷军，雷军说他对一个痛点有一点了解就会去做。社区最大的痛点是离交易变现很困难，而且还没有找到一个突破点，移动上的社区也没有找到突破点，所以对于程序员而言，做社区是很困难的事情，设计、运营很重要，团队里的结构也要合理，这是一个很大的风险，所以要顺势而为。

　　技术人的优势是可以做好产品、优化功能等，把核心产品做好，同时找到一个突破口，不断地去尝试，可以用新一代的武器，相比别人来说掌握新武器更快更熟练，就可以成为决策人并发挥技术优势。技术人的弱点首先是设计能力相对比较弱，特别是中国的开发者，在用户体验方面需要加强，因为用户越来越挑剔。其次是表达力，更好地表述自己产品的能力。最后是完成交易的能力比较弱，所以要找准技术人自己的优势并且跟着大势走。

　　开发者如何应对大数据挑战

　　今日头条技术副总裁杨震原说道，现在每个人都在使用手机，手机上的传感器越来越多，进步越来越快，以前只是可以录音、拍照，现在随着互联网医疗传感器的到来，你的心跳、地理位置全部都会被记录下来，从这一点就可以很明确地说，大数据的时代会到来。

　　作为开发者大会，杨震原从两个方面讲到了大数据时代需要做出的改革。他首先表示，要把以前没有办法记录的数据记录下来。其次，要分析以前无法分析的数据。比如说记录，记录很多简单的信息，比如点击行为、交互行为的记录。

　　杨震原表示，今日头条以前会记录一篇文章在头条阅读的时间，换一种记录方法去看某一页停了多少秒，进而又停留了多少秒，他会把这个序列记录下来，就可以知道这个用户是否很懂这个文章，所以这些行为的记录都是非常有价值的，在新时代以前不能记、没用的东西，都可以记录下来，都有用，分析方法发生了变化，有很多要去分析。

　　从分析方法来说，第一是产品的应用越来越广泛，有场景能够去用到这些数据，第二是分析数据的方法也越来越多。通过充分地对数据的使用提高用户的使用时长，更多的数据、更多的分析方法和应用的领域，这些就构成了大数据时代。数据越来越多，应用越来越多，硬件进步的速度在减慢，这就构成了大数据时代开发者面临的挑战。杨震原表示，开发者应该全线研发、更广泛学习。当局部可以大幅改进时，更细的分工才会显出优势。开始大家做CPU或者UI的改进，分工非常细，每一块都在大幅改进，开发者必须学习才能带来突破。从CPU指令集到操作系统，从Hadoop到统计原理，从机器学习到产品的应用，只有通过学习才能找到突破点。

　　今日头条不仅有文章还有视频，对视频的低质内容控制是很重要的，其在视频播放列表页放出了顶踩按钮，通过简单的加入顶踩的数据统计，会明显提高对低质的打击效果。

　　说到今日头条在技术上的优势及今后需要改进的地方，杨震原说：“优势仅在国内，拥有这样的一个产品平台并不多见，目前更多的是充分把用户行为数据使用起来，有很多更细节的问题，如什么样的算法、模型、特征。更本质上说，可以把用户行为记录得更全面，充分使用。业界还没有哪家公司像我们记得这么全，用得这么充分。举个例子，阅读这篇文章的时候，不是记录用户在这个页面停留了多长时间、看了多久、隔了多少秒、看了几条评论等等。据我了解，业界很少有公司这样来做。记下来是一回事，用起来是另一回事。这两点都做到并不容易。对系统架构、算法工程、产品都是很大考验。今日头条其实还是有很大的空间可以改进，机器还不足够好，通过新用户的行为我们怎么判断他的喜好，怎样找到他的喜好。还有目标的问题，什么样的行为能表达用户的喜好。我们相信在这些挑战面前，我们要更早地去把它们用得更好、上新的台阶。”

　　计算广告及工业大数据实质

　　360商业产品首席架构师刘鵬用两年时间写了一本书，书名叫《计算广告》，讲的是互联网核心的变现模式就是广告的模式，广告可以成规模地把产品和数据变成钱，也是大数据产业在实际落地应用中最重要的一个。说到广告计算对当今技术从业者带来的影响时，刘鹏表示，计算广告最深远的影响是支持了互联网新的商业模式。前端获得大量用户，通过另外的商务收钱的方法支持商业体系。最直接的结果就是原来根本不可能存在的很多产品出现。比如QQ，后项变现有的通过广告和衍生的游戏，如果没有后项变现的支持，QQ免费的产品是不会存在的。像360的安全卫士也一样，如果没有后项变现支持，这些东西肯定要收费。杀毒软件和安全工具在走向免费之前，整体用户中，普及率是很低的。大量用户把自己的日常行为保护起来了，最大的一个意义是真正解放了很多用户产品上的生产力。

　　其次，从大数据的角度来说，规模化的加工收集和使用数据，计算广告是整个行业的一个先驱。这件事情从2005年左右就开始落地应用了。今天已经是相当成熟的产业，并且是形成规模化以后的产业。所以所有研究大数据的人必须了解《计算广告》，要不然一定会走很多的弯路。这些弯路广告领域都走过，其他领域也一定会碰到同样的问题。

　　最后，对广告行业本身，通过计算广告这样的一种变现方式，让大家看到技术和计算的力量，真的能够改变一个行业。今天我们通过计算的方法去服务的广告主数量，是传统数百年间服务广告主数量的上百倍，甚至上千倍。大量的中小企业原来没有办法去做自己的精确营销，今天在计算数据支持下，他们都找到了自己营销的手段。所以对互联网、大数据、广告行业，计算广告本身，虽然是一个不大的点，但实际上都起着非常关键的支持作用。

　　谈到工业界在碰到大数据这个词的时候有哪些方面的不一样，他提出了三个最关键的点，在面对任何一个行业，要去拥抱大数据时代，在找到大数据的接入的时候要想清楚这三点问题，第一，找到一个自动化应用，找到一个可以用机器决策的自动化应用。第二，找到相应的行为数据来源。第三，确定全量加工的技术和相应的问题。

　　本报记者 冯霄霞