大数据量，海量数据 处理方法总结 大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。

下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。

1.Bloom filter

适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集

基本原理及要点：

对 于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这 个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。

还有一个比较重要的问题，如 何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况 下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应 该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。

举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。

注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。

…… …… 余下全文

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。

下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。

1.Bloom filter

适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集

基本原理及要点：

对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。

还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。

举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。

注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。

扩展：

Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。

…… …… 余下全文

市场部年终总结

时间一晃而过，20xx年已接近尾声，盘点从事工作大半年中收获的同时，又寄希望于未来。不知不觉中，我在领导（夏总）的带领下经历了两个工作。

一、在驰飞商贸公司从事润滑油业务销售工作。

二、在斯达调研公司从事市场调查、方案策划以及市场推广工作。

首先非常感谢夏哥你对我的信任和重用，现将大半年以来的工作做个简单的总结如下：

首先说润滑油的一些情况，对于我之前的工作就不多说了，现在对小东这段时间的了解进行一个简单的阐述。自从大家伙主力转向调研工作开始，润滑油就基本上是小东管理了，相信他自己一个人管理整个润滑油的市场也是不容易的，虽然只是维护客户而已。但这段时间因为公司资金比较紧张，货缺的比较严重，多次的对客户调货，很多客户都比较反感，还有的是去收货款的时候也是一件不容易的事，收到钱还好，收不到的话真的挺为难的，回来又担心领导不高兴。在中间有时候真的挺蛋疼。但是他却也一个人坚持下来了，所以，我觉得东哥是很棒的。他缺点就是比较懒、不够细心、想事情没有那么全面，所以夏哥你对于小东的情况也是清楚的，希望年后回来的多引导他，不能让他觉得是自己一个人。让他时刻都知道我们是一个团队。

接下来讲的是部门的一些情况进行阐述个人的一些见解

市场部：目前成员共3人。覃莹：对工作态度好，安排给的任务会努力去完成，但是性格比较直，容不得说太多，主动性不够。但对现有的工作还是比较满意，不过领导力还不行，只能把自己的工作做好。郭毅：跟覃莹的性格相像，能够把自己的工作做好，也是一个比较肯干的小伙子，但是有时候比较懒散，而且不太懂得把握自己的分寸，特别是在客户面前不注意自己的身份（就拿去中烟来说，给我看到的是不够积极主动、热情而且形象比较差、懒散、在客户面前老玩着手机）。 我（农华伟）：对于我自己就不多说了，夏哥你是很清楚的，对人对事都是本着责任去做的，只是经验不足和很多事情没有接触不知道，还是有很多地方要学习和改进，希望夏哥多多栽培，工作上哪里不对的该批的就批我不会有任何怨言， 只会当做哥你对我的教导。（原本还想对公司的其他成员都进行一个简单的描述，不过不用我说夏哥你们也是很清楚的。）

…… …… 余下全文

标题：环球资本GFPC简单总结重大数据发布时的交易策略

投资就预测、计划、组织、协调与控制。投资者大多在开仓时都是对自己的预测有不少信心, 尤其是开仓的方向和汇市走的方向一样更会沾沾自喜。 在一般经济数据公布时, 如遇区间横行, 或数据的影响力不足以使汇市在短时间内有很大的波幅。 即使偶尔做错方向也因波幅有限, 及市场在消息后出现的调整而导致损失不大, 甚至有意外地获利的可能。但很多时各国有不少极有影响力的经济数据公布, 如美国的非农业就业、贸易帐、经常帐、国内生产初值及总值, 在公布前的一星期己受市场的预测影响, 更不用说在公布的一刻了。

投资者若仔细留意, 会发现汇价往往会出现跳空的情况。 即使是有计划地设好止损及限价, 也因价格跳空而不能确保成交。 很多时明明在图表上看到价格一跳而上, 超过所设定的限价, 投资者便以为大获全胜而不加理会。但在风暴过后便发现, 仓位是平了, 不过账户所显示的是亏损, 而不是获利。 原因在于消息公布后, 汇价一下子跳过所设定的限价, 限价没有被触及, 所以没有成交。 但是跳空后价位便逐步回调, 使所设的止损被触发。

这样的结果不是所有的投资者都能承受及愿意见到的, 不竟当中的波幅风险可实时使获利上升数倍, 或有爆仓的可能。 一些较有经验的投资者会选择在数据公布的当刻不做单, 但在这之前根据市场有的数据预测数据好坏的可能, 然后计划大约在那个价位入市能避免跳空的情况, 及仓位成交后止损跟限价会设在那儿。

一般情况来说, 重要数据在公布后的影响力会持续约10至15分钟, 而单一数据公布时跳空的情况大致出现在公布后的数秒至数分钟, 这是高风险投资者的活跃期。 除后便是消息在进一步扩散时, 其它较有经验或保守的投资者入市。 这样一来投资者仍可受惠于消息所带来的较大波动, 但风险当然也相对地较低, 而限价跟止损会被触动的机会也较均等, 使投资者较容易控制平仓获利的时机。

…… …… 余下全文

1. 编一C程序，它能读入集合A的一串整数（以-9999为结束标记，整数个数小于1000）和集合B 的一串整数（以-9999为结束标记，整数个数小于1000），计算并以从小到大的次序输出A-B 的所有元素(为A或B输入时，同一个数可能出现多次，而A与B的差集中同一个数不能出现多次)。 （注：程序的可执行文件名必须是 e1.exe）

（注：程序的可执行文件名必须是 e4.exe）

*/

#include <stdio.h>

void BubbleSort(int r[],int n)

{//冒泡排序(有小到大)

int i,j,k;

int exchange;

for(i=0;i<=n;i++)

{

exchange=0;

for(j=n-1;j>=i;j--)

if(r[j+1]<r[j])

{

k=r[j+1];

r[j+1]=r[j];

r[j]=k;

exchange=1;

}

if(!exchange)

break;

}

}

int DisaSameYs(int r[],int n)

{//消除数组r[]中的重复元素,并返回消除后数组剩余的元素个数

int w,x,y;

for(w=0;w<=n;w++)

{

for(x=w+1;x<=n;x++)

{

if(r[w]==r[x])

{

n--;

for(y=x;y<=n;y++)

{

r[y]=r[y+1];

}//endfor

x--;

}//endif

}//endfor

}//endfor

return n;

}

int cha(int m[],int n[],int l[],int Countaa,int Countbb)

{//求差集

int i=0,j=0,k=0;

int exch;

…… …… 余下全文

1．数据（Data）是描述事物的符号记录，是数据库中存储的基本对象。

2．信息（Information）是具有一定含义的、经过加工的、对决策有价值的数据。所以说信息是有用的数据，数据是信息的表现形式。

3．数据库（DataBase，DB）是长期存储在计算机内的、有组织的、可共享的数据集合。数据库中的数据按一定的数据模型组织、描述和存储，用于满足各种不同的信息需求，并且集中的数据彼此之间有相互的联系。具有较小的冗余度，较高的数据独立性和易扩展性。

4．数据库管理系统（DBS）五大部件组成：DB(数据)、Application(实现算法)、User(用户)、DBA(数据库管理员)、DBMS(数据库管理系统)。另外还有：Hardware、OS。

5．数据库系统的三级模式结构：即内模式、概念模式和外模式。

！）概念模式（所有用户的公共视图）：一个数据库只有一个概念模式，它以某一种数据模型为基础，统一综合地考虑了所有用户的需求，并将这些需求有机地结合成一个逻辑整体。

概念模式由许多记录类型的值组成。外模式根本不涉及物理表示和访问的技术，它只定义信息的内容。这样模式就可真正实现物理数据的独立性。

定义模式时，不仅定义数据的逻辑结构，还要定义数据之间的联系，定义与数据有关安全性、完整性要求。

！！）外模式（用户可见的视图）：也称子模式（Subschema）或用户模式，它是数据库用户能够看见和使用的局部数据的逻辑结构和特征的描述，是数据库用户的数据视图，是与某一应用有关的数据的逻辑表示，是用户和数据库系统的接口，是用户用到的那部分数据的描述。一个系统一般有多个外模式。外模式是保证数据库安全性的一个有力措施。每个用户只能看见和访问所对应的外模式中的数据，数据库中的其余数据是不可见的。

！！！）内模式（存储模式）：一个数据库只有一个内模式，它是数据物理结构和存储方式的描述，是数据在数据库内部的表示方法。它定义所有的内部记录类型、索引和文件的组织方式、以及数据控制方面的细节。

…… …… 余下全文

数 据 分 析

1.平均数需要强调的几点：

第一：一组数据的平均数是唯一的，与数据的排列顺序无关 第二：平均数是存在单位的

第三：一组数据中的每一个数据都发生相同的变化，则数据的平均数也会发生相应的变化

2.加权平均数

当I组数据其中有些数据不止出现一次时候，我们用加权平均数处理

例1.一次比赛，7个评委给选手打分，去掉一个最高，去掉一个最低，其余五个人的平均数，作为选手得分，则小红得分如下：9.64 ，9.70 ，9.65 ，9.71 ，9.69 ，

9.75 ，9.83，则小红最终得分是（ ）

例2.某公园对游客进行统计，为期10天的统计，结果有四天游客900人，有两天游客有1100人，有四天游客800人，则这十天平均游客多少人？（ ）

例3。某商店选用每千克28元的棒棒糖3千克，每千克20元的棉花糖2千克，每千克12元的牛皮糖5千克混合出售，问混合后的糖果平均每千克的售价是多少

练习，

4 ：x1 ,x2 ,x3的平均数是a, y1 ,y2 ,y3的平均数是b,则2x1+3y1 ,2x2+3y2 ,2x3+3y3的平均数是（ ） 5 ：如果2,4,2x,4y四个数字的平均数是5，而5,7，4x,6y四个数字的平均数是9，则x的平方加上y的平方的算术平方根是（ ）

6 ：五名队员身高分别为182,180,172,178,178（单位厘米），则他们的平均身高为（ ）

中位数众数

一组数据的中位数是唯一的，一组数据的众数是不唯一的，甚至一组数据不存在众数,他们都有单位

1.中位数一定要排序，从大到小，从小到大都可以，

如果一组数据的个数是奇数个，则中位数是中间那一个,如果一组数据的个数是偶数个，则中位数是两个中间数字的平均数

2.众数就是出现次数最多的，如果一组数据每一个数据出现的次数均相同，则不存在众数

…… …… 余下全文