���졤ѡ�񲻷� ��Ϊ�Ƴ��з��2019��Ϊ���ҿ������ݵ�δ��֮·

�������ݡ������Ѿ����ֳ���15��,����ȥ�������両�����֪��,���ڸ��������Ӧ��,���ʼ�Ļ�����������ҵ,�ٵ���ҵ��Ӫ����������,�̶���չ�����������ͽ���ҽ�Ƶȡ�

���������ݡ������������ļ���ɱ���,���ÿ����ҵ�����Կ���Ӧ�õ�ͨ�ü���,�����ݽ�ò��Ҳ�Ѿ�����һ�����ƽ�ȵĽ�����Dz���Ҫ��,�����ݵ�δ��������?

���ǽ��첻����Щ��Ҷ�������ľ���Ӧ�ð���,���Ǵӱ���һ������Ĵ���������˵��

һ. ���������Ϸ,��������ǡ������ݡ���

ȥ��,���Լ�����Ϸ���������������,��Ҳ������Ӧ����Ȧ�ĺ���,�ڼӰ�֮��Ͷ�뵽�Լ������,��Ȼ,�������ʱ���ⲻ���ڿ��ֳ��ھͳ� ���С�(����ɱ)��

����,Ϊ�����ս��,�һ���1080TI�Կ�,�ڸ�λ������2���ڴ�,�����˸����������,����Ȼ��ÿ�ֱ��硣�ٴ���֤��ë��ϯ˵��:������ս��ʤ���IJ���һ������ʽ��������

ֱ�����������һƪ����,�Ӵ����ݵĽǶȶ�20G����Ϸ��־���ݽ����˷���,���һ�Ȼ����

�������߻�ȡ���˽�70�����Ϸ�ڻ�ɱ�����ݼ�,Ȼ��ʹ��Mathematica���߽����˼򵥵Ĵ����ݷ���,�ó��˼������ۡ�

1.����ͨ��������ɱ�ߺͱ���ɱ�ߵ����λ����Ϣ,�ó����ۡ��ڷ����Ӿ����Ƿ��򿿽����ݿ��Դ�����ͱ���ɱ�ļ��ʡ���

2.ͨ��������ɱ������������Ϣ,��������Ϸ�е������׷�����ɱ�¼�������,��ҿ��Ը����Լ�����Ϸ����,ѡ������Σ������߶�ܸ�Σ����

3.ͨ����ɱ����ͳ��,�ó�����ɱ15�����ֵ����,��75%�ĸ�����Ӯ�ñ�������˵��,����Ϸ��,ֻ�ж��ɱ����,���ǻ������ʤ���Ĺؼ���

��ѭ�Ŵ����ݷ��������Ľ���,�����������˼���,��Ȼ����û�гԵ���,�����������Ϸ���ֱ�֮ǰ���˴��������ֻҪ������,���˶�����������ݡ�

��. ����������ô�ߵ������

2004��ǰ��,�ȸ跢������ƪ����,��־�ż����������ʱ���Ŀ�������ƪ���·ֱ��ǡ��ֲ�ʽ�ļ�ϵͳ GFS�������ֲ�ʽ������ MapReduce���͡�NoSQL ���ݿ� BigTable��,�׳ơ�������������

2005��, Hadoop���似���ĸ�Ч��,��Apache Software Foundation��˾���벢��Ϊ��ԴӦ�á�

2008��ĩ,������������ (Computing Community Consortium),�����˰�Ƥ�顶�����ݼ���:�����񡢿�ѧ��������򴴽�������ͻ�ơ�,����֯Ҳ��Ϊ��һ����������ݸ���Ļ�����

2010��,����˹.��˶��ڡ�����ѧ�ˡ��Ϸ���������ר�ⱨ�桶����,�������ڵ����ݡ�,�ɹ��Ķ����˴�����ʱ�������ơ�

2012��,ά�������������������ˡ�������ʱ��:���������˼ά�Ĵ��һ��,����˴����ݵĺ��ľ���Ԥ�⡣����Ҳ��Ϊ�Ĵ��������űؿ����

2012��,���������ڰ׹���վ�������������о��ͷ�չ���顷,��־�Ŵ������Ѿ���Ϊ��Ҫ��ʱ��������

2014��,�й��������������桷���״γ��֡������ݡ�һ��,������ڴ������о���Ӧ���˳���

2016��,Spark�ڴ�������ҵ��ʼ����,����IBM���ڵĴ���ҵ���׷�ӵ���������ʵ�ݵķֲ�ʽ���㿪Դ��ܡ���־��һ���������µļ�����̱���

2019��,֪���Ĵ�����������ҵCloudera��Hortonworks�����ϲ�,����һ�����ݶ�����MapR��HPE�չ�,��־�Ŵ�������ҵ����ʱ���Ľ���,ҲԤʾ�Ŵ����ݵ���һ��δ����

��.�����ݵ�δ��������?

�ڹ�ȥ��ʮ����,Ӳ��������,��������������һֱ�Ǵ�����Ӧ�õ�ƿ��, ��ŵļܹ�ʦ����Ȼ�뵽�˼�Ⱥ��������ϵͳ�ܹ���

1)�ֲ�ʽ��Ⱥ���в���

���������ṩ����������,ʹ�ô��ģ�ķ�������ɷֲ�ʽ��Ⱥ,��ǧ�������ͨCPU���м���ͻ���˵��������������ޡ�

2)���ݷ�ɢ�洢��������ÿ��Ӳ����

ÿ̨���������ؼ�����ʮ������ͨӲ��,ʹ�ö�̨���������ش�˷ֲ�ʽ�洢ϵͳ,��Ч��������ģ���ݴ洢���⡣

3)���ݱ��ػ�

���ݴ��������Զ����������ȡ���ݿ�����������Ϊ�����ġ�,�����ݴ�������Ǩ�Ƶ��������ڵ���������,����Ч�����������,��֤���������ܡ�

����Ǵ���һ��Ĵ����ݼ����ܹ�������ʮ����ķ�չ,���������Ѿ�������100��,�ڴ�����Ҳ��������ʮ���������ݴ�����ƿ���𽥴�����ת�Ƶ�CPU��,��������һ��ܹ���ȱ��Ҳ��ͻ�Գ���:

1)��������,��Դ�˷�

��ͬ������Ҫ�Ĵ洢�ռ����������Dz�һ���ġ�ʵ��ʹ����Ҫô������Դ�ﵽƿ��,Ҫô�Ǵ洢��������,ֻ�ܶԼ�Ⱥ���и�������,��ɼ�Ⱥ��Դ�˷ѡ�

2)��Դ�޷�����

��ͬ����,��ͬʱ����Ҫ�������Dz��̶���,���ڲ���Ͳ��ȡ��������д洢��������޷����ģ�ر����ýڵ�,����������ú���Դ�˷ѡ�

3)���ݹµ�

������ҵ���ݶ�������ʽ����,���洢�ڲ�ͬ��ϵͳ��,�γ����ݹµ�,�һ������ת���ɱ���,��Լ�����ݼ�ֵ�Ľ�һ���ھ�

4)��ҵӵ��

�������ݲɼ����������缼����չ,��ҵӵ��EB�������Ѿ���Ϊ��̬,�����δ����ݷ�����ҵ����Ҫ��ȡ����TB����PB��������,�����񲢷���,���׳�����ҵӵ��,Ӱ����ҵ����������

��ΪԤ��,��2025��,ȫ�����������ݴ洢��Ϊ180ZB,��ҵ�����������ʻ�ﵽ86%����˾޴��������θ�Ч�ķ������еļ�ֵ?��Ȼ,���еĴ����ݼܹ��Ѿ��޷�����δ����������,��ô,�����ݵ�δ��������?

8��27��,�������������ʻ������ľٰ�ġ����졤ѡ�񲻷� ��Ϊ�Ƴ��з��2019��,���������ݽ���������ذ�����,Ϊ���ҿ������ݵ�δ��֮·�����˽��������ϸ����,����:��Ϊ�ƹ���-���»-���з��-���졤ѡ�񲻷� ��Ϊ�Ƴ��з��2019��

�������ѽ�����

���༭��admin��

�������������ѣ���������Ϊ������ת����ҵ������Ѷ���������Ϣ��Ϊ���������ݸ�����Ϣ֮Ŀ�ģ�����������վ�۵㣬������ʵ������������غ�ʵ���κ�Ͷ�ʼ��˾��з��գ����ѹ������Ͷ���������