贝妞的公主故事书里每一篇都巨长无比，很累的时候我经常是嘴动脑不动的状态，只管读不走脑子。今天讲的是“青蛙王子”，当男主骗取女主一个吻之后，女主也变成了青蛙，气急败坏的女青蛙和青蛙王子扭打在一起，我笑的眼泪飙出来，贝妞看着我着急的说：妈妈不要笑了，继续讲嘛，你是笑得哭脸吗？
奶爸提议暂停读书先去练琴，我反对说：哪有拉屎拉一半的！
奶爸洞察一切：妈妈就是自己想要继续看完。

人生的困难挫折，一切无常之事都是生命当中的常客，唯靠自己去化解，去战胜，才能一步步让内心变的强大，心量得变更大，更平静，更有智慧。内心强大的人能量都是满满的，心中腹有良策，有包藏宇宙万物之心，能洞察一切万物变化之根本，能以观察者的身份享受大道之旅行。人生就是一趟生命的体验、旅行、提升自我智慧、成长心灵品德的这么一个过程。

大数据（二）

常见AI术语浅谈（2）

接上期。

（二）、大数据的意义和价值：

1. 大数据的前瞻性：

大数据是洞察一切的互联网之眸，单纯的大数据不能发挥太大作用，只有利用大数据分析工具，大数据经过各种处理，各种数据交叉、归类……，才会产生意想不到的效果。

大数据通过展现与应用技术将隐藏在海量数据中的信息和知识挖掘出来，为人类的社会经济活动……提供依据，提高各个领域的运行效率，达到人力难以企及的高度。

如大数据经过BI（多种叫法：商业智能、商业智慧、商务智能）现代数据仓库技术、线上分析处理技术、数据挖掘、数据展现技术，进行数据分析，实现商业价值。

拥有大数据，有了现代分析处理技术和工具，可以洞察世界的动向。

2，大数据的决策性：

过去，一个GJ、一个部门、一个单位、一个企业……的各项决策，大多数是靠感觉，靠个人经验……。战争中局部战役指挥员的决策，也都是这样，具有很大的不确定性。

只有很少部分决策是依据客观数据分析决策的。

如果有一个神器，显著提高决策正确率，它具有的价值是巨大的。

这个神器就是大数据，大数据的海量数据，为决策带来了可靠的依据。数据的主要用途之一就是提供决策依据。

我们这个星球拥有75亿以上的人，几百个国家，千万个组织，几千万公司，每时每刻都会决策。利用大数据决策，减少了因决策失误带来的损失，大数据的价值无可估量。

大数据对于我们的经济发展、国防军事……都有巨大的作用和前景。

四、大数据核心关键技术：

大数据本质就是不同结构、不同形式的数据，大数据技术是IT领域新一代的技术与架构。核心关键技术有四项：

（一）、大数据采集和预处理技术：

大数据技术的意义不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息。

1，大数据采集：

大数据采集即对各种来源的结构化和非结构化海量数据，所进行的采集。

大数据采集一般通过传感器、通信网络、智能识别系统及软硬件资源接入系统，实现对各种类型海量数据的智能化识别、定位……，传输、信号转换。

2，大数据采集的主要技术：

Sqoop（在结构化数据和分布式系统基础架构之间进行批量数据迁移的工具。）；

ETL（是数据应用过程中的一个数据流的控制技术，把原始的数据经过一定的处理，放入数据仓库里。ETL包含开源的Kettle和Talend开源无代码数据准备工具）；

MySQL（一个关系型数据库管理系统）；

Oracle（甲骨文关系型数据库管理系统）；

HDFS（文件存储系统）；

HBASE（分布式数据库）；

Nosq（泛指非关系型的数据库）；

Flume（分布式、可靠性海量日志聚合系统）；

应用程序编程接口和数据采集的生命周期技术。

谁掌握了数据，谁就可能掌握未来，现在的数据采集就是积累将来的流动资产。

3，大数据预处理：

预处理技术对多种类型的原始数据进行抽取、清洗、填补、平滑、合并、规格化、转换……操作，将这些复杂的数据转化为有效的、单一的或者便于处理的数据类型，为后期分析工作奠定基础。

4，大数据预处理四个部分：

（1），数据清理：利用ETL等清洗工具，不完整、遗漏数据要找回，填补。对错误数据（噪音数据）使用相应技术检测和清理数据。对重复数据合并及清除。不一致性数据（数据源内部及数据源之间）从语义冲突，完整性、不一致性……分析数据，处理数据保持一致。

（2），数据集成：将不同数据源的数据，结合在一起，形成一个统一数据集合，放到统一数据库，以便为数据处理工作，提供完整的数据基础。着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。

（3），数据转换：

数据转换就是将数据进行转换或归并，对抽取出来的数据中存在的不一致，进行处理的过程，从而构成一个适合数据处理的描述形式。

数据转换包含以下处理内容：平滑、合计、数据泛化、规格化、属性构造处理。在已有属性集构造新的属性，与现有属性集合，提高挖掘准确性，挖掘更深层次的模式知识。

（4），数据规约：

尽可能保持数据原貌的前提下，最大限度地精简数据量。通过属性选择和数据采样两个途径，得到较小数据集的操作。

待续。

2023年12月30日