1楼：加米谷大数据科技
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
1、数据采集与预处理：
flume ng实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；
zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。
2、数据存储：
hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，hdfs作为其核心的存储引擎，已被广泛用于数据存储。
hbase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、nosql数据库。
3、数据清洗：mapreduce作为hadoop的查询引擎，用于大规模数据集的并行计算
4、数据查询分析：
hive的核心工作就是把sql语句翻译成mr程序，可以将结构化的数据映射为一张数据库表，并提供 hql(hive sql)查询功能。
spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
5、数据可视化：对接一些bi平台，将分析得到的数据进行可视化，用于指导决策服务。
2楼：扎心吗老铁
非问答能发link我给link譬hadoop等源数据项目编程语言数据底层技术说
简单永洪科技技术说四面其实代表部通用数据底层技术：
z-suite具高性能数据析能力完全摒弃向升级(scale-up)全面支持横向扩展(scale-out)z-suite主要通核技术支撑pb级数据：
跨粒度计算(in-database***puting)
z-suite支持各种见汇总支持几乎全部专业统计函数益于跨粒度计算技术z-suite数据析引擎找寻优化计算案继所销较、昂贵计算都移数据存储直接计算我称库内计算(in-database)技术减少数据移降低通讯负担保证高性能数据析
并行计算(mpp ***puting)
列存储 (column-based)
z-suite列存储基于列存储数据集市读取关数据能降低读写销同提高i/o 效率提高查询性能另外列存储能够更压缩数据般压缩比5 -10倍间数据占空间降低传统存储1/51/10 良数据压缩技术节省存储设备内存销却提升计算性能
内存计算
3楼：如若还有来生
第一、对于任何的数据分析来说，首要的就是数据采集，
一些移动客户端中的数据进行快速而又广泛的搜集，同时它还能够迅速的将一些其他的平台中的数据源中的数据导入到该工具中，对数据进行清洗、转换、集成等，从而形成在该工具的数据库中或者是数据集市当中，为联系分析处理和数据挖掘提供了基础。
第二、数据在采集之后，大数据分析的另一个技术数据存取将会继续发挥作用，方便用户在使用中储存原始性的数据，再有就是基础性的架构，比如说运储存和分布式的文件储存等，都是比较常见的一种。
第三、数据处理可以说是该软件具有的最核心的技术之一，面对庞大而又复杂的数据，运用一些计算方法或者是统计的方法等对数据进行处理，包括对它的统计、归纳、分类等，从而能够让用户深度的了解到数据所具有的深度价值。
第四、统计分析可以帮助用户分析出现某一种数据现象的原因是什么，差异分析则可以比较出企业的产品销售在不同的时间和地区中所显示出来的巨大差异，以便未来更合理的在时间和地域中进行布局。
第五、某一种数据现象和另外一种数据现象之间存在怎样的关系，此外，聚类分析以及主成分分析和对应分析等都是常用的技术，这些技术的运用会让数据开发更接近人们的应用目标。
亿信华辰专注于提供高效可靠又简单易用的数据分析解决方案，是国内领先的一站式大数据分析平台产品与服务提供商。
4楼：永不言弃
答: 1.分布式存储系统(hdfs)。
2.mapreduce分布式计算框架。3.
yarn资源管理平台。4.sqoop数据迁移工具。
5.mahout数据挖掘算法库。6.
hbase分布式数据库。7.zookeeper分布式协调服务。
8.hive基于hadoop的数据仓库。9.
flume日志收集工具。
大数据技术有哪些 核心技术是什么
5楼：匿名用户
这个只能说主流技术吧，不能说核心技术；现在国内很多公司大数据方面的主要使用时hadoop生态圈内的技术，比如hadoop、yarn、zookeeper、kafka、flume、spark 、hive、hbase ,这些事使用比较多的，并不是说就只有这些技术，而且只是应用技术方便的，还有数据分析方向的等等。所以你这个问题首先就有问题，大数据是一个方向领域，就好比你问饮食是什么，饮食有哪些方面一样。
6楼：中公教育it优就业
随着大数据分析市场迅速扩展，哪些技术是最有需求和最有增长潜力的呢？在forrester research的一份最新研究报告中，评估了22种技术在整个数据生命周期中的成熟度和轨迹。这些技术都对大数据的实时、**和综合洞察有着巨大的贡献。
1. **分析技术
这也是大数据的主要功能之一。**分析允许公司通过分析大数据源来发现、评估、优化和部署**模型，从而提高业务性能或降低风险。同时，大数据的**分析也与我们的生活息息相关。
**会**你每次购物可能还想买什么，爱奇艺正在**你可能想看什么，百合网和其他约会**甚至试图**你会爱上谁……
2. nosql数据库
nosql，not only sql，意思是“不仅仅是sql”，泛指非关系型数据库。nosql数据库提供了比关系数据库更灵活、可伸缩和更便宜的替代方案，打破了传统数据库市场一统江山的格局。并且，nosql数据库能够更好地处理大数据应用的需求。
常见的nosql数据库有hbase、redis、mongodb、couchbase、leveldb等。
3. 搜索和知识发现
支持来自于多种数据源(如文件系统、数据库、流、api和其他平台和应用程序)中的大型非结构化和结构化数据存储库中自助提取信息的工具和技术。如，数据挖掘技术和各种大数据平台。
4. 大数据流计算引擎
能够过滤、聚合、丰富和分析来自多个完全不同的活动数据源的数据的高吞吐量的框架，可以采用任何数据格式。现今流行的流式计算引擎有spark streaming和flink。
5. 内存数据结构
通过在分布式计算机系统中动态随机访问内存(dram)、闪存或ssd上分布数据，提供低延迟的访问和处理大量数据。
6. 分布式文件存储
为了保证文件的可靠性和存取性能，数据通常以副本的方式存储在多个节点上的计算机网络。常见的分布式文件系统有gfs、hdfs、lustre 、ceph等。
7. 数据虚拟化
数据虚拟化是一种数据管理方法，它允许应用程序检索和操作数据，而不需要关心有关数据的技术细节，比如数据在源文件中是何种格式，或者数据存储的物理位置，并且可以提供单个客户用户视图。
8. 数据集成
用于跨解决方案进行数据编排的工具，如amazon elastic mapreduce (emr)、apache hive、apache pig、apache spark、mapreduce、couchbase、hadoop和mongodb等。
9. 数据准备
减轻采购、成形、清理和共享各种杂乱数据集的负担的软件，以加速数据对分析的有用性。
10. 数据质量
使用分布式数据存储和数据库上的并行操作，对大型高速数据集进行数据清理和充实的产品。
7楼：最新资讯资料
想学习大数据技术，是不是首先要知道大数据技术有哪些呢？也好知道自己未来应该往哪个方向发展，应该重点学习哪些知识？
抽象而言，各种大数据技术无外乎分布式存储 + 并行计算。具体体现为各种分布式文件系统和建立在其上的并行运算框架。这些软件程序都部署在多个相互连通、统一管理的物理或虚拟运算节点之上，形成集群(cluster)。
因此不妨说，云计算是大数据的基础。
下面介绍几种当前比较流行的大数据技术：
1.hadoop
hadoop无疑是当前很知名的大数据技术了。
2003年到2004年间，google发布了关于gfs、mapreduce和bigtable三篇技术**(这几篇**成为了后来云计算、大数据领域发展的重要基石)。当时一位因公司倒闭赋闲在家的程序员doug cutting根据前两篇**，开发出了一个简化的山寨版gfs – hdfs,以及基于其的mapreduce计算框架，这就是hadoop当初的版本。后来cutting被yahoo雇佣，得以依赖yahoo的资源改进hadoop,并将其贡献给了apache开源社区。
简单描述hadoop原理：数据分布式存储，运算程序被发派到各个数据节点进行分别运算(map)，再将各个节点的运算结果进行合并归一(reduce)，生成结果。相对于动辄tb级别的数据，计算程序一般在kb – mb的量级，这种移动计算不移动数据的设计节约了大量网络带宽和时间，并使得运算过程可以充分并行化。
在其诞生后的近10年里，hadoop凭借其简单、易用、高效、免费、社区支持丰富等特征成为众多企业云计算、大数据实施的首选。
2.storm
hadoop虽好，却有其“死穴”.其一：它的运算模式是批处理。
这对于许多有实时性要求的业务就无法做到很好的支持。因此，twitter推出了他们自己的基于流的运算框架——storm。不同于hadoop一次性处理所有数据并得出统一结果的作业(job)，storm对源源导入的数据流进行持续不断的处理，随时得出增量结果。
3.spark
hadoop的另一个致命弱点是：它的所有中间结果都需要进行硬盘存储，i/o消耗巨大，这就使得它很不适合多次迭代的运算。而大多数机器学习算法，恰恰要求大量迭代运算。
2010年开始，uc berkeley amp lab开始研发分布式运算的中间过程全部内存存储的spark框架，由此在迭代计算上大大提高了效率。也因此成为了hadoop的强有力竞争者。
4.nosql 数据库
nosql数据库可以泛指非关系型数据库，不过一般用来指称那些建立在分布式文件系统(例如hdfs)之上，基于key-value对的数据管理系统。
相对于传统的关系型数据库，nosql数据库中存储的数据无需主键和严格定义的schema。于是，大量半结构化、非结构化数据可以在未经清洗的情况下直接进行存储。这一点满足了处理大量、高速、多样的大数据的需求。
当前比较流行的nosql数据库有mongodb,redis,cassandra,hbase等。
nosql并不是没有sql,而是不仅仅有(not only)sql的意思。为了兼容之前许多运行在关系型数据库上的业务逻辑，有很多在nosql数据库上运行sql的工具涌现出来，典型的例如hive和pig,它们将用户的sql语句转化成mapreduce作业，在hadoop上运行。
大数据产业已进入发展的“快车道”，急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来，才有机会成为时代的弄潮儿。
有哪些做物联网大数据方面的平台,物联网大数据平台 有哪些关键技术
1楼 雨下的不了 科工网 专注于物联网大数据 领域 2楼 匿名用户 常见物联网平台有 3楼 慧云信息公司 慧云信息，至2018年5月，慧云信息已为分布于全国24个省份的超过800家农业客户提供农业物联网解决方案服务 物联网大数据平台 有哪些关键技术 4楼 匿名用户 传感器，条形码等等有很多。ofwe...
物联网技术在仓储的数据收集有哪些应用
1楼 匿名用户 这个问题，得看仓库中保存的是什么产品物件。 如果是医药食品类需要冷藏，那需要持续采集温湿度的数据，以保证仓库的温湿度关键数据不超标。 如果是文物藏品类需要保存，那就需要持续采集位置的数据，以保证产品物件不丢失。 所以仓库保存的东西不同，管理的重点不同，都会导致物联网保存的数据，即功能...
深圳天弩数据技术有限公司怎么样,武汉天量数据技术有限公司怎么样？
1楼 百度企业信用 深圳天弩数据技术 是2016 11 04在广东省深圳市注册成立的有限责任公司，注册地址位于深圳市前海深港合作区前湾一路1号a栋201室 入驻深圳市前海商务秘书 。 深圳天弩数据技术 的统一社会信用 注册号是91440300ma5dnlat1k，企业法人丁亚兵，目前企业处于开业状态...