博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
开源大数据周刊-第50期
阅读量:6202 次
发布时间:2019-06-21

本文共 1030 字,大约阅读时间需要 3 分钟。

摘要:
本周刊的内容包括人工智能在软件和硬件上的最新进展,以及Kylin、Kudu等开源软件的实践和实现原理分析

资讯

谷歌有了自己的人工智能芯片TPU,现在构建适用于深度学习的计算芯片已成为所有科技巨头共同的发展目标,英特尔、高通、英伟达等都在人工智能芯片上投入巨大,芯片公司正在争相占领这个新的市场。

大数据技术用了多年时间进行演化,才从一种看起来很酷的新技术变成企业在生产环境中实际部署的核心企业级系统。本文从人工智能领域、企业并购情况、云端大数据竞争等方面展示了数据生态系统在2017年全景视图,并针对这一行业的见解总结为关键趋势。

Apache CarbonData是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态Hadoop、Spark等无缝集成。

技术

今日头条在去年引入了 Apache Kylin,主要帮助其加速多维分析。今日头条目前在一些重要场景下基于 Hive 构建 Kylin 的 Cube。例如头条用户的阅读行为分析,大多数情况下 Cube 查询都能做到秒级或者亚秒级。

Cloudera在2016年发布了新型的分布式存储系统——Kudu。HBase作为Google BigTable的开源产品,一直是Hadoop生态圈中的核心组件,其数据存储的底层采用了HDFS,主要解决的是在超大数据集场景下的随机读写和更新的问题。Kudu的设计有参考HBase的结构,也能够实现HBase擅长的快速的随机读写、更新功能。那么同为分布式存储系统,HBase和Kudu二者有何差异?两者的定位是否相同?本文通过分析HBase与Kudu整体结构和存储结构等方面对两者的差异进行比较。

各企业机构出于各种原因需要进行日志分析,典型使用场景包括预测服务器故障、分析客户行为及打击网络犯罪等。在本篇博客中展示了Cloudera公司如何使用自己的技术栈来提高开源软件的质量,如何使用开源工具构建一个日志分析框架。

卷积神经网络(CNN)最初用于图像分类,但它的作用远不止分类那么简单。在本文中,我们将看到卷积神经网络如何在图像实例分割任务中使用,并提升其结果。

转载地址:http://iuaca.baihongyu.com/

你可能感兴趣的文章
FPGA资源平民化的新晋- F3 技术解析
查看>>
大咖带你了解技术团队效能动力模型
查看>>
linux日志审计项目案例实战(生产环境日志审计项目解决方案)
查看>>
用户测评 | EDAS Serverless 上手体验
查看>>
Redis V3.2.9 安装配置指南
查看>>
老板会因为你拼命写代码而感谢你吗?
查看>>
Android 不能返回 parent Activity 的问题
查看>>
DOS和Linux命令对比学习表
查看>>
2017年度计划
查看>>
python请求乱码的示例
查看>>
shell去掉空格
查看>>
如何重定向apache-tomcat的log文件catalina.out
查看>>
python 函数应用
查看>>
libusb1.0.9版本嵌入式linux移植
查看>>
COBSforToN一种用于串行通讯的高效编码算法
查看>>
两种计算Java对象大小的方法
查看>>
Python3 读取 ini 配置文件(UTF-8/UTF-8-BOM)
查看>>
《小印记》iOS源码分享--HTTPS配置篇
查看>>
Contiki Cooja Mobility 之一 安装使用
查看>>
2016-2-24日学习记录
查看>>