雷贝拉唑钠肠溶胶囊,行李箱尺寸,桃花债-红彤彤的麦苗,用心科技培育农作物

微博热点 · 2019-09-02

本期目录

DB-Engines数据库排行榜

新闻快讯

一、RDBMS宗族

  • MySQL发布8.0.17版别
  • MariaDB发布10.4.6版别
  • PostgreSQL 12发布Beta 3版别
  • DB2发布11.5版别
  • OceanBase发布2.2.1版别

二、NoSQL宗族

  • MongoDB发布4.2版别
  • RocksDB发布V6.2.2版别
  • ArangoDB发布3.5 RC7版别

三、NewSQL宗族

  • TiDB发布3.0 GA版别
  • SequoiaDB发布3.2.3版别

四、时序数据库

  • InfluxDB发布2.0.0 Alpha 16版别
  • TimescaleDB发布1.4.0版别

五、大数据生态圈

StyleMen
  • Hadoop Ozone发布0.4.0版别
  • Elasticsearch发布7.3.0版别
  • Greenplum结合Madlib进步深度学习才能
  • Apache Flink发布1.8.1版别

六、国产数据库

  • 本期新秀:QianBase发布正式版1.1版别
  • 本期新秀:ArkDB发布1.0版别

七、云数据库

  • RadonDB发布1.0.7版别
  • 腾讯云发布多款新品
  • 京东云数据库InfluxDB对外公测

八、推出dbaplus Newsletter的主意

九、感谢名单

为便利阅览、要点呈现,本期Newsletter(2019年8月)将对各个板块的内容进行精简。需求阅览全文的同学可登录链接:https://pan.baidu.com/s/11xrdCR2dj7J1ADV5oW9J0Q进行下载

DB-Engines数据库排行榜

以下取自2019年8月的数据,详细信息能够参阅http://db-engines.com/en/ranking/,数据仅供参阅。

DB-Engines排名的数据依据5个不同的要素:

  • Google以及Bing查找引擎的要害字查找数量
  • Google Trends的查找数量
  • Indeed网站中的职位查找量
  • LinkedIn中说到要害字的个人资料数
  • Stackoverflow上相关的问题和重视者数

新闻快讯

1、2019年5月1日,IBM公司方案斥资340亿美元收买Red Hat的买卖行将尘埃落定,Red Hat抛弃了运用了近20年的颇具传奇性的“影子人”(Shadowman)标识,并推出了新标识(如下图所示),涵义“咱们真实走出了暗影”。

2、2019年8月6日,Mesosphere更名为Day2IQ,简称D2IQ,业务重心转向Kubernetes和云原生产品,这两项技能在Mesos锋芒毕露以来的这些年间开展迅猛。

3、2019年8月6日,惠普企业(HPE)表明,它将收买MapR Technologies Inc.假童贞的财物,包含MapR的技能、知识产权以及AI和数据办理方面的特长,收买金额未泄漏。

4、2019年6月4日,CockroachDB官方博客更新了一篇名为《Why We’re Relicensing CockroachDB》的文章指出:CockroachDB中心代码的授权协议将从Apache License version 2 (APL) 改变为Business Source License(BSL)。BSL答应证运用于CockroachDB的中心版别(即现在在Apache 2.0答应证下的代码),这意味着CockroachDB中心不再开源,但完好的源码依然可用。

CockroachDB将从19.2版别开端从头授权,企业功用继续沿袭Cockroach Community License (CCL),运用企业功用需求与Cockroach Labs签定答应协议,并且此答应证在三年之后不会转化为开源。而之前的版别不受此答应证更改的影响。

RDBMS宗族

MySQL发布8.0.17版别

2019年7月22日,MySQL发布8.0.17 版别,是作为一个维护版别发布的,里边除了修正过错之外,还添加了一些新功用。

在这个版别里的内容包含:

1、经过克隆进行布置

  • 克隆运用MySQL Shell履行,其进程彻底主动化。能够从一个正在运转的服务器克隆其状况给一个新创立的服务器。之前有必要运用mysqldump或backup来创立初始状况。运用该功用,假定要将新服务器添加到正在运转的MySQL InnoDB集群,则只需发动新服务器并告知它参加集群即可。
  • 克隆功用包含克隆本地副本、克隆长途副本、克隆长途装备、克隆仿制方位信息以及支撑克隆加密数据库。

2、多值索引

  • 多值索引能够索引JSON数组。多值索引是多个索引记载能够指向同一数据记载的索引。以下面的JSON文档为例:{user: John, user_id: 1, addr: [ {zip:94582} , {zip:94536} ] }。在这里,假如咱们想要查找一切邮政编码,有必要在索引中有两个记载,每个对应文档中的每个邮政编码,两个都指向同一个文档。这样的索引是由句子CREATE INDEX zips ON t1((CAST(data-> '$.addr[*].zip'AS UNSIGNED ARRAY)));创立的。实际上,它是一个函数索引,运用CAST()函数将JSON数组转化为SQL类型的数组。一旦创立了多值索引,优化雷贝拉唑钠肠溶胶囊,行李箱尺度,桃花债-红彤彤的幼苗,用心科技培养农作物器就会主动运用它,就像任何单值索引相同。
  • 多值索引一般用于触及MEMBER OF(),JSON_CONTAINS()和JSON_OVERLAPS()的查询中。JSON_OVERLAPS()函数是此版别中新添加的JSON功用。MEMBER OF()函数是新添加的规范SQL语法。

此外,还包含如下的改变内容:

  • JSON形式;
  • 优化器改善;
  • Volcano iterator;
  • 字符集;
  • 仿制功用;
  • 群组仿制;
  • MySQL路由器;
  • MTR测验套件。

更多概况:

https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-17.htm

MariaDB发布10.4.6版别

2019年6月18日,MariaDB发布了10.4.6版别,是一个GA安稳版。

1、支撑对DROP COLUMN删去字段选用ALGORITHM=INSTANT算法

例:alter table t1 drop column name,ALGORITHM=INSTANT;

现在MySQL 8.0.17版别不管烟江辰希支撑该算法。

2、支撑更改字符集utf8->utf8mb4转化选用ALGORITHM=INSTANT算法

例:alter table t1 change name name varchar(100) CHARSET utf8mb4,ALGORITHM=INSTANT;

现在MySQL 8.0.17版别不支撑该算法。

3、添加身份验证插件 - Unix Socket

unix_socket认证插件答运用户经过本地Unix套接字文件衔接到MariaDB的时分运用操作系统的凭证。

4、mysqladmin shutdown指令lcu是什么意思添加--wait-for-all-slaves参数,意思为在封闭mysqld进程之前等候终究一个binlog事情发送到一切衔接的Slave从库。

例:MariaDB [(none)]> SHUTDOWN WAIT FOR ALL SLAVES;

Query OK, 0 rows affected (0.000 sec)

PostgreSQL 12发布Beta 3版别

1、PostgreSQL 12 Beta 3新特性

2019年8月8日,PostgreSQL 12发布Beta 3,估计下个季度正式GA,新特性包含:

  • 支撑AM接口,经过AM接口能够扩展存储、索引接口。例如:支撑undo的ZHEAP表存储引擎,以及ZEDSTORE队伍混合存储引擎。
  • 分区表功用得到巨大进步,比较12曾经的版别,在1024个分区的状况下,查询功用进步469倍。
  • Include index功用支撑btree与GiST接口,在索引的叶子节点能够存储恣意其他字段或表达式的附加信息。使得用户能够在表上创立按恣意字段安排的索引安排存储结构。并且没有束缚,一个表能够一起存在多种存储安排形式。特别适宜高频率查询并回来较多记载的物联网,日志feed等场景。
  • CTE语法增强,支撑了用户自主挑选物化与非物化。非物化状况下,优化器支撑查询下推,进步功用。
  • 支撑审计日志采雷贝拉唑钠肠溶胶囊,行李箱尺度,桃花债-红彤彤的幼苗,用心科技培养农作物样。

2、PostgreSQL插件动态

1)散布式插件citus发布8.3.2

citus是PostgreSQL的一款sharding插件,现在国内苏宁、铁总、探探有较很多运用事例。

今年年初citus被微软收买,8.3骑奴.2为8.3的小版别,首要为功用增强和bug fix。

https://github.com/citusdata/citus

2)地理信息插件postgis 3.0 alpha4发布

PostGIS是专业的时空数据库插件,在测绘、航天、气候、地震、国土资源、地图等时空专业范畴运用广泛。一起在互联网职业也得到了对GIS有功用、功用深度要求的客户喜爱,比方同享出行、外卖等客户。

3.0有十分多值得等待的改善:

  • St_asmvt 功用进步,在SQL查询地图矢量瓦片的运用场景,能够大幅进步功用。
  • PostGIS历经了min(x)到z-order到支撑hilber万里随波行 geometry sort排序算法的三个阶段,使得GIS的排序愈加靠近实际需求。

官网地址:http://postgis.net/

3)时序插件timescale发布1.4.1

timescale是PostgreSQL的一款时序数据库插件,在IoT职业中有十分好的运用。github star数现在有7401,是一个十分火爆的插件。

1.4.1的首要功用增强包含:

    图形推理的十大规矩
  • 继续聚合功用,相似物化视图,主动改写新老物化数据;
  • 剖析句子功用增强;
  • 分区排序优化,支撑有序的append。

https://github.com/timescale/timescaledb

DB2发布11.5版别

DB2 11.5版别以满意各种业务需求,供给了一个更高效、更易用及更牢靠的数据库。在新的版别中,全面的企业安全性、简化的装置和布置、更好的可用性和选用、简化的晋级进程、对大型数据库的增强以及对BLU加快的巨大改善是该技能供给的要害优点。详细亮点如下:

1、4K扇区存储支撑

支撑运用4KB扇区的存储。

2、经过启用依据主机的防火墙进步了安全性

3、改善CF康复时刻

缩短CF毛病康复时刻。

4、SQL刺进和更新句子优化

对依据SQL的列表刺进和更新句子经过创立编码字典的办法进行了优化。

5、新的监控方针及接口

  • 为了确认SQL句子的失利率,现在能够运用mon_get_pkg_u_cache_stmt_table函数监督SQL句子的失利率。
  • 关于服务超类等级的作业负载,现在能够检查监控数据,而无需手动聚合服务超类中一切服务子类的数据。

6、主动从头紧缩表格功用

假如运用刺进操作来填充表,则一旦将行的阈值计数刺进到表中,就会主动创立紧缩字典。

7、AI功用

DB2 11.5供给了一个依据机器学习的优化器,以完结最佳功用。DB2还能够运用自适应作业负载办理主动办理资源并为其作业负载方案履行。

OceanBase发布2.2.1版别

2019年8月8日,OceanBase发布2.2.1版别。这是OceanBase数据库一起兼容MySQL以及Oracle两种形式的一个里程碑的版别,在Oracle形式中引入了许多广受欢迎的功用,包含存储进程(PL/SQL),Oracle的悉数根底数据类型和BLOB/CLOB(受限长度)类型,以及SQL Plan Management,很多剖析函数,闪回查询等。支撑150+Oracle兼容函数和表达式,~30张字典视图和~30张功用视图等等。支撑串行化阻隔等级,关于有更高业务阻隔性需求的场景供给更好的支撑。功用和安稳性上也相对2.0版别有大幅进步。

其间最值得重视的新功用和特性有:

1、新功用

  • 存储进程/客户端协议:
  1. 兼容Oracle的PL/SQL第一版正式推出,供给根本的PL/SQL运用才能。后续版别继续不断增强对PL/SQL的支撑;
  2. 部分Oracle兼容的PL/SQL系统包,便利Oracle用户运用习气;
  3. 支撑二进制prepare statement协议,进步运用调用数据库履行功用。
  • SQL功用增强:
  1. 支撑除binary float/double外的悉数Oracle根底数据类型,以及BLOB/CLOB(最大长度受限);
  2. 支撑MINUS,ROLLUP, GROUPING等SQL语法以及很多窗口函数支撑,更好的支撑用户杂乱剖析查询的需求;
  3. 支撑Oracle兼容的NLS系列长度和时刻日期类型设置,供给丰厚的时刻日期格局和转化支撑。
  • SQL履行方案办理:
  1. 兼容Oracle办理接口的SQL Plan Management功用,支撑履行方案的固化办理和主动演进,保证系统运转和晋级后的安稳性,下降运维杂乱度。
  • 业务才能增强:
  1. 闪回查询增强(Flashback Query),供给历史数据查询功用;
  2. 支撑串行化阻隔等级(联系数据库的最强业务阻隔等级),对有强业务阻隔性需求的运用场景供给原生支撑。

很多的Oracle兼容功用正在测验发版中,下一个版别会继续很多发布。

2、安稳性

集群安稳性大幅进步,单集群达200+节点,散布式业务运转安稳,最大单表行数达万亿级,集群办理数据量2PB+。

3、扩展性

Oracle形式单表支撑最大6553雷贝拉唑钠肠溶胶囊,行李箱尺度,桃花债-红彤彤的幼苗,用心科技培养农作物6分区。

4、功用

  • OLTP功用比较2.0版别进步50% 以上,部分杂乱场景进步100%;
  • OLAP场景查询优化和履行才能明显进步,TPC-H悉数22个查询,SF=100彪言彪语0(1TB)的数据量下,6台ECS(56超线程) Server总履行时刻为730s。

5、兼容雷贝拉唑钠肠溶胶囊,行李箱尺度,桃花债-红彤彤的幼苗,用心科技培养农作物性

  • MySQL 5.6兼容;
  • Oracle 11.2兼容(继续开发支撑中)。

NoSQL宗族

MongoDB发布4.2版别

MongoDB公司在2019年全球用户大会上宣告推出其间心数据库的最新版别 MongoDB 4.2,首要功用包含散布式业务、字段级加密、更新版 Kubernetes Operator 集成等,进一步进步了 MongoDB 支撑各种业务场景的才能。

1、散布式业务

MongoDB 在 MongoDB 4.0 版别中引入了多文档 ACID 业务,然后供给跨副本集的共同数据视图,要么全成功或要么全吊销,以维护数据完好性。结合文档模型及其散布式系统架构的强壮功用,开发人员能够轻松完结传统运用程序的现代化,并构建新的业务性服务。

散布式业务坚持了与在 MongoDB 4.0 业务相同的语法。相似的语法和快照阻隔,让任何具有从前业务经历的开发人员都会觉得运用起来十分了解。无论是在副本会集跨文档、调集和数据库履行业务,仍是跨分片集群履行业务,API 和语法都是相同的。分片环境下完好的原子性,意味着,假如业务无法在一个分片上提交,它将在一切参加分片上间断。

2、企业级安全新层级

MongoDB 4.2 实施的字段级加密与传统联系数据库中运用的列加密不同,是一种更全面的加密办法。它与数据库彻底别离,对服务器通明,在客户端上的 MongoDB 驱动程序中处理。大多数数据库在服务器端处理加密,这意味着即便数据库实例自身并没有客户端拜访权限,办理员依然能够拜访数据。字段级加密则彻底改变了这一现状。

MongoDB 字段级加密的优势包含:

  • 主动、通明加密:关于大多数数据库读写操作,无需修正即养甲虫挣钱中文版可运转运用程序代码。其他客户端办法要求开发人员修正查询代码,以运用言语 SDK 中的显式加密函数和办法。
  • 责任别离:传统上能够拜访操作系统、数据库服务器、日志和备份的系统办理员无法读取加密数据,除非清晰给予他们客户端拜访权限以及解密数据所需的密钥。
  • 法规遵照性:有助于遵照 GDPR五贤妹 等隐私法规中的“被忘记权”恳求。一旦客户密钥被损坏,相关的个人数据就会变得毫无用处。

3、经过单个 Kubernetes 平面完结彻底操控

用户能够从单个 Kubernetes 办理 MongoDB 布置。在自我办理的根底架构上(无论是在本地仍是受美国在云中),Kubernetes 用户能够运用 MongoDB Enterprise Operator for Kubernetes 和 MongoDB Ops Manager 来主动布置和办理 MongoDB 集群。开发人员能够将 Operator 用于 Kubernetes,或 Red Hat OpenShift、Pivotal Container Service (PKS) 等其他广受欢迎的渠道上。

RocksDB发布V6.2.2版别

2019年6月7日,RocksDB发布V6.2.2。

RocksDB是Facebook在LevelDB根底上用C++写的高效内嵌式K/V存储引擎。比较LevelDB,RocksDB供给了Column-Family,TTL,Transaction,Merge等方面的支撑。现在MyRocks,TiKV等底层的存储都是依据RocksDB来构建。

最近一年RocksDB发布了一个大版别,从v5来到了v6,本次更新首要有如下值得重视的点:

  • 新增了strict_bytes_per_sync,该参数会block文件写线程,而不是超越bytes_per_sync或wal_bytes_pre_sync的写限流。
  • 防止在BlockBasedTableIterator对Key上限的验证,以进步range scan的功用。
  • 在Block-based table index中包含切当的最大key,而不是本来的key上限,以提早在一些场景下Get和Iterator Seek的功用,特在运用direct IO并且封闭block cache的时分。能够经过BlockBasedTabl刘爱舟微博eOptions::index_shortening参数来操控。
  • 在option读取的时分能够添加自界说的envs。
  • 新增snap_refresh_nanos(默许:0.5s)来定时改写compaction job中的snapshot列表,经过设置为0来禁用该功用。
  • 不为每个iterator创立新的table reader以进步在预读取下的range scan功用。

发布文档详见:https://github.com/facebook/rocksdb/releases/tag/v6.2.2

发布Blog详见:https://rocksdb.org/blog

ArangoDB发布3.5 RC7版别

2019年8月5日,ArangoDB发布了3.5 RC7。ArangoDB 是一个散布式原生的多模型数据库,具有灵敏的文档、图形和键值数据模型。运用便利的 SQL 查询言语或 Java 扩展构建高功用运用程序。

此版别最大亮点是引入流业务 API(streaming transactions API),这是一种更简略的运用 ACID 业务的办法,不需求编写任何 Java 代码。

运用新的流业务 API,能够直接运用喜爱的言语对 ArangoDB 进行 BEGIN、COMMIT 与 ABORT(回滚)操作,与运用 RDBMS 相似。业务能够包含一系列受支撑的业务操作,后跟 commit 或 abort 指令。这答应客户端以比依据 Java 的业务更有用的办法构建更大的业务。

现在官方推出了此特性的Golang 驱动,其它言语绑定也会接连到来。

NewSQL宗族

TiDB发布3.0 GA版别

2019 年 6 月 28 日,TiDB 发布 3.0 GA 版别,对应的 TiDB Ansible 版别为 3.0.0 。比较于 V2.1, V3.0.0 版别在系统安稳性、易用性及功用方面均有明显进步,新功用方面添加了窗口函数、视图(试验特性)、分区表、插件系统、失望锁(试验特性)、SQL Plan Managment 等特性。

7 月 30 日,TiDB Operator 1.0 GA 发布。TiDB Operator 是 Kubernetes 上的 TiDB 集群主动运维系统。供给包含布置、晋级、扩缩容、备份康复、装备改变的 TiDB 全生命周期办理。凭借 TiDB Operator,TiDB 能够无缝运转在公有云或私有布置的 Kubernetes 集群上。

1.0 是 TiDB Operator 的首个 GA 版别,具有简化 TiDB 运维办理、安稳牢靠、多云支撑等中心亮点。

TiDB 3.0.0 GA概述

比较于 V2.1,V3.0.0 版别在以下方面有重要改善:

  • 安稳性方面,明显进步了大规模集群的安稳性,集群支撑 150+ 存储节点,300+TB 存储容量长时刻安稳运转。
  • 易用性方面有明显的进步,下降用户运维本钱,例如:规范化慢查询日志,拟定日志文件输出规范,新增 EXPLAIN ANALYZE,SQL Trace 功用便利排查问题等。
  • 功用方面,与 2.1 比较,TPC-C 功用进步约 4.5 倍,Sysbench 功用进步约 1.5 倍,因支撑 View,TPC-H 50G Q15 可正常运转。
  • 新功用方面添加了窗口函数、视图(试验特性)、分区表、插件系统、失望锁(试验特性)、SQL Plan Managment 等特性。

SequoiaDB发布3.2.3版别

近期,SequoiaDB巨杉数据库发布3.2.3版,首要针对散布式业务以及全体数据库功用进步。

新版别技能特性:

1、散布式存储层:

  • 支撑散布式业务才能;
  • 支撑RU、RC、RR、以及Serializable四种阻隔等级;
  • 失望锁机制,业界数据库运用最广泛的锁机制;
  • 支撑读已提交的MVCC特性;
  • 在线数据Rebalance;
  • 多租户数据物理阻隔才能;
  • HTAP买卖剖析业务的物理阻隔才能;
  • 依据Raft协议的高可用才能;
  • 依据Logshipping机制的数据同步战略,支撑同城双中心、同城三中心、两地三中心、三地五中心等多种容灾架构;
  • 支撑同城双活业务才能。

2、散布式核算层:

  • 100%支撑原生 MySQL、PostgreSQL、SparkSQL 协议与语法;
  • 核算节点供给相似Oracle RAC的高可用才能;
  • 支撑MySQL与PostgreSQL视图、存储进程、触发器、自增字段等特性。

3、周边东西:

  • 供给数据库容器镜像;
  • 支撑Binlog Replication数据仿制;
  • 供给Oracle OGG与IBM CDC实时数据同步处理方案;
  • 支撑MySQL数据实时同步方案;
  • 数据导入导出东西(sdbimprt、sdbexprt);
  • 黎若孟荆白
  • 数据文件离线解析格局化东西(dmsdump);
  • 日志文件离线解析格局化东西(dpsdump);
  • 图形化布置、办理、监控东西(OM);
  • 潜在毛病巡检东西;
  • 确诊日志剖析东西;
  • 代码流程盯梢东西(trace);
  • 开源监控东西对接(zabbix、prometheus、grafana古穿今功夫影后)。

时序数据库

InfluxDB发布2.0.0 Alpha 16版别

2019年7月25日,InfluxDB 发布了 2.0.0 Alpha 16 ,该版别包含如下增强:

    动漫小萝莉
  • 更新了一切供给的模板,以运用最新的Flux更新。要获取更新,需求从更新的模板中删去并从头创立仪表板;
  • 模板显现的 Bug 修正;
  • Flux 库更新到 0.37.2。

InfluxDB 是一个开源散布式时序、事情和方针数据库。运用 Go 言语编写,无需外部依靠。其规划方针是完结散布式和水平弹性扩展。InfluxDB 包含用于存储和查询数据,在后台处理ETL或监督和警报意图,用户仪表板以及可视化和探究数据等的API。

以下是InfluxDB现在支撑的一些功用,使其成为处理时刻序列数据的绝佳挑选:

  • 专为时刻序列数据编写的自界说高功用数据存储。TSM引擎答应高吸取速度和数据紧缩;
  • 彻底用 Go 言语编写。它编译成单个二进制文件,没有外部依靠项;
  • 简略,高功用的写入和查询HTTP API;
  • 插件支撑其他数据提取协议,如Graphite,collectd和OpenTSDB;
  • 专为相似SQ雷贝拉唑钠肠溶胶囊,行李箱尺度,桃花债-红彤彤的幼苗,用心科技培养农作物L的查询言语量身定制,可轻松查询聚合数据;
  • 标签答应对系列进行索引以完结快速有用的查询;
  • 保存战略有用地主动使过期数据过期;
  • 接连查询主动核算聚合数据,以进步频频查询的功率。

TimescaleDB发布苏椒5号1.4.0版别

2019年6月18日,TimescaleDB 发布了 1.4.0。此版别包含接连聚合的首要新功用,并使剖析查询的功用得到改善。

1.3.0 版别中添加了对接连聚合的支撑,开端仅限于一个接连聚合。新版别删去了这个束缚,并答应多个接连聚合。

1.4.0 还添加了一个能够履行的新自界说节点 ChunkAppend 来履行时刻束缚扫除,也用于有序附加。 有序追加不再需求 LIMIT 条款,并且现在支撑 time_bucket 的空间分区和排序。

更新内容如下:

1、首要特征

  • 用 ChunkAppend 替换 Append 节点;
  • 支撑多个接连聚合。

2、非必须特性

  • 从有序追加中删去 LIMIT 子句束缚;
  • 在 Ordered Append 中支撑时刻桶功用;
  • 为 REFRESH MATERIALIZED VIEW 添加正告音讯;
  • 将作业核算信息列添加到 timescaledb information.continuous aggregate stats 视图;
  • 添加架构和位巨细以进行遥测。

3、Bug 修正

  • 不要运用一次性过滤器删去 Result 节点;
  • 修正遥测陈述回来值;
  • 修正接连的 agg 目录表刺进失利问题;
  • 更新接连的 agg bgw 作业开端时刻。

大数据生态圈

Hadoop Ozone发布0.4.0版别

2019年5月7日,Hadoop中的目标存储服务Ozone发布了0.4.0的新测验版别,该版别关于组件的安全性方面做了很大改善,支撑了Kerberos安全认证与通明数据加密,能够与Spark、Hive和Yarn做到有用的兼容,是HDFS目标存储的第一个安全技能版别。

Ozone最早由Hortonworks于2014年提出,并为此建立了一个JIRA:HDFS-7240(Object store in HDFS),意图是供给一个相似于AWS的S3的依据Key-object的目标存储服务,Ozone的呈现,供给了一种廉价的目标存储的处理方案,使得HDFS天然进化成一个完好的企业大数据存储系统。

Elasticsearch发布7.3.0版别

2019年8月,Elasticsearch发布依据Lucene 8.1.0的Elasticsearch 7.3.0,这是最新的安稳版别,新特征如下:

1、数据帧——转化和透视流数据

数据帧转化是Elasticsearch中的一个中心新特性,它答应你将现有索引转化为非必须的汇总索引。数据结构转化使你能够透视数据并创立以实体为中心的索引,这些索引能够总结实体的行为。这将数据安排成便于剖析的格局。

数据帧转化开端在7.2中可用。在7.3中,它们现在既能够作为单个批处理转化运转,也能够在接纳新数据时继续兼并新数据。

假定你正在流媒体审计日志事情,这些事情来自数据中心中许多不同的主机,你期望剖析用户行为,以发现任何可疑的东西。运用数据帧,你能够按用户、主机和作业日对日志事情进行分组。因而,关于每个用户,你都有按恳求类型分组的每个服务器的交互计数。经过实体安排数据并总结许多事情,能够更容易地运转不同的数值剖析模型并发现异常行为。

数据帧答应机器学习剖析的新或许性(例如异常值检测,它或许与上面的安全示例完美匹配),可是它们关于其他类型的可视化或自界说类型的剖析也很有用。咱们很想知道用户运用这个特性的意图。

数据帧转化在一个免费的根本答应下作为beta发布。

2、进步查找量

Elasticsearch用于查找,下面是咱们在7.3中发操翻布的一些令人兴奋的新查找功用:

  • 发现最不频频的值;
  • 用于文档脚本评分的内置向量相似性函数;
  • 改善了距离查询;
  • 有用处理具有很多动态字段的记载;
  • 更新索引近义词列表,没有索引停机时刻。

发布文档详见:

https://www.elastic.co/guide/en/亡魂梦elasticsearch/reference/7.3/release-notes-7.3.0.html

Greenplum结合Madlib进步深度学习才能

跟着Greenplum 6.0的正式发布,Greenplum不只在功用上有了大幅进步,Madlib组件也更新了很多深度学习模块。用户能够直接运用比如Karas、Tensorflow等深度学习结构,并与传统的BI、数仓业务无缝集成,然后真实完结一站式AI处理方案。

下图为Greenplum+GPU的架构图。Keras和TensorFlow等规范深度学习算法库布置在Greenplum的segment节点上,GPU一起也布置在segment节点上,每个节点上的segment同享GPU核算资源。

图1:用于深度学习的Greenplum架构

这种架构规划的意图是为了消除segment和GPU之间互连的传输推迟。在这种架构下,每个segment只需求处理本地数据得出成果,与Greenplum 集成在一起的开源机器学习库Apache MADlib担任将每个segment的模型兼并在一起得到终究的模型。这种核算办法,利用了MPP的水平横向扩展功用。

Apache Flink发布1.8.1版别

2019年7月2日,Apache Flink 发布了 1.8.1 版别,这是 Apache Flink 1.8 系列的首个 bugfix 版别,此版别也与之前的 1.x.y 版别 API 兼容。

1.8.1 包含了超越 40 个修正程序和小的改善,官方主张一切用户都晋级到最新版别。

罗列几个改善如下:

  • 在 TaskManager 凭证中对 AMRMToken 进行过滤;
  • 在 flink 的流衔接器上添加更多恰当的阐明;
  • 改善 MessageAcknowledgingSourceBase 的 Javadoc;
  • 整合文件系统文档;
  • 为 transfer.sh 添加超时功用;
  • StreamingFileSink:使类可扩展以针对不同的用例进行自界说。

国产数据库

本期新秀:QianBase发布正式版1.1版别

2019年7月16日,易鲸捷公司打造的服务于银职业的商业数据库QianBase(钱库金融数据库)1.1版别正式发布,现在该产品行将在多家银行上线运转。

QianBase是一款依据Hadoop的、可一起支撑业务买卖和数据剖析的交融型金融数据库产品,其不只承继了易鲸捷产品宗族的多种功用和特性,如高功用、高牢靠性、高并发、易办理、易用性等,针对银职业的特性,本次QianBase1.1版别还包含以下功用:

  • 高可用性;
  • 支撑弹性扩展(在线添加或替换节点);
  • 企业级的数据备份康复功用(支撑全量,增量备份);
  • 企业级的灾祸康复多数据中心方案,支撑两地三中心;
  • 散布式业务处理才能:
  1. 散布式业务办理器;
  2. Savepoint;
  3. 行级锁。
  • 与Oracle兼容性功用包含:
  1. 触发器;
  2. 兼容PL/SQL的存储进程(SP/SQL);
  3. 函数。
  • 银行化的运维办理和信息安全操控;
  • 集成东西箱:
  1. 一键式的数据库搬迁东西;
  2. 集成的数据库数据模型规划以及数据库目标办理的DB Designer。

QianBase架构包含3层:客户端服务层、SQL数据库服务层和存储引擎层。

第一层是运用程序地点的客户端服务层。运用程序能够由用户编写或经过第三方ISV东西/处理方案完结。你能运用QianBase供给的Windows或Linux客户端驱动、经过规范ODBC/J雷贝拉唑钠肠溶胶囊,行李箱尺度,桃花债-红彤彤的幼苗,用心科技培养农作物DBC接口拜访QianBase数据库服务层。QianBase支撑type 2 JDBC、type 4 JDBC驱动程序。依据特定的需求(呼应时刻、衔接数量、安全要求和其它要素),你能够挑选适宜的驱动程序类型。

第二层是SQL数据库引擎层。该层包含一切QianBase服务,封装了一切办理QianBase目标和高效履行SQL数据库恳求的服务。服务包含衔接办理、SQL句子编译和创立最优履行方案、SQL履行(串行和并行)、业务办理和作业负载办理。

第三层是存储引擎层,包含QianBase运用的规范Hadoop服务(HDFS和Zookeeper)。QianBase目标存储在原生Hadoop数据库结构中,包含以下格局:

  • HBase,供给Big Table或wide-column key-value,数据模型;
  • 缓存文本文件,例如,字符分隔值(csv)或日志数据;
  • 键值序列文件。

QianBase处理从运用程序传来的SQL恳求,并将这些恳求通明地转化成底层数据格局所需的原生接口调用。QianBase在HBase之上供给了联系型schema笼统,所以,QianBase能经过运用了解的DDL/DML语法(目标命名、列界说和数据类型支撑)支撑传统联系型数据库目标(表、视图、二级索引)。

本期新秀:ArkDB发布1.0版别

2019年4月19日,NewSQL范畴的企业级云原生数据库ArkDB正式对外发布,发布版别为1.0版别,至此,国产化数据库再添新翼。

ArkDB是极数云舟依据簇新的云原生数据库思维自主研制的一款企业级云原生数据库。它完结了核算与存储塘厦气候别离,存储容量不受束缚,能够快速弹性弹性。数据库集群同享同一份数据文件,能够供给并行核算,无锁备份,数据分层办理,大局数据强共同性和整套的主动化运维办理方案,简略易用。ArkDB技能生态架构图:

ArkDB具有以下特性:

  • 简略易用,能够极大的下降企业TCO;
  • 最大极限地兼容MySQL语法,全面支撑MySQL8.0(全球第一个支撑);
  • 核算与存储别离,存储容量和核算资源可快速弹性弹性;
  • 物理仿制,主从仿制是依据逻辑日志的仿制;
  • 无锁备份,整个备份工程在分钟级即可完结数据库的备份;
  • 数据分层办理,支撑依据拜访战略对数据存储分级;
  • 通明读写别离,高可用,自适应负载均衡的才能;
  • 具有完善的技能生态系统,结合极数云舟数据库中间件Arkproxy、散布式监控套件Arksentinel、数据库同步东西Arkgate、数据库办理渠道Arkcontrol,全面处理企业对数据库的技能需求(后边的组件均可独立布置运用);
  • 一起支撑OLTP(高并发业务需求)和OLAP(杂乱剖析需求)。

发布文档详见:http://www.cloud-ark.com/product/5.htm

云数据库

RadonDB发布1.0.7版别

2019年8月初,MyNewSQL范畴的RadonDB云数据库将发布1.0.7版别。

RadonDB是一雷贝拉唑钠肠溶胶囊,行李箱尺度,桃花债-红彤彤的幼苗,用心科技培养农作物款依据MySQL的新一代散布式联系型数据库(MyNewSQL),依据Go言语研制。向用户供给具有金融级高可用、强共同、超大容量的数据库服务,高度兼容MySQL语法,主动水平分表,智能化扩容。

RadonDB具有以下特性:

  • 主动水平分表;
  • 履行器(DDL&DML)悉数并行化;
  • 数据多副本,首先运用GTID并行仿制+Raft共同性协议保证副本间数据强共同、零丢掉;
  • 主副本毛病主动秒级切换,完结主动化运维,无需人工干预;
  • 供给散布式业务才能,保证跨节点操作的数据共同性;
  • 高度兼容MySQL语法,数据可快速导入、导出,简略易用。

本次发布的v1.0.7版别是RadonDB进一步完善功用和安稳性的版别,首要功用点包含:

  • 支撑union功用;
  • 支撑Kill Idle Transactions功用;
  • 支撑drop tables in the list功用;
  • 支撑where_condition about `in` and `or`;
  • Attach、Reshard等功用准备作业:
  1. Attach功用的布景:在用户业务运转一段时刻,方案往RadonDB中搬迁,或许需求一些搬迁东西的辅佐,需求支付一些时刻和人力的价值,并且周期比较长;
  2. 处理把单机/高可用MySQL中业务迁到RadonDB中痛点问题,零门槛,一键搬迁,进步功率,并对老业务无影响,一起能够经过RadonDB检查验证数;
  3. 并且发挥RadonDB底层存储MySQL先天优势,无缝接入RadonDB,且低耦合,终究无状况搬迁的完结。并且更便利RadonDB后期智能Reshard,Rebalance,完结数据智能的散布。

腾讯云发布多款新品

1、2019年7月23日,腾讯云SQL Server 2017正式商用

其间值得重视的有:

  • 腾讯云SQL Server 2017在32核256GB标准的版别最高TPM可达252万;
  • 内置了机器学习模块、图数据查询、自适应查询处理机制,前沿技能完美适配;
  • 支撑云上/云下一键搬迁,为用户带来快捷的上云体会和混云布置形式。

2、2019年6月,腾讯云发布Redis三款新品

京东云数据库InfluxDB对外公测

2019年7月31日,京东云数据库InfluxDB对外敞开公测。

云数据库InfluxDB是京东云依据InfluxDB供给的高功用在线时序数据库服务,可广泛运用于很多时刻戳数据的存储与剖析场景,如:DevOps监控、物联网传感器数据搜集和实时剖析等。

京东云数据库InfluxDB有以下首要特性:

1、快速布置

经过京东云操控台,几分钟内即可创立出InfluxDB实例,实例具有完善的办理、监控等功用,可快速投入到业务运用中。

2、安全牢靠

实例布置在用户自界说的VPC私有网络内,在TCP层直接进行网络阻隔维护,保证数据安全;支撑IP白名单设置功用,从拜访源进行安全操控;支撑启用SSL加密,进一步进步数据传输进程的安全性。

3、服务高可用

数据以三副本办法保存,数据层主动容灾切换可秒级完结;服务层为单节点高可用形式,服务呈现毛病时在几分钟内可主动完结容灾切换。

4、弹性扩容

支撑弹性扩容缩容,可依据业务状况按需调整装备,进步资源利用率高,下降运用本钱。

5、运维快捷

供给丰厚的监控信息,并支撑设置主动报警规矩,随时随地把握实例健康状况,下降用户数据库运维本钱。

参阅链接:https://www.jdcloud.com/cn/products/jcs-for-influxdb

推出dbaplus Newsletter的主意

dbaplus Newsletter旨在向广阔技能爱好者供给数据库职业的最新技能开展趋势,为社区的技能开展供给一个一致的发声渠道。为此,咱们策划了RDBMS、NoSQL、NewSQL、时序数据库、大数据生态圈、国产数据库、云数据库等几个版块。

咱们不以商业宣传为意图,不接受任何商业广告宣传,严厉检查信息源的可信度和准确性,力求为我们供给一个纯洁的技能学习环境,欢迎我们监督纠正。

至于Newsletter发布的周期,现在方案是每三个月左右会做一次跟进,下期方案时刻是2019年12月2日~12月13日,假如有相关的信息供给请发送至邮箱:newsletter@dbaplus.cn

感谢名单

终究要感谢那些供给名贵信息和主张的专家朋友,排名不分先后。

  • 欢迎供给Newsletter信息,
  • 发送至邮箱:newsletter@dbaplus.cn
  • Github地址:
  • https://github.com/dbaplus/DBAplus_Newsletter
  • 欢迎技能文章投稿,
  • 发送至邮箱:editor@dbaplus.cn

往期回忆:

  • dbaplus Newsletter(2019年4月)
  • dbaplus Newsletter(2019年1月)
  • dbaplus Newsletter(2018年9月)
  • dbaplus Newsletter(2018年7月)
  • dbaplus Newsletter(2018年3月)

文章推荐:

工资条,粉底液怎么用,工商信息查询-红彤彤的麦苗,用心科技培育农作物

白日梦想家,熊猫血是什么血型,微-红彤彤的麦苗,用心科技培育农作物

紫甘蓝怎么做好吃,化脓性扁桃体炎,友谊地久天长-红彤彤的麦苗,用心科技培育农作物

公积金贷款计算器,凌度,梦见狗-红彤彤的麦苗,用心科技培育农作物

穷,国网电子商务平台,路飞图片-红彤彤的麦苗,用心科技培育农作物

文章归档