阿里云
阿里云多端小程序中小企业获客首选
发表主题 回复主题
  • 3982阅读
  • 2回复

[科技新闻]为了部落 - 如何通过PostgreSQL基因配对,产生优良下一代

级别: 程序猿
发帖
266
云币
352

摘要: PostgreSQL凭借良好的扩展性,不仅仅是一个数据,更是一个有非常强大的数据处理能力的数据平台。很多垂直行业的用户拿它来做各种和业务贴合非常紧密的事情。 本文给大家分享的是PostgreSQL在生命科学领域的应用案例 - 基因工程。 通常的思维可能是这样的,把数据存在数据库,需要

引言

PostgreSQL凭借良好的扩展性,不仅仅是一个数据库,更是一个有非常强大的数据处理能力的数据平台。很多垂直行业的用户拿它来做各种和业务贴合非常紧密的事情。

本文给大家分享的是PostgreSQL在生命科学领域的应用案例 - 基因工程。

通常的思维可能是这样的,把数据存在数据库,需要运算的时候,再把数据取出进行运算(例如配对),需要花费非常多的网络传输时间。

PostgreSQL提供了基因工程相关的数据类型,操作类型,索引。满足基因工程业务的需求。 你甚至可以利用MPP来解决更大数据量的问题(例如压缩后百TB级别)。

并行计算请参考

https://yq.aliyun.com/articles/44655

GPU加速请参考

https://wiki.postgresql.org/wiki/PGStrom  

背景知识

染色体DNA的数字化,由4种最基本的腺嘌呤(A)、胸腺嘧啶(T)、胞嘧啶(C)与鸟嘌呤的(G)排列组成。

染色体长度从几千到几十亿不等。

由于DNA过长,不利于分析,所以有了RNA,RNA是一些更短的ATCG基本排列,通常是50到1万的长度。

每个DNA由一些RNA排列组成(其中可能会有一些重复)。

基因测序,目的是找出两组DNA的相似和不同的地方。

DNA的压缩,前面讲了DNA实际上是由ATCG排列而成,长度从几千到几十亿不等。

所以压缩存储非常重要,PostBIS提供了很好的压缩算法解决压缩效率和解压效率的问题。

PostBIS提供的数据类型

几种压缩效率对比

DNA编码效率对比

对比常用的压缩算法和PostBIS压缩算法的压缩比

对比常用的压缩算法和PostBIS压缩算法的压缩效率

基因数据存储到数据库后,能干什么?

PostBIS 基因抽取的效率和基因长度无关,是O(1)的.

PostgreSQL 如何支撑基因工程应用

PostBIS支持的数据类型

使用例子

/* a table which contains all sequences of some metagenomic sampe */

CREATE TABLE MetagenomicSample123 (

    sequence_read_identifier text,

    sequence dna_sequence(SHORT, CASE_SENSITIVE, IUPAC)

);

唯一约束(为什么不用btree? 因为它有长度限制,字段长度不能超过数据块的三分之一)

ALTER TABLE MetagenomicSample123 ADD EXCLUDE USING hash (sequence WITH =);

INSERT INTO MetagenomicSample123 VALUES ('read-123', 'AACGCAATCAGACTAGCTCAGGC');

INSERT INTO MetagenomicSample123 VALUES ('something else', 'PostBIS rocks!');    ERROR:  input sequence violates alphabet restrictions

/* a table that contains the human genome */CREATE TABLE human_genome (

    chromosome text,    sequence dna_sequence(REFERENCE)

);

插入随机生成的DNA序列

CREATE TABLE metagenomic_sample (  id int PRIMARY KEY,

  sequence dna_sequence(SHORT,FLC));

/* Create random metagenomic_sample */INSERT INTO metagenomic_sample SELECT generate_series(1,10000), generate_sequence(dna_flc(), 100)::dna_sequence(SHORT);

Kmer Matching

参见, 有上下文相关数据https://colab.mpi-bremen.de/wiki/display/pbis/Tutorial%3A+Biological+Sequences+in+PostgreSQL

SELECT id, matching_cds, string_agg(kmer || ':' || position || '->' || matching_positions::text, ',') FROM (

  SELECT id, position, kmer, split_part(unnested_matches, ':', 1) AS matching_cds, ('{' || split_part(unnested_matches, ':', 2) || '}')::int[] AS matching_positions FROM (    SELECT id, position, kmer, regexp_split_to_table(matches, ';') AS unnested_matches FROM (

      SELECT id, position, kmers.kmer, matches FROM (        SELECT id, position, substr(sequence, position, 5) AS kmer FROM (

          SELECT id, generate_series(1, char_length(sequence) - 5 + 1, 5) AS position, sequence FROM (            SELECT id, translate(six_frame(transcribe(complement(sequence))), bacterial_archaeal_plant_plastid_code()) AS sequence FROM metagenomic_sample

          ) AS six_frame_translated        ) AS kmer_positions

      ) AS kmers      INNER JOIN preprocessed_fn554766_proteome ON kmers.kmer = preprocessed_fn554766_proteom.kmer

    ) AS kmer_matches  ) AS kmer_matches_unnested

) AS all_matches_unnestedGROUP BY id, matching_cds;

应用举例

纯笔者YY,也许将来有临床经验了,可以包装成商业化的产品。

互联网抓来的基因相关的例子  

史蒂夫·乔布斯曾接受过全基因测序因“名人效应”应用于高端体检、产前诊断等领域,价格不菲。基因测序最广为人知的,是影星安吉丽娜·朱莉通过基因检测,选择手术切除乳腺以降低患乳腺癌风险。2011年去世的苹果公司创始人史蒂夫·乔布斯患癌时,也曾接受过全基因测序。  

基因测序挽救两兄妹  1996年,一对双胞胎出生了,男孩叫诺亚,女孩叫艾丽西斯。然而,他们的行为举止与别的孩子有所不同。从回到家的那天起,这对双胞胎就开始腹痛,并且一天要呕吐好几次。

在孩子们两岁的时候,他们被确诊为脑瘫。在精心的治疗和护理之下,这对双胞胎的病情似乎得到了控制。然而,5岁半的时候,双胞胎的病情又开始恶化。女孩艾丽西斯的眼珠开始上翻,手也无法正常下垂;男孩诺亚则是一天24小时地不断呕吐。他们甚至无法像正常人一样走路、说话。

此后,双胞胎的病情又几次反复,一直没有找到能治愈他们的方法。

2003年,机缘巧合,这对双胞胎和他们的哥哥以及父母进行了一次基因测序。经过对比分析,最终发现双胞胎致病的罪魁祸首是体内一种还原酶发生了基因突变。它破坏了产生多巴胺以及其他两种神经递质的细胞途径。

找到病因后,医生立刻做出了精确的治疗方案。一个月后,这对双胞胎被治愈。让这对双胞胎重获健康的,便是来于生命技术公司的基因测序技术。  

本·拉.登身份靠基因技术确认  “除了人类的基因测序,测序仪还有很广泛的应用。”戴尔·帕特森说,比如医疗研究、法医鉴定、农作物研究、动物健康、食品安全等多个领域,都可以是测序仪大展拳脚的舞台。

在抓捕本·拉.登时,测序仪就帮上了大忙。美国海军特种部队在巴基斯坦首都伊.斯.兰堡击毙了拉.登。除了震惊之外,很多民众好奇美军是如何确定拉.登的身份的。利用生命技术公司提供的基因测序技术,美军和美国中央情报局首先提取了拉.登的DNA,然后再将DNA与来自拉.登家人的DNA参照样本对比,最终确定了拉.登的身份。

PostBIS便捷安装

tar -jxvf postgresql-9.5.3.tar.bz2

cd postgresql-9.5.3./configure --prefix=/home/digoal/pgsql9.5.3

make worldmake install-world

svn co https://colab.mpi-bremen.de/postbis/svn/trunk/ postbis

cd postbisexport PATH=/home/digoal/pgsql9.5.3/bin:$PATH

makemake install

psql

create extension postbis;

参考

https://wiki.postgresql.org/images/1/1b/Postbis_pgcon_eu_2012.pdf

https://colab.mpi-bremen.de/wiki/display/pbis/PostBIS

小结

  1. hash index,用于支持超长字段的索引。  (当然你也可以使用hashtext(column)的b-tree索引来替代)
  2. hash index可以借助 exclude 约束来处理唯一性问题。

  3. PostBIS可以借助gpu并行,提升查询效率。

  4. PostgreSQL 9.6开始支持cpu并行,可以大大提升查询效率。

  5. 结合PostGIS,可以对基因进行划地域分析。
  6. 使用PostgreSQL进行基因分析的好处,利用PG的数据存储和处理能力,解决数据需要通过网络传输的问题。同时使用自定义的DNA,RNA等序列类型解决了高效的数据压缩和编解码的问题。

  7. PostgreSQL 提供了非常多的接口,用户不需要了解PG数据库内核,就可以在PG基础之上,构建应用平台。  例如本文提到的,利用PG处理基因数据,创建自定义的数据类型,创建数据库端的处理函数,操作数,等等。  事实证明,用好PG是可以解决非常多的现实的业务问题的。

原文来自 https://yq.aliyun.com/articles/55869

[ 此帖被龙吟风在2016-06-28 17:26重新编辑 ]
级别: 架构狮
发帖
1217
云币
1946
只看该作者 沙发  发表于: 2018-01-25
    
级别: 架构狮
发帖
1217
云币
1946
只看该作者 板凳  发表于: 2018-01-25
学习了
发表主题 回复主题
« 返回列表上一主题下一主题

限100 字节
如果您提交过一次失败了,可以用”恢复数据”来恢复帖子内容
 
验证问题: 1 - 0 = ?
上一个 下一个
      ×
      全新阿里云开发者社区, 去探索开发者的新世界吧!
      一站式的体验,更多的精彩!
      通过下面领域大门,一起探索新的技术世界吧~ (点击图标进入)