加速你的单细胞数据分析

Original JunJunLab 老俊俊的生信笔记 2022-08-17

收录于合集 #单细胞笔记 21个

在知识的洪流中不知所措

1引言

很明显现在的单细胞 数据量,通量,样本量 都是越来越多,越来越大。普通的笔记本根本 hold 不住,此外消耗的时间也非常久。非常流行的 seurat R 包里的一些函数在大数据面前也会运行变慢。该团队提出了基于 future 框架来对函数运行进行并行化, 加速函数的运行速度,减少分析时间。

2安装

install.packages('future')

3测试

library(future)
# change the current plan to access parallelization
plan("multiprocess", workers = 4)
plan()
## multiprocess:
## - args: function (expr, envir = parent.frame(),
## substitute = TRUE, lazy = FALSE, seed = NULL, globals = TRUE, workers = 4, gc = FALSE, earlySignal = FALSE, label = NULL, ...)
## - tweaked: TRUE
## - call: plan("multiprocess", workers = 4)

支持下面这些函数并行化:

NormalizeData
ScaleData
JackStraw
FindMarkers
FindIntegrationAnchors
FindClusters - if clustering over multiple resolutions

示例:

library(Seurat)
pbmc <- readRDS("../data/pbmc3k_final.rds")

# Enable parallelization
plan("multiprocess", workers = 4)
markers <- FindMarkers(pbmc, ident.1 = "NK", verbose = FALSE)

时间对比:

报错解决:

Error in getGlobalsAndPackages(expr, envir = envir, globals = TRUE) :
  The total size of the X globals that need
  to be exported for the future expression ('FUN()') is X GiB.
  This exceeds the maximum allowed size of 500.00 MiB (option 'future.globals.maxSize'). The X largest globals are ...

For certain functions, each worker needs access to certain global variables. If these are larger than the default limit, you will see this error. To get around this, you can set options(future.globals.maxSize = X), where X is the maximum allowed size in bytes. So to set it to 1GB, you would run options(future.globals.maxSize = 1000 * 1024^2). Note that this will increase your RAM usage so set this number mindfully.