Introduction to heterogeneous effects analysis of conjoint experiments using cjbart
set.seed(89)
library(ggplot2)
library(cjbart)
#> Loading required package: BART
#> Loading required package: nlme
#> Loading required package: survivalThis vignette provides a brief example of how to estimate heterogeneous effects in conjoint experiments, using .
We first simulate a basic conjoint design for the purpose of illustration. Suppose we conducted a conjoint experiment on 100 individuals, where each individual makes 5 discrete choices between two profiles. Each profile has three attributes (A-E), and we also record two covariates for each subject. The resulting data contains 1000 observations.
subjects <- 100
rounds <- 5
profiles <- 2
obs <- subjects*rounds*profiles
fake_data <- data.frame(A = sample(c("a1","a2","a3"), obs, replace = TRUE),
B = sample(c("b1","b2","b3"), obs, replace = TRUE),
C = sample(c("c1","c2","c3"), obs, replace = TRUE),
D = sample(c("d1","d2","d3"), obs, replace = TRUE),
E = sample(c("e1","e2","e3"), obs, replace = TRUE),
covar1 = rep(runif(subjects, 0 ,1),
each = rounds),
covar2 = rep(sample(c(1,0),
subjects,
replace = TRUE),
each = rounds),
id1 = rep(1:subjects, each=rounds),
stringsAsFactors = TRUE)
fake_data$Y <- ifelse(fake_data$E == "e2",
rbinom(obs, 1, fake_data$covar1),
sample(c(0,1), obs, replace = TRUE))Train a probit BART model on conjoint data
To estimate a conjoint model on this data we will use the
cjbart() function, which uses Bayesian Additive Regression
Trees (BART) to approximate the relationships between the outcome (a
binary choice), the randomized attribute-levels, and the included
covariates. For the sake of efficiency in this example, we reduce the
number of trees (ntree) and cuts (numcut) used
to estimate the BART model. More generally, users can pass arguments to
the underlying BART algorithm (see ?BART::pbart) directly
from the cjbart function to adjust the model
hyperparameters:
cj_model <- cjbart(data = fake_data,
Y = "Y",
id = "id1",
ntree = 15, numcut = 20)
#> Detected forced-choice outcomeTo generate heterogeneity estimates at the observation- and
individual-level, we use the IMCE() function. We pass in
both the original experimental data, and the conjoint model generated in
the last step. At this point, we also declare the names of the conjoint
attribute variables (attribs) and the reference category we
want to use for each attribute when calculating the marginal component
effects (ref_levels). The vector of reference levels must
be of the same length as attribs, with the level at
position i corresponding to the attrib[i]:
het_effects <- IMCE(data = fake_data,
model = cj_model,
attribs = c("A","B","C","D","E"),
ref_levels = c("a1","b1","c1","d1","e1"),
cores = 1)
#> Calculating OMCEs for attribute: A [1/5]
#> Calculating OMCEs for attribute: B [2/5]
#> Calculating OMCEs for attribute: C [3/5]
#> Calculating OMCEs for attribute: D [4/5]
#> Calculating OMCEs for attribute: E [5/5]
#> Calculating IMCEsIMCE() returns an object of class “cjbart”, which
contains the individual-level marginal component effects (IMCEs),
matrices reflecting the upper and lower values of each estimate’s
confidence interval respectively, and optionally the underlying
observation-level marginal component effects (OMCEs) when
keep_omces = TRUE.
It is likely that users will want to compare the conjoint estimation
strategy to other estimation strategies, such as logistic regression
models. We can recover the average marginal component effect (AMCE) for
the BART model using the summary() command:
summary(het_effects)
#> Individual marginal component effects (IMCEs)
#> # A tibble: 10 × 6
#> Attribute Level AMCE Min. Max. Std.Dev
#> <chr> <chr> <dbl> <dbl> <dbl> <dbl>
#> 1 A a2 0.0726 0.0379 0.0956 0.0126
#> 2 A a3 0.0228 0.00899 0.0319 0.00720
#> 3 B b2 0.0186 0.00918 0.0300 0.00587
#> 4 B b3 0.00360 -0.00914 0.0159 0.00599
#> 5 C c2 -0.0237 -0.0469 -0.0000195 0.00959
#> 6 C c3 -0.0345 -0.0587 -0.0104 0.0105
#> 7 D d2 0.0127 0.00554 0.0206 0.00282
#> 8 D d3 0.00699 0.00262 0.0108 0.00208
#> 9 E e2 0.0394 -0.290 0.400 0.211
#> 10 E e3 -0.00519 -0.0191 0.0101 0.00827We can plot the IMCEs, color coding the points by some covariate
value, using the in-built plot() function:
To aid presentation, the plot function can restrict which
attribute-levels are displayed by using the plot_levels
argument:
We can estimate the importance of covariates to the model using the
het_vimp() function, which calculates standardized
importance scores using random forest-based permutation tests. Calling
plot() on the result will return a heatmap of these scores
for each combination of attribute-level and covariate (users can
restrict which attribute levels and covariates are considered, see the
documentation for more details):
vimp_estimates <- het_vimp(imces = het_effects, cores = 1)
#> Calculating importance metrics for attribute-level: a3
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: a2
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: b2
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: b3
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: c2
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: c3
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: d3
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: d2
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: e2
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
#> Calculating importance metrics for attribute-level: e3
#> [[32m[0m ] 1%[[32m█[0m ] 2%[[32m██[0m ] 3%[[32m██[0m ] 4%[[32m██[0m ] 5%[[32m███[0m ] 6%[[32m████[0m ] 7%[[32m████[0m ] 8%[[32m████[0m ] 9%[[32m█████[0m ] 10%[[32m██████[0m ] 11%[[32m██████[0m ] 12%[[32m██████[0m ] 13%[[32m███████[0m ] 14%[[32m████████[0m ] 15%[[32m████████[0m ] 16%[[32m████████[0m ] 17%[[32m█████████[0m ] 18%[[32m██████████[0m ] 19%[[32m██████████[0m ] 20%[[32m██████████[0m ] 21%[[32m███████████[0m ] 22%[[32m████████████[0m ] 23%[[32m████████████[0m ] 24%[[32m████████████[0m ] 25%[[32m█████████████[0m ] 26%[[32m██████████████[0m ] 27%[[32m██████████████[0m ] 28%[[32m██████████████[0m ] 29%[[32m███████████████[0m ] 30%[[32m████████████████[0m ] 31%[[32m████████████████[0m ] 32%[[32m████████████████[0m ] 33%[[32m█████████████████[0m ] 34%[[32m██████████████████[0m ] 35%[[32m██████████████████[0m ] 36%[[32m██████████████████[0m ] 37%[[32m███████████████████[0m ] 38%[[32m████████████████████[0m ] 39%[[32m████████████████████[0m ] 40%[[32m████████████████████[0m ] 41%[[32m█████████████████████[0m ] 42%[[32m██████████████████████[0m ] 43%[[32m██████████████████████[0m ] 44%[[32m██████████████████████[0m ] 45%[[32m███████████████████████[0m ] 46%[[32m████████████████████████[0m ] 47%[[32m████████████████████████[0m ] 48%[[32m████████████████████████[0m ] 49%[[32m█████████████████████████[0m ] 50%[[32m██████████████████████████[0m ] 51%[[32m██████████████████████████[0m ] 52%[[32m██████████████████████████[0m ] 53%[[32m███████████████████████████[0m ] 54%[[32m████████████████████████████[0m ] 55%[[32m████████████████████████████[0m ] 56%[[32m████████████████████████████[0m ] 57%[[32m█████████████████████████████[0m ] 58%[[32m██████████████████████████████[0m ] 59%[[32m██████████████████████████████[0m ] 60%[[32m██████████████████████████████[0m ] 61%[[32m███████████████████████████████[0m ] 62%[[32m████████████████████████████████[0m ] 63%[[32m████████████████████████████████[0m ] 64%[[32m████████████████████████████████[0m ] 65%[[32m█████████████████████████████████[0m ] 66%[[32m██████████████████████████████████[0m ] 67%[[32m██████████████████████████████████[0m ] 68%[[32m██████████████████████████████████[0m ] 69%[[32m███████████████████████████████████[0m ] 70%[[32m████████████████████████████████████[0m ] 71%[[32m████████████████████████████████████[0m ] 72%[[32m████████████████████████████████████[0m ] 73%[[32m█████████████████████████████████████[0m ] 74%[[32m██████████████████████████████████████[0m ] 75%[[32m██████████████████████████████████████[0m ] 76%[[32m██████████████████████████████████████[0m ] 77%[[32m███████████████████████████████████████[0m ] 78%[[32m████████████████████████████████████████[0m ] 79%[[32m████████████████████████████████████████[0m ] 80%[[32m████████████████████████████████████████[0m ] 81%[[32m█████████████████████████████████████████[0m ] 82%[[32m██████████████████████████████████████████[0m ] 83%[[32m██████████████████████████████████████████[0m ] 84%[[32m██████████████████████████████████████████[0m ] 85%[[32m███████████████████████████████████████████[0m ] 86%[[32m████████████████████████████████████████████[0m ] 87%[[32m████████████████████████████████████████████[0m ] 88%[[32m████████████████████████████████████████████[0m ] 89%[[32m█████████████████████████████████████████████[0m ] 90%[[32m██████████████████████████████████████████████[0m ] 91%[[32m██████████████████████████████████████████████[0m ] 92%[[32m██████████████████████████████████████████████[0m ] 93%[[32m███████████████████████████████████████████████[0m ] 94%[[32m████████████████████████████████████████████████[0m ] 95%[[32m████████████████████████████████████████████████[0m ] 96%[[32m████████████████████████████████████████████████[0m ] 97%[[32m█████████████████████████████████████████████████[0m ] 98%[[32m██████████████████████████████████████████████████[0m] 99%[[32m██████████████████████████████████████████████████[0m] 100%
plot(vimp_estimates)
Supplying a single attribute-level, the same plot function will display the importance estimates with corresponding 95 percent confidence intervals:
plot(vimp_estimates, att_levels = "d3")
#> Plotting importance scores for single attribute-level (with 95 percent confidence intervals)
Finally, it is possible to estimate population IMCEs (pIMCEs) using
pIMCE() This function requires a list of the marginal
probabilities for each attribute in the population of interest, and can
only be estimated for one attribute-level comparison at a time (due to
the computational requirements):
fake_marginals <- list()
fake_marginals[["A"]] <- c("a1" = 0.33,"a2" = 0.33,"a3"=0.34)
fake_marginals[["B"]] <- c("b1" = 0.33,"b2" = 0.33,"b3" = 0.34)
fake_marginals[["C"]] <- c("c1" = 0.33,"c2" = 0.33, "c3" = 0.34)
fake_marginals[["D"]] <- c("d1" = 0.75,"d2" = 0.2,"d3" = 0.05)
fake_marginals[["E"]] <- c("e1" = 0.33,"e2" = 0.33,"e3" = 0.34)
# Reduced number of covariate data for sake of speed
fake_pimces <- pIMCE(covar_data = fake_data[fake_data$id1 %in% 1:3,
c("id1","covar1","covar2")],
model = cj_model,
attribs = c("A","B","C","D","E"),
l = "E",
l_1 = "e2",
l_0 = "e1",
marginals = fake_marginals,
method = "bayes",
cores = 1)
#> Predicting covariate profile 1/30Predicting covariate profile 2/30Predicting covariate profile 3/30Predicting covariate profile 4/30Predicting covariate profile 5/30Predicting covariate profile 6/30Predicting covariate profile 7/30Predicting covariate profile 8/30Predicting covariate profile 9/30Predicting covariate profile 10/30Predicting covariate profile 11/30Predicting covariate profile 12/30Predicting covariate profile 13/30Predicting covariate profile 14/30Predicting covariate profile 15/30Predicting covariate profile 16/30Predicting covariate profile 17/30Predicting covariate profile 18/30Predicting covariate profile 19/30Predicting covariate profile 20/30Predicting covariate profile 21/30Predicting covariate profile 22/30Predicting covariate profile 23/30Predicting covariate profile 24/30Predicting covariate profile 25/30Predicting covariate profile 26/30Predicting covariate profile 27/30Predicting covariate profile 28/30Predicting covariate profile 29/30Predicting covariate profile 30/30
head(fake_pimces)
#> pIMCE pIMCE_lower pIMCE_upper covar1 covar2 id1
#> 1 0.10005725 -0.009291694 0.2265699 0.7810672 1 1
#> 2 0.10005725 -0.009291694 0.2265699 0.7810672 1 1
#> 3 0.10005725 -0.009291694 0.2265699 0.7810672 1 1
#> 4 0.10005725 -0.009291694 0.2265699 0.7810672 1 1
#> 5 0.10005725 -0.009291694 0.2265699 0.7810672 1 1
#> 6 0.09944322 -0.010963876 0.2245041 0.8160509 0 2