Disappointing performance of structureHarvester/CLUMPP

[Mark Farman]

I wonder if anyone else has experienced this? I performed 100 structure runs for a population of 100 individuals, with K values ranged from 1 to 10. Ten replicates  runs were performed for each k value. The Evanno method implemented in StructureHarvester was then used to find the best K value and the .indfile for the best k value (9) was then used as input for CLUMPP.  Only after I used the clumpp output to show the population affiliation for each individual (on a neighbor network) did I realize that the 100 individuals all belong to one of just three clusters, with the other six clusters all apparently representing ghost ancestral populations. Personally, I feel that StructureHarvester and CLUMPP should have alerted me to the fact that there are really only 3-4 clusters max. In retrospect, this is obvious when one manually inspects the results of the original structure runs. Here's an example of one inferred ancestry block:

Inferred ancestry of individuals:

        Label (%Miss) :  Inferred clusters

  1 gen9_Ind1    (0)   :  0.000 0.001 0.001 0.000 0.001 0.184 0.000 0.157 0.657 

  2 gen9_Ind2    (0)   :  0.000 0.001 0.000 0.000 0.000 0.032 0.000 0.560 0.406 

  3 gen9_Ind3    (0)   :  0.001 0.000 0.000 0.000 0.000 0.145 0.000 0.693 0.161 

  4 gen9_Ind4    (0)   :  0.001 0.001 0.000 0.001 0.000 0.900 0.001 0.008 0.088 

  5 gen9_Ind5    (0)   :  0.000 0.000 0.001 0.000 0.000 0.054 0.001 0.935 0.009 

  6 gen9_Ind6    (0)   :  0.001 0.000 0.001 0.001 0.001 0.526 0.000 0.392 0.078 

  7 gen9_Ind7    (0)   :  0.001 0.000 0.000 0.000 0.001 0.001 0.000 0.983 0.014 

  8 gen9_Ind8    (0)   :  0.000 0.000 0.000 0.000 0.000 0.053 0.000 0.927 0.020 

  9 gen9_Ind9    (0)   :  0.000 0.002 0.000 0.000 0.000 0.020 0.000 0.900 0.076 

 10 gen9_Ind10    (0)   :  0.000 0.000 0.001 0.000 0.001 0.002 0.000 0.188 0.806 

 11 gen9_Ind11    (0)   :  0.000 0.002 0.000 0.000 0.001 0.055 0.000 0.814 0.127 

 12 gen9_Ind12    (0)   :  0.000 0.000 0.000 0.000 0.000 0.031 0.000 0.728 0.240 

 13 gen9_Ind13    (0)   :  0.001 0.001 0.000 0.001 0.001 0.103 0.000 0.731 0.162 

 14 gen9_Ind14    (0)   :  0.000 0.000 0.000 0.000 0.001 0.493 0.000 0.072 0.434 

 15 gen9_Ind15    (0)   :  0.000 0.001 0.001 0.001 0.001 0.805 0.001 0.087 0.103 

 16 gen9_Ind16    (0)   :  0.000 0.001 0.000 0.000 0.000 0.122 0.000 0.194 0.682 

 17 gen9_Ind17    (0)   :  0.001 0.000 0.000 0.000 0.000 0.026 0.001 0.915 0.057 

 18 gen9_Ind18    (0)   :  0.000 0.000 0.000 0.000 0.001 0.864 0.000 0.036 0.098 

 19 gen9_Ind19    (0)   :  0.000 0.001 0.000 0.002 0.001 0.814 0.001 0.096 0.085 

 20 gen9_Ind20    (0)   :  0.000 0.001 0.001 0.001 0.000 0.308 0.000 0.233 0.457 

 21 gen9_Ind21    (0)   :  0.000 0.000 0.000 0.001 0.001 0.026 0.000 0.302 0.669 

 22 gen9_Ind22    (0)   :  0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.992 0.005 

 23 gen9_Ind23    (0)   :  0.002 0.001 0.000 0.000 0.001 0.039 0.000 0.400 0.558 

 24 gen9_Ind24    (0)   :  0.000 0.000 0.000 0.000 0.000 0.079 0.000 0.910 0.009 

 25 gen9_Ind25    (0)   :  0.000 0.000 0.000 0.001 0.003 0.355 0.000 0.457 0.184 

 26 gen9_Ind26    (0)   :  0.001 0.000 0.001 0.000 0.000 0.708 0.000 0.190 0.099 

 27 gen9_Ind27    (0)   :  0.000 0.000 0.000 0.000 0.000 0.004 0.000 0.974 0.020 

 28 gen9_Ind28    (0)   :  0.001 0.000 0.001 0.000 0.001 0.042 0.000 0.898 0.056 

 29 gen9_Ind29    (0)   :  0.000 0.000 0.001 0.001 0.000 0.010 0.000 0.940 0.048 

 30 gen9_Ind30    (0)   :  0.001 0.001 0.001 0.000 0.001 0.018 0.001 0.105 0.872 

 31 gen9_Ind31    (0)   :  0.001 0.000 0.000 0.000 0.001 0.638 0.000 0.024 0.335 

 32 gen9_Ind32    (0)   :  0.000 0.002 0.000 0.002 0.000 0.157 0.001 0.349 0.489 

 33 gen9_Ind33    (0)   :  0.000 0.000 0.000 0.001 0.000 0.848 0.000 0.091 0.059 

 34 gen9_Ind34    (0)   :  0.000 0.001 0.002 0.002 0.000 0.190 0.000 0.405 0.400 

 35 gen9_Ind35    (0)   :  0.001 0.000 0.000 0.001 0.001 0.651 0.000 0.035 0.310 

 36 gen9_Ind36    (0)   :  0.000 0.000 0.001 0.001 0.001 0.002 0.000 0.894 0.102 

 37 gen9_Ind37    (0)   :  0.001 0.000 0.001 0.000 0.000 0.004 0.000 0.963 0.031 

 38 gen9_Ind38    (0)   :  0.000 0.000 0.000 0.000 0.000 0.122 0.000 0.876 0.000 

 39 gen9_Ind39    (0)   :  0.000 0.000 0.000 0.000 0.000 0.022 0.001 0.156 0.820 

 40 gen9_Ind40    (0)   :  0.001 0.001 0.000 0.000 0.000 0.038 0.000 0.944 0.016 

 41 gen9_Ind41    (0)   :  0.001 0.000 0.000 0.001 0.000 0.001 0.000 0.657 0.339 

 42 gen9_Ind42    (0)   :  0.001 0.000 0.000 0.000 0.001 0.054 0.000 0.028 0.915 

 43 gen9_Ind43    (0)   :  0.001 0.000 0.000 0.001 0.000 0.046 0.000 0.951 0.000 

 44 gen9_Ind44    (0)   :  0.000 0.000 0.000 0.001 0.000 0.000 0.001 0.885 0.112 

 45 gen9_Ind45    (0)   :  0.002 0.000 0.000 0.000 0.000 0.061 0.001 0.354 0.582 

 46 gen9_Ind46    (0)   :  0.001 0.000 0.000 0.000 0.000 0.573 0.000 0.000 0.424 

 47 gen9_Ind47    (0)   :  0.001 0.000 0.001 0.000 0.001 0.962 0.000 0.005 0.030 

 48 gen9_Ind48    (0)   :  0.000 0.000 0.000 0.000 0.000 0.032 0.000 0.718 0.248 

 49 gen9_Ind49    (0)   :  0.000 0.000 0.002 0.000 0.000 0.833 0.000 0.132 0.033 

 50 gen9_Ind50    (0)   :  0.001 0.001 0.001 0.001 0.002 0.497 0.002 0.492 0.003 

 51 gen9_Ind51    (0)   :  0.000 0.001 0.000 0.000 0.001 0.043 0.000 0.936 0.018 

 52 gen9_Ind52    (0)   :  0.000 0.000 0.000 0.000 0.000 0.886 0.000 0.112 0.000 

 53 gen9_Ind53    (0)   :  0.000 0.000 0.002 0.001 0.001 0.021 0.001 0.230 0.745 

 54 gen9_Ind54    (0)   :  0.000 0.001 0.000 0.000 0.000 0.395 0.001 0.584 0.018 

 55 gen9_Ind55    (0)   :  0.001 0.000 0.000 0.000 0.000 0.031 0.001 0.014 0.952 

 56 gen9_Ind56    (0)   :  0.001 0.000 0.000 0.000 0.000 0.093 0.000 0.024 0.880 

 57 gen9_Ind57    (0)   :  0.000 0.001 0.000 0.000 0.000 0.058 0.001 0.643 0.296 

 58 gen9_Ind58    (0)   :  0.000 0.001 0.000 0.000 0.000 0.898 0.000 0.057 0.043 

 59 gen9_Ind59    (0)   :  0.002 0.000 0.001 0.001 0.000 0.506 0.001 0.468 0.021 

 60 gen9_Ind60    (0)   :  0.000 0.000 0.000 0.000 0.001 0.862 0.001 0.108 0.028 

 61 gen9_Ind61    (0)   :  0.000 0.001 0.001 0.000 0.000 0.000 0.001 0.821 0.176 

 62 gen9_Ind62    (0)   :  0.000 0.001 0.000 0.000 0.000 0.086 0.000 0.529 0.383 

 63 gen9_Ind63    (0)   :  0.001 0.002 0.000 0.001 0.001 0.019 0.001 0.079 0.898 

 64 gen9_Ind64    (0)   :  0.000 0.000 0.000 0.000 0.000 0.015 0.001 0.967 0.016 

 65 gen9_Ind65    (0)   :  0.000 0.003 0.001 0.001 0.001 0.423 0.001 0.038 0.534 

 66 gen9_Ind66    (0)   :  0.001 0.001 0.002 0.001 0.001 0.101 0.001 0.004 0.888 

 67 gen9_Ind67    (0)   :  0.000 0.001 0.001 0.001 0.000 0.206 0.000 0.508 0.283 

 68 gen9_Ind68    (0)   :  0.000 0.000 0.000 0.001 0.000 0.701 0.000 0.191 0.106 

 69 gen9_Ind69    (0)   :  0.000 0.001 0.001 0.000 0.001 0.369 0.000 0.611 0.018 

 70 gen9_Ind70    (0)   :  0.000 0.000 0.000 0.000 0.000 0.422 0.001 0.428 0.148 

 71 gen9_Ind71    (0)   :  0.000 0.000 0.000 0.000 0.001 0.293 0.000 0.041 0.663 

 72 gen9_Ind72    (0)   :  0.000 0.000 0.000 0.001 0.000 0.161 0.000 0.825 0.012 

 73 gen9_Ind73    (0)   :  0.000 0.001 0.000 0.000 0.000 0.518 0.000 0.452 0.028 

 74 gen9_Ind74    (0)   :  0.000 0.002 0.000 0.000 0.000 0.841 0.000 0.057 0.098 

 75 gen9_Ind75    (0)   :  0.000 0.001 0.001 0.002 0.000 0.362 0.000 0.562 0.072 

 76 gen9_Ind76    (0)   :  0.000 0.000 0.000 0.000 0.000 0.056 0.000 0.931 0.012 

 77 gen9_Ind77    (0)   :  0.001 0.001 0.000 0.000 0.000 0.247 0.001 0.025 0.726 

 78 gen9_Ind78    (0)   :  0.000 0.000 0.000 0.001 0.000 0.759 0.000 0.099 0.140 

 79 gen9_Ind79    (0)   :  0.000 0.001 0.001 0.000 0.000 0.186 0.000 0.316 0.496 

 80 gen9_Ind80    (0)   :  0.000 0.000 0.001 0.000 0.000 0.511 0.000 0.037 0.449 

 81 gen9_Ind81    (0)   :  0.000 0.001 0.000 0.000 0.001 0.004 0.000 0.940 0.054 

 82 gen9_Ind82    (0)   :  0.000 0.000 0.000 0.000 0.000 0.025 0.000 0.973 0.000 

 83 gen9_Ind83    (0)   :  0.000 0.000 0.000 0.001 0.000 0.293 0.000 0.671 0.033 

 84 gen9_Ind84    (0)   :  0.000 0.000 0.000 0.000 0.000 0.039 0.000 0.189 0.771 

 85 gen9_Ind85    (0)   :  0.000 0.000 0.001 0.001 0.000 0.521 0.000 0.001 0.475 

 86 gen9_Ind86    (0)   :  0.001 0.001 0.000 0.001 0.000 0.399 0.000 0.585 0.012 

 87 gen9_Ind87    (0)   :  0.000 0.000 0.000 0.000 0.002 0.039 0.000 0.722 0.236 

 88 gen9_Ind88    (0)   :  0.001 0.001 0.000 0.001 0.000 0.059 0.000 0.274 0.663 

 89 gen9_Ind89    (0)   :  0.000 0.001 0.000 0.001 0.000 0.000 0.001 0.862 0.135 

 90 gen9_Ind90    (0)   :  0.001 0.000 0.001 0.001 0.000 0.070 0.001 0.355 0.572 

 91 gen9_Ind91    (0)   :  0.000 0.000 0.000 0.000 0.001 0.003 0.000 0.812 0.182 

 92 gen9_Ind92    (0)   :  0.001 0.001 0.001 0.000 0.000 0.750 0.000 0.120 0.127 

 93 gen9_Ind93    (0)   :  0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.897 0.099 

 94 gen9_Ind94    (0)   :  0.000 0.001 0.001 0.000 0.000 0.508 0.000 0.056 0.433 

 95 gen9_Ind95    (0)   :  0.000 0.000 0.001 0.000 0.000 0.007 0.000 0.018 0.972 

 96 gen9_Ind96    (0)   :  0.000 0.000 0.000 0.000 0.000 0.001 0.000 0.035 0.963 

 97 gen9_Ind97    (0)   :  0.001 0.001 0.000 0.000 0.001 0.280 0.000 0.689 0.027 

 98 gen9_Ind98    (0)   :  0.000 0.000 0.000 0.000 0.000 0.822 0.001 0.092 0.085 

 99 gen9_Ind99    (0)   :  0.000 0.000 0.000 0.000 0.000 0.011 0.000 0.849 0.139 

100 gen9_Ind100    (0)   :  0.001 0.000 0.001 0.000 0.000 0.036 0.001 0.938 0.023 

Note how only three clusters contribute significant ancestry.

[Sean C]

Out of curiosity, what did your StructureHarvester output (graphs) look like?

--
You received this message because you are subscribed to the Google Groups "structure-software" group.
To unsubscribe from this group and stop receiving emails from it, send an email to structure-softw...@googlegroups.com.
To view this discussion visit https://groups.google.com/d/msgid/structure-software/e667dc9c-48e4-4d72-9903-1df8d7bd7942n%40googlegroups.com.

[Mark Farman]

Do you mean these?