Announcement

Collapse
No announcement yet.
X
  • Filter
  • Time
  • Show
Clear All
new posts

  • Problem in grouping (cleaning data)

    Hi dear Profs and colleagues,

    I have education variable "educ"
    Code:
    * Example generated by -dataex-. For more info, type help dataex
    clear
    input double education
    315
    231
    312
    231
    233
    231
    231
    231
    315
    313
    221
    315
    315
    316
    231
    231
    231
    231
    315
    315
    315
    231
    315
    315
    231
    312
    231
    315
    231
    315
    313
    231
    313
    315
    315
    315
    315
    316
    315
    315
    231
    231
    315
    315
    231
    231
    231
    313
    315
    231
    313
    315
    315
    315
    231
    231
    231
    231
    315
    313
    315
    231
    315
    315
    315
    315
    315
    315
    313
    231
    315
    231
    315
    312
    315
    315
    313
    231
    315
    315
    316
    231
    315
    231
    231
    315
    231
    315
    221
    231
    231
    316
    231
    233
    315
    315
    315
    315
    315
    232
    end
    label values education habil
    label def habil 221 "2.ciclo ensino basico (6.ano ou equivalente)", modify
    label def habil 231 "3.ciclo ensino basico (9.ano ou equivalente)", modify
    label def habil 232 "Ensino tecnico:c.ger.comercial,c.ger.industrial,c.ger.artes visuais", modify
    label def habil 233 "3.ciclo ensino basico c/cursos indole profissional", modify
    label def habil 312 "Ensino secundario tecnico complementar", modify
    label def habil 313 "Ensino secundario tecnico-profissional", modify
    label def habil 315 "Ensino secundario(12.ano ou equivalente),ens.sec.lic.compl.", modify
    label def habil 316 "Ensino secundario  c/cursos de indole profissional", modify
    I am going to categorize them into four groups I used this code
    Code:
    drop if educ==999
    drop if educ==111
    gen Edugroup=.
    //4 years and less
    replace Edugroup=1 if educ== 112 |educ==211 |educ==212
    //6 years
    replace Edugroup=2 if educ==213 |  educ==222
    
    //9 years
    replace Edugroup=3 if educ==231 |educ==232 | educ==233 |educ==234
    
    //12 years
    replace Edugroup=4 if educ>=312 & educ<=499 | educ>=21 & educ<=99
    
    //university
    replace Edugroup=5 if educ>= 514
    after
    Code:
     tab Edugroup
    
       Edugroup |      Freq.     Percent        Cum.
    ------------+-----------------------------------
              1 |    287,886       10.26       10.26
              2 |     19,254        0.69       10.94
              3 |    838,365       29.87       40.81
              4 |    989,437       35.25       76.07
              5 |    671,664       23.93      100.00
    ------------+-----------------------------------
          Total |  2,806,606      100.00
    while
    Code:
    . tab educ
    
                    Habilitações literárias |      Freq.     Percent        Cum.
    ----------------------------------------+-----------------------------------
        Técnico superior profissional artes |        108        0.00        0.00
    Técnico superior profissional humanidad |         64        0.00        0.01
    Técnico superior profissional ciencias  |         98        0.00        0.01
    Técnico superior profissional ciencias  |        207        0.01        0.02
      Técnico superior profissional direito |         22        0.00        0.02
    Técnico superior profissional ciencias  |         48        0.00        0.02
    Técnico superior profissional ciencias  |         19        0.00        0.02
    Técnico superior profissional informati |        184        0.01        0.02
    Técnico superior profissional engenhari |        219        0.01        0.03
    Técnico superior profissional industria |         17        0.00        0.03
    Técnico superior profissional arquitect |         32        0.00        0.03
    Técnico superior profissional agricultu |         38        0.00        0.03
    Técnico superior profissional ciencias  |         16        0.00        0.03
        Técnico superior profissional saude |        200        0.01        0.04
    Técnico superior profissional servicos  |         67        0.00        0.04
    Técnico superior profissional servicos  |         16        0.00        0.04
    Técnico superior profissional proteccao |          8        0.00        0.04
    Técnico superior profissional servicos  |         30        0.00        0.04
    Técnico superior profissional desconhec |        475        0.01        0.06
    Sabe ler e escrever sem possuir 1.ciclo |      8,965        0.28        0.34
              1.ciclo ensino basico (4.ano) |    244,583        7.70        8.04
    1.ciclo ensino basico c/cursos indole p |     34,338        1.08        9.12
    2.ciclo ensino basico (6.ano ou equival |    370,761       11.67       20.79
    2.ciclo ensino basico c/cursos indole p |     19,254        0.61       21.39
    3.ciclo ensino basico (9.ano ou equival |    776,696       24.44       45.84
    Ensino tecnico:c.ger.comercial,c.ger.in |     14,189        0.45       46.29
    3.ciclo ensino basico c/cursos indole p |     37,532        1.18       47.47
    Cursos das escolas profissionais-nivel  |      9,948        0.31       47.78
     Ensino secundario tecnico complementar |     87,593        2.76       50.54
     Ensino secundario tecnico-profissional |     68,764        2.16       52.70
    Cursos das escolas profissionais-nivel  |     19,162        0.60       53.30
    Ensino secundario(12.ano ou equivalente |    760,081       23.92       77.23
    Ensino secundario  c/cursos de indole p |     30,856        0.97       78.20
    Ens. pós secund. n/superior nivel iv fo |      1,517        0.05       78.24
    Ens. pós secund. n/superior nivel iv ar |        575        0.02       78.26
    Ens. pós secund. n/superior nivel iv hu |        705        0.02       78.28
    Ens. pós secund. n/superior nivel iv ci |        638        0.02       78.30
    Ens. pós secund. n/superior nivel iv in |        202        0.01       78.31
    Ens. pós secund. n/superior nivel iv ci |      1,960        0.06       78.37
    Ens. pós secund. n/superior nivel iv di |        250        0.01       78.38
    Ens. pós secund. n/superior nivel iv ci |        245        0.01       78.39
    Ens. pós secund. n/superior nivel iv ci |        183        0.01       78.39
    Ens. pós secund. n/superior nivel iv ma |        138        0.00       78.40
    Ens. pós secund. n/superior nivel iv in |      1,894        0.06       78.46
    Ens. pós secund. n/superior nivel iv en |      2,421        0.08       78.53
    Ens. pós secund. n/superior nivel iv in |        746        0.02       78.56
    Ens. pós secund. n/superior nivel iv ar |        274        0.01       78.57
    Ens. pós secund. n/superior nivel iv ag |        141        0.00       78.57
    Ens. pós secund. n/superior nivel iv ci |         86        0.00       78.57
    Ens. pós secund. n/superior nivel iv sa |        710        0.02       78.60
    Ens. pós secund. n/superior nivel iv se |        359        0.01       78.61
    Ens. pós secund. n/superior nivel iv se |        236        0.01       78.61
    Ens. pós secund. n/superior nivel iv se |         43        0.00       78.62
    Ens. pós secund. n/superior nivel iv pr |         84        0.00       78.62
    Ens. pós secund. n/superior nivel iv se |        112        0.00       78.62
    Ens. pós secund. n/superior nivel iv de |      7,594        0.24       78.86
    Bacharelato formacao professores e cien |      1,991        0.06       78.92
                          Bacharelato artes |      1,127        0.04       78.96
                    Bacharelato humanidades |      1,694        0.05       79.01
    Bacharelato ciencias sociais e do compo |      1,497        0.05       79.06
        Bacharelato informacao e jornalismo |        685        0.02       79.08
          Bacharelato ciencias empresariais |      9,770        0.31       79.39
                        Bacharelato direito |        669        0.02       79.41
               Bacharelato ciencias da vida |        558        0.02       79.43
               Bacharelato ciencias fisicas |        388        0.01       79.44
       Bacharelato matematica e estatistica |        331        0.01       79.45
                    Bacharelato informatica |      2,224        0.07       79.52
    Bacharelato engenharia e tecnicas afins |      9,532        0.30       79.82
     Bacharelato industrias transformadoras |        213        0.01       79.83
      Bacharelato arquitectura e construcao |        896        0.03       79.85
    Bacharelato agricultura, silvicultura e |        975        0.03       79.89
          Bacharelato ciencias veterinarias |        154        0.00       79.89
                          Bacharelato saude |      3,128        0.10       79.99
               Bacharelato servicos sociais |        603        0.02       80.01
              Bacharelato servicos pessoais |        625        0.02       80.03
         Bacharelato servicos de transporte |        106        0.00       80.03
          Bacharelato proteccao do ambiente |        100        0.00       80.03
          Bacharelato servicos de seguranca |         65        0.00       80.04
    Bacharelato desconhecido ou nao especif |     14,098        0.44       80.48
    Licenciatura formacao de professores e  |     20,434        0.64       81.12
                         Licenciatura artes |      9,400        0.30       81.42
                   Licenciatura humanidades |     14,490        0.46       81.87
    Licenciatura ciencias sociais e do comp |     29,572        0.93       82.81
       Licenciatura informacao e jornalismo |      7,835        0.25       83.05
         Licenciatura ciencias empresariais |     86,553        2.72       85.78
                       Licenciatura direito |     11,711        0.37       86.14
              Licenciatura ciencias da vida |      7,482        0.24       86.38
              Licenciatura ciencias fisicas |      4,469        0.14       86.52
      Licenciatura matematica e estatistica |      4,977        0.16       86.68
                   Licenciatura informatica |     22,724        0.72       87.39
    Licenciatura engenharia e tecnicas afin |     71,637        2.25       89.65
    Licenciatura industrias transformadoras |      1,253        0.04       89.69
     Licenciatura arquitectura e construcao |     10,127        0.32       90.01
    Licenciatura agricultura, silvicultura  |      3,820        0.12       90.13
         Licenciatura ciencias veterinarias |      2,934        0.09       90.22
                         Licenciatura saude |     65,283        2.05       92.27
              Licenciatura servicos sociais |      9,366        0.29       92.57
             Licenciatura servicos pessoais |      2,541        0.08       92.65
        Licenciatura servicos de transporte |        570        0.02       92.67
         Licenciatura proteccao do ambiente |      1,548        0.05       92.71
         Licenciatura servicos de seguranca |        836        0.03       92.74
    Licenciatura desconhecida ou nao especi |    139,377        4.39       97.13
    Mestrado formacao de professores e cien |      3,227        0.10       97.23
                             Mestrado artes |      1,443        0.05       97.27
                       Mestrado humanidades |      1,371        0.04       97.32
    Mestrado ciencias sociais e do comporta |      4,903        0.15       97.47
           Mestrado informacao e jornalismo |        748        0.02       97.49
             Mestrado ciencias empresariais |     13,043        0.41       97.91
                           Mestrado direito |      1,342        0.04       97.95
                  Mestrado ciencias da vida |      2,164        0.07       98.02
                  Mestrado ciencias fisicas |        905        0.03       98.04
          Mestrado matematica e estatistica |        748        0.02       98.07
                       Mestrado informatica |      4,202        0.13       98.20
       Mestrado engenharia e tecnicas afins |     19,985        0.63       98.83
        Mestrado industrias transformadoras |        245        0.01       98.84
         Mestrado arquitectura e construcao |      2,405        0.08       98.91
    Mestrado agricultura, silvicultura e pe |        428        0.01       98.93
             Mestrado ciencias veterinarias |        700        0.02       98.95
                             Mestrado saude |      8,262        0.26       99.21
                  Mestrado servicos sociais |        673        0.02       99.23
                 Mestrado servicos pessoais |        249        0.01       99.24
            Mestrado servicos de transporte |         65        0.00       99.24
             Mestrado proteccao do ambiente |        473        0.01       99.25
             Mestrado servicos de seguranca |        122        0.00       99.26
    Mestrado desconhecido ou nao especifica |     13,752        0.43       99.69
    Doutouramento formacao de professores e |        247        0.01       99.70
                        Doutouramento artes |        179        0.01       99.70
                  Doutouramento humanidades |        335        0.01       99.71
    Doutouramento ciencias sociais e do com |        770        0.02       99.74
      Doutouramento informacao e jornalismo |         97        0.00       99.74
        Doutouramento ciencias empresariais |        871        0.03       99.77
                      Doutouramento direito |        191        0.01       99.77
             Doutouramento ciencias da vida |      1,155        0.04       99.81
             Doutouramento ciencias fisicas |        540        0.02       99.83
     Doutouramento matematica e estatistica |        117        0.00       99.83
                  Doutouramento informatica |        292        0.01       99.84
    Doutouramento engenharia e tecnicas afi |      1,549        0.05       99.89
    Doutouramento industrias transformadora |         21        0.00       99.89
    Doutouramento arquitectura e construcao |        130        0.00       99.89
    Doutouramento agricultura, silvicultura |         36        0.00       99.90
        Doutouramento ciencias veterinarias |         79        0.00       99.90
                        Doutouramento saude |      1,408        0.04       99.94
             Doutouramento servicos sociais |         33        0.00       99.94
            Doutouramento servicos pessoais |         31        0.00       99.94
       Doutouramento servicos de transporte |         23        0.00       99.95
        Doutouramento proteccao do ambiente |         41        0.00       99.95
        Doutouramento servicos de seguranca |          6        0.00       99.95
    Doutouramento desconhecido ou nao espec |      1,690        0.05      100.00
    ----------------------------------------+-----------------------------------
                                      Total |  3,177,367      100.00
    As you can see there is a difference between them (2,806,606---3,177,367) which means that my categorizing code did not go well. So whats the problem? Please share with me your idea. thank you

    Cheers,
    Paris

  • #2
    There is a problem with the raw data. I have to cancel this post. I apologize.

    Comment


    • #3
      When you do this sort of recoding exercise, you should always follow the recoding with a check that there weren't values to be recoded that you were unaware of. Here are some techniques.
      Code:
      assert Educgroup!=.
      would cause Stata to stop if there were any observations that didn't match one of the selection criteria, which is what I assumed happened in your case.

      Then you could do, in Stata's Command window, since your data will still be in memory,
      Code:
      tab Edugroup, missing
      to confirm the problem.

      And again in the Command window
      Code:
      tab educ if Edugroup==. , nolabel
      will show you what codes didn't get recoded.

      Let me add that using the recode command to generate Edugroup simplifies the code and as a side benefit allows you to assign value labels at the same time.
      Code:
      recode educ (112 211 212 = 1 "4 years and less") (213 222 = 2 "6 years") (231/234 = 3 "9 years") ///
          (312/499 21/99 = 4 "12 years") (514/max = 5 "University"), generate(Edugroup)
      Last edited by William Lisowski; 22 Feb 2023, 13:57.

      Comment


      • #4
        Dear William,

        Thank you so much for the comprehensive explanation.
        I wish in case you have tutorial sessions, I am eager to participate in them.

        Comment

        Working...
        X