1 

Improving student learning through assessment for learning using social media and e­Learning 2.0 on a distance education 

degree programme in Sri Lanka  

Hakim Usoof (Umeå University, Sweden)  Gihan Wikramanayake (University of Colombo School of Computing, Sri Lanka) 

 

Abstract 

This  study  is  part  of  a  larger  study  into  assessment  practices  on  a  large distance education programme in Information Technology (BIT) based at the University  of  Colombo,  School  of  Computing  (UCSC),  Sri  Lanka.  The  overall development  in  which  it  is  set  is  co‐ordinated  by  the  National  E‐learning Centre of Sri Lanka based at UCSC. This project  is  involved  in a  longer‐term study into summative assessment for the promotion of higher order thinking on  the  part  of  students  working  on  the  BIT  programme.  This  programme involves annual enrolment of around 1500 students who work at a distance with  variable  levels  of  support  from  local  study  centres.  Against  this background there has been a continual process in place for improving failure and drop out  rates  through  the use of  technology enhanced  learning, which most  recently  has  involved  the  use  of  social media  and  e‐learning  2.0.  This paper will address the question of the ways in which the design process has resulted  in  improving  the  student  learning  experience  and  in  doing  so will draw on data from questionnaires and interviews directly with students. 

Background  The University system 

Sri Lanka has a state University system. The total number of Universities  in Sri Lanka  is 15  in number with a  total of 58,500 students and 3800 academics.  In addition to these,  there are 9 other  institutions that come under the University Grants Commission (UGC). There is also one institution that awards degrees in IT and Computer Science, which has no affiliation to the UGC but  is sanctioned by the Government to award degrees. These Universities and the Institution award degrees of their own. There are also many other private  institutions, which are not  sanctioned  by  the Government  to  award  degrees.  These  institutions  act  as proxies of foreign Universities that offer degrees in Sri Lanka. 

The  admission  into  the Universities  and  Institutions under  the UGC  is  through the  results  of  the  G.C.E.  Advance  Level  (A/L)  examination, which  is  a  national examination conducted by the Ministry of Education. The subjects’ students offer at  the  G.C.E  A/L  examination  dictates,  which  study  programmes  the  students may follow in University. From the total of 200,000 who sit for the examination each  year,  120,000  qualify  with  the  minimum  marks  required  for  University admission.  Currently,  the  Universities  in  Sri  Lanka  can  accommodate  about 20,000  new  admissions  per  year  which  is  about  10%  of  the  total  number  of student sitting for the A/L examination and 16% of the total number that qualify for  admission  to  the  Universities  (Central  Bank,  2006).  These  students  follow courses  full‐time  on‐campus  (internal).  Similar  to  primary  and  secondary 

  2 

education,  tertiary  education  is  free  in  Sri  Lanka.  In  addition  to  this,  students may be entitled to a monthly scholarship during their stay at University.  

In  addition  to  these  full‐time  internal  degrees  offered  by  the  Universities  and Institutions, there are also study programmes referred to as external degrees. In most occasions, the individuals reading for these are part‐time students and take the  courses off‐campus  (external). The admission  to  these degree programmes may be based on the G.C.E A/L results and/or through a qualifying examination.  

 

The BIT degree programme 

The BIT degree programme  is  conducted by  the UCSC.  It  is  an  external degree where students with an interest in Information Technology (IT) can follow three year study programme. The students have the option of continuing or leaving the programme  on  the  completion  of  each  year  with  certification.  If  the  student achieves  above  a  minimum  criteria  in  his  or  her  examinations,  the  student  is awarded  the  Diploma  in  IT  (DIT)  at  the  end  of  the  1st  year  and  the  Higher Diploma in IT (HDIT) at the end of the 2nd year and at the end of the final year, he or she will be awarded the degree of Bachelor of IT (BIT).  

Students who follow the BIT study programme have a diverse level of education and  also  have  diverse  objectives.  Following  are  some  of  the  most  common categories of students who take the BIT study programme: 

Individuals  vying  for  a  degree  soon  after  their  Advanced  Level examination  

Individuals  following  parallel  degrees  or  seeking  a  second  degree  in different subject areas or related subjects areas 

Individuals from the IT industry or expecting to obtain a career in the IT industry  (May  already  posses  a  degree  in  a  different  subject  area  or  a diploma in IT or Computer Science) 

Individuals  vying  for  a  degree  despite  failing  the  Advanced  Level examination 

Individuals looking for a Foundation in IT leading only to DIT.  

The  number  of  students  following  the  BIT  programme  varies  greatly  among years but the number of students progressing through the programme follows a similar pattern. In certain years the dropout rate has been as high as 55%. The failure rate and the dropout rate have been identified as a major issue of the BIT study  programme.  The  limited  assistance  for  learning  from  the  UCSC  and  the issues  in  the  assessment  system have been  identified  as  problem areas during the analysis of the BIT degree programme.  

 

 

 

  3 

Learning and Teaching in the BIT degree programme 

The  students  in  the  BIT  degree  programme  use  various  study  methods. Attending private  institutes  that  conduct  classes  for  the BIT study programme, self‐studying  and  group  studying  have  been  identified  as  the  most  common methods  of  preparing  for  the  exam.  It  is  very  common  for  students  to  use  a combination  of  these  methods.  But  it  is  important  to  point  out  that  some students only use self‐studying. 

The  students  in most  cases  have  access  to  the  student manuals  (detailed  text about  subject  matter)  created  for  each  course,  reference  books,  BIT  Virtual Learning Environment (VLE) with Online learning content, assignments, practice tests, etc., CDs with TV programmes and videos and, Notes and handouts given by the institutions they attend classes.  

The UCSC plays  a  very  limited  role  in  the  actual  learning  process  and  act  as  a more administrative body. The administration of students and the preparation, conducting  and  marking  of  examination  and  the  accrediting  students  are  the main activities conducted by the UCSC. The learning process is aided by the UCSC by the designation of a detailed syllabus with the learning outcomes, the topics to be covered and specific references, development of the student manuals and creation of assignments and practice tests and on‐line learning content.  The BIT VLE has been added by the SIDA funded eBIT project  in an attempt to  improve the support provided  for  learning. The VLE consists of online  learning content, documents, slideshows, videos and forums and runs on Moodle.  

The students do not have any direct contact with the academic staff who handle the  courses. The  lecturer  in‐charge of  the  course has a distinct  set of  activities that he or she has to perform. They are preparing the course syllabus, developing the student manual, moderating the content developed for VLE, creating TV and Video programmes, creating the assignments and practice tests and creating and marking  the  final  examination.  The  lecturer  gets  paid  separately  for  his contribution  to  the  BIT  degree  programme,  but  the  work  done  is  not accumulated to his University workload. In its latest attempt to aid the students’ learning process, the UCSC has allocated an e‐Facilitator (a dedicated individual) for each course to address student questions.  

 

Current Assessment 

At  the end of  the  course,  the  students  sit  for an examination conducted by  the UCSC  at  a  designated  examination  centre.  The  final  examination  contributes 100%  marks  in  determining  the  final  grade  of  the  student  for  the  particular course. The examination centres may be located in a few major cities in Sri Lanka as well as some other countries that have a substantial number of students. The year  1  examination  consists  of  40‐60 Multiple  Choice  questions  (MCQs) while structured questions are introduced from year 2 onwards. These questions bare an inclination towards testing factual knowledge rather than higher order skills, which also encourage students to rote learning. Literature too supports this fact that  MCQs  encourage  rote  learning  (Scouller  1994  1998,  Gipps  1994,  Paxton 

  4 

2000). Another  identified  issue  is  the guessing  factor when dealing with MCQs. Prior  to  the  current  syllabus  revision,  the  BIT  exams  discouraged  guessing  in answering by penalizing wrong answers, this method was changed in the revised syllabus to improve pass rates and also increase the student’s level of confidence by  penalising  students  for  guessing  within  the  question,  instead  of  carrying forward  the  negative  mark  to  the  next  question  as  it  was  before  the  2006 revision.  Innovative  MCQ  development  such  as  “confidence  measurement” (Farrell & Leung 2004, Davis 2002) and “computer adaptive testing” (Conole & Warburton  2005)  still may  be  adapted  to  solve  this  issue,  but  it  still  does  not fully eliminate the guessing factor and the argument that MCQs feed the answer rather  the student constructing  the answer. The possibility of guessing adds  to the  issues  of  validity  of  the  MCQ  assessment  system  used  in  the  BIT  study programme.    

Another  identified  issue  is  the  language  problem  of  students.  The  BIT  study programme is conducted in English, which is the second language to the majority of  the  students.  This  also  causes  issues  that  some  students  find  it  difficult  to understand the question, thus creating unfair assessment by them.  

 

Computer Literacy and Internet penetration in Sri Lanka 

According to a survey done in 2004, Sri Lanka has a 10% computer literacy rate, which varies  from a high of 20% in  the Colombo district  to a  low of 3%  in  the Monaragala district. The Internet penetration  is about 0.7% and this  too varies from  a  high  of  1.8%  in  the Western  province  to  a  low  of  0.1%  in  Uva,  North Central  and  Sbaragamuwa  provinces  (Department  of  Census  and  Statistics, 2004). Since 2002 the introduction of General Information Technology (GIT) as a subject  for  G.C.E A/L  students  ICT  being  a  subject  from 2008  in  the G.C.E O/L exams  have  helped  improve  the  Computer  Literacy  of  students  leaving  school (De Silva, 2007). Current literacy rate is claimed to be reaching 30% (Daily News, 2009). 

 

Progression of Technology in the BIT 

The  BIT  degree  programme,  which  commenced  in  2000,  has  undergone  three major revisions, which can be classified into three phases.  

1. Pre‐LMS from 2000/01 to 2002/03 (First three years) The  learning  assistance  provided  for  students  during  this  phase  was mainly the following; 

• Static www.bit.lk website to provide information  • Detail syllabi with recommended text books • Model papers and Model answers • Some PowerPoint slides • A few lessons through TV • Private Institutional support 

 

  5 

2. LMS from 2003/04 to 2005/06 (Next three years) – Introduced LMS with practice quizzes and unsupervised assessments  that has  to be passed  in addition to the  final examination to be qualified  for Diploma and Higher Diploma certificates. More support was offered to students during this phase. They included  

• More dynamic website • Detail  syllabi with  Learning Objectives,  recommended  text  books 

and reference page numbers • Practice quizzes and Assignments • Introduction of a Collaborative Learning model 

Drawbacks  of  this  phase  were  the  facts  that  it  lacked  Constructive alignment between syllabus, learning resources and assessment. Also the failure  of  the  Collaborative  learning  model  was  a  key  drawback.  The repercussion  was  a  negative  impression  that  the  BIT  lacked  student‐learning  support.  Furthermore,  there was  a  lack  of  connection  between continuous assessment and end semester examinations.  

 3. eBIT  from  2006/07  onwards  (two  batches  so  far)  –  e‐learning  content, 

quizzes and activities for year 1 and activities and quizzes for year 2. A  radical  change  occurred  in  this  phase  with  much  more  support  for students’  learning  through a  strict  adherence  to Constructive Alignment between Syllabus, Learning Content and Assessment. The implementation of  rich  learning  content  and  learning  activities  aimed  at  improving students’  learning  was  a  vast  improvement  over  the  previous  phase. Another improvement was the introduction of Formative Assessment and the  creation  of  a  clear  relationship  between  Formative  and  Summative assessment in the eBIT phase.  The  use  of  Forum  and  Chat  facilities  within  the  BIT  VLE  to  enhance student  interaction and collaborative  learning  is also a key difference  in the eBIT phase. The use of ‘UCSC TV’ for streaming related programmes is another initiative to help students in their learning process. The creation of a social network instance called the eBIT Community using the Elgg is also  another  attempt  to  use  Social  Media  for  students’  collaborative learning  and  interaction.  Previously  BIT  students  had  very  little opportunity to get their issues and questions addressed. The introduction of  an  e‐Facilitator  for  each  course  has  helped  address  this  issue  in  the eBIT phase.  

The three phases have been compared to each other considering two factors, the Enrolment and Progression of students. 

Enrolment 

Enrolment refers to the number of registered students for a particular academic year of the BIT degree programme. This can be looked at in two different views. First  the  numbers  of  new  students  joining  the  BIT  degree  programme  and second  the  numbers  of  students  remaining  within  the  entire  BIT  degree programme.  

  6 

For  example,  the  1st  year  Enrolment  for  2007/08  was  1558  students.  The Average 1st Year Enrolment for the three phases is 3630 for the Pre‐LMS, 1678 for  the  LMS  and  1377  for  the  eBIT.  The  drop  in  enrolment  can  mainly  be accredited to the fact that during the inception, most students thought they could “just do a degree” and also  the  fact  that a  conception was created  that  the BIT was difficult to follow and lacked student support. 

The average enrolments for the three years (including repeat candidates) during the three phases were 5358 for the Pre‐LMS, 4398 for the LMS and 3663 for the eBIT (is expected to become around 4000 with the 2008/09 intake). 

In the 2007/2008 Academic year, the BIT degree programme saw 781 students progressing to Year 2 for the first time and 284 students progressing to Year 3 for the first time with some of them having very few repeat papers.  

It  is  important  to mention  that  there  is  a  cross  batch  effect  on  the  figures,  for example  the  1st  Year  students  of  the  LMS‐phase  of  academic  year  2005/2006 would be in the eBIT phase as 3rd Year students in the academic year 2007/2008.  

Progression 

Progression  can  be  looked  at  as,  how  many  students  continue  to  progress through the degree programme achieving at least the minimum required results to progress to the next year of study. It can also be considered as an indicator for students passing their exams. 

 

Academic Year 1st time success to proceed

from Year 1 to Year 2

(%)

Dropouts from

previous Year 1 (%)

Obtained CIT/DIT

(%)

1st time success to proceed

from Year 2 to Year 3

(%)

Dropouts from

previous Year 2 (%)

Obtained ACIT/HDIT

(%)

2000/2001 12 46 4 N/A N/A N/A 2001/2002 9 54 6 38 12 14 2002/2003 12 50 10 53 14 20 2003/2004 22 54 13 63 23 32 2004/2005 21 50 13 58 16 30 2005/2006 21 46 14 50 13 30 2006/2007 51 37 16 57 13 30 2007/2008 45 36 17 51 26 33

Table 1. Student progression indicators and achieving certification 

Year 1 to Year 2 

The VLE of the BIT degree programme provide first year students with student manuals  for  each  course,  e‐leaning  content,  practice  quizzes,  assignments, learning activities and CD with TV programmes. The  first year  students have a great  deal  of  learning  support  and  can  also  call  upon  the  assistance  of  an  e‐Facilitator assigned for each course.  

  7 

A fourfold improvement in progression of first year students to the second year can be seen when comparing the Pre‐LMS phase to the eBIT phase and a twofold improvement  when  comparing  the  LMS  phase  to  the  eBIT  phase  of  the  BIT degree programme. The average first time successes were 11% for the Pre‐LMS phase, 21% for the LMS phase and 47% for the eBIT phase. 

Year 2 to year 3 

Unlike  for  the  first  year  students,  the  second  year  students  do  not  receive  as much  support  from  the  VLE.  They  are  provided  with  quizzes  and  learning activities. When comparing the second year  figures,  it  is  important to note that repeat students benefited from the fact that the Math II and Computer Networks papers were made optional.  

There  is no  considerable difference  in  the  first  time  success  rates between  the three phases of the BIT. Even though there has been an increase in the number of students achieving  the HDIT certification,  it  is not visible as a percentage since there  is an  increase  in  the number of  students  following  the  second year.   The average first time successes were 51% for the Pre‐LMS phase, 55% for the LMS phase and 51% for the eBIT phase. 

From the above figures, it  is clear that there is a great improvement in the first year of the BIT degree programme in student passing and student retention, but there  is  no  change  in  the  figures  for  the  second  year.  The  considerable technology‐enhanced learning support provided for students in the first year and the lack of such considerable support in the second year, shows a clear relation to the improvement in the high dropout rate in the first year and the lack of such a change in the second year.  It  is clear that extremely high dropout rate, which was a key issue of the BIT, has been addressed to a certain extent by the advent of  technology‐enhanced  learning  in  the  first year. Furthermore  the numbers of new students enrolling in the BIT degree program has stabilised at around 1500. This  figure  may  even  grow  with  the  BIT  programme  beginning  to  gaining  a reputation as a study programme that provides Distance Education and supports student learning. 

 

Social Media and the BIT 

There have been several attempts both by the UCSC and BIT students too create a presence on the Internet using social media.  

The  UCSC  has  created  an  eBIT  community  using  the  Elgg  environment  as  an attempt  to  create  collaborative  learning  and  encourage  student  interaction. Furthermore,  Moodle  Forums  and  Chats  are  being  currently  used  not  only  to encourage  collaborative  learning  and  student  interaction,  but  also  to  address student  issues  and  questions  via  the  e‐Facilitators.    The  UCSC  has  also  used  a YouTube account in addition to ‘UCSC TV’ to provide accessibility for students to view the BIT TV programmes.  

In addition to the UCSC initiative, students and Institutions that cater to the BIT syllabus  have  taken  their  own  initiatives.  These  include  eight  groups  on 

  8 

Facebook,  one  Google  group,  a  Blog  and  a  video  sharing  on  Magnify.net.  The membership varies from 21 to 307 in these networks.  

It is observed through many student comments for example; 

“Heya evry1. Great c ya all in 1 place!!!!!!!!” 

“I think this is a better way to share information about what we know & what we want to know about the newest systems & technology. So that it'll be a big deal to achieve our goals in life. 

So dear mates, if you've got anything new just use this group to spread that among all of our BIT friends.” 

And the following is a response (original text of student) to an email interview of the BIT student on the question “Do you think that students' online contributions to  the  community  (posting  links,  discussing,  commenting,  helping  other  etc.) should be rewarded by some marks for the BIT assessment?” 

“People normally contribute to a community because their tech interest and when they  are  experienced  about  the  same  problem.  For  example  if  someone  asks  a question  about  C++  programming  and  if  I  knew  it  well,  then  I'm  very  glad  to answer  that  question  and  share  the  facts.  It  should  be  rewarded,  like  other communities  do  look  at  the  daniweb.com  site,  they  using  a  "points"  and  "star" system  to  reward  the  members  who  contribute.  that  should  be  added  to  the member profile and his badge. for example if you are good contributor in the form C++  ,  when  you  gone  to  a  C++  job  interview  you  can  say  I'm  a  member  of  this community  that have  this points and  this number of  solved number of  threads  in C++.  But it should not be mix with the assessment marks, cause it will be another overhead.  use  the  interest  not  force  them.  and  it's  not  actually  fair  to  give  some marks for the contributions for this community cause exam is a different thing” 

that  students  have  expectations  of  providing  and  gaining  help  and  building  a social network with fellow BIT students. 

Even though there are encouraging signs in the initial stage of creating or joining a social network of the BIT, there seems to be a lack of motivation and responses for the community to flourish. This could be due to that fact that online‐learning communities depend on some key factors (Hiltz, 1998); 

1. Behaviour moulded, modelled and encouraged by the instructor. There have been not many activities that have been introduced in the BIT that  encourage, mould and model  collaborative  learning and building of community. 

2. Software structures that will support group collaboration. Moodle,  the  Elgg  environment,  Facebook  and  other  social  media  sites have  provided  the  software  structures  needed  to  support  group collaboration, but students do see some issues with these too, evident by the following comment “I see the elgg user interface isn't looking good and nt user friendly personally”. 

3. Learner’s ability and willingness to participate regularly.  

  9 

Limited access  to  the  Internet,  time management  issues of BIT  students especially part time students who are employed, bandwidth issues, lack of online social networking experience and lack of taking responsibility  for their  own  learning  too  may  be  the  reasons  for  the  lack  of  progress  in collaborative  learning  in  these  social  networks.  Furthermore  the deficiencies  in  expressiveness  and  a  Cultural  factor  of  not  asking questions too may affect the progression of the social Network. 

Learning Communities & Collaborative Learning  An inherent issue in the BIT degree program is the lack of a Teacher. This creates an environment where the student is isolated unless that student attends an institute that caters to the BIT syllabus. One solution for this scenario is to create an online learning community where the students collaborate in learning and take responsibility for their own and their peers’ learning. Mioduser, Nachmias et.al. (1999), and Mioduser and Nachmias (2002) define a learning community as a novel educational system based on the combination of three components: a virtual community (social dimension), hosted by an appropriate virtual environment (technological dimension), and embodying advanced pedagogical ideas (educational dimension). Ludwig‐Hardman and Dunlap (2003) define a learning community as a group of people, connected via technology mediated communication, who actively engage one  another  in  collaborative  learner‐centered  activities  to  intentionally  foster the  creation  of  knowledge,  while  sharing  a  number  of  values  and  practices, including diversity, mutual appropriation, and progressive discourse.  What  is clear  in both these definitions  is  that there are three elements that are key; a technological element, a social element and an educational element. Even if one of these elements were missing, there would not be a learning community. As  Lowell  and  Persichitte  (2000)  say  “simply  requiring  learner  interaction  in asynchronous environments does not promote a sense of community”.  The  three  factors  Hiltz  (1998)  mentions  can  be  clearly  related  to  the  above elements and can also be identified in Figure 01 that depicts a Conditional Matrix by  Brown  (2001) where  the  darker  shades  define  higher  engagement  in  class and dialogue, and feelings of belonging to a community.  

 

  10 

 Figure 01. Conditional Matrix for community (Brown, 2001) 

  

 Student perspective on assessment 

Survey  

A survey was carried out to obtain the students’ perspective on assessment. An online questionnaire was posted on the LMS of the BIT degree programme. The questionnaire  targeted  1st  year  students  of  the  BIT  degree  following  the Computer Systems I course. The total number of respondents was 45. The total number  of  students  who  viewed  the  questionnaire  were  121,  hence  a  37% response ratio. 73% of the respondents were male, which is close relation to the gender ratio of BIT students.  

Majority  of  the  students  who  took  this  questionnaire  were  following  the  BIT degree  programme  in  order  to  pursue  a  career  in  the  IT  industry  or  to  gain knowledge  in  ICT.  Furthermore,  76%  followed  the  study  programme  as  part‐time  while  about  50%  of  the  candidates  are  employed. While  majority  of  the students  were  taking  the  degree  after  their  advance  level  examination,  about 10% were pursuing a parallel degree or completed a bachelor’s degree. 64% of 

  11 

the  students  were  either  following  or  hoping  to  follow  an  additional  study programme.  

Results  

• Regarding  type  of  exams  and  grading  methods,  students  preferred Computer  based  continuous  online  assignments  from  home  the  most, followed  by  paper  and  pencil  tests.  The  least  preferred  were  printed reports/dissertations.  67%  preferred  end  of  course  exams  coupled  with continuous  assignments  as  their  most  preferred  grading  method,  while 22% preferred continuous assignments during the course deciding the final grade.   

• 100% of the respondents thought that audio and video in addition to text and graphics would help them express their knowledge better, while 82% preferred  a  change  in  the  way  they  are  assessed  in  BIT,  29%  preferred practical  test  the  most,  24%  preferred  web  portfolios/online  exams  and 16%  preferred  Open  book/take  home  tests.  As  the  preferred  mode  of expression,  64%  preferred written  and  typed  text,  62%  audio‐video  and 67% Graphics and Images.  

• In  the  issue  of  Language  of  study,  86%  had  at  least  a  ’C’  grade  for  O/L English  and  67%  had  at  least  a  ‘C’  grade  for  A/L  English.  51%  followed were hoping to follow an additional English course. 60% preferred to use a different language to English as their preferred language of expression.  

• 80% thought that time pressure during examinations affected the quality of their  answer,  38%  felt  nervous  and  scared  during  exams.  Furthermore, 82% thought that  they performed better  in real  life  than  in examinations. But ironically, the 53% thought that exams were fair in assessing their real ability  and  knowledge.  On  preference  of  Assessment  types,  the  most preferred were MCQs, Open Book/Take home tests and Practical Tests. The least preferred were Reports/Dissertation and Essay Type papers.   

• As  for  study methods  for  the BIT programme, 82% would use Self‐Study, 13% Face‐to‐Face  group  study,  20% online  Group  study  and  58% would attend Group Classes.  

• 93%  and  96%  often  used  computers  for  Education  and  Internet  for Education respectively  

• With regard to studying, Passing exams were the main purpose of 18% of the students and 13% thought that passing exams was the most important aspect.  58%  of  students  also  stated  that  the  study  method  they  use  for Multiple Choice Question exams are different from how they study for non‐MCQ exams. 93% of  the students had experienced MCQ exams; only 13% and  29%  had  experienced  Reports/Dissertation  and  Viva/Interviews respectively. 47% had experienced Web Portfolios/Online exams.   

Findings    

1. Students prefer continuous assessment with an end examination.  2. Students prefer the use of multi‐media for examinations.  3. Students  have  an  acceptable  command  of  English,  but majority  prefer 

their own mother tongue.  4. Students  lacked confidence about  the assessment system and methods. 

  12 

In  addition,  standardised  examinations  affected  students  in  a  negative way. 

5. Majority  of  students  self  study,  and  about  42%  have  very  little interaction with other students or Teachers.  

6. Students were used to using computers and the Internet for Education.  7. Students have varying experiences with different types of assessment.   

    Assessment Design    Since  there  is  very  little  or  no  Teacher  involvement  in  the  BIT  degree programme,  students  have  very  little  interaction with  teachers  and  hardly  get any feedback. Furthermore, there is very little peer‐interaction among students since there is not always a common class they attend. Students are also diverse with many  following  the BIT part‐time. The  solution  suggested  to  address  this issue is to create assessment with peer‐assessment so that it builds a community of learning. Social‐Constructivist Assessment is a suggestion where students may use  different media  and  social media  technologies  to  create  their  assignments and also provide feedback to their peers. This is also in line with the concept of “Lifelong Assessment” (Boud, 2000).   The  assessment  designed  takes  into  consideration  theories  on  Learning Communities  and  the  students’  perspective  on  assessment.  In  a  study done by Brown (2001), her students defined three degrees of community. 

1. Making Acquaintances/Friends 2. Community Conferment 3. Camaraderie 

 The design of activities  in  this online collaborative environment will  target  the achievement of at least the first two degrees, thereby leading to the third degree, where  students  will  go  beyond  a  simple  peer  relationship.  Activities  such  as icebreakers (Dixon, Crooks and Henry, 2006), forum discussions, group problem solving and peer‐assessment, etc. supported with different peer‐rating strategies will aim to build a cohesive learning community.   In a previous study of the BIT programme,  it was  identified that students were aware  of  the  importance  of  Formative  Assessment  and  “Assessment  for Learning”  (Andersson,  2008).  Furthermore,  her  study  showed  that  students’ value peer‐collaboration and its importance to improving learning. Her findings were confirmed in my results, thus the assessment model must have a formative assessment, with the purpose of Assessment for Learning.    According  to  Greenhow,  Robelia  and  Hughes  (2009),  Today’s  graduating students  face  technological  competencies  that  emphasize  the  capacity  for innovation,  leadership,  multidisciplinary  collaboration,  collective  problem identification,  and  resolution  in  a  dynamic,  digital  environment.  Hence Assessment  methods  that  promote  factual  learning  and  do  not  support  the nurture  of  multiple  skills  need  to  be  replaced  with  alternate  assessment methods. Furthermore, according to Gulikers, Bastiaens and Krischner (2004), in 

  13 

a model  attempting  to assess higher order  thinking process and  competencies, the assessment has to change from being summative to also serving a formative goal  of  promoting  and  enhancing  student  learning.  Gulikers  further  goes  onto state  that  this  purpose  requires  alternative  assessments  because  standardized, multiple‐choice tests are not suitable for this.  Taking into consideration the students’ view, students have identified the power of multi‐media  for  expressing  their  knowledge,  and  they  have  expressed  their preference  to  use Web  Portfolios/Online  examination.  Hence  the  use  of  Social Media such as Blogs, Wikis, and Video Sharing etc. would help students to tackle assessment in more creative ways, addressing issues of Higher‐order skills than simple MCQs.    Even though the majority refer to the use of their mother tongue as the preferred language  of  expression, with  the  current  issues  of  Localization  of  systems  and availability of resources and expertise, the Language issue would not be readily addressed at this  juncture. With a high percentage of students having above  ‘C’ grades  for  English  would  allow  for  this.  Furthermore,  about  50%  of  students were  or  were  hoping  to  follow  an  additional  English  course.  The  recently commenced Pre‐BIT course, referred to as the Fundamentals of IT course (FIT) has  included  an English  course  to  support  students  in  improving  their  English Language skills.   Attempting  to  make  assessment  “time‐and‐place  independent”  would  to  a certain  extent  negate  negative  aspects  of  standardised  examinations. Furthermore including the “student perspective” in the Assessment would build confidence of students in the Assessment system (Stiggins, 1999).      Discussion  The analysis of the different phases of the BIT degree programme has shown that there has been a clear improvement in the student dropout rates and first time passing  of  exams  in  the  first  year,  which  was  supported  through  technology‐enhanced learning, but did not show a change in the figures of the second year, which  was  not  provided  such  considerable  support.  This  pattern  can  only  be attributed  to  careful  design  consideration  of  the  first  year  of  the  eBIT  phase aimed at improving support for student learning.  Even though there has been clear success in the design for learning, the attempts to create a  learning community and a  collaborative  learning environment have not been as successful. The main reason that can be attributed to this seems the lack  of  activity  modelling  and  encouragement  for  community  building  and creation of collaborative learning.  The solution planed as a pilot project  for a group volunteer  first year  students following  the  Computer  Systems  I  course  will  use  community  building  and collaborative  learning  activities  to  encourage  the  creation  of  a  learning community  and  use  peer‐assessment  as  the  building  block  for  learning within 

  14 

the  community.  The  pilot  study  will  be  used  to  design  future  learning communities  and  assessment  activities  aimed  at  promoting  learning  and improving the BIT degree programme.   Conclusion  The  overall  review  of  the  BIT  programme  and  the  observation  of  student activities reiterate the fact that there is room for further improvement of student learning  through  increased  support  through  e‐Leanring  2.0.  Furthermore student  participation  is  required  in  form of  informal  learning  for  effective  and active use of social media. It is clear that further support needs to be provided by means  of  encouragement  and  Community  building  activities  in  order  to stimulate the students’ social networking.   Acknowledgements  The researchers wish to express their deepest gratitude to;  The  Swedish Program  for  ICT  in Developing Regions  (SPIDER)  for  the  support provided for the National eLearning Centre Project. The BIT Students for their support in providing feedback. Dr. Ruvan Weerasinghe, Director UCSC. Dr. Priyantha Hewagamage, Coordinator, National eLearning Centre. BIT Academic and Administrative Staff. Prof. Brian Hudson for his valued guidance and motivation.   Reference  Andersson, A. (2008). Seven major challenges for e‐learning in developing countries: Case study eBIT, Sri Lanka. International Journal of Education and Development using ICT. 4 (3). 

Boud, D. (2000). Sustainable assessment: rethinking assessment for the learning society. Studies in Continuing Education. 22 (2), p151‐167. 

Brown, R.E. (2001). The process of community‐building in distance learning classes. Journal of Asynchronous Learning Networks. 5 (2), p18‐35. 

Central Bank of Sri Lanka (2006). Annual Report of the Monetary Board to the Hon. Ministry of Finance. Colombo: Central Bank of Sri Lanka. p53. 

Conole, G and Warburton, B. (2005). A review of computer‐assisted assessment. Association for Learning Technology journal. 13 (1), p17.  Daily News (2009). Mega­development projects launched for country's future generation . Available: http://www.dailynews.lk/2009/08/08/news22.asp. Last 

  15 

accessed 8 Aug 2009.  Davies, P (2000), Computerized Peer Assessment. Innovations in Education and Training International. 37 (4),  p346‐355.  De Silva, C.H. (2007). Information Technology Education in the Sri Lankan School. System: Challenges and Perspectives. Available: http://telearn.noe‐kaleidoscope.org/warehouse/256_Final_Paper_(001730v1).pdf. Last accessed 5 Sep 2009.  Dixon, J.S, Crooks, H and Henry, K. (2006). Breaking the ice: Supporting collaboration and the development of community online . Canadian Journal of Learning and Technology. 32 (2), p99. 

Farrell, G and Leung, Y.K. (2004). Innovative online assessment using confidence measurement. Education and information technologies. 9 (1), p5.  Gipps, C (1994). Beyond Testing: Towards a theory of educational assessment. London: Falmer Press. p20. 

Greenhow, C, Robelia, B and Hughes, J.E. (2009). Now?Should We Take Learning, Teaching, and Scholarship in a Digital Age: Web 2.0 and Classroom Research: What Path . Educational Researcher. 38 (4), p246. 

Gulikers, J.T.M, Bastiaens, T.J and Kirschner, P.A. (2004). A five‐dimensional framework for authentic assessment. Educational Technology, Research and Development. 52 (3), p67. 

Hiltz, S, R. (1998). Collaborative Learning in Asynchronous Learning Networks: Building Learning Communities. Available: http://eric.ed.gov/ERICDocs/data/ericdocs2sql/content_storage_01/0000019b/80/17/5a/cc.pdf. Last accessed 8 Mar 2009.  Lowell, N.O and Persichitte, K.A. (2000). A Virtual Ropes Course: Creating Online Community. Available: http://www.sloan‐c.org/publications/magazine/v4n1/lowell.asp. Last accessed 13 Aug 2009.  

Ludwig‐Hardman, S and Dunlap, J.C. (2003). Learner Support Services for Online Students: Scaffolding for success. International Review of Research in Open and Distance Learning. 4 (1), p197. 

Mioduser, D and Nachmias, R . (2002). WWW in Education: An Overview. In: Adelsberger, H, Collis, B and Pawlowsky, M Handbook on Information Technologies for Education & Training. Berlin/Heidelberg/New York: Springer. p23‐43. 

Mioduser, D, Nachmias, R, Oren, A and Lahav, O. (2000). Web‐supported emergent‐collaboration in higher education courses. Journal of educational technology & society. 35 (3), p94. 

  16 

Paxton, M. (2000). A linguistic perspective on multiple choice questioning. Assessment and Evaluation in Higher Education. 25 (2), p109. 

Satharasinghe, A. (2004). Computer Literacy of Sri Lanka ­ 2004. Available: http://www.statistics.gov.lk/cls2004/index.htm. Last accessed 15 Aug 2009. 

Scouller, K and Prosser, M. (1994). Students' experiences in studying for multiple choice question examinations . Studies in Higher Education. 19 (3), p267‐279. 

Scouller, K. (1998). The influence of assessment method on students' learning approaches: Multiple choice question examination versus assignment essay. Higher Education. 35 (4), p453‐472.