Machine Learning for Bone Scans 

Benjamin FangDepartment of RadiologyQueen Mary Hospital

Preamble

• Demand for medical imaging ever increasing• Widening service gap• Not enough radiologists• Need new tools to help => AI

Russakovsky et al., 2015

Error rate (lower is better)

Computer surpassed human 

Image source: https://recruitingdaily.com/recruiting‐grudge‐match‐wins‐humans‐vs‐machines/

ObjectiveDevelop a computer algorithm that can recognize bone metastasis in a bone scan image.(To serve as a proof of concept)

Our AlgorithmA Convolutional Neural Network

Input layer:512x512x1

10x10x1x32Convolution RELU 4x4 Maxpool

10x10x32x64Convolution RELU 4x4 Maxpool

8x8x64x64Convolution RELU 2x2 Maxpool

8x8x64x64Convolution RELU 2x2 Maxpool 200‐neuron

Fully connected layer

2‐neuronFully connected layer Softmax

4 Convolutional layers 2 Fully connected layers

Total number of learnable parameters: 3200+204800+524288+51200+400+32+64+64+64+200+2=854,586

Output:Probability of Metastasis (treated as positive if >50%)

Convolutional Neural Network (CNN)

• What is it?– A type of artificial neural network– Uses convolutions (a process whereby featuresare extracted from an image)

Artificial neural network

RELU activation function

http://cs231n.stanford.edu/

Neurons in layers

Image source: MathWorkImage source: https://theconversation.com/deep‐learning‐and‐neural‐networks‐77259

Training our algorithm

1. Forward pass: Feed the network a batch of bone scan images and calculate the predictions

2. Loss: Quantify how good the predictions are3. Back propagation: Calculate how each parameter of the network affects the 

predictions4. Optimization: Change each parameter a little to improve the predictions5. Iterate: back to step 1

Our dataset

• 106 Bone scan images58: Metastasis present48: No metastasis

• Diagnosis (ground truth) decided by a Nuclear Medicine Specialist with 29 Years experience in bone scan interpretation

Our dataset

1024x1024 pixelsSingle channel (8‐bit grey scale)

No patient demographic infoNo medical history

Anterior whole body scan Posterior whole body scan

Label: ‐Metastasis present or absent

Image Augmentation(Create infinite variations of our images)

Rotation (‐10 to +10 degrees)Translation (‐45 to +45 pixels)Zooming (‐40 to +40 pixels)Occlusion (left, right or none)

Division of data for training/validation/testing

1/3 (35) assigned for testing2/3 (71) assigned for training/validation

Subdivided into 3 parts

Validation

Training Testing

3‐fold cross validation

Final training

106 Bone scans

Training / Validation

Accuracy

Training step

‐ Training ‐‐ Validation ‐

Final test resultsAccuracy: correct/(correct + incorrect) = 33/(33 +2) = 94%Sensitivity: TP /(TP + FN) = 19 / (19 +1)  = 95%Specificity: TN /(TN + FP) = 14 / (14 + 1)  = 93%AUC (ROC)  = 0.94

What did it get wrong?

Conclusion

• CNNs are very powerful• Our bone scan CNN performed very well despite trained on only a small number of images.

What if our training dataset was much larger?Human expert level performance or better probably achievable.

Some other areas where CNN can be applied

Plain radiographCTMRIUSGMicroscopy images: Pathology / microbiology Clinical photos: dermatologyCapsule endoscopy………etc.

Areas involving visual recognition

Thank you

How to utilize these systems

• 2nd read• Screen unreported exams• Exam prioritization

How to build more of these AI algorithms to help us

• Current limiting factor: Lack of well curated, large training datasets

• Way forward:• For future reports: Structured reporting (standard 

templates/checklists etc.)• For past reports: 

• Data mining algorithms (neural networks again)• Manual data mining unlikely to be feasible.

Loss function

A quantification of how accurate/inaccurate the prediction is.

Cross Entropy:L=−y log(y^)

L   : Lossy^ : predictedY   : ground truth

Convolution

Image source: http://machinelearninguru.com/computer_vision/basics/convolution/convolution_layer.html

Each value within a kernel is a learnable parameter

3‐fold Training‐Validation

Accuracy

Training steps

Loss decreases with training

Epoch = number of cycles the network has gone through the whole dataset

The Digital Image

Image source: https://developer.apple.com/library/content/documentation/Performance/Conceptual/vImage/ConvolutionOperations/ConvolutionOperations.html

What about convolution?

‐ A  mathematical method to extract features from an image.

‐ Features are represented in different levels of abstraction

Division of data for training/validation/testing

1/3 (35) assigned for testing2/3 (71) assigned for training/validation

Subdivided into 3 parts

Validation

Training Testing

3‐fold cross validation

Final training

106 Bone scans

Russakovsky et al., 2015

Error rate (lower is better)

CNN propelled computer vision to surpass human

Advent of CCNAll CCNs