光創起イノベーション研究拠点
光創起拠点TOPNews & Topics第11回iPERCセミナーを開催しました
News & Topics

第11回iPERCセミナーを開催しました

2021/02/15

2021年1月18日、Beckman Laser InstituteのProject Scientist、Robert Virgil Warren先生によるJournal Clubがオンラインで開催されました。

このJournal Clubでは、浜松医科大学と静岡大学の学生が1つの学術論文を選び、役割分担してプレゼンテーション発表し、Warren先生と議論しました。発表者は静岡大学総合科学技術研究科工学専攻修士1年 古橋 樹さん、同じく静岡大学総合科学技術研究科工学専攻修士1年 Hoang Son Namさん、浜松医科大学医学部医学科5年 増田 竜樹さん、同じく浜松医科大学医学部医学科3年 池原 康裕さんです。
今回は、ラトビア大学のJanis Spigulisらの「Smartphone snapshot mapping of skin chromophores under triple-wavelength laser illumination」[1]を題材論文として、皮膚組織における色素分子(メラニン、ヘモグロビンなど)のマッピングをスマートフォンのカメラのスナップショットで可能とする研究についてディスカッションしました。

■発表概要
浜松医科大学医学部医学科3年 池原さん
真皮や表皮などの皮膚組織における基礎知識、論文で取り扱う病変(母斑、脂漏性角化症、血管腫)を紹介しました。現在使用されている装置の特徴・問題点や、本論文で改良したMSI(マルチスペクトルイメージング)を取り上げました。

静岡大学総合科学技術研究科工学専攻修士1年 Hoangさん
皮膚組織における色素分子分布画像の取得方法や測定で使用する波長の選択について取り上げました。また、皮膚組織における光の伝搬や、伝搬距離の推定に用いるモンテカルロ法を説明しました。

静岡大学総合科学技術研究科工学専攻修士1年 古橋さん
レーザーモジュール、ディフューザーやバッテリー等で組み合わされた照明ユニットの構成図の紹介や照明方法を説明しました。3つの波長を同時に均一照明出来たことを、実験結果で示しました。実際の色素分子分布の取得結果を示し、生じたスペックルノイズや、考慮していない色素分子の影響について発表しました。

浜松医科大学医学部医学科5年 増田さん
臨床医の立場で、取得した画像について議論しました。母斑、 脂漏性角化症、血管腫それぞれの病変について得られた取得画像から得られる色素分子情報(オキシヘモグロビン、デオキシヘモグロビン、メラニン)を整理しました。また、実際に臨床へ応用すること(gold standardとして確立すること)、誰もが簡単に扱えるように装置を改良することの必要性を紹介しました。

■論文概要
皮膚組織における色素分子分布(メラニンやヘモグロビンなど)のマッピング画像は皮膚病変の評価に対して非常に有用な情報となります。例えば、火傷、手術後の皮膚の状態を定性的かつ定量的にモニタリングすることができるので、より正確な診断が可能になります。

ハイパースペクトルイメージング(HSI)[2]、SFDI[3]やマルチスペクトルイメージング(MSI)[4]など、色素分子分布を取得する方法は様々存在します。しかしながら、これらの方法を用いる機器で市販されているものは画像取得時間が長い、高価、有線接続が必要になるといったデメリットが存在します。そのため、オーダーメイド医療や、様々な環境(屋外での使用や個人による使用)への対応が困難になります。

臨床現場ではシンプルかつ迅速な測定が望まれていることから、筆者らはマルチスペクトルイメージング(MSI)システムの改良に取り組みました。3波長(448-532-659 nm)のレーザー光を同時に被測定部(皮膚のメラニン、オキシヘモグロビン、デオキシヘモグロビン)に対して照射し、反射光をスマートフォンのカメラによりRGB画像データとして取得します。システムの概要を図1[1]に示します。アダプターを介してスマートフォンが光源、結像系と組み合わされた簡単なシステム構成であることがわかります。

20210118_Fig1図

Fig. 1[1] (a)測定で使用した3波長照射測定ユニットのモデル図 (b) 実際にスマートフォンを測定ユニットに取り付けた様子

このシステムの特徴は、撮影が一回のスナップショットであり、カメラとして今や誰でも持つことができるスマートフォンに付帯しているものを使用している点です。スマートフォンを利用できるため、取得したデータを即時に処理でき、他のデバイスへの送信も可能とします。

測定の手順としてはまず、入射波長に関連した3種類のスペクトル画像を取得します。さらにランベルト・ベールの法則[5]に従って処理し、発光団の空間的な増減量を画像化します。また、皮膚内における光子の平均自由行程はモンテカルロシミュレーションによって見積もります。

論文では3種類の皮膚病変(母斑、 、脂漏性角化症、血管腫)を観察対象とし、メラニン、オキシヘモグロビン、デオキシヘモグロビンの増減量の空間分布を取得しました。例として血管腫の測定結果を図2[1]に示します。(a)はRGB画像を示します。(b-c)はそれぞれ、オキシヘモグロビン、デオキシヘモグロビン、メラニンを示しており、RGB画像と空間的な一致が得られています。また、オキシヘモグロビン濃度は増加、デオキシヘモグロビン濃度は減少、メラニン濃度は変化なしという結果が得られており、それぞれの色素分子の濃度情報を適切に分別して抽出できていることが示されました。

20210118_Fig2図

 Fig. 2[1] 血管腫における色素分子の濃度変化のイメージング結果 (a) RGB画像(スケールバー: 5mm) (b) オキシヘモグロビン (c) デオキシヘモグロビン (d) メラニン (カラースケールの単位はmM)

今後の課題は3つあり、①レーザーによるスペックルノイズの低減、②画像処理のためのアルゴリズムやハードウェアの改善、③画像化可能な色素分子の種類を増やすことが必要になると述べられておりました[4]。

■ 各発表者の発表が終わると、聴講者から発表者に対して以下のような質疑応答が行われました。

Q1,参加者の「本論文では3種類の色素分子を考慮しています。今後、3種類以上の色素分子を見るための改善策はありますか。」という質問に対し、Warren先生は「著者らが以前発表した論文での記載を取り上げ、3つ以上の波長を利用するのも良いのではないか。」とアドバイスされました。また、「別の波長の光を加えるとランベルト・ベールの法則で記述した3個の方程式に更にもう一つ式を加える必要がある」という意見もありました。

Q2, Warren先生から「測定画像では、母斑(nevi)、 脂漏性角化症(pigmented seborrheic keratosis)を見分けることができていません。いかにして区別することができるようになりますか。」と質問がありました。
この質問に対して発表者からは、「現段階では母斑と脂漏性角化症に対する測定データが少ないので、差異を明らかにするためには更なる測定を実践することが必要になります。」と返答がありました。これに対して先生は賛同され、データに関連してAIの応用も考えられると述べられました。また、皮膚組織において母斑と脂漏性角化症が異なる層で生じることに着目し。深さ情報が得られるMSIやSFDIを用いれば判別が可能となるとまとめられました。

Q3, 参加者の「IRレーザーやUVレーザーを使うことは可能でしょうか。 」という質問に対しては発表学生から「IRでは皮膚におけるヘモグロビンの吸収が低いために分布情報が得られないこと、UVでは皮膚への侵入深度が浅いことにより深部情報が得られません。そのため皮膚組織観察でのIR、UVレーザーの使用は適切ではありません。」と回答がありました.また、参加者からは「検出器の点でもスマートフォンに備えられたセンサーには可視光にのみ感度があるため、検出範囲が制限されます。このことから、波長をUVやIRへと広げるためにはマシンビジョンで用いられているようなUV、I Rカメラを新たに加える必要があります。」という意見がありました.

Q4, 参加者の「測定デバイスとしてスマートフォンを使う利点は何ですか。 」という質問に対しては他の参加者から「遠隔医療が可能になることです。日本では地域によっては医師不足が深刻な問題となっており、遠隔医療はそれを解決する一つの手段になります。遠隔地でも測定デバイスを設置して、医師のいる場所とつなげることで、医師がその場にいなくとも患者は診断を受けることができるようになります。例えば、家にいながらスマートフォンで測定しデータを遠隔地で分析し、その結果をもとに診断を受けることも可能になります。」と回答がありました。

Q5, Warren先生からの質問「本論文で提案された手法の弱点、改善すべき点はありますか。」については発表学生が「一つ目に挙げられた弱点は,皮膚組織内の光子の行程を計算するためにモンテカルロシミュレーションが必要になることです。モンテカルロシミュレーションの計算精度は常に良いとは限りません。その解決方法としてTime of flight法を提案しました。二つ目の弱点は症例として数が多い典型的な疾患のみを扱っていることです.臨床で更に多様な症例を扱って行く必要性がある。」と提案しました。

Q6, Warren先生の「レーザーではなくLED、フィルターを使う手法も考えられますか。」という質問に対して発表学生は「著者らは本論文のイントロダクションでLEDを用いた研究事例を紹介しており、十分考えられるのではないか。」と回答がありました。Warren先生は「LEDを用いることは十分考えられ、インコヒーレントな光を用いることでスペックルノイズを取り除くことができる。」と述べました。

他にも,母斑や脂漏性角化症を対象とした測定の医学的な有用性に対する疑問や、メラノサイトが発生している深さを推定できるかなど多くの質問が投げかけられました。ディスカッションは1時間に及び、非常に白熱したものとなりました。

20210118_写真

 プレゼンテーション後にWarren先生とディスカッションしている様子

■ 報告者の感想
スマートフォンは今や全世界の人々が生活の中、娯楽やビジネスで利用する“コンピューター”であり、本論文のように工夫をすることで今回紹介された医療器具として利用することもできます。検出器としてスマートフォンを利用するため、高価な装置を利用することなく一般人が、取得データを即時に他デバイスと共有できます。症例をデータとして蓄積することは機械学習やディープラーニングへの応用を促進し、複雑な病態や形状を示す症例でも正確な診断が可能になります。また、通信スピードも向上していることから遅延なく遠隔医療ができるようになり、将来の医師不足の影響を和らげる一助になり得るでしょう。
ジャーナルクラブを通して学生や先生を問わず活発に提案手法について議論がなされました。筆者は工学を専攻しており、論文で登場した症例について詳しくない状況でしたが、学生さんのプレゼンやWarren先生との議論の中で疑問が解消されました。工学と医学の隙間を埋める非常に良い機会になったと思います。
最後に、ジャーナルクラブの指導をしてくださったWarren先生、発表を用意してくださった学生さん、静岡大学・浜松医科大学の関係者の方、ありがとうございました。

■引用文献
[1] Janis Spigulis et al., Journal of Biomedical Optics, 22, 9, 091508 (2017). (J Biomed Opt. 2017 Sep 1;22(9):91508.doi: 10.1117/1.JBO.22.9.091508.)
[2] イメージ分光の原理/ハイパースペクトルイメージングとは Headwall Photonics | 特殊カメラ | 株式会社アルゴ(最終閲覧日:2021年2月3日)https://www.argocorp.com/cam/special/HeadWall/how_it_works.html
[3]Amr Yafi et al., Lassers in Surgery and Medicine, 49, 827-834 (2017).
[4]福田弘之,堀江卓二,3-3 マルチスペクトルイメージングの産業応用,情報メディア学会誌,68(4),pp. 295-298 (2014)
https://www.jstage.jst.go.jp/article/itej/68/4/68_295/_pdf
(最終閲覧日:2021年2月3日)
[5] 生体情報の取得原理 | スペクトラテック(最終閲覧日:2021年2月3日)https://www.spectratech.co.jp/technology/bioloInfo.html

 —————————————————————————————

On January 18, 2021, the Journal Club by Dr. Robert Virgil Warren, Project Scientist at Beckman Laser Institute & Medical Clinic, the University of California, Irvine, was held online.

In this Journal Club, students from Hamamatsu University school of Medicine and Shizuoka University had presentations about one academic paper which they selected. After that they discussed with Dr. Warren and audience. The presenters were Mr. Tatsuki Furuhashi, a 1st year graduate student in Graduate School of Integrated Science and Technology, Department of Engineering, Shizuoka University, Mr. Hoang Son Nam, a 1st year graduate student in Graduate School of Integrated Science and Technology, Department of Engineering, Shizuoka University, Mr. Tatsuki Masuda, a 5th year undergraduate student in the Faculty of Medicine, Hamamatsu University School of Medicine, and Mr. Yasuhiro Ikehara, a 3rd year undergraduate student in the Faculty of Medicine, Hamamatsu University School of Medicine.

In this journal club, an original paper entitled “Smartphone snapshot mapping of skin chromophores under triple-wavelength laser illumination”[1] by Janis Spigulis et al., University of Latvia was used as a material. We discussed the research that enables mapping of chromophores (melanin, hemoglobin, etc.) in skin tissue using snapshots from a smartphone camera.

Presentation outline

Mr. Ikehara, Hamamatsu University School of Medicine

Mr. Ikehara covered the basis in skin tissues such as dermis and epidermis, and skin lesions (nevus, pigmented seborrheic keratosis, hemangioma) that were dealt in the paper. He also covered the features and problems of currently used detection devices and the MSI (multispectral imaging) which is one of modalities using such devices and was tried to improve in the paper.

Mr. Hoang, Shizuoka University

Mr. Hoang covered the acquiring method of images of chromophores distribution in skin tissue and the selection of wavelengths used in the measurements. He also explained the light propagation in skin tissue and the Monte Carlo method used to estimate the propagation distance.

 Mr. Furuhashi, Shizuoka University

Mr. Furuhashi covered the configuration of the illumination unit, which consists of a laser module, diffuser and battery, and explained the illumination method. He explained the experimental results of skin chromophores distribution acquired by the simultaneous uniform illumination of 3 wavelength lights, and raised problems about the speckle noise generated from the system and the effects of other chromophores that were not taken into account.

 Mr. Masuda, Hamamatsu University School of Medicine

Mr. Masuda discussed the acquired images from a viewpoint of clinician. He summarized the information on chromophores (oxyhemoglobin, deoxyhemoglobin, and melanin) in the acquired images from nevi, pigmented seborrheic keratosis, and hemangioma lesions. In addition, he introduced the necessity of clinical application (to establish it as a gold standard) and improvement of the system so that anyone can handle it easily.

 Abstract of the paper

Mapping images of the chromophores distribution (melanin, hemoglobin, etc.) in skin tissue can provide very useful information for the evaluation of skin lesions. For example, it allows qualitative and quantitative monitoring of skin conditions after burns, surgery, etc., thus enabling more accurate diagnosis.

 There are various methods to acquire chromophores distribution, such as hyperspectral imaging (HSI) [2], spatial frequency domain imaging (SFDI) [3] and multispectral imaging (MSI) [4]. However, commercially available instruments for these methods have disadvantages such as long image acquisition time, high machine price, and the need for wired connections. Due to such difficulties, these instruments are difficult to use for the tailor-made medical care in various environments and situations including outdoor use and personal use.

 Since simple and rapid measurements are desired in clinical practice, the authors tried to improve the MSI system. In that system, the authors simultaneously irradiated laser light at three wavelengths (448-532-659 nm) to the area of skin chromophores (melanin, oxyhemoglobin, and deoxyhemoglobin). The reflected light was captured as RGB image data by a smartphone camera. Figure 1 [1] shows an overview diagram of the system. As shown in this figure, it is a simple system configuration in which a smartphone is combined with a light source and an imaging system via an adapter.

20210118_Fig1図

Fig. 1[1] (a) The model diagram of the triple-wavelength illumination unit, (b) a smartphone attached with a prototype of this measurement unit.

The features of this system are that it only requires a single snapshot and that it uses the camera installed in a smartphone as an imaging device which anyone can afford now. Advantages to use the smartphone include that the immediate processing of the acquired data can be done and that sending data to other devices to share is easy.

 The first step in the measurement is to acquire three spectral images related to the incident wavelength. These images are processed according to Lambert-Beer’s law [5] to obtain the spatial increase or decrease of each of the chromophores. In addition, the mean free path of photons in the skin is estimated by Monte Carlo simulation.

 In this paper, three types of skin lesions (nevi, pigmented seborrheic keratosis, and hemangiomas) were observed, and the spatial distribution of the increase or decrease of melanin, oxyhemoglobin, and deoxyhemoglobin was obtained. As an example, the measurement results of hemangioma are shown in Figure 2[1]. Figure (a) shows an RGB image. Figure (b-d) show oxyhemoglobin, deoxyhemoglobin, and melanin, respectively. These distributions are in good spatial agreement with the RGB image. In these images, the concentrations of oxyhemoglobin were increased, and that of deoxyhemoglobin were decreased, and that of melanin were unchanged. The result indicated that the concentration information of each chromophores was properly separated and extracted.

 20210118_Fig2図

Fig. 2[1] Imaging results of concentration changes of chromophores in 3 cases (top, middle, and bottom) of hemangioma (a) RGB image(scale bar: 5mm) (b)oxyhemoglobin (c) deoxyhemoglobin (d) melanin (units of color scale: mM)

 There are three issues that need to be addressed in the future: (1) reduction of speckle noise caused by a laser, (2) improvement of algorithms and hardware for image processing, and (3) increasing the number of chromophores that can be imaged [4].

 After each presenter’s presentation, Dr. Warren and the audience asked the presenters the following questions.

 Q1. A participant asked, “In this paper, three types of chromophores are considered. Are there any way to improve it so that we can see more than three types of chromophores in the future?”

 Dr. Warren responded, “It would be good to refer the author’s previous paper and use more than three wavelengths.” Another opinion was given that if we add another light wavelength, we need to add another equation to the three equations described by the Lambert-Beer’s law.

 Q2. Dr. Warren asked, “The authors did not distinguish nevi and pigmented seborrheic keratosis in the measurement. How will we be able to distinguish them?”

 The presenter replied, “At this stage, there is little measurement data for nevi and pigmented seborrheic keratosis, so we need to conduct further measurements to clarify the difference.” Dr. Warren agreed with the opinion, and mentioned that AI could be applied to the data processing. Finally, he noted that nevi and pigmented seborrheic keratosis occur in different layers of skin tissue. He summarized that it would be possible to distinguish between nevi and pigmented seborrheic keratosis by using MSI and SFDI, which provide depth information.

 Q3. A participant asked, “Is it possible to use IR or UV laser?”

 The presenter answered, “IR imaging does not provide distribution information due to a low absorption of hemoglobin in the skin, and UV imaging does not provide depth information due to its shallow penetration depth into the skin. Therefore, the use of IR and UV laser in skin tissue observation is not appropriate.” Another participant stated, “In terms of detectors, the sensors in smartphones are sensitive only to visible light, which limits the detection range. Therefore, in order to expand the wavelength to UV and IR, we need to add new UV and IR cameras like those used in machine vision.”

 Q4. A participant asked, “What are the advantages of using a smartphone as a measurement device?”

Another participant replied, “The advantage is that a smartphone makes telemedicine possible. In Japan, shortage of doctors is a serious problem in some areas, and telemedicine is one of the ways to solve this problem. By installing measurement devices in remote areas and connecting them to a doctor, patients will be able to receive a diagnosis even if the doctor is not there. For example, a patient can take measurements with a smartphone while at home. After the measurements, the data can be analyzed remotely, thus the participant can receive a diagnosis based on the results without going to a hospital.”

 Q5. Dr. Warren asked, “Are there any weaknesses or points that need to be improved in the proposed method in this paper?”

 A presenter replied, “The first weakness is that Monte Carlo simulation is required to calculate the photon path in the skin tissue. The accuracy of the Monte Carlo simulation is not always good. We proposed the time of flight method as a solution to this problem. The second weakness is that the authors analyzed only typical, more common diseases in this paper, which have a large number of cases. It is necessary to apply this imaging technology to more diverse cases with various diseases in clinical practice.”

Q6. Dr. Warren asked, “Is it possible to use LED and filters instead of laser?”

 A presenter replied, “The authors introduced a research using LED in the introduction of this paper, so I think it is possible. ”Dr. Warren replied, “It is quite possible to use LED, and speckle noise can be removed by using incoherent light.”

Many other questions were raised, such as the medical usefulness of the measurement for nevi and pigmented seborrheic keratosis, and whether it is possible to estimate the depth of melanocytes. The lively discussion lasted for one hour.

 20210118_写真

Discussion with Dr. Warren after the presentation

 Reporter’s comments

Smartphones are “computers” used by people all over the world now, for entertainment and business.  They can also be used as medical devices as described in this paper. By using a smartphone as an imaging detector, the acquired data can be instantly shared without the need for expensive equipment. The accumulation of medical case data will facilitate applications in machine learning and deep learning thus enabling an accurate diagnosis of cases with complex pathologies and shapes of lesions. The improved data transmission speed will allow telemedicine without delays, which could help mitigate the effects of future doctor shortages.

Through the journal club, Dr. Warren, students and audience actively discussed the proposed method in the paper. Because I am majoring in engineering, I was not familiar with the medical cases presented in the paper. However, my questions were solved through the presentations and discussions with Dr. Warren. I think it was a very good opportunity to fill the gap between engineering and medicine.

Finally, I would like to thank Dr. Warren for teaching in the journal club, the students for preparing their presentations, and the people at Shizuoka University and Hamamatsu University School of Medicine.

 References

[1] Janis Spigulis et al., Journal of Biomedical Optics, 22, 9, 091508 (2017).  (J Biomed Opt. 2017 Sep 1;22(9):91508.doi: 10.1117/1.JBO.22.9.091508.)

[2] イメージ分光の原理/ハイパースペクトルイメージングとは Headwall Photonics | 特殊カメラ | 株式会社アルゴ(Last viewed date:February 3, 2021)https://www.argocorp.com/cam/special/HeadWall/how_it_works.html

[3]Amr Yafi et al., Lassers in Surgery and Medicine, 49, 827-834 (2017).

[4]福田弘之,堀江卓二,3-3 マルチスペクトルイメージングの産業応用,情報メディア学会誌,68(4),pp. 295-298 (2014)

https://www.jstage.jst.go.jp/article/itej/68/4/68_295/_pdf

(Last viewed date:February 3, 2021)

[5] 生体情報の取得原理 | スペクトラテック(Last viewed date:February 3, 2021)https://www.spectratech.co.jp/technology/bioloInfo.html

光創起イノベーション研究拠点棟 〈光創起研究棟〉

〒432-8011 静岡県浜松市中区城北3丁目5-1 国立大学法人静岡大学浜松キャンパス内
TEL:053-478-1650 / FAX:053-478-3256