4. 스트림 소개

컬렌션 관련 연산을 SQL처럼 선언형으로 연산을 표현할 수 없을까?

 

이 장의 내용

• 스트림이란 무엇인가?
• 컬렉션과 스트림
• 내부반복과 외부 반복
• 중간연산과 최종 연산

---

 

 

4.1 스트림이란 무엇인가?

• 스트림(Stream)은 자바 8 API에서 새로 추가된 기능이다.
• 스트림을 이용하면 선언형(데이터를 처리하는 임시 구현 코드 대신 질의로 표현)으로 컬렉션 데이터를 처리할 수 있다.
• 스트림을 통해서 멀티스레드 코드를 구현하지 않아도 데이터를 투명하게 병렬로 처리할 수 있다.

기존 코드(자바7)

List<Dish> lowCaloricDishes = new ArrayList<>();
for(Dish dish : menu) { 
    if(dish.getCalories() < 400) {
        lowCaloricDishes.add(dish);
    }
}

Collections.sort(lowCaloricDishes, new Comparator<Dish>() {
	//익명 클래스로 요리 정렬
    @Override
    public int compare(Dish d1, Dish d2) {
        return Integer.compare(d1.getCalories(), d2.getCalories());
    }
});

List<String> lowCaloricDishesName = new ArrayList<>();
for(Dish dish : lowCaloricDishes) {
    lowCaloricDishesName.add(dish.getName());
}
return lowCaloricDishesName; //정렬된 리스트를 처리하면서 요리 이름 선택

• 위 코드에서는 lowCaloricDishes라는 컨테이너 역할만 수행하는 중간 변수인 '가비지 변수'를 사용했다.
• 자바 8에서 이런 세부 구현은 모두 라이브러리에서 처리한다.
  • 선언형으로 컬렉션을 제어하는 공식 라이브러리들 구아바, 아파치, 람다제이등

최신 코드(자바8)

List<String> lowCaloricDishesName = menu.stream() //menu.parallelStream()
        .filter(d -> d.getCalories() < 400)
        .sorted(Comparator.comparing(Dish::getCalories))
        .map(Dish::getName)
        .collect(toList());

• stream()을 parallelStream()으로 바꾸면 이 코드를 멀티코어 아키텍처에서 병렬로 실행할 수 있다.

스트림을 사용하면 루프와 조건문 등의 제어 블록을 사용할 필요 없이 "저칼로리의 요리만 선택하라"와 같은 동작의 수행을 선언형으로 지정할 수 있다.

• 선언형 코드와 동작 파라미터화를 활용해 변하는 요구사항에 쉽게 대응할 수 있다.

(filter, sorted, map, collect)같은 연산은 고수준 빌딩 블록(high-level building block)으로 이루어져 있어 특정 스레딩 모델에 제한되지 않고 자유롭게 어떤 상황에서든 사용할 수 있다.

빌딩 블록 방식: 하나의 컴퓨터 시스템이나 대형 소프트웨어를 설계하는 과정에서 이들 제품을 구성하는 각각의 구성 요소를 서로 독립적이고 재사용 가능한 모듈로써 구성하는 방법.

내부적으로 단일 스레드 모델에 사용할 수 있지만 멀티코어 아키텍처를 최대한 투명하게 활용할 수 있다.

• 병렬화를 통해 데이터 처리시 스레드와 락을 걱정할 필요가 없다.

 

스트림API를 통해서 스트림 연산을 연결한 파이프라인 형성

• 선언형 : 더 간결하고 가독성이 좋아진다.
• 조립할 수 있음 : 유연성이 좋아진다.
• 병렬화 : 성능이 좋아진다.

---

4.2 스트림 시작하기

스트림이란 '데이터 처리 연산을 지원하도록 소스에서 추출된 연속된 요소(sequence of elements)'로 정의할 수 있다.

 

이 정의를 하나씩 살펴보자.

• 연속된 요소
  컬렉션과 마찬가지로 스트림은 특정 요소 형식으로 이루어진 연속된 값 집합의 인터페이스를 제공한다.
  컬렉션은 자료구조이므로 시간과 공간의 복잡성과 관련된 요소 저장 및 접근 연산이 중점이며 스트림은 filter, sorted, map처럼 표현 계산식이 주를 이룬다.
  (컬렉션의 주제는 데이터이고 스트림의 주제는 계산이다.)
• 소스
  스트림은 컬렉션, 배열, I/O 자원 등의 데이터 제공 소스로부터 데이터를 소비한다. 정렬된 컬렉션으로 스트림을 생성하면 정렬이 그대로 유지된다. (List로 stream을 생성하면 List의 요소와 같은 순서 유지)
• 데이터 처리 연산
  스트림은 함수형 프로그래밍 언어나 데이터베이스에서 지원하는 연산과 비슷한 연산을 지원한다.
  스트림 연산은 순차적 또는 병렬로 실행할 수 있다.

 

스트림에는 다음과 같은 두가지 중요 특징이 있다.

• 파이프라이닝
  대부분의 스트림 연산은 스트림 연산끼리 연결해서 커다란 파이프 라인을 구성할 수 있도록 스트림 자산을 반환한다. 그덕분에 게으름(jaziness), 쇼트서킷(short circuiting) 같은 최적화도 얻을 수 있다.
• 내부 반복
  반복자를 이용해서 명시적으로 반복하는 컬렉션과 달리 스트림은 내부 반복을 지원한다.

List<String> treeHighCaloricDishesName =
        menu.stream() // 메뉴에서 스트림을 얻는다.
                .filter(d -> d.getCalories() > 300) // 파이프라인 연산 1. 고칼로리 요리 필터링
                .map(Dish::getName) // 2. 요리명 추출
                .limit(3) // 3. 선착순 세 개만 선택
                .collect(toList()); // 4. 결과를 다른 리스트로 저장

filter : 람다를 인수로 받아 스트림에서 특정 요소를 제외시킨다.

map : 람다를 이용해서 한 요소를 다른 요소로 변환하거나 정보를 추출합니다.

limit : 정해진 개수 이상의 요소가 스트림에 저장되지 못하게 스트림 크기를 축소합니다.

collect : 다양한 변환 방법을 인수로 받아 스트림에 누적된 요소를 다른 형식으로 변환한다.

---

4.3 스트림과  컬렉션

컬렉션과 스트림 모두 연속된 형식의 값을 저장하는 자료구조의 인터페이스를 제공한다.

여기서 '연속된'이라는 표현은 순서와 상관없이 아무 값에나 접속할 수 있는 것이 아니라 순차적으로 값에 접근한다는 의미이다.

 

컬렉션과 스트림의 가장 큰 차이는 데이터를 언제 계산하는지 차이다.

 

컬렉션

• 컬렉션은 현재 자료구조가 포함하는 모든 값을 메모리에 저장하는 자료구조다.
• 컬렉션에 요소를 추가하거나 제거할 수 있으며, 컬렉션의 모든 요소는 컬렉션에 추가하기 전에 계산되어야 한다.

 

스트림

• 스트림은 이론적으로 요청할 때만 요소를 계산하는 고정된 자료구조다.
• 스트림에는 요소를 추가하거나 제거할 수 없다.
• 스트림은 컬렉션에서 사용자가 요청한 값만 추출한다.

즉, 스트림은 필요할 때만 만들어지는 컬렉션과 같다.

 

딱 한번만 탐색할 수 있다.

반복자와 마찬가지로 스트림도 딱 한번만 탐색할 수 있다. 즉, 탐색된 스트림의 요소는 소비된다.

한 번 탐색한 요소를 다시 탐색하려면 초기 데이터 소스에서 새로운 스트림을 만들어야 한다.

만약 I/O채널처럼 반복 사용할 수 없는 소스라면 새로운 스트림을 다시 만들 수 없다.

List<String> title = Arrays.asList("java8", "In", "Action");
Stream<String> stream = title.stream();
stream.forEach(s -> System.out.println(s)); //각 단어 출력

//java.lang.IllegalStateException: stream has already been operated upon or closed
stream.forEach(System.out::println);

 

외부 반복과 내부 반복

컬렉션 인터페이스를 사용하려면 for-each 등을 사용해서 사용자가 직접 요소를 반복하는 외부 반복을 사용한다.

List<String> names = new ArrayList<>();
//for-each (반복자 사용에 불편함 해결)
for (Dish dish : menu) { //메뉴 리스트를 명시적으로 순차 반복한다.
    names.add(dish.getName()); //이름을 추출해서 리스트에 추가한다.
}
//컬렉션 내부적으로 숨겨졌던 반복자를 사용한 외부 반복
Iterator<Dish> iterator = menu.iterator();
while (iterator.hasNext()){
    names.add(iterator.next().getName());
}

반면 스트림 라이브러리는 반복을 알아서 처리하고 결과 스트림값을 어딘가에 저장해주는 내부 반복을 사용한다.

List<String> names = menu.stream()
        .map(Dish::getName)// (Dish) -> String
        .collect(toList()); //파이프라인을 실행하면서 반복자는 필요없다.

내부 반복을 사용하면 작업을 투명하게 병렬로 처리하거나 더 최적화된 다양한 순서로 처리할 수 있다.

 

스트림 라이브러리의 내부 반복은 데이터 표현과 하드웨어를 활용한 병렬성 구현을 자동으로 선택한다.for-each를 이용하는 외부 반복에서는 병렬성을 스스로 관리해야 한다.

스스로 관리한다..?병렬성을 포기하든지 synchronized를 사용하면서 임계영역을 나누고 lock을 이용한 통제등

https://dding9code.tistory.com/104

스트림은 내부 반복을 사용하므로 반복 과정을 신경 쓰지 않아도 된다. 하지만 이와 같은 이점을 누리려면 filter, map 같은 반복을 숨겨주는 연산 리스트가 미리 정의되어 있어야 한다. 반복을 숨겨주는 대부분의 연산은 람다 표현식을 인수로 받으므로 동작 파라미터화를 활용할 수 있다.

---

4.4 스트림 연산

스트림 인터페이스의 연산을 크게 두 가지로 구분할 수 있다. 

• 중간 연산 : filter, map, limit 등으로 서로 연결하여 파이프라인을 형성한다.
• 최종 연산 : collect로 파이프라인을 실행한 다음 닫는다.

 

중간 연산

given 데이터

List<Dish> menu = Arrays.asList(
        new Dish("자바커피", false, 150, Dish.Type.MEAT),
        new Dish("하즈", true, 300, Dish.Type.MEAT),
        new Dish("프로도", false, 301, Dish.Type.MEAT),
        new Dish("빼그만", false, 500, Dish.Type.MEAT)
);

filter나 sorted 같은 중간 연산은 다른 스트림을 반환하기 때문에 여러 중간 연산을 연결해서 다양한 질의를 만들 수 있다.

List<String> names = menu.stream()
        .filter(dish -> //중간 연산
        {
            System.out.println(dish.getCalories());
            return dish.getCalories() > 300;
        })
        .map(dish -> { //중간 연산
            System.out.println(dish.getName());
            return dish.getName();
        })
        .limit(2) //중간 연산
        .collect(toList()); //최종 연산

• Lazy: 중간 연산의 중요한 특징은 단말 연산을 스트림 파이프라인에 실행하기 전까지는 아무 연산도 수행하지 않는다는 것
• 중간 연산을 합친 다음에 합쳐진 중간 연산을 최종 연산으로 한번에 처리한다.

---

출력

limit(2)

• 코드 출력을 확인하면 filter를 통과한 데이터만 다음 파이프라인을 타고 질의를 이어나가는 것을 확인할 수 있다. (칼로리가 300 초과하는 것은 [프로도, 빼그만])
• filter는 모든 값을 내부 반복하는 것을 알 수 있었다.

 

 

 

 

 

limit 중간연산을 적용시키면서 재미있는 것을 확인했다.

limit(1)

위에 출력을 확인하면 filter는 모든 값을 내부 반복하는것을 알았다.

• limit을 1로주니까 결과가 하나 나올 때 까지만 filter를 반복하고 그다음 파이프라인으로 전달하고 종료되는것을 알 수 있었다.
• 이것이 저번부터 나오던 쇼트 서킷 기법인거 같다.

 

 

궁금한거 2개만 더!!

1. SQL에서 Oracle기준으로 생각하면 OrderBy하고 Limit연산을 수행할 때 인라인뷰에 정렬을 하고 수행야되는 것처럼 연산 순서에 따라서 데이터가 잘못 처리될 수 있을까?

2. 지금 까지 공부한걸 생각해보면 파이프라인을 통해서 전달이 되는데 filter 이전과 이후 정렬에 따라서 내부 반복이 어떻게 진행될까?

 

정렬이 필터 이전에 있을 때

List<String> names = menu.stream()
        .sorted(Comparator.comparing(Dish::getCalories).reversed()) //중간 연산 칼로리 DESC
        .filter(dish -> //중간 연산
        {
            System.out.println(dish.getCalories());
            return dish.getCalories() > 300;
        })
        .map(dish -> { //중간 연산
            System.out.println(dish.getName());
            return dish.getName();
        })
        .limit(1) //중간 연산
        .collect(toList()); //최종 연산

• wow... 우선 오름차순으로 정렬 이후 filter가 전부 내부 반복을 돌지않고 limit이 한개니까 filter가 단 한번!! 빼그만(님..분?..씨? 그냥 넘어갈게요)인 값만 바로 파이프라인을 넘겨서 처리되는 것을 확인할 수 있었다.

눈치 빠른분은 아시겠지만... sorted에 따로 출력을 안했기 때문에 위에 결과값이 나온거고

sorted는 어떻게 반복되는건지 잘 모르겠다. (ASC정렬하고 reversed이니까 DESC로 다시 정렬하면서 한번 더 돌긴 하는거 같은데 이해를 못하겠다...)

 

정렬이 필터 이후에 있을 때 (좀 더 확실하게 생각하고 싶어서 데이터 추가)

List<Dish> menu = Arrays.asList(
                new Dish("자바커피", false, 150, Dish.Type.MEAT),
                new Dish("하즈", true, 300, Dish.Type.MEAT),
                new Dish("프로도", false, 301, Dish.Type.MEAT),
                new Dish("uhanuu", false, 700, Dish.Type.MEAT), //추가
                new Dish("빼그만", false, 500, Dish.Type.MEAT)
);

List<String> names = menu.stream()
        .filter(dish -> //중간 연산
        {
            System.out.println(dish.getCalories());
            return dish.getCalories() > 300;
        })
        .sorted(Comparator.comparing(Dish::getCalories).reversed()) //중간 연산 칼로리DESC
        .map(dish -> { //중간 연산
            System.out.println(dish.getName());
            return dish.getName();
        })
        .limit(1) //중간 연산
        .collect(toList()); //최종 연산

• 정렬 질의가 없었다면 301까지 출력되고 프로도 데이터가 나와야되는걸 알 수 있다.
• 정렬이 filter 이후에 있으면 모든 filter가 내부 반복되는 것을 확인할 수 있었다.

질의에 따라서 그려봤지만 limit이 1이라서 map은 이렇게 될거 같은 느낌..?!

• 생각해보면 파이프라인으로 바로 바로 다음 질의로 넘어가서 limit연산 결과가 처리되니까 내가 질의한 순서가 우선 순위가 되는것 같다. (우선순위가 있었다면 최적화되서 같은 값이 나왔을 것이다.)

 

 

 

 

 

 

그렇다면 어떻게 작성하는게 좀 더 내부 반복이 줄어들까?..  모르겠다.. ~_~;;;ㅋㅋ 

책을 넘어가면서 공부해보자

List<String> names = menu.stream()
        .filter(dish -> //중간 연산
        {
            System.out.println(dish.getCalories());
            return dish.getCalories() == menu.stream().mapToInt(Dish::getCalories).max().getAsInt();
        })
	  //.sorted(Comparator.comparing(Dish::getCalories).reversed())
        .map(dish -> { //중간 연산
            System.out.println(dish.getName());
            return dish.getName();
        })
      //.limit(1) //중간 연산
        .collect(toList()); //최종 연산

 

밑에 출력 그림 설명에 각각 출력을 써 놓기는 했지만.. 분명 Max값 뽑는데도 내부 반복이 많이 되기 때문에 성능 테스트를 해보던가 좀 더 공부하고 질의에 대해서 고민하는게 중요한거 같다.. 아직은,,,

limit, sorted 둘다 없을 때

limit 있고 sorted 없을 때

sorted, limit 둘다 없을 때

질의에 따라서 더 좋은 결과를 얻을 수 있다는걸 느끼고 중간 연산만으로는 결과를 생성할 수 없다라는 걸 알고 넘어가자

• collect 같은 최종연산이 없으면 수행 안되서 출력도 나오지 않는다.

---

최종 연산

최종 연산은 스트림 파이프라인에서 결과를 도출한다. 이를 통해 List, Integer, void 등 스트림 이외의 결과가 반환된다.

menu.stream().forEach(System.out::println);

• 예를 들어 forEach는 스트림의 각 요소에 람다를 적용한 다음 void를 반환하는 최종 연산이다.

 

스트림 이용 과정은 다음과 같이 세 가지로 요약할 수 있다.

• 질의를 수행할 (컬렉션 같은) 데이터 소스
• 스트림 파이프라인을 구성할 중간 연산 연결
• 스트림 파이프라인을 실행하고 결과를 만들 최종 연산

 

중간 연산

연산	형식	반환 형식	연산의 인수	함수 디스크립터
filter	중간 연산	Stream<T>	Predicate<T>	T → boolean
map	중간 연산	Stream<R>	Function<T, R>	T → R
limit	중간 연산	Stream<T>
sorted	중간 연산	Stream<T>	Comparator<T>	(T, T) → int
distinct	중간 연산	Stream<T>

최종 연산

연산	형식	반환 형식	목적
forEach	최종 연산	void	스트림의 각 요소를 소비하면서 람다를 적용한다.
count	최종 연산	long (generic)	스트림의 요소 개수를 반홚나다.
collect	최종 연산		스트림을 리듀스해서 리스트, 맵, 정수 형식의 컬렉션을 만든다.